PHP Crawler: Scripts de Recogida de Datos CURL

I. ¿Por qué se bloquean siempre los rastreadores? Pruebe este método

Cualquiera que esté involucrado en la recopilación de datos sabe que el mayor dolor de cabeza de escribir un rastreador en PHP es que elIP bloqueadaEl siguiente es un ejemplo de una herramienta de comparación de precios que he estado trabajando en los últimos días. Hace unos días para ayudar a un amigo para hacer una herramienta de comparación de precios, acaba de ejecutar media hora para recibir 403 prohibido, enojado él directamente a disparar el teclado. Esta vez tenemos que sacrificar el gran asesino - proxy IP. esta cosa es como un rastreador que lleva una miríada de máscaras, cada solicitud de una nueva cara, el sitio simplemente no puede distinguir entre una persona es una máquina.

En segundo lugar, te enseñamos a instalar la extensión CURL

Asegúrate de que tienes la extensión CURL instalada en tu servidor (o ponte contra la pared si no la tienes). Abra el archivo php.ini y encuentre esta línea:

;extension=curl

Elimine el punto y coma inicial. reinicie Apache/Nginx. escriba un script de prueba:

if(function_exists('curl_version')){
    echo 'CURL ha sido activado';
} else {
    echo '¡Date prisa e instala la extensión!' ;
}

Código de acceso IP proxy

¡Aquí está el punto! Utiliza el servicio proxy de ipipgo, su casa ofreceAgentes Residenciales Dinámicos, la estabilidad probada es buena. Mira este código del núcleo:

$proxy = 'gateway.ipipgo.com:9021'; //dirección del servidor proxy
$auth = 'username:password'; //obtener en ipipgo backend

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'URL de destino');
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth); curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_TIMEOUT, 30); curl_setopt($ch, CURLOPT_TIMEOUT, 30);

$result = curl_exec($ch);
if(curl_errno($ch)){
    echo 'Error: '.curl_errno($ch); }
}
curl_close($ch); }

En cuarto lugar, evitar estos pozos puede ahorrar dos horas

Tres errores comunes de los novatos:

V. El secreto de duplicar la eficacia recaudatoria

¿Un rastreador monohilo es demasiado lento? ¡Hazlo multihilo! Utilice la familia de funciones curl_multi de PHP con ipipgo'sAgentes multicanalLa velocidad despega enseguida. Recuerda los ajustes:

curl_setopt($ch, CURLOPT_FORBID_REUSE, 1); //desactivar la multiplexación de conexiones
curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1); //forzar nuevas conexiones

VI. Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: Activar la función de sustitución automática de IP en el fondo ipipgo, establecer la rotación cada 5 minutos.

P: ¿Qué debo hacer si quiero capturar sitios web HTTPS?
R: Añádalo en la configuración de curl:
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

P: ¿Cómo puedo optimizar los proxies lentos?
R: Se da prioridad a los ipipgo'sLínea BGP nacional，能控制在200ms以内

VII. Di algo sincero

Después de tantos años de rastreo, lo de la IP proxy es realmente necesario. Mantener tu propio pool de IPs es demasiado trabajo, así que mejor usar un servicio ya preparado. Como ipipgo, que soportapago por volumens, especialmente amigable con los pequeños proyectos. Por último, me gustaría recordarles: ¡hagan acopio para cumplir con el acuerdo de robots del sitio web, no colapsen el servidor humano!