Web Crawling con PHP curl: Ejemplos prácticos de código

En primer lugar, ¿por qué utilizar una IP proxy para realizar capturas de red?

Los socios que se dedican al rastreo se habrán encontrado con la vergüenza de que les bloqueen la IP, sobre todo cuando el sitio de destino ha añadido un mecanismo contra el rastreo. En ese momentoIP proxyEs como abrir un hang sigilo, cada solicitud de un nuevo chaleco, el sitio no puede decir si usted es una persona real o un programa. Por ejemplo, se utiliza comúnmente ipipgo servicio, puede resolver adecuadamente este problema, su grupo de IP es lo suficientemente grande y lo suficientemente limpia, no es fácil de ser identificado.

Segundo, manual de funcionamiento básico de PHP curl

En primer lugar, entienda cómo utilizar curl, esta es la herramienta principal para obtener datos. Recuerde estos ajustes clave:

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "URL de destino");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //almacenar el resultado sin mostrarlo directamente
curl_setopt($ch, CURLOPT_HEADER, 0); //no devolver cabecera
$output = curl_exec($ch);
curl_close($ch).

vigilar cuidadosamentecurl_setoptEsta función, francamente, le dice a curl qué hacer. Si no establece RETURNTRANSFER, los datos se imprimirán directamente en la página, y eso es un lío.

Tercero, mano a mano más proxy IP combate real

He aquí la cuestión. Ponle un chaleco proxy a curl y usa el servicio proxy de ipipgo como una castaña:

$proxy = "123.123.123.123:8888"; //IP proxy proporcionada por ipipgo
$auth = "username:password"; //autenticación obtenida en el backend de ipipgo

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://目标网站.com");
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth); curl_setopt($ch, CURLOPT_PROXYUSERPWD, $auth);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1).

// Para depuración (recuerde desactivarlo para entornos formales)
curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_VERBOSE, true)
curl_setopt($ch, CURLOPT_STDERR, fopen('php://stderr', 'w'));

$result = curl_exec($ch);
if(curl_errno($ch)){
    echo 'Error de rastreo: '.curl_error($ch); }
}
curl_close($ch); }

Observe el formato de la IP del proxyLa dirección proxy debe tener una estructura IP:puerto. El backend de ipipgo puede generar la dirección proxy en este formato directamente, lo cual es fácil de usar para los ladrones.

En cuarto lugar, arrastrarse procesamiento anormal Daquan

No te asustes cuando te encuentres con las siguientes polillas, el viejo conductor te enseñará a ver el truco:

//Comprueba si el proxy está activo
if(curl_getinfo($ch, CURLINFO_PRIMARY_IP)){
    echo "Actualmente usando proxy IP: ".curl_getinfo($ch, CURLINFO_PRIMARY_IP); }
}

// Establece un tiempo de espera para evitar atascarte
curl_setopt($ch, CURLOPT_TIMEOUT, 15); //retirarse si no hay respuesta en 15 segundos
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5); //Conectar y esperar hasta 5 segundos.

//Mecanismo de reintento automático
$retry = 3;
while($retry--){
    $result = curl_exec($ch);
    if(!curl_errno($ch)) break;
    sleep(1); // espera 1 segundo e inténtalo de nuevo
}

V. Preguntas frecuentes QA

P: ¿Qué debo hacer si no puedo conectarme siempre a la IP proxy?
R: En primer lugar, compruebe si hay algún error en el puerto IP, y luego use telnet para medir la conectividad. Si la IP de ipipgo falla repentinamente, vaya al fondo para cambiar a una nueva IP, su pool de IP cambia rápidamente, básicamente no se perderá.

P: ¿Cómo puedo mejorar la eficacia del rastreo?
R: En el agente residencial dinámico de ipipgo, con multi-threading para participar. Recuerde ajustar el tiempo de intervalo aleatorio, no estallar como una ametralladora, es fácil de ser encontrado.

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: Significa que la calidad de la IP del proxy que estás usando no es lo suficientemente buena, cambia la alta reserva de IPs de ipipgo y pruébalo. Si eso no funciona, tendrás que recurrir a un programa de reconocimiento de imagen, pero eso es otra historia.

Puerta de compra de IP proxy

Hay que fijarse en estos duros indicadores para elegir un servicio de agencia:

• Tiempo de supervivencia de la IP: los proxies de corta duración de ipipgo cambian automáticamente en 5-15 minutos, y los de larga duración pueden durar hasta 24 horas.
• Ubicación geográfica: para atrapar el sitio doméstico para elegir la sala de servidores locales IP, negocios en el extranjero con su familia América / Asia nodos
• Soporte de protocolos: Además de HTTP/HTTPS, algunos escenarios requieren SOCKS5, que ipipgo soporta.

Un último truco:Grupo de IP dinámicas + conmutación automáticaEl fondo ipipgo viene con una API para obtener el último agente en tiempo real, con la secuencia de comandos sustituye automáticamente, agarrar los datos que se llama un establo. Encontrar problemas técnicos directamente a su servicio al cliente de la familia, la velocidad de respuesta que sus compañeros más rápido que la mitad de una estrella.