PHPcurl Crawl: Ejemplo de Captura de Página Web

Enseñarle a recoger datos con PHPcurl+Proxy IP a mano

Hacemos la recopilación de datos, el más miedo de conocer el sitio web mecanismo anti-escalada. La semana pasada, un amigo de comercio electrónico me buscó, dijo que usó PHPcurl para escribir la secuencia de comandos de recogida de repente falló, el sitio directamente a su IP bloqueada durante tres días. No es difícil de resolver este asunto, hoy voy a tomar este caso, le enseñará cómo utilizar ipipgo servicio de proxy IP para hacer frente a anti-escalada.

// Ejemplo básico de curl (esto se bloqueará tarde o temprano)
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "http://目标网站.com");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$output = curl_exec($ch);

¿Por qué tengo que utilizar una IP proxy?

Se cargan muchos sitiosSistema de identificación de huellas dactilares FlowEs como la puerta de seguridad de un supermercado. Utilizas una IP para acceder repetidamente, equivalente a la misma persona media hora entrando y saliendo del supermercado 20 veces, los guardias de seguridad no te miran para mirar ¿a quién? el proxy pool de ipipgo tiene8 millones + IP dinámicasEsto equivale a prepararle numerosos "chalecos" para que el sitio no pueda distinguir quién es quién.

Cambio de imagen en el mundo real: armadura IP para el rizo

Tome el guión que acaba de bloquear y transfórmelo en tres pasos clave:

// Obtenga el proxy de ipipgo (tenga cuidado de sustituir su propia clave API)
$proxy = file_get_contents("https://api.ipipgo.com/getproxy?key=你的密钥");

// Configurar los parámetros del proxy curl
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_HTTP)
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 10);

// ¡Importante! Recuerde añadir un reintento de error
if(curl_errno($ch)){
    $proxy = file_get_contents("https://api.ipipgo.com/report?proxy=".$proxy); // Informar de la dirección IP fallida.
    // Recuperar proxy para continuar la ejecución...
}

Cuidado con los baches:No intente ahorrarse problemas escribiendo la IP del proxy a muerte en el código, asegúrese de usar la adquisición dinámica. La API de ipipgo soporta el filtrado de IPs por región y operador, puede usar esta función si hace recolección transfronteriza.

Consejos para mejorar la eficacia de la recogida

1. Adquisición multihilo, cada hilo debe estar equipado con un proxy independiente, no permita que múltiples peticiones compartan la misma dirección IP.
2. Establecer intervalos de solicitud aleatorios, no visitar a tiempo como un reloj despertador.
3. No intentes obtener un captcha, cambia a una nueva IP a través de ipipgo y vuelve a intentarlo.
4. Borre regularmente las cookies, no deje que el sitio rastree el comportamiento de la pista

// Script de retardo aleatorio (en segundos)
sleep(rand(1,5) + mt_rand(0,3000)/1000);

Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: añade un mecanismo de reporte en el callback de error de curl, el sistema de ipipgo excluirá automáticamente la IP problemática cuando reciba el feedback.

P: ¿Cómo puedo saber si un poder está en vigor?
A: Imprime curl_getinfo($ch, CURLINFO_PRIMARY_IP) después de curl_exec para ver si la IP de salida ha cambiado

P: ¿Cuántas IP proxy se necesitan al día?
R: Según el volumen de negocio, generalmente 200-300 peticiones por IP por hora es más seguro. Los paquetes de ipipgo van desde alquileres diarios a paquetes mensuales, y los nuevos usuarios obtienen 5000 IPs de prueba.

Por último, me gustaría recordarle que debe seguir el protocolo de robots del sitio web cuando realice la recogida de datos. El uso del servicio proxy de ipipgo no es para sabotear, sino para hacer más fluida nuestra recogida legítima. Una vez ayudé a un cliente a hacer el sistema de comparación de precios, después de usar el agente dinámico, la tasa de éxito de la adquisición de datos de 47% directamente se disparó a 98%, el efecto es inmediatamente visible.