PHP cURL Web Crawling: Proxy IP para resolver las limitaciones de frecuencia de las peticiones

En primer lugar, ¿por qué siempre te bloquea el sitio web? Primero lee la rutina anti-escalada

El mayor quebradero de cabeza para los rastreadores es el hecho de que elLímite de frecuencia de solicitud. Por ejemplo, un determinado tesoro de datos de productos básicos, 30 solicitudes consecutivas se pellizcó conexión. En este momento no se apresure a romper el teclado, el sitio es en realidad a través de laSeguimiento IPpara identificar el comportamiento de la máquina.

Tomemos una castaña: tu router tiene una IP pública, como la dirección de entrega de un pedido de mensajería. El servidor web descubre que esta dirección envía 50 peticiones por minuto, y determina directamente que no se trata de una operación humana. En ese momento, aunque añada un retardo de espera en el código, también puede ser prohibido.

En segundo lugar, ¿cómo se convirtió la IP proxy en un dispositivo de desbloqueo?

El principio es muy sencillo.Varias personas comparten un grupo de IP. Suponiendo un servicio proxy con ipipgo que cambia aleatoriamente a una IP diferente para cada petición, el sitio web ve registros de acceso como este:

De esta manera el servidor pensará que esMúltiples usuarios realesEn el acceso, saltándose perfectamente la detección de frecuencia de IP única. La cuestión es elegir un proveedor de servicios con un pool de IP lo suficientemente grande como ipipgo para evitar reutilizar la misma IP.

En tercer lugar, la mano para enseñar a jugar en el agente de PHP

Primero en el código central, seguido de un análisis línea por línea:

$proxy = '221.192.136.12:8080'; //dirección proxy desde ipipgo
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://目标网站.com");
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_TIMEOUT, 15); curl_setopt($ch, CURLOPT_TIMEOUT, 15);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$output = curl_exec($ch);
if(curl_errno($ch)){
    echo 'Código de error: '.curl_errno($ch).' Sugerimos cambiar la IP del proxy';
}
curl_close($ch); }

Parámetro focalizado Descripción:

• CURLOPT_PROXY debe tener el formato correcto: IP:Puerto
• Se recomienda que el tiempo de espera no supere los 15 segundos; un tiempo demasiado largo afecta a la eficacia.
• Recuerde tratar los códigos de error, especialmente el 28 (tiempo de espera) y el 7 (conexión denegada)

En cuarto lugar, ¿cuáles son las ventajas reales del ipipgo?

Después de haber utilizado 7 u 8 servicios de proxy, finalmente me decidí por ipipgo por estos puntos principales:

1. tasa de supervivencia fiable - medido 95% + IP puede conectarse normalmente
2. respuesta lo suficientemente rápido - un retraso medio de 800ms, mucho mejor que algunos de los 3 segundos de inmóvil
3. canal exclusivo - los usuarios de la empresa puede abrir un grupo separado de IP
4. Precio transparente - no como algunas plataformas que esconden cargos ocultos.

Unas palabras especiales de elogio para suMecanismo de calentamiento IPEn primer lugar, se comprobará la disponibilidad de las IP recién añadidas mediante solicitudes de baja frecuencia para evitar que se active el control del viento en cuanto aparezcan.

En quinto lugar, el blanco debe ver para evitar la guía de boxes

P: ¿Las IP proxy no funcionan cuando las utilizo?
R: ¡Fenómeno normal! Se recomienda cambiar aleatoriamente la IP para cada solicitud, utilice la API de ipipgo para obtener un grupo de IP dinámicas, sólo tiene que añadir una matriz de sondeo en el código.

P: ¿Crear un proxy o ser bloqueado?
R: Compruebe tres puntos: 1. el encabezado de la solicitud no tiene características de navegador 2. el intervalo de solicitud de IP única es demasiado corto 3. si se debe activar la autenticación hombre-máquina

P: ¿Funcionan los proxies gratuitos?
R: Las pruebas a corto plazo están bien, pero sin duda deberías contratar un servicio comercial para proyectos formales. La disponibilidad de los proxies gratuitos suele ser inferior a 20%, y además filtran datos.

VI. Programa de configuración para jugadores de alto nivel

Comparta una plantilla de configuración para quienes tienen que rastrear millones de datos cada día:

// Interfaz API de ipipgo
$ip_api = 'https://api.ipipgo.com/get?format=json';

función getProxy(){
    global $ip_api;
    $ips = json_decode(file_get_contents($ip_api),true);
    return $ips['proxy_list'][array_rand($ips['proxy_list'])];
}

// Cambiar automáticamente la IP en cada petición
for($i=0; $i<1000; $i++){
    $proxy = getProxy(); // Aquí retomamos el curl anterior.
    // Aquí retomamos donde dejamos el código del curl
    usleep(500000); // intervalo de 0.5 segundos
}

Este programa consigueGrupo IP dinámico + Retardo aleatorioDoble protección, con el paquete de concurrencia de ipipgo, escalar millones de datos al día no es un sueño.