PHP Crawl: Proxy IP para resolver las limitaciones de las peticiones

Le enseñará a utilizar la IP proxy para superar las restricciones de acceso a sitios web.

Hermanos que participan en los rastreadores web deben haber encontrado este tipo de mierda: secuencias de comandos se ejecutan y ejecutan un hiato repentino, el sitio ya sea haciendo estallar CAPTCHA o directamente bloqueado IP. esta vez tenemos que salir de nuestra arma salvavidas - laIP proxyLo primero que necesitas hacer es usar un servicio proxy para PHP. Hoy tomaremos PHP y te mostraremos como usar el servicio proxy de ipipgo para lidiar con estas restricciones de sitios web.

¿Por qué tu rastreador siempre queda atrapado?

Los webmasters no son vegetarianos, que mirar fijamente a los registros de acceso para ver, encontró que una determinada solicitud de cepillo loco IP, directamente le dará un sello. Los usuarios normales visitan la página web cada minuto sólo unas pocas veces, pero el rastreador pueden ser docenas de veces por segundo, la frecuencia de las personas ciegas pueden ver que hay un problema.

// Ejemplo de un típico código death-crawler
for($i=0; $i<1000; $i++){
    $html = file_get_contents('sitio de destino');
    // Análisis de los datos...
}

No se tarda ni media hora en hacer esto, y tu IP está garantizada en la lista negra. Es hora de usar una IP proxy paraCambiar de identidad de forma rotatoriahaciendo creer al sitio que está siendo visitado por diferentes usuarios.

Configuración práctica del proxy PHP

Aquí te enseñamos dos métodos comunes, usando el servicio proxy de ipipgo para demostrarlo (su API de acoplamiento a la casa es particularmente conveniente).

Método 1: Configuración de CURL Proxy

$proxy = 'Dirección proxy asignada por ipipgo:puerto';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "URL de destino");
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
// Se recomienda añadir un ajuste de tiempo de espera
curl_setopt($ch, CURLOPT_TIMEOUT, 10); curl_setopt($ch, CURLOPT_TIMEOUT, 1); // Se recomienda añadir un ajuste de tiempo de espera.
$output = curl_exec($ch);
curl_close($ch).

Método 2: Configuración del contexto de streaming

$context = stream_context_create([
    'http' => [
        'proxy' => 'tcp://'.$proxy,
        'request_fulluri' => true
    ]
]);
$response = file_get_contents('URL de destino', false, $context);

¿Cómo elegir una IP proxy fiable?

Los proveedores de servicios de agentes que existen en el mercado son desiguales, y en este punto debemos estar atentos a lo siguienteipipgo. Te voy a dar una lista de las ventajas de su casa para comparar:

Guía para evitar caer en los baches más comunes

P: ¿Qué debo hacer si la IP proxy no funciona después de utilizarla?
R: Recuerde configurar el mecanismo de reintento de fallo, la API de ipipgo soporta la adquisición automática de nueva IP, se recomienda que cada 20 peticiones cambie el proxy

P: ¿Qué hay de malo en utilizar un proxy y que te sigan bloqueando?
¡R: comprobar el encabezado de la solicitud no tiene características del navegador, no utilice el obvio como crawler User-Agent, y luego no visitar la frecuencia es demasiado loco, se recomienda controlar dentro de 3 veces por segundo!

P: ¿Qué debo hacer si la respuesta de la IP proxy es lenta?
¡R: En el fondo de ipipgo elegir "canal de alta velocidad" nodo, o cambiar a diferentes regiones del servidor para tratar, a veces la distancia física entre los nodos más rápido!

Consejos concienzudos para novatos

A los hermanos que se inician en el juego con gateadores se les aconseja que empiecen por el de ipipgoPaquete de prueba gratuitoPráctica. Consiguen 1G de tráfico para los nuevos usuarios, lo que es suficiente para probar las funciones básicas. Recuerda algunos puntos clave:

1. Extraer proxies aleatoriamente del pool de IPs antes de cada petición.
2. Registre el número de veces que se utiliza cada IP
3. Cambio inmediato de IP en caso de anomalías en la respuesta
4. Comprobación periódica de la disponibilidad de los agentes

Finalmente dijo unas sentidas palabras, no creo que los agentes libres, nueve de cada diez es un pozo. Cosas profesionales a la gente profesional que hacer, ipipgo este tipo de servicio de honorarios a pesar de que cuesta dinero, pero le puede ahorrar mucho tiempo para tirar, el tiempo clave no se cae de la cadena es realmente rentable.