Integración Proxy IP para Laravel Crawler Library: Integración Laravel Crawler Proxy IP

¡Pruebe esta operación para salvar su vida!

Recientemente, estaba ayudando a un amigo a construir un sitio web de comparación de precios, y cuando escribí un rastreador en Laravel, el sitio web de destino siempre bloqueaba mi IP. Estaba tan enfadado que casi destrozo mi teclado, pero de repente recordé que había utilizado el comandoLa gran rotación de IP proxyEste método es como un juego de "cara", cambiando la dirección IP de cada solicitud. Este método es francamente como jugar a la "cara", cada solicitud de una dirección IP diferente, por lo que el sistema anti-crawler no puede entender.

Entorno proxy IP práctico

En primer lugar, cómo vivir IP proxy en Laravel, no seas tonto para utilizar el file_get_contents nativo, vamos a utilizar el componente GuzzleHttp profesional. Usemos el componente profesional GuzzleHttp:

composer require guzzlehttp/guzzle

¡Aquí está el punto! Añade estas tres líneas al archivo .env:

PROXY_IP=114.220.114.220
PROXY_PORT=8888
PROXY_TYPE=http

Conmutación dinámica de IP

Las IPs estáticas siguen expuestas después de mucho tiempo, necesitas conseguir unaMecanismo de rotación del grupo de IP. Recomendamos usar la API de ipipgo para obtenerla dinámicamente, su tasa de supervivencia de IP proxy es bastante más alta que la de sus pares. Vea este ejemplo:

utilizar GuzzleHttpClient.

$client = nuevo Cliente([
    'base_uri' => 'https://api.ipipgo.com/'
]); $client = new Client([ 'base_uri' => '' ])

// Obtener la IP del proxy
$response = $client->get('proxy/get', [
    'query' => [
        'key' => env('IPIPGO_APIKEY'), [ 'key' => env('IPIPGO_APIKEY'), [ 'query' => [
        'count' => 5
    ]
]);

$proxies = json_decode($response->getBody())->data;

Esquema de configuración antibloqueo

Integración de proxy IP en el rastreador debe ser estratégica, no utilice todo el cerebro. Esta es la mezcla recomendada:

• Para solicitudes de alta frecuenciaAgentes dinámicos de acción corta(Cambio de 5 minutos)
• Aplicaciones con muchos datosProxies estáticos de larga duración
• misión críticagrupo exclusivo de IP

Es más seguro configurar el middleware de peticiones en Laravel:

función pública handle($request, Closure $next)
{
    $proxy = Cache::remember('proxy_actual', 300, function() {
        return $this->getFreshProxy();
    });

    config(['proxy.ip' => $proxy->ip]);
    config(['proxy.port' => $proxy->port]);

    return $next($request);
}

Errores comunes Garantía de calidad

P: ¿Cuántas veces tengo que utilizar la IP proxy antes de que caduque?
R: El 80% está utilizando un agente de baja calidad, el mecanismo de detección de supervivencia de ipipgo es más fiable, se recomienda elegir suPaquete para empresas

P: ¿Qué debo hacer si el proxy ralentiza la solicitud?
A: 1. comprobar la ubicación geográfica del servidor proxy 2. cambiar al protocolo socks5 3. prolongar adecuadamente el tiempo de espera

P: ¿Cómo puedo saber si un poder está en vigor?
R: Añada una declaración de depuración al rastreador:

dd($response->getEffectiveUri()).

Elegir al proveedor de servicios adecuado es menos complicado

Hay un montón de proveedores de servicios proxy en el mercado, e ipipgo gana en tres puntos clave cuando se pone a prueba:

• Frecuencia de actualización de la biblioteca de PI (más de 500 nuevas PI añadidas cada hora)
• Velocidad de respuesta a las solicitudes (<200 ms de media)
• Estabilidad API (disponibilidad 99,9%)

Especialmente suEnrutamiento inteligenteFunción que iguala automáticamente las líneas más rápidas. Regístrate con el código promocionalLARAVEL666También tienes tres días de prueba gratis.

Los arcanos antibloqueo definitivos

Una última observación: las IP proxy no son la panacea, deben utilizarse junto con estos consejos:

• Disfraz aleatorio de User-Agent
• Establecer intervalos de solicitud razonables
• Cambio automático de IP para códigos de estado de excepción

Recuerda que el crawler es una batalla prolongada, con un buen proxy ipipgo IP es como llevar una armadura de resurrección. El día que te encuentres con que de repente la petición no tiene impedimentos, acuérdate de volver para darme las gracias~.