Tutorial de construcción de aplicaciones de rastreo de código abierto Laravel

En primer lugar, ¿por qué su rastreador siempre es arrastrado por el sitio?

Los hermanos que se hayan dedicado a la recopilación de datos se habrán encontrado con esta situación: basta con ejecutar un buen programa de rastreo y, de repente, el403 Denegación de accesoo un montón de captchas. Para decirlo claramente, su IP está siendo atacado por el sitio web. Rastreadores ordinarios con IP fija solicitud frenética, como la celebración de un altavoz en frente de las casas de la gente gritando "Quiero robar datos", no bloquear a bloquear quién?

Aquí es donde sacamos nuestros salvadores -IP proxyLa dirección IP se cambia cada vez que se realiza una solicitud a través de servicios profesionales como ipipgo. A través de ipipgo este tipo de servicios profesionales, cada solicitud de una dirección IP diferente, equivalente al rastreador de llevar una miríada de "máscaras faciales". Por ejemplo, el original de 1.000 solicitudes en una hora con 1 IP, ahora sustituido por 100 IP a su vez enviar, cada IP sólo enviar 10 veces, el sistema de control de viento sitio no puede detectar anomalías.

En segundo lugar, la mano para construir Laravel rastreador

No nos apresuremos a escribir código. Tenemos que preparar nuestras cosas:

1. Instalación de PHP 7.4+ y Composer
2. Cree un nuevo proyecto Laravel:composer create-project laravel/laravel crawler
3. Instale Goutte, la herramienta de rastreo:composer require fabpot/goutte

En realidad, el código principal consta de tres partes (no se deje asustar por la jerga técnica):

// Crea un nuevo CrawlCommand.php en app/Console/Commands.
función pública handle()
{
    $proxy = 'http://用户名:密码@gateway.ipipgo.com:9020'; // Formato proxy propietario de ipipgo
    $goutte = nuevo Cliente();
    $goutte->setClient(new HttpClient(['proxy' => $proxy]));

    // Lógica de captura específica...
}

En tercer lugar, las competencias prácticas en materia de propiedad intelectual

No basta con poder utilizar proxies, estostécnica para salvar vidasDebe dominarse:

Recordatorio especial: ¡No guardes el timeout! Se recomienda ajustar connect_timeout a 5 segundos y request_timeout a 30 segundos para evitar que una determinada IP bloquee todo el programa.

IV. Tiempo de garantía de calidad: imprescindible para los principiantes

P: ¿Qué debo hacer si mi IP proxy no se conecta a menudo?
R: El 80% de ellos utilizan proxies de baja calidad. Recomendar ipipgo'sPaquete de agente de nivel empresarialLas IP de su casa tienen detección de supervivencia, y la tasa de éxito de la conexión medida puede llegar al 99,2%.

P: ¿Cómo puedo interrumpir la velocidad de recogida demasiado lenta?
R: Dos trucos: ① utilizar ipipgo'spool de agentes multihilo② Activar la conexión persistente HTTP para reducir el número de handshakes TCP.

P: ¿Cómo puedo saber si un proxy es anónimo?
R: Visita http://httpbin.org/ip, si se devuelve la IP del proxy en lugar de tu IP real, significa que el proxy de alto stash de ipipgo está en efecto.

V. Juego de actualización: rastreadores distribuidos

Cuando el autónomo no aguanta, es hora de subirse alarquitectura distribuidaArriba. Utiliza Redis para hacer la cola de tareas, múltiples servidores funcionando al mismo tiempo, cada máquina desde ipipgo solicita un segmento IP diferente. Esto no es un sueño para recoger millones de datos por día, y no es fácil ser blanco de estrategias anti-crawling.

Una última advertencia: ¡no te conformes con poco a la hora de elegir un servicio proxy! Algunos agentes gratuitosRobo de contenidos de respuestaoRegistre los datos de su solicitudLo primero que debe hacer es utilizar un proveedor de servicios regulares como ipipgo. Utilice ipipgo este tipo de proveedor de servicios formales, la seguridad de los datos está garantizada, fuera del problema también puede encontrar servicio técnico al cliente en tiempo real de procesamiento.