Crawlers en contenedores: una solución de despliegue en clúster Docker+Scrapy

Cuando el crawler golpea el contra-crawler, ¿está bien tu IP?

Participó en el rastreo de la plancha de edad están seguros de haber experimentado una escena: ayer también corrió un buen guión, hoy de repente 403. En este momento, no se apresure a romper el teclado, el ochenta por ciento de su IP es el sitio miró. Al igual que usted va al supermercado para tratar de comer siempre ser recordado por el empleado se ve, rastreador con una IP fija de acceso de alta frecuencia, el sitio no bloquea usted bloquea quién?

Es entonces cuandoLa gran rotación de IP proxyVen al rescate de la selva. Como cada vez que vas al supermercado a cambiar un aspecto diferente, por lo que el sitio no puede reconocer que eres la misma persona. Pero cambiar manualmente la IP es demasiado problema, sobre todo cuando se necesita para rastrear en masa - esta vez tenemos que sacar el protagonista del día:Clúster Docker+Scrapy+pools de proxy ipipgoCombo de los Tres Mosqueteros.

Reptil travestido en tres minutos

Seamos realistas primero, vamos a utilizar Docker para empaquetar el rastreador en contenedores. Esto es como mover una caja al desplegar, y puedes ejecutarlo donde quieras. Mira este ejemplo de Dockerfile:

DESDE python:3.8-slim
EJECUTAR pip install scrapy ipipgo-client
COPIAR . /crawler /app
directorio de trabajo /app
CMD ["scrapy", "crawl", "target_spider"]

¡Aquí está el punto! Añade esto al settings.py de scrapy:

IPIPGO_API = "Su clave propietaria"
DOWNLOADER_MIDDLEWARES = {
    'ipipgo.middleware.RotatingProxyMiddleware': 610
}

De esta forma, cada petición cambiará automáticamente de IP a través del proxy de ipipgo, más rápido que la transformación de una reina de la belleza guerrera. La prueba real abajo, usando suIP dinámica residencialla tasa de bloqueo puede bajar de 70% a menos de 5%.

Despliegue agrupado de la operación tartán

Las arañas autónomas son como el Llanero Solitario, los clusters son los Vengadores. Consigue un ejército de arañas con docker-compose:

Recuerde configurar el docker-compose.yml en el directorioPolítica de ampliación automática de la capacidadSi se encuentra con un sitio difícil, convoque a más nodos rastreadores. ipipgo tiene una función oculta - elPI geográficamente personalizadaSe puede especificar la dirección IP de una ciudad concreta, lo que resulta especialmente útil para sitios web con restricciones geográficas.

Guía práctica para evitar el pozo

Tres errores comunes de los novatos:

1. IP cambia con demasiada frecuencia y es tratado como un robot → El modo de intervalo inteligente de ipipgo se ajusta automáticamente.
2. Olvidaste limpiar las cookies → añade un middleware que las limpie automáticamente.
3. Ajustes de tiempo de espera poco razonables → Ajústalo dinámicamente según la velocidad de respuesta del sitio, no utilices un valor fijo.

Recomendado para ipipgoHerramientas de depuración de APIPrimero prueba la calidad de la IP, y luego despliega por lotes en el clúster. Su API tiene un parámetro oculto ?protocol=https, que puede forzar un canal cifrado, y la velocidad medida puede ser tan rápida como 30%.

Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: El mecanismo auto-fuse de ipipgo cambiará a una nueva IP en 5 segundos, ¡recuerda habilitar RETRY_ENABLED en scrapy!

P: ¿Cómo programar los nodos de rastreo en distintas regiones?
R: Establezca la variable de entorno REGION=East China en docker-compose y, a continuación, lea esta variable en el código para llamar al parámetro de región de ipipgo

P: ¿Cómo se reintenta una solicitud bloqueada?
R: usa el retry middleware de scrapy con el callback de fallo de ipipgo, código de ejemplo:

def retry_request(request).
    request.meta['proxy'] = ipipgo.get_new_proxy()
    devolver petición

Di algo desde el corazón.

En el negocio de los crawlers, tres partes dependen de la tecnología y siete de los recursos. Mantener un coto de pesca por cuenta propia equivale a criar un estanque de peces, lo que resulta costoso y requiere mucho tiempo. Recurrir a servicios profesionales como ipipgo equivale a contratar directamente todo el caladero. Especialmente sulínea de marcación mixtaLas IP de diferentes portadoras pueden mezclarse aleatoriamente, y la tasa de éxito de la captura puede alcanzar el 99,2%.

Por último, un consejo: muestre los registros del rastreador con la monitorización de la API de ipipgo para ver cómo se consume cada IP en tiempo real. Cuando encuentres que un sitio es particularmente difícil de acceder, ve directamente a suHigh Stash Edición EmpresaHilos que garantizan que el sitio de destino no te reconozca como rastreador.