Sistema de rastreo distribuido: caso práctico de Celery

Celery se encuentra con el proxy IP, ¡el problema de la captura de datos está resuelto!

Hacer datos amigos rastreo entender, rastreador independiente es como beber té de leche de perlas con una pajita - chupar a la parte posterior es siempre un montón de perlas que quedan para aspirar. Esta vez tenemos que salir del sistema de rastreo distribuido, y Celery esta herramienta cola de tareas es sin duda un buen ayudante. Pero hoy nos centramos en cómo darle con un proxy IP este "plug-in", especialmente con el servicio ipipgo para romper el cuello de botella de captura.

¿Por qué tengo que utilizar una IP proxy?

Tomemos un caso real: el año pasado, hay un equipo que hace la comparación de precios de comercio electrónico, su clúster Celery para capturar 3 millones de piezas de datos de productos básicos todos los días. Como resultado, un día de repente se encontró queEl sitio de destino bloqueó todos sus segmentos IP.Todo el negocio simplemente cerró. Esta es una lección típica de "poner los huevos en la misma cesta".

Aquí es donde el pool de IPs residenciales dinámicas de ipipgo resulta útil. Sus servicios son compatibles:

Configuración práctica de Celery + Proxy IP

He aquí un consejo práctico:No escriba la configuración del proxy en el código¡! Lo correcto es gestionarlo con variables de entorno:

 En la configuración de Celery
BROKER_URL = 'redis://localhost:6379/0'
IPIPGO_PROXY = os.environ.get('IPIPGO_PROXY')

A continuación, pasar el parámetro de esta manera al iniciar el trabajador:

IPIPGO_PROXY="http://user:pass@gateway.ipipgo.com:9021" celery -A proj worker

La ventaja de esto es que no tienes que cambiar el código al cambiar de proxy, lo que es especialmente bueno para las personas que necesitanRotación IP multigeográficaescenarios. La API de ipipgo puede generar directamente IPs de salida para diferentes ciudades, lo que resulta especialmente útil para proyectos que necesitan simular la distribución de usuarios reales.

Guía para evitar la fosa (Sangre y lágrimas)

1. No sea tacaño y utilice proxies gratuitosComo ya se ha comprobado, el tiempo medio de respuesta de los proxies gratuitos es de más de 8 segundos, mientras que las líneas premium de ipipgo pueden pulsarse en 1,2 segundos.

2. Establece un mecanismo de reintento razonable: se recomienda utilizar un algoritmo de reintento exponencial, como éste:

@tarea(
    autoretry_for=(TimeoutError, ),
    retry_backoff=30,
    max_reintentos=3
)

3. Las pruebas de calidad de la PI no pueden subestimarseEl backend de administración de ipipgo en realidad viene con esta característica, pero es más seguro escribir su propio doble seguro.

Preguntas y respuestas prácticas

P: ¿Cómo gestiona Celery Cluster un gran número de IP proxy?
¡R: Recomendamos el uso de redis para hacer cola de IP pool, con lua script para lograr la operación atómica. ipipgo API puede devolver directamente múltiples IP, con el comando RPUSH en la cola en la línea!

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: Tendrá que ser en conjunción con ipipgo'sIP estática de larga duraciónarriba. Fijar las tareas que requieren el reconocimiento CAPTCHA a una IP específica para su posterior procesamiento en la plataforma de codificación.

P: ¿Cómo comprobar el efecto real del agente?
R: construir su propio servicio de detección, visitas regulares a http://httpbin.org/ip. ipipgo usuarios pueden utilizar directamente la interfaz de detección que proporcionan, la información de retorno se puede ver en la IP restante período de validez

¿Por qué ipipgo?

Finalmente lo cerré después de utilizar siete u ocho servicios de agencia por tres razones principales:

1. DedicadoRuta de optimización del rastreo de datosA diferencia de algunos proveedores de servicios que mezclan el tráfico de rastreadores con el de usuarios normales
2. ¡La respuesta del servicio al cliente es rápida, la última vez que me encontré con IP no se puede conectar, 10 minutos para cambiar el nuevo canal!
3. Tarifas transparentes, sin trampas ocultas, y un modelo de facturación por uso especialmente favorable para los equipos pequeños.

Recientemente han sacado un nuevoPago por éxitoEl modelo del rastreo fallido no se factura, lo que es una bendición para los proyectos que necesitan para controlar los costos. Necesidad de experimentar puede ir directamente a la página web oficial para obtener una prueba de 3 días, recuerde que debe elegir "rastreador distribuido especial" que el paquete.

Un último dato: cuantos más trabajadores de Celery tengas, mejor. Como regla general.2-3 trabajadores por núcleo de CPULa solución más rentable es combinar el tamaño del pool de IP de ipipgo. Por ejemplo, una máquina de 8 núcleos con 20 trabajadores, manteniendo 50 IP disponibles, esta proporción ha sido verificada por una serie de proyectos, la eficiencia de rastreo se puede mejorar en más de 4 veces.