Web Crawler Review: Comparación del rendimiento de Scrapy y Puppeteer

Selección práctica de herramientas: la experiencia real de un veterano de los reptiles

Hermanos dedicados a la recopilación de datos entienden que la herramienta equivocada puede hacer que tres días y tres noches de trabajo para nada. Recientemente, la gente siempre me pregunta Scrapy y Puppeteer al final cuál es bueno utilizar, estos dos bienes son como freír verduras y sartén de hierro antiadherente -.Utilízalo en la ocasión adecuada para obtener resultadosNo estoy seguro de si usted es una buena persona, pero yo no soy una buena persona. Por citar una castaña, la semana pasada ayudé a los clientes a coger el precio de una plataforma de comercio electrónico, con Puppeteer para abrir 10 ventanas en el gatillo anti-escalada, cambiar Scrapy con el grupo de agentes de ipipgo, se congeló y funcionó sin problemas durante 8 horas no se dio la vuelta.

Tabla de desglose de características de la herramienta (centrada en la adaptabilidad de los agentes)

Guía práctica para evitar escollos: configuración del proxy para jugar tan

Añade proxies a los middlewares de Scrapy, recuerda estocombinación de oro::
1. Configure la interfaz API para ipipgo en settings.py.
2. El middleware de descarga cambia aleatoriamente las cabeceras de las peticiones
3. Establece intervalos aleatorios de 0,5-3 segundos entre cada solicitud (¡no utilices retardos fijos!)
Una vez me dio pereza y no hice retrasos aleatorios, y me acabaron reconociendo en media hora, y solo me salvé cambiando a la IP premium de ipipgo.

Puppeteer es más sobre artefactos de huellas de navegador, recuerde añadirlos en el parámetro de lanzamiento:
-proxy-server=dirección proxy residencial dinámica para ipipgo
-disable-blink-features=AutomationControlled
La prueba real con este método, una recopilación continua de 30.000 datos en un sitio de viajes, no se bloqueó.

Siete preguntas que seguro se hará

P: ¿Por qué me siguen reconociendo después de cambiar mi IP?
R: El noventa por ciento de la calidad de IP no es buena, los agentes libres son básicamente con historia negra. Se recomienda utilizar la IP exclusiva de alto almacenamiento de ipipgo, y recuerde borrar las cookies para cada solicitud.

P: ¿Tengo que usar Puppeteer para capturar contenido cargado dinámicamente?
R: ¡No necesariamente! Scrapy con splash también puede renderizar JS, pero quiere simular perfectamente la operación manual, o Puppeteer + ipipgo dynamic IP es más estable!

P: ¿Qué debo hacer si la IP del proxy es demasiado lenta?
R: Pruebe la línea híbrida BGP de ipipgo, la velocidad de descarga medida es 3 veces más rápida que la del agente ordinario, ¡especialmente adecuada para la necesidad de un gran número de escenarios de recopilación de imágenes!

Recomendaciones de Ultimate Choice

Si me preguntas a mí.Scrapy + proxy estático ipipgo para grandes volúmenes de datos, como hacer tareas a largo plazo como la monitorización de precios. Si necesita utilizar Puppeteer + ipipgo dinámica IP residencial, como la recopilación de datos de medios sociales. Recientemente encontré una operación tart: con Scrapy programando instancias de Puppeteer, con ipipgo proxy de doble autenticación, solución perfecta al problema de CAPTCHA.

Un último recordatorio para los hermanos novatos:Nunca ahorres dinero en un agente.La última vez que utilicé un agente de calidad inferior, ¡los datos recogidos se traspapelaron! La última vez con proxy de mala calidad llevó a la recogida de datos fuera de lugar, el cliente casi no dio la liquidación. Ahora arreglado con el paquete ipipgo, con la sustitución automática de la función de IP no válida, el grado de tranquilidad directamente tirar completo.