Web Crawler Framework: Explicación de la arquitectura de Scrapy

¿Qué aspecto tiene el "esqueleto" del framework Scrapy?

Vamos a pelar la cáscara de Scrapy para echar un vistazo, esta cosa es esencialmente una fábrica de línea de montaje. El rastreador comienza con start_urls y agarra los datos, como un clasificador de mensajería, y los procesa a través de descargadores, middleware y pipelines. Aquí hay una fría:El middleware de descarga es donde se esconden las IP proxyEl 90% de manos nuevas no encuentran el camino.

Por qué las IP proxy se convierten en tanques de oxígeno para los rastreadores

Para dar un caso real: un sitio de comercio electrónico cada hora para sellar 300 IP, no utilice el proxy, su rastreador no puede sobrevivir a un episodio. piscina proxy dinámico residencial de ipipgo, cada solicitud cambia automáticamente IP, como el rastreador instalado innumerables stuntman. Aquí para enseñarle una manera salvaje - la autenticación de proxy escrito como middleware:

class ProxyMiddleware(object).
    def process_request(self, request, spider): proxy = "".
        proxy = "http://user:pass@gateway.ipipgo.com:9020"
        request.meta['proxy'] = proxy

Ajuste práctico de la configuración del proxy de Scrapy

No te dejes engañar por la documentación oficial, hay una manera de configurarlo en la práctica. Añadir estas líneas a settings.py es la forma de hacerlo:

DOWNLOADER_MIDDLEWARES = {
    scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 400,
    su_proyecto.middlewares.ProxyMiddleware': 100
}

IPIPGO_API = "https://api.ipipgo.com/getproxy?type=json&count=5"

Recuerda almacenar la clave API de ipipgo en una variable de entorno, no seas estúpido y la escribas hasta la saciedad en tu código. Se recomienda usarRetardo aleatorio + auto-reintentoEl mecanismo, junto con el paquete de conmutación de 5 segundos de ipipgo, hace que el efecto antibloqueo llegue directamente a su máxima expresión.

Las tres trampas del uso de IP proxy (con una guía de escape)

Cinco preguntas conmovedoras que suelen hacerse los blancos

P: ¿Es correcto utilizar un proxy gratuito?
R: Hermano, ¿has visto alguna vez una comida Michelin hecha con hojas podridas recogidas en un mercado de alimentos? El exclusivo fondo de propiedad intelectual de ipipgo es el camino adecuado.

P：¿Por qué no surte efecto el proxy después de configurarlo?
R: Primero compruebe la orden del middleware, luego capture el paquete para ver el campo X-Forwarded-For en la cabecera de la petición. el panel de control de ipipgo tiene monitorización del tráfico en tiempo real.

P: ¿Tengo que mantener mi propio grupo de IP?
R: No es como abrir una granja de cerdos, ipipgo viene con más de 20 millones de IPs dinámicas, y también permite la personalización por geografía, ¡ahorrándole tiempo!

P: ¿Qué debo hacer si me encuentro con una verificación humana?
R: El enfoque dual de ipipgo de proxy residencial + emulación de huella dactilar del navegador ha sido probado personalmente para evitar el CAPTCHA de 90%.

P: ¿Cómo comprobar si el agente es eficaz?
R: Imprima response.meta['proxy'] en el método parse, o compruebe el registro de uso en el backend de ipipgo.

Poner un "manto de invisibilidad" a un reptil.

Por último, me gustaría compartir un plan de configuración: conectar la API de ipipgo al sistema de programación automática, con UA aleatoria y simulación de pista de ratón. Recuerde que debe añadir un módulo de alarma automática en la extensión scrapy, cuando la tasa de fracaso IP supera 10% cambiar automáticamente los paquetes. Este partido abajo, su rastreador será capaz de gopher como en el sitio de destino hacia y desde la libre.

Para ser honesto, el proxy IP está bien elegido, el rastreador de trabajo temprano. He utilizado la edición enterprise de ipipgo para saber lo que significa"De una vez por todas"....los equipos que construyen sus propios grupos de proxy acaban yendo a trabajar como seguridad para la sala de servidores...