Marco de rastreo asíncrono: Scrapy-Redis en acción

Cuando un crawler choca con un mecanismo anti-crawler

Hacer amigos de rastreo de datos deben haber experimentado una escena: acaba de ejecutar a través de la secuencia de comandos de rastreo, al día siguiente para recibir el sitio de destino 403 de error. El mecanismo anti-escalada es como un resorte, más feroz que eres, más fuerte es. En este momentoCrawler distribuido + IP proxyLas combinaciones son como poner un cascabel dorado a un reptil.

Scrapy-Redis único en su género

Scrapy tradicional es una operación de una sola persona, se encontró con anti-escalada difícil de detener. Scrapy-Redis esta cosa a la cola de tareas almacenadas en Redis, de modo que más de una máquina pueden trabajar juntos. Por ejemplo, como una cocina de un restaurante de ollas calientes: maestros de cortar, maestros de cocina, maestros de freír tienen sus propios deberes, pero todos mirando el trabajo central de la tabla de pedidos.

La forma correcta de abrir una IP proxy

Muchos novatos utilizan IPs proxy como llave maestra, sólo para descubrir que se bloquean más rápido que desnudos. He aquí unaLo que hay que hacer y lo que no hay que hacerFrase clave:
coaccionarRotación dinámica de IP,coaccionarAgentes de Alijo Alto,coaccionarLocalización de zonas;
abstenerse deIP fija,abstenerse deAgentes transparentes,abstenerse deSaltando por toda la región.

Esto es imprescindible para mi propio hermano.servicio proxy ipipgoSus grupos de IP dinámicas admitenConmutación de líneas urbanas a la cartaLa tasa de éxito puede dispararse de 401 TP3T a 921 TP3T, por ejemplo, cuando se coge un sitio web inmobiliario, utilizando la IP de Chengdu para acceder a los listados de Chengdu, y la IP de Shanghai para coger los datos de Shanghai, el sitio web simplemente no puede saber si se trata de una persona real o de una máquina.

Consejos prácticos de configuración

Añade estas líneas de configuración de claves a settings.py (ten en cuenta que sustituyes tu_nombre_usuario por la cuenta que registraste en ipipgo):

DOWNLOADER_MIDDLEWARES = {
    scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
    scrapy_proxies.RandomProxy': 100
}

PROXY_LIST = 'https://api.ipipgo.com/proxy?username=your_username&format=txt'
PROXY_MODE = 0 modo de rotación automática

Aquí hay un escollo a tener en cuenta: la API ipipgo devuelve el valorDirección del apoderado con efecto inmediato，不像某些平台给的是固定IP段。好处是不用自己维护IP池，坏处是每次请求都得重新获取，不过他们家接口响应速度够快，实测在200ms以内。

Guía práctica para evitar el pozo

Hace poco, me encontré con un problema típico cuando ayudé a un cliente a capturar una plataforma de comercio electrónico: obviamente, utilizaba una IP proxy, pero aun así saltaba el CAPTCHA. Más tarde, descubrí que eraLas cookies no cambian con la IP. La solución es añadir un gancho en el middleware:

def process_request(self, request, spider).
    request.meta['proxy'] = get_new_proxy()
    request.headers['Cookie'] = generate_fake_cookie()
    return None

También se recomienda el uso de ipipgoProxy de mantenimiento de sesión, especialmente adecuados para escenarios que requieren inicio de sesión. Sus proxies de larga duración pueden mantener la misma IP de salida durante 15 minutos, lo que es suficiente para completar el proceso completo de inicio de sesión-navegación-orden.

Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy va lenta?
R: Prioridad para elegir el mismo agente geográfico (como la captura de Guangdong sitio web con Guangdong IP), ipipgo apoyo preciso a nivel de ciudad de posicionamiento. Además, compruebe si el reintento automático está activado, ajuste el tiempo de espera a 8-10 segundos es más razonable.

P: ¿Cómo puedo saber si un poder está en vigor?
R: Prueba en scrapy shell:
fetch('http://httpbin.org/ip', meta={'proxy':'dirección proxy de ipipgo'})
Ver si la IP devuelta cambia

P: ¿Qué debo hacer si encuentro un sitio web que bloquea todo el segmento IP?
R: Por eso recomendamos ipipgo, sus recursos IP cubren los tres principales operadores + más de 200 ciudades en todo el país, y cortan inmediatamente las líneas de la ciudad cuando encuentran bloqueos, lo que es más flexible que cambiar los segmentos IP.

Una última pega, ser un crawler es cuestión de artes marciales. Establece intervalos de petición razonables, con un servicio proxy fiable como ipipgo, para llegar más lejos en el camino de la adquisición de datos. No espere a que le bloqueen la cuenta y le bloqueen la IP para acordarse de hacer un buen control del viento.