Marco de rastreo web de código abierto Colección destacada de GitHub

当爬虫撞上反爬 你的代码需要隐身衣

Amigos que participan en la recopilación de datos entienden que el mecanismo anti-escalada del sitio es ahora más estrictas que las puertas de las células. Hace dos días he utilizado Python para escribir un rastreador simple, los resultados sólo se ejecutan media hora para recibir el mensaje de texto de advertencia operador, IP directamente estar en la lista negra. En este momento es necesarioIP proxyEsta "capa de invisibilidad" hace imposible que el servidor reconozca su verdadera identidad.

Para citar un escenario real: la recopilación de datos de precios de una plataforma de comercio electrónico, las primeras 50 páginas de suave a la mano, a su vez a 51 páginas de repente apareció el CAPTCHA. En este momento, si usted traeipipgo Proxy Residencial DinámicoLa tasa de activación de CAPTCHA puede caer 70% o más al cambiar automáticamente entre diferentes direcciones IP de la ciudad, al igual que cambiar a un nuevo inicio de sesión de teléfono móvil cada vez que visita.

Rastreadores recomendados con más de mil estrellas de GitHub

Se recomienda guardar estos 5 frameworks de código abierto en los favoritos para que coman polvo (pero es mejor no comer polvo):

Manos a la obra con la capa de invisibilidad en Scrapy

Tomemos como ejemplo el más utilizado Scrapy, tres pasos para acceder al proxy ipipgo:

Primer paso:Añadir un middleware personalizado a middlewares.py, el código clave es sólo estas líneas:

def process_request(self, request, spider).
    request.meta['proxy'] = 'http://username:password@gateway.ipipgo.com:端口'

Segundo paso:Para conectar la API proporcionada por ipipgo al middleware del descargador, se recomienda establecer el parámetroConmutación automática en 5 segundosIP, para que la tasa de éxito en la recogida pueda superar los 98%.

Tercer paso:Recuerde abrir el mecanismo de reintento en la configuración, encuentro 403 código de estado cambia automáticamente IP reintento, esta combinación de golpes hacia fuera, sistema anti-escalada es básicamente inútil.

¿Por qué los conductores mayores eligen ipipgo?

Después de usar 7 u 8 servicios proxy, finalmente cerré ipipgo por tres razones:

1. IP residencial realA diferencia de algunos proveedores de servicios que tontean con las IP de las salas de servidores, para recoger las evaluaciones del comercio electrónico deben utilizarse IP reales de banda ancha doméstica.

2. Ciudad de su elecciónCuando necesite recopilar datos regionales, puede señalar la dirección IP del condado y la ciudad.

3. El tráfico no se desperdicia: Facturación basada en el uso real, no hay necesidad de hacer daño a su cartera cuando se ejecuta datos en el medio de la noche

Preguntas frecuentes Botiquín de primeros auxilios

P: ¿Qué debo hacer si utilizo un proxy y sigo bloqueado?
R: Compruebe tres lugares: ① si el encabezado de la solicitud con las huellas dactilares del navegador ② si la frecuencia de acceso es demasiado alta ③ confirmar el tipo de IP proxy (recomendado el servicio de marcación mixta de ipipgo).

P：¿Qué debo hacer si necesito recopilar datos de sitios web extranjeros?
R: Directamente en el fondo de ipipgo cambiar los nodos de ultramar, prestar atención a elegir y servidor web IP en la misma región, el retraso puede ser controlado dentro de 200ms.

P: ¿Funcionan los proxies gratuitos?
¡R: prueba a corto plazo puede ser, el proyecto oficial no! Hemos pisado el hoyo: agente libre 30% con caballo de Troya, 50% tiempo de espera de respuesta, el 20% restante ha sido retirado por los principales sitios tan pronto como negro.

Un último dato frío: con el ipipgo deProxy Residencial Dinámico + Modo Headless de ChromeLa tasa de éxito de recolección es 4 veces mayor que la solución API pura. La próxima vez que se estrelló por anti-crawl, pruebe esta combinación rey bomba, recuerde que debe volver a darme las gracias.