Python Web Crawler Recursos GitHub: Python Crawler Agente Práctica Proyecto GitHub

¿El rastreador tiene la IP bloqueada?

Recientemente en el GitHub recoger y tirar de código fuente del proyecto, siempre ser 403 bloqueando el camino. Probado una variedad de camuflaje de agente de usuario o no, y luego pidió a un viejo conductor para hacer la captura de datos, sólo para saber que ahora el sitio han aprendido bien, directamente bloqueado dirección IP. Esta vez se necesita una IP proxy para actuar como un actor sustituto, por lo que el servidor piensa que cada visita es una persona diferente.

¿Por qué utilizar un proxy residencial? Las IP de las salas de servidores están obsoletas.

Una gran cantidad de novatos siguen utilizando IPs libres, y como resultado, que acaba de subir dos páginas para ser bloqueado. Ahora el sitio web mecanismo anti-escalada de la multa ladrón, ver la sección IP de la habitación directamente negro. ipipgo agente residencial dinámico con una IP de banda ancha doméstica real, como una persona real navegar por Internet, la tasa de éxito se duplica directamente.

importar peticiones
from itertools import ciclo

 Lista de proxies de ipipgo
proxies = [
    'http://user:pass@gateway.ipipgo.net:3000',
    'http://user:pass@gateway.ipipgo.net:3001',
    'http://user:pass@gateway.ipipgo.net:3002'
]
proxy_pool = cycle(proxies)

url = 'https://github.com/search?q=python+spider'
for page in range(1,6): proxy = next(proxy_pool)
    proxy = siguiente(proxy_pool)
    prueba.
        response = requests.get(
            f "{url}&p={page}",
            proxies={"http": proxy, "https": proxy}, timeout=10
            timeout=10
        )
        print(f "Página {page} rastreada con éxito")
    excepto.
        print("¡Cambia de IP y sigue haciéndolo!")

Tres trucos para jugar a las quinielas proxy de ipipgo

Primer movimiento:Cree un canal "sólo para rastreadores" en segundo plano, elija el paquete Dynamic Residential Standard Edition, que admite el pago por uso sin residuos. Se recomienda abrir más de 3 canales al mismo tiempo, y cambiar en segundos cuando se encuentre con una prohibición.

Segundo movimiento:Utilice su API para obtener IP dinámicamente, recuerde que debe establecer 3 segundos de tiempo de espera para cambiar automáticamente. Medición de 50 veces por hora para cambiar la IP, funcionando durante 12 horas sin activar anti-escalada.

Tercer movimiento:Añade un mecanismo de reintento de excepciones en el código del crawler. Se recomienda utilizar la biblioteca de reintentos de python, configurar 10 intervalos de reintentos y probar personalmente que la captura del historial de estrellas de GitHub es tan estable como un perro viejo.

Hoja informativa sobre los peligros más comunes

Q:¿Por qué sigues bloqueado a pesar de utilizar un proxy?
A:La calidad del proxy no es buena, el proxy libre es a menudo compartida por muchas personas. ipipgo's exclusiva IP residencial estática, 35 yuanes al mes que, específicamente para resolver este problema.

Q:¿Por qué no puedo aumentar la velocidad del rastreador?
A:¡No utilices un único hilo! Haz peticiones asíncronas con aiohttp, abre 20 conexiones al mismo tiempo y recuerda usar un canal proxy diferente para cada conexión.

Q:¿Y si tengo que procesar un CAPTCHA?
A:En su fondo para abrir el servicio de línea dedicada TK, esta línea viene con la grieta de verificación humana, conveniente para agarrar proyectos de código abierto tiempo limitado STAR tal operación de mal gusto.

Diga la verdad.

He utilizado siete u ocho servicios de proxy, y lo más sorprendente de ipipgo es la función de "calentamiento IP". En el inicio oficial de rastreo antes de la primera IP de proxy para visitar algunos sitios ordinarios, y luego usar la IP después del período de observación de control de viento del sitio, este truco hace que mi tasa de éxito de la colección se disparó de 47% a 89%.

Recientemente han creado una nueva función que te permite ver la ubicación geográfica y la información del operador de cada IP directamente en el cliente. Una vez descubrí que cierta IP del Reino Unido era en realidad una línea de Vodafone, y la utilicé para rastrear los datos públicos de la compañía londinense, ¡y era sólida como una roca!