Crawler ip proxy pool ¿cómo utilizar? integración de Scrapy y solicita la rotación de combate real

Guía para crear un grupo de proxy para rastreadores.

Los hermanos que se dedican al rastreo deben entender que el mecanismo anti-rastreo del sitio objetivo es como un juego de gopher. Hoy te enseñamos a usar el pool de IPs proxy de ipipgo para armar el crawler, y probar personalmente para reducir la probabilidad de sello de 80%. Vamos a dividir en dos géneros: Scrapy viejos conductores y Pide pueblo novato.

La solución del veterano de la chatarra

Sólo tienes que juguetear en middlewares.py, hay una plantilla de configuración en vivo aquí:

clase ProxyMiddleware(objeto).
    def __init__(self).
        self.proxy_api = "http://ipipgo.com/api/get?type=dynamic&count=10"

    def process_request(self, request, spider).
         Actualiza el pool de IPs cada 5 minutos
        if not hasattr(spider, 'proxy_pool') or time.time() - spider.proxy_time > 300: spider.proxy_pool = requests
            spider.proxy_pool = requests.get(self.proxy_api).json()['data']
            spider.proxy_time = time.time()

         Elige aleatoriamente una IP afortunada
        proxy = random.choice(spider.proxy_pool)
        request.meta['proxy'] = f "http://{proxy['ip']}:{proxy['port']}"
         ¡Recuerda habilitar este middleware en ajustes!

Aquí viene el punto clave:Se recomienda establecer el periodo de validez de la IP entre 3 y 5 minutos. Los paquetes residenciales dinámicos de ipipgo admiten límites de tiempo personalizados, que se ajustan perfectamente a esta necesidad. Se ha comprobado que el uso de la función de localización a nivel de ciudad puede reducir eficazmente el control del riesgo de inicio de sesión fuera del sitio.

Peticiones Maniobras de fantasía para fiestas

Los jugadores de un solo hilo miran aquí y te enseñan un método de rotación perezoso:

from itertools import ciclo

def get_proxies().
     Generar enlaces API directamente desde el backend ipipgo.
    return [f"{ip}:{port}" for ip in requests.get('ipipgo backend link').json()]

proxy_pool = cycle(get_proxies())

while True: proxy_pool = cycle(get_proxies())
    try: proxy_actual = siguiente(proxy)
        proxy_actual = siguiente(proxy_pool)
        res = requests.get(url, proxies={
            "http": proxy_actual, "https": proxy_actual, "https": proxy_actual
            "https": proxy_actual
        }, tiempo de espera=10)
        timeout=10)
    excepto.
        print(f"{proxy_actual} falló, ¡pasa al siguiente!")

Recuerde añadir un mecanismo de reintento en el manejo de excepciones. La IP residencial estática de ipipgo es adecuada para escenarios que requieren largas sesiones, como la simulación de captura de datos tras el inicio de sesión.

Guía para evitar el pozo (sesión de control de calidad)

Q：¿Qué debo hacer si mi IP proxy no funciona cuando la uso?
R: Primero compruebe el tipo de paquete, residencial dinámico por defecto 1 minuto límite de tiempo. ¡Sugerir a añadir una detección de supervivencia en el código, más de 30 segundos sin respuesta cambia automáticamente. versión de la empresa de ipipgo del paquete de apoyo para extender el límite de tiempo de 30 minutos!

P: ¿Tener más de un rastreador al mismo tiempo puede robar la IP?
R: Utilice el sistema de cuentas para hacer el aislamiento, ipipgo fondo puede crear sub-cuentas, asignar claves independientes a cada rastreador, por lo que no se agolpan entre sí.

P: ¿Qué debo hacer si me encuentro con un bombardeo de CAPTCHA?
R: Dos opciones: 1) cambiar las IPs residenciales estáticas 2) añadir huellas de dispositivos en la cabecera de la petición. La solución TikTok de ipipgo tiene un módulo de emulación de dispositivos que puede utilizarse como referencia.

¿Qué paquete debo elegir?

Según los escenarios empresariales de la derecha:

Hace poco descubrí un pequeño truco: en la configuración del backend de ipipgoderivación de protocoloLa primera es dividir las solicitudes HTTP y HTTPS en diferentes grupos de IP, lo que puede mejorar la velocidad de recogida de alrededor de 20%. ¡Especialmente cuando se dedica a la supervisión de precios de comercio electrónico, pro-prueba eficaz!

Por último, me gustaría recordaros que no perdáis el tiempo con proxies gratuitos. He probado los proxies baratos que compré de Somebay antes, 8 de cada 10 están en la lista negra de IPs, mejor usar el paquete de prueba para novatos de ipipgo, no pagues por los primeros 2GB de todos modos.