Mejora de la estabilidad del rastreador Python con BeautifulSoup: IPs proxy

Cuando el niño gateador es sacado del sitio...

Hace poco, a Lao Zhang le rechazaron 403 durante tres días consecutivos cuando estaba capturando los datos de precios de una empresa de comercio electrónico. Se puso en cuclillas delante del ordenador y se rascó la cabeza: "¿Cómo puede ser esta web más sofisticada que el portero del barrio?". Esta situación es el ochenta por ciento de la IP se reconoce como un rastreador. Es el momento de invitar a salirIP proxyEste es un regalo del cielo para cambiar de chaleco.

¿Cómo puede una IP proxy dar cobertura a un rastreador?

En pocas palabras, es dar a la araña conjunto de chaleco diferente (dirección IP), por lo que el sitio piensa que es más de un usuario en la visita. Al igual que usted va a la cantina para conseguir comida, cada vez que cambie una tarjeta de trabajo diferente no será recordado por la tía.

Manos a la obra con reptiles con chaleco

He aquí un ejemplo de lo que puede hacer conipipgoEl servicio proxy es una castaña. Regístrate primero y luego obtén la dirección API, recuerda seleccionar el tipo de IP dinámica residencial, esto es lo más parecido a una persona real navegando por Internet.

importar peticiones
from bs4 import BeautifulSoup

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9020',
    https: http://用户名:密码@gateway.ipipgo.com:9020
}

def obtener_datos(url).
    try: resp = requests.get(url, proxies, timeout=)
        resp = requests.get(url, proxies=proxies, timeout=10)
        soup = BeautifulSoup(resp.text, 'html.parser')
         Esta es la lógica de análisis
        return soup.find_all('div', class_='precio')
    except Exception as e.
        print(f "Cayó en el agujero: {str(e)}")
        return Ninguno

Atención concentrada:El tiempo de espera no debe omitirse nunca. Se recomienda fijarlo entre 8-15 segundos para poder retroceder a tiempo cuando se encuentre con un agente rezagado.

No pise estos cinco baches

1. El grupo de IP es demasiado pequeño:Se necesitan al menos 500+ IPs dinámicas para rotar, recomendadoipipgode un millón de IP
2. La cabeza solicitante no tiene disfraz:Recuerde traer su User-Agent y Referer.
3. Frecuencia de conmutación inadecuada:Los sitios web de comercio electrónico recomiendan cambiar de IP cada 5-10 minutos.
4. No se ha verificado la disponibilidad de IP:Se recomienda hacer ping al servidor proxy antes de cada solicitud.
5. La trampa del agente libre:Nueve de cada diez de esos agentes libres públicos son pozos.

Preguntas frecuentes QA

P: ¿Por qué me siguen bloqueando después de usar un proxy?
R: Compruebe tres puntos: 1. si la frecuencia de solicitud es demasiado alta 2. si el tipo de IP proxy se ha seleccionado correctamente 3. si la simulación del movimiento del ratón y otros comportamientos

P: ¿Qué ocurre si la respuesta de la IP proxy es lenta?
R: Recomendadoipipgos Smart Routing, que selecciona automáticamente el nodo con menor latencia. La medición puede reducir la respuesta media de 3 segundos a 800 ms.

P: ¿Tengo que mantener mi propio grupo de IP?
R: ¡En absoluto!ipipgoLa API filtra automáticamente las IP no válidas y puede personalizarse para exportar las IP por región.

Los conductores experimentados hablan por experiencia

Cuando hace poco ayudé a un cliente con un sistema de comparación de precios, utilicé elipipgoLa estrategia de rotación + aleatorización de los intervalos de solicitud (1-3 segundos) funcionó durante 2 semanas seguidas sin provocar una ganancia inesperada. Recuerde los puntos clave:El cambio de IP debe ser naturalNo cambies tu IP a tiempo todo el tiempo, el sitio no es estúpido.

Por último, un recordatorio para los novatos: ¡no escribas una IP de proxy muerta en tu código! Es mejor hacerla un archivo de configuración u obtenerla dinámicamente de la API. Es mejor hacerlo un archivo de configuración u obtenerlo dinámicamente de la API. De esta manera, si un día cambias el proveedor (aunque elipipgo(lo suficientemente bueno para usarlo) y no rascarse la cabeza.