Python Parsing HTML: Python Proxy Parsing HTML en acción

Cuando el rastreador se encuentra con el antitrepa, la IP proxy es la verdadera hermandad

Participó en el rastreo de datos saben que el sitio es ahora muy bien. La misma solicitud de IP con frecuencia, límite de velocidad de la luz, el sello pesado. La semana pasada, un amigo de comercio electrónico promocionado, utilizan IP ordinaria para atrapar el precio de los competidores, la mitad de un día fue bloqueado más de una docena de veces. En este momento tenemos que ofrecer el proxy IP esta arma mágica, sobre todo como ipipgo tal puede proporcionarRotación dinámica de los grupos de IPde los proveedores de servicios.

importar peticiones
from bs4 import BeautifulSoup

proxies = {
    'http': 'http://用户名:密码@proxy.ipipgo.cc:端口',
    https: http://用户名:密码@proxy.ipipgo.cc:端口
}

response = requests.get('URL de destino', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 Aquí es donde entra la lógica de análisis...

Tres consejos para aprender a jugar con agentes + Análisis

El primer truco: rotación dinámica de IP
Con el paquete residencial dinámico de ipipgo, cada solicitud cambia automáticamente de IP. prueba de una plataforma de comercio electrónico, una sola IP para soportar hasta 20 solicitudes, con una IP dinámica después de 200 veces consecutivas no activó el control de viento.

Consejo nº 2: Mantenga el disfraz completo
No basta con cambiar la IP, recuerde traer un User-Agent aleatorio, aquí recomendamos la librería fake_useragent, y proxy IP con mejores resultados:

from fake_useragent import UserAgent

headers = {'User-Agent': UserAgent().random}
response = requests.get(url, headers=headers, proxies=proxies)

Consejo 3: No sea perezoso con el tratamiento de excepciones
Cuando se encuentre con el código de estado 403/503, no sea duro. Establecer un mecanismo de reintento + cambio automático de IP es la solución adecuada:

reintentos = 3
for _ in range(retries):: _ in range(retries): _ in range(retries): _ in range(retries)
    try: response = requests.get(url, proxies=proxies, timeout=10)
        response = requests.get(url, proxies=proxies, timeout=10)
        if response.status_code == 200: if response.status_code == 200: if response.status_code == 200
            if response.status_code == 200: break
    except.
         Aquí llamamos a la API de ipipgo para cambiar la dirección IP.
        actualizar_proxy()

Guía práctica para evitar el pozo

Old Driver QA Time

P: ¿Las IP proxy no funcionan cuando las utilizo?
R: Elija el paquete estático exclusivo de ipipgo, una sola IP puede ser usada por 1 mes. Si utiliza el paquete dinámico, recuerde establecer la frecuencia de cambio automático, su API soporta el cambio de IP por tiempo / veces.

P: ¿Cómo puedo mejorar la eficacia de la recogida de datos?
R: dos maneras: 1) en el multi-hilo, cada hilo con un agente diferente 2) utilizar la línea dedicada TK de ipipgo, el retraso puede ser presionado a 200ms o menos.

P: ¿Qué paquete de ipipgo tiene la mejor relación calidad-precio?
R: Utilice Dynamic Residence Standard Edition (7,67 $/GB) para cobros a pequeña escala, elija Enterprise Edition Dynamic Package para negocios de nivel empresarial y elija Static Residence a 35 $/mes para quienes necesiten IP fija.

Te diré lo que pienso.

Proxy IP esta cosa, la estabilidad es diez veces más importante que el precio. He utilizado otros antes de barato, y, a menudo se encontraron con problemas con la alta duplicación de los grupos de IP y respuesta lenta. ipipgo tiene una función fría pero útil - elFiltrar IPs por país ciudadEs una herramienta estupenda para recopilar datos geográficos. Su servicio de atención al cliente puede ayudar a redactar un plan de recogida personalizado, apto para novatos perezosos.

Por último, me gustaría recordarle que el uso de un proxy no es una medalla de oro, se debe utilizar en conjunción con el control de la frecuencia de solicitud y el camuflaje de encabezado de solicitud con el fin de maximizar el efecto. Cuando te encuentras con un sitio web particularmente difícil, directamente en su negocio de servidores en la nube, el despliegue local de nodos proxy es más preocupante.