Tutorial de rastreo web en Python: de principiante a práctico

En primer lugar, ¿por qué se bloquea siempre la página web? En primer lugar entender este pozo

La gente que acaba de empezar a utilizar Python para obtener datos, nueve de cada diez se han encontrado con el error 403. El mes pasado, un amigo de un sitio web de comparación de precios fue bloqueado por una plataforma de comercio electrónico durante tres días consecutivos con más de 20 IPs, y él estaba tan ansioso que saltó directamente a sus pies. Esta cosa es francamente como usted va al supermercado para tratar de comer, cogió el mismo mostrador incluso comer más de una docena de veces, el guardia de seguridad no puede echarte?

Es entonces cuandoIP proxypara ser su "chaleco invisible". Por ejemplo, con ipipgo servicio de rotación de IP, cada solicitud de un "chaleco" diferente, el otro servidor para ver es un visitante diferente. Prueba encontró que el uso razonable de IP proxy, la tasa de interceptación del sitio de destino se puede reducir a 5% abajo.

Segundo, mano para enseñarte con proxy IP (con una guía para evitar el pozo)

Instale primero ambas bibliotecas:
pip install solicitudes
pip install fake_useragent

¡Este es el punto! Cuando utilice la API de ipipgo para obtener una IP proxy, recuerdeMecanismo de reintento de excepciones. Mira este código:

importar peticiones
from fake_useragent import UserAgent

def get_proxy().
     Rellena aquí la dirección API proporcionada por ipipgo.
    resp = requests.get("https://ipipgo.com/api/getProxy")
    return {'http': f'http://{resp.text}', 'https': f'https://{resp.text}'}

ua = UserAgent()
headers = {'User-Agent': ua.random}

headers = {'User-Agent': ua.random}
    resp = requests.get('URL de destino',
                      proxies=get_proxy(), headers=headers, ua.random} try: resp = requests.
                      headers=headers,
                      timeout=8)
except Exception as e.
    print(f "La {reintentación}ésima petición falló, reintentando...")

Fíjese en tres puntos clave:

Tercero, el caso real: con ipipgo rastrear datos dinámicos

Recientemente me encontré con una escalada anti-crawl mientras ayudaba a un cliente a obtener datos de una plataforma de ticketing:

1. La IP del proxy ordinario se bloqueará después de 5 peticiones consecutivas.
2. Necesidad de gestionar la carga dinámica de páginas
3. Captcha activador aleatorio

Solución:
- Cambia a ipipgo.IP premium de larga duración(sobrevive durante 12 horas)
- Renderizado dinámico con Selenium
- Ajuste del limitador de frecuencia de petición

Estructura final del código:

from selenium.webdriver import ChromeOptions

options = ChromeOptions()
options.add_argument(f'--proxy-server={ipipgo_proxy}')
driver = webdriver.Chrome(options=options)

 Espera inteligente de carga
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'precio'))

IV. Preguntas frecuentes QA (imprescindible para los novatos)

P: ¿Qué puedo hacer respecto a la lentitud de la velocidad IP del proxy?
R: Se recomienda dar prioridad a los ipipgoLínea BGP，实测能控制在200ms以内。别贪便宜用免费代理，速度慢还不稳定。

P: ¿Qué debo hacer si encuentro un CAPTCHA?
R: Puedes llamar a la API de ipipgo para cambiar la IP con la plataforma de codificación. La cuestión es cambiar activamente la IP antes de activar el CAPTCHA.

P: ¿Cómo puedo saber si un poder está en vigor?
R: Añade una prueba al código:
print(requests.get('http://httpbin.org/ip', proxies=proxy).text)

V. Técnicas de mantenimiento a largo plazo (El gran método del ahorro mental)

1. Compruebe semanalmente la calidad del grupo de IP y elimine los proxies no válidos a su debido tiempo.
2. Establecer una estrategia de conmutación inteligente: en función del tiempo de respuesta del sitio web de destino para cambiar automáticamente la dirección IP.
3. Se recomienda el uso de ipipgo para proyectos importantes.Paquete IP exclusivoEvitar la contaminación de la propiedad intelectual pública
4. Actualice regularmente la biblioteca User-Agent, no permita que el sitio le reconozca como un crawler.

Por último, una historia real: el año pasado doble once una plataforma de comercio electrónico bloqueado más de 200 IP, con ipipgo servicio de IP dinámica de los clientes de todo el funcionamiento normal. Participar en este asunto de la captura de datos, elegir la herramienta adecuada realmente puede perder un montón de pelo.