Tutorial de Beautiful Soup: Guía de análisis sintáctico de Python

En primer lugar, ¿por qué utilizar IP proxy con Beautiful Soup?

Los que se han dedicado al rastreo de datos saben que el mecanismo anti-escalamiento de sitios web es cada vez más estricto. Se toma una IP ordinaria para agarrar datos, límite de velocidad ligero, sello directo pesado. En este momentoIP proxySe convierte en un salvavidas - especialmente para los proveedores de servicios como ipipgo que se especializan en proxies de alto alijo, cambiando IPs para cada solicitud, y el sitio simplemente no puede saber si eres una persona real o un crawler.

Para dar un escenario real: usted quiere coger el precio de una plataforma de comercio electrónico, con su propia banda ancha doméstica conectada a la solicitud 50 veces, los resultados de la tercera vez en el sello. Cambiar a la piscina proxy dinámico de ipipgo, cada solicitud de cambiar al azar las diferentes regiones del país de la IP, la tasa de éxito directamente tirar a 95% o más.

importar peticiones
from bs4 import BeautifulSoup

proxies = {
  'http': 'http://username:password@gateway.ipipgo.com:9020',
  https: http://username:password@gateway.ipipgo.com:9020
}

response = requests.get('https://target-site.com', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')

En segundo lugar, configurar el proxy IP de las tres grandes trampas

El lugar más fácil de caer para un novato:

1. Método de autenticación incorrectoEl proxy de ipipgo requiere doble autenticación con cuenta y contraseña, y mucha gente omite el parámetro de autorización en el código.

2. Protocolo no coincidente: Acceder a un sitio https pero utilizando un proxy http es como utilizar una tarjeta de autobús para pasar por la puerta del metro.

3. Tiempo de supervivencia IP

Ahora en los proveedores de servicios de agente de mercado de calidad variable, algunos afirmaron millones de IP piscinas, la disponibilidad real de menos de 30%. ipipipgo ver principalmente suMecanismo de detección de supervivenciaEl sistema elimina automáticamente los nodos fallidos cada minuto. Medido el rastreo continuo durante 6 horas, el número de interrupciones de peticiones no supera las 3 veces.

cabeceras = {
    
    'Accept-Language': 'en-US,en;q=0.5'
}

for page in range(1, 100): 'Accept-Language': 'en-US,en;q=0.5' }
    time.sleep(random.uniform(1, 3)) random wait
    response = requests.get(f'https://xxx.com/page/{page}', headers=headers, proxies=proxies)