Python Parsing HTML: Configuración del agente de rastreo de Python

Enseñanza práctica de cómo utilizar la IP proxy para evitar el bloqueo

Hermanos que participan en el rastreo de entender que el mayor dolor de cabeza es el sitio bloqueado IP. hace dos días acabo de escribir un script de recopilación de datos de la plataforma, que se ejecuta menos de media hora en el indicador "acceso a lo anormal", tan enojado que me caí en el lugar en el teclado. Más tarde se encontró que el uso de proxy IP es el rey de la carretera, aquí para darle regañar a mi experiencia de combate.

Por ejemplo, cuando usas la librería requests para coger datos, es como correr desnudo por Internet sin un proxy. El webmaster verá la misma IP solicitando frenéticamente y te pondrá en la lista negra en minutos. En este punto, necesitas dar a cada peticiónPonte otro chaleco.Esto también se conoce como cambiar entre diferentes IP proxy.

importar peticiones
from bs4 import BeautifulSoup

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    https: http://username:password@gateway.ipipgo.com:9020
}

response = requests.get('https://目标网站.com', proxies=proxies)
soup = BeautifulSoup(response.text, 'html.parser')
 Escribe la lógica de análisis aquí...

¿Cómo elegir una IP proxy fiable?

Hay todo tipo de proxies en el mercado, y he comparado siete u ocho de ellos, pero finalmente me he decantado por IP Residencial Dinámica de ipipgo. ¿por qué lo has elegido? Tres palabras:Firme, rápido y económico. Sus grupos de IP son todos de banda ancha doméstica real, más difíciles de reconocer que las IP de las salas de servidores, y siguen siendo más baratos que sus homólogos, en torno a 20%.

Aquí tienes una tabla comparativa para visualizarlo mejor:

Tres guías para evitar trampas en el mundo real

Foso 1: Incapacidad para hacer frente a los fallos del proxy. Se recomienda usar el decorador retry para reintentar automáticamente, yo suelo poner 3 reintentos + proxies de corte aleatorio:

from tenacity import retry, stop_after_attempt

@retry(stop=stop_after_attempt(3))
def crawl_page(url).
     Obtener un nuevo proxy para cada reintento
    current_proxy = get_random_proxy()
    return requests.get(url, proxies=proxy_actual)

Foso 2: Petición de cabeza para revelar la identidad. Recuerda generar un User-Agent aleatorio para cada petición, no dejes que el sitio vea un patrón. He reunido una biblioteca UA, me privado si lo necesita.

Pozo 3: No se verifica la calidad de los agentes. Se recomienda ejecutar un script de prueba antes de que se inicie el crawler, yo suelo usar httpbin.org/ip para verificar que el proxy funciona.

Preguntas frecuentes

P: ¿Qué debo hacer si mi agente es lento?
R: Se da prioridad a los recursos del operador local, como subir la estación doméstica con el nodo de China Oriental de ipipgo. Además de comprobar si el proxy HTTPS se utiliza para ir solicitud HTTP, el protocolo debe corresponder.

P: ¿Cómo gestionar un gran número de IP proxy?
R: Utiliza redis para almacenar pools de IPs y registrar el número de veces que se utiliza cada IP y el tiempo de respuesta. Se recomienda hacer referencia a esta estructura:

{
    "ip": "112.95.23.61:8080",
    "used_count": 3,
    "used_count": 3, "last_speed": 0.78,
    "last_check": "2024-03-15 14:30"
}

P: ¿Cómo rompo el CAPTCHA cuando me lo encuentro?
R: Esto pertenece a otro tema. En pocas palabras, puede combinar el proxy dedicado TK de ipipgo (su característica única) para manejar automáticamente los tipos comunes de CAPTCHA.

Por último, me gustaría recordarte que deberías fijarte en la estabilidad a largo plazo del servicio proxy. He usado antes el servicio mensual de 9.9, pero el tiempo medio de supervivencia de la IP era de menos de 5 minutos. Ahora con el paquete empresarial de ipipgo, una sola IP puede ser usada por más de 2 horas, contando que el costo es menor. Se aconseja a los nuevos usuarios que compren su versión estándar dinámica para probar el agua, más de 7 yuanes de tráfico 1G suficiente para ejecutar un pequeño proyecto.