PythonHTTP Requests: Uso avanzado de la librería Requests

¡Python rastreador está bloqueado IP crack!

dedica a rastrear hierro viejo debe haber experimentado esta escena: el programa funcionaba bien, de repente atascado, un vistazo a la pantalla de registro lleno de 429, 503 errores. En este momento no se apresure a romper el teclado, el ochenta por ciento del sitio de destino para bloquear su IP. Hoy vamos a fastidiar cómo utilizar la biblioteca de solicitudes + proxy IP para romper este predicamento.

Poner una capa de invisibilidad a un reptil

solicitar bibliotecas con agentes es como poner un manto de invisibilidad sobre un programa, con un enfoque en elobjeto de sesiónde la aplicación. Un ejemplo de castaña:

importar peticiones
from itertools import ciclo

 Proxy pool de ipipgo
proxy_pool = ciclo([
    "http://user:pass@gateway.ipipgo.com:8001",
    "http://user:pass@gateway.ipipgo.com:8002"
])

session = requests.Session()
session.proxies = {"http": next(proxy_pool)}

 Envía la petición como de costumbre
response = session.get("https://target-site.com/data")

He aquí una operación de mal gusto: utilizaritertools.cycleConseguí un proxy pool polling, mucho más estable que un proxy individual. proxy de ipipgo con parámetros de autenticación, recuerda reemplazar user y pass por tu propia cuenta.

Los mecanismos de los neumáticos de repuesto son importantes

Incluso los mejores agentes pueden volverse imbéciles. Hay que estar preparado.doble seguro::

Ejemplo de código real:

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry_strategy = Retry(
    retry_strategy = Retry(
    status_forcelist=[429, 500, 502, 503, 504],
    allowed_methods=["GET", "POST"]
)

adapter = HTTPAdapter(max_retries=estrategia_reintentos)
session.mount('http://', adaptador)
session.mount('https://', adaptador)

Este combo reintenta automáticamente las peticiones fallidas con la función de ipipgoClústeres de agentes de alta disponibilidadpuede decir adiós a la molestia de gestionar las excepciones manualmente.

El equilibrio entre velocidad y estabilidad

Algunos hermanos con el fin de perseguir la velocidad de la demora ajustada muy baja, los resultados de error loco. Se recomienda ajustar los parámetros de acuerdo con el escenario de negocios:

• Comparación de productos: tiempo de espera de 3 a 5 segundos.
• Control de la opinión pública: el tiempo de espera puede reducirse a 10 segundos.
• Captura de imágenes: mejor con peticiones asíncronas

La prueba real con ipipgoProxies estáticos de larga duraciónLa tasa de éxito puede ir hasta 98% o más bajo 5 segundos de tiempo de espera, que es mucho más fiable que los proxies baratos.

Guía del principiante para evitar trampas

Tiempo de control de calidad:

P: ¿Qué debo hacer si la velocidad del agente es rápida o lenta?
R: Compruebe si está utilizando un pool de proxy compartido, cambie el ipipgo deLíneas exclusivastener un efecto inmediato

P: ¿Qué debo hacer si mi conexión siempre se interrumpe?
R: Utiliza este comando primero para comprobar si el proxy es suave:

curl -x http://gateway.ipipgo.com:8001 http://httpbin.org/ip

P: ¿Cómo puedo optimizar cuando tengo que gestionar un gran número de solicitudes?
R: On-line thread pool + agente pool doble seguro, recuerde establecer ellímite de velocidadNo hagas caer sus servidores.

the Great Mystery Killers (juego)

Por último, se revela una tecnología oscura: el uso deCambio de ubicación del agenteSuperar las restricciones regionales. Por ejemplo, algunos sitios web son más indulgentes para el acceso al norte, con ipipgo'sAgentes específicos de la ciudadEl acceso "localizado" es fácil de conseguir.

 Especifique la salida de la sala de servidores de Shanghai
custom_proxy = "http://user:pass@sh.node.ipipgo.com:8800"

Esta técnica funciona especialmente bien cuando se hacen comparaciones de datos regionales, lo sabe quien la utiliza.

Al final, el proxy IP jugar 6 o no 6, la clave para mirar el proveedor de servicios fiable o no. Yo uso ipipgo desde hace medio año, y he visto que su casa.Detección de Supervivencia IPresponder cantandoMecanismo de sustitución automáticaDe hecho, salvar el corazón, que antes de que el uso de los faisanes plataforma es demasiado fuerte. Especialmente para el proyecto de rastreo a largo plazo, no hay realmente ninguna necesidad de ahorrar un poco de dinero proxy, el bloqueo de una pérdida de datos IP puede ser mucho más caro que la cuota de proxy.