Python Requests: Uso avanzado de la biblioteca Requests

Solicita la instalación de agentes de biblioteca

Cuando usamos Python para hacer recolección de datos, a menudo nos encontramos con la situación de anti-crawl de sitios web. En este momento la IP proxy es un salvavidas. Tome un escenario real: desea capturar el precio de una plataforma de comercio electrónico, decenas de visitas consecutivas después de la IP está bloqueada. En este momento en la solicitud de peticiones más parámetros de proxy, inmediatamente puede ser resucitado.

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@proxy.ipipgo.com:端口',
    https: http://用户名:密码@proxy.ipipgo.com:端口
}

resp = requests.get('https://目标网站.com', proxies=proxies)

recordatorio clave: Presta especial atención al nombre de usuario y a la contraseña en el formato proxy, ¡muchos novatos lo pasarán por alto!http://Prefijo. Si utiliza el proxy privado de ipipgo, recuerde que debe generar información de autenticación exclusiva en el fondo, su tiempo de supervivencia IP dinámica que otros padres, medido para ser capaz de utilizar más de 2-3 horas.

Proxy Pool Dinámico Consejos y trucos

Una sola IP proxy es fácil de ser identificada, tenemos que conseguir un pool de proxys para rotar. Aquí hay un truco - usa el objeto Session para mantener la sesión, mientras cambias de proxy aleatoriamente. Mira este código:

from requests.sessions import Sesión
importar random

clase SmartSession(Session).
    def __init__(self, proxy_list): super().
        __init__(self, proxy_list): super(). __init__()
        self.proxy_pool = proxy_list Aquí es donde pones los múltiples proxies proporcionados por ipipgo.

    def request(self, method, url, kwargs): super(. __init__().
        kwargs['proxies'] = {'http': random.choice(self.proxy_pool)}
        return super().request(method, url, kwargs)

 Ejemplo de uso
lista_proxy = [
    'http://ipipgo_user1:pass123@111.222.33.44:8000',
    'http://ipipgo_user1:pass123@112.113.114.115:8000'
]
smart = SmartSession(lista_de_proxy)
response = smart.get('https://需要采集的网站')

De esta manera, cada petición seleccionará aleatoriamente un proxy, el sistema de control de viento del sitio será difícil de identificar. Se recomienda usar el proxy residencial dinámico de ipipgo, su pool de IPs se actualiza cada día con más de 200.000 direcciones, y la tasa de bloqueo está personalmente probada que es un 60% menor que la de las IPs ordinarias de la sala de servidores.

Excepción de agente que gestiona tres ejes

El mayor dolor de cabeza con el proxy es una variedad de errores de conexión, aquí para enseñarle tres manera segura:

1. Mecanismo de reintento con tiempo límite

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry_strategy = Retry(
    retry_strategy = Retry(
    backoff_factor=1, status_forcelist=[500, 502
    status_forcelist=[500, 502, 503]]
)

adapter = HTTPAdapter(max_retries=estrategia_reintentos)
session = requests.Session()
session.mount('https://', adaptador)

2. Validación de proxy

Haga ping al servidor proxy antes de cada uso para evitar enviar peticiones con proxies muertos. La API de ipipgo puede comprobar directamente el tráfico restante y el estado de la IP, lo que es mucho más rápido que los métodos tradicionales.

3. Registro de excepciones

Se recomienda envolver el código de la petición con un bloque try-except y anotar las IPs proxy que están fuera de servicio. ipipgo dispone de un panel de monitorización en tiempo real en segundo plano para ver directamente qué nodos proxy están tardando en responder, por lo que es conveniente reemplazarlos a tiempo.

Respuestas prácticas de control de calidad

P：¿La configuración del proxy es correcta pero la solicitud sigue bloqueada por el sitio web?
R: 80% esta usando proxy transparente de baja calidad, cambie a proxy de alta stash de ipipgo, recuerde revisar si el campo X-Forwarded-For en la cabecera de la peticion expone la IP real.

P: ¿Qué debo hacer si el agente es especialmente lento?
R: Primero prueba la velocidad para seleccionar nodos, el cliente ipipgo viene con una función de prueba de retardo. Si utiliza un proxy HTTP, puede activar la transmisión de solicitudes:stream=Verdaderoaumenta la velocidad de descarga de archivos grandes.

P: ¿Y si necesito utilizar agentes nacionales y extranjeros?
R: Especifique los protocolos en el diccionario de proxies, por ejemplo, proxies http en China y proxies https en el extranjero. ipipgo admite el filtrado de nodos por geografía, que se añade directamente a los parámetros de la API.país=nosotrosSerá capaz de sacar IPs de EEUU.

Juego avanzado: Optimización del rendimiento de los agentes

Comparta un truco aplastante para los controladores veteranos: aumente el rendimiento con la agrupación de conexiones. Combinado con el paquete Enterprise Proxy de ipipgo, el rendimiento concurrente medido se multiplica por 4:

from requests.packages.urllib3.util.ssl_ import crear_contexto_urllib3

 Contexto SSL personalizado
ctx = crear_contexto_urllib3()
ctx.load_default_certs()

 Crear una sesión con agrupación de conexiones
session = requests.Session()
adaptador = requests.adapters.HTTPAdapter(
    adaptador = requests.adapters.HTTPAdapter( pool_connections=50, pool_maxsize=100
    pool_maxsize=100, max_retries=3
    max_reintentos=3
)
session.mount('https://', adaptador)

Después de esta configuración, las peticiones reutilizarán la conexión TCP, lo que es especialmente adecuado para los escenarios que requieren peticiones de alta frecuencia. Recuerde activar el "Modo de Conexión Larga" en segundo plano ipipgo, su servidor proxy soporta keep-alive, lo que ahorra 30% tiempo de handshake en comparación con el proxy normal.

Por último, no se fije sólo en el precio a la hora de elegir un servicio proxy. Como ipipgo con tecnología de enrutamiento inteligente, puede seleccionar automáticamente la línea óptima. La última vez que hice un análisis de la competencia, su velocidad de respuesta nodo asiático puede ser estable dentro de 80ms, más de dos veces más rápido que las marcas de segundo nivel.