Configuración de autenticación de la biblioteca de peticiones Python Tutorial completo

Prácticas con peticiones Python para la configuración de IP proxy

Aquellos de ustedes que se dedican a las solicitudes web debe haber encontrado la situación de tener su IP bloqueada por el sitio web de destino, ¿verdad? Esta vez necesitas una IP proxy para salvar el día. Hoy tomaremos la librería Python Requests para enseñaros a configurar la IP proxy de forma clara. Presta atención a los puntos clave, especialmente la parte de configuración de autenticación, muchos tutoriales no cuentan toda la historia.

Configuración básica: poner un chaleco a las solicitudes

Empecemos con un trozo de código útil y guardemos esta plantilla a continuación:

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9021',
    https: http://用户名:密码@gateway.ipipgo.com:9021
}

response = requests.get('URL de destino', proxies=proxies, timeout=10)

Aquí tienes una nota.El nombre de usuario y la contraseña deben ser exactamente los mismos que le proporcionó el proveedor de servicios proxy.El nombre de usuario de ipipgo suele tener el formato "business code_random character", no te lo inventes. Ese puerto 9021 es el puerto especial para su proxy residencial dinámico, no lo uses mal.

Las cinco trampas del fracaso de la certificación

Los recién llegados son los más propensos a caer en la configuración de autenticación, aquí hay algunos campos de minas comunes:

Consejos prácticos: Mantener a los agentes firmes como perros viejos

Recomendado para ipipgoAgentes Residenciales DinámicosLa empresa tiene una característica única: el cambio automático de IP por solicitud, que es fácil de configurar:

from requests.auth import HTTPProxyAuth

auth = HTTPProxyAuth('código de negocio', 'clave dinámica')
response = requests.get(url, proxies=proxies, auth=auth)

Esta clave dinámica está disponible en tiempo real en el backend de ipipgo y es mucho más segura que una contraseña fija. Recuerde configurarNo sobrepases el parámetro de tiempo de espera en más de 15 segundos.Si el sitio web responde con lentitud, debe darse por vencido y pasar a la siguiente IP.

Tiempo de control de calidad: imprescindible para los novatos

P: ¿Qué debo hacer si el agente falla de repente?
¡R: primero haga ping a gateway.ipipgo.com para ver si la red pasa o no, y luego con la prueba de solicitud de autenticación no, si el retorno 407 que el proxy en sí no es un problema!

P: ¿Cómo puedo aumentar la velocidad de solicitud?
A：把请求头里的Accept-Encoding改成gzip，能压缩传输数据。ipipgo的BGP线路本身就低，别自己瞎优化

P: ¿Qué debo hacer si encuentro un CAPTCHA en un sitio web?
¡R: Significa que la IP actual esta marcada, cambie inmediatamente de IP. el pool de trafico de ipipgo tiene millones de reservas de IP, cambie los parametros de la region para volver a solicitar en la linea!

P: ¿Ha fallado la solicitud del sitio web HTTPS?
R: Cambie el protocolo del proxy de http a https, o en el proxy socks5. El puerto socks5 de ipipgo es 9011, recuerde cambiar el método de autenticación.

Actualización: Gestión automatizada de agentes

Una operación de mal gusto para los veteranos: gestionar proxies con objetos de sesión:

session = requests.Session()
session.proxies.update(proxies)
session.auth = HTTPProxyAuth('código de negocio', 'clave dinámica')

 Todas las peticiones subsiguientes son proxyadas automáticamente
response1 = session.get('url1')
response2 = session.post('url2')

Esto no sólo reutiliza las conexiones TCP, sino que también gestiona las cookies automáticamente. con ipipgo'spaquete de facturación por cantidadeshacer proyectos de rastreo puede ahorrar mucha plata.

Finalmente recordar, elegir el proveedor de servicios proxy para mirar tres puntos: tamaño de la piscina IP, soporte de protocolo de autenticación, velocidad de respuesta. Como ipipgo este soporte http/https/socks5 todos los protocolos, pero también tiene una herramienta de cliente dedicado, con un ahorro realmente. También recientemente salió con unFunción de enrutamiento inteligentePuede seleccionar automáticamente el nodo de acceso más rápido, así que puedes probarlo si necesitas alta concurrencia.