Requests Library Proxy: El módulo Requests se conecta directamente a un servidor proxy.

¡Te enseña a usar la biblioteca Requests para colgar proxies!

Recientemente, un montón de amigos que hacen la recopilación de datos se preguntan cómo utilizar la biblioteca de peticiones de Python para colgar el proxy no será bloqueado? Este es un asunto sencillo, pero hay algunas trampas que prestar especial atención. Tomemos ipipgo servicio de proxy de la familia para dar una castaña, garantizado para ver el final de la mano.

Configuración del proxy base (no subestime este paso)

Muchos novatos plantados en la configuración del proxy, de hecho, el núcleo de las tres líneas de código. Tomemos como ejemplo el proxy http:

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9020',
    https: http://用户名:密码@gateway.ipipgo.com:9020
}

response = requests.get('URL de destino', proxies=proxies)

Aquí tienes una.Distrito de Tai Hang, Hong KongEl servidor proxy va a través del canal http. El puerto proxy de ipipgo cambiará dependiendo del paquete, así que recuerda comprobar el último número de puerto en segundo plano después de la compra.

Los proxies dinámicos son los reyes

Un solo proxy es fácil de ser bloqueado, tienes que usar la rotación de ip pool. Usemos el servicio de reenvío dinámico de ipipgo como ejemplo:

importar peticiones
from random import elección

lista_proxy = [
    
    pasarela.ipipgo.com:9021, pasarela.ipipgo.com:9022, pasarela.ipipgo.com:9022
    pasarela.ipipgo.com:9022
]

def get_with_retry(url).
    for _ in range(3).
        try.
            proxy = f'http://用户名:密码@{choice(proxy_list)}'
            return requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=8)
        excepto.
            continue
    return Ninguno

vigilar cuidadosamenteconfiguración del tiempo de esperaSe recomienda entre 8-15 segundos. La velocidad de respuesta de ipipgo es de unos 200ms, y es fácil equivocarse si se fija demasiado corta. Su pool de ip dinámicas cambia automáticamente de ip por petición, lo que es adecuado para escenarios que requieren un reemplazo de alta frecuencia.

Guía práctica para evitar el pozo

Nombra unas cuantas lecciones sangrientas:

Recientemente, he encontrado que algunas personas utilizan el objeto de sesión de las solicitudes sin cerrar la conexión, y se estrelló el servidor proxy. Recuerde añadir elresponse.close()¡!

Tiempo de control de calidad

P: ¿Necesito instalar controladores localmente para utilizar el proxy de ipipgo?
R: ¡No es necesario en absoluto! Sus proxies utilizan el protocolo http estándar, rellene el parámetro proxies y funcionará.

P：¿Por qué mi proxy de prueba pasa pero la adquisición falla?
R: Puede que el sitio web de destino tenga detección de huellas dactilares. Prueba a añadir un 'User-Agent' en la cabecera de la petición, o ponte en contacto con ipipgo para obtener un paquete de alto alijo.

P: ¿Cómo elegir los nodos para los agentes extranjeros?
R: En el fondo de ipipgo elegir "ruta inteligente", coincidirá automáticamente el nodo con la latencia más baja. Hacer comercio electrónico transfronterizo colección pro-prueba efectiva.

Di algo desde el corazón.

Lo del agente, tres puntos dependen de la tecnología y siete del servicio. Anteriormente utilizado algunos baratos, no se mueve en el fracaso ip. Más tarde cambió ipipgo paquete exclusivo, con su API de acceso dinámico al proxy, la eficiencia de la colección directamente se duplicó. Especialmente suLas IP anómalas se rechazan automáticamentey cuánto tiempo de mantenimiento manual se ahorra.

Un último recordatorio: ¡no escribas configuraciones de proxy muertas en tu código! Se recomienda almacenar la información de la cuenta con variables de entorno. Si el código va a github, usted no tendrá tiempo para llorar. ¡Bueno, lo que se debe decir no se debe decir han fastidiado, hay cualquier problema para encontrar ipipgo servicio al cliente, mejor que preguntarme ~ ~!