urllib set proxy ip: Python urllib library add proxy ip solution

Te enseña cómo colgar un proxy con urllib.

Crawler hermano debe entender, a veces el sitio anti-escalada demasiado feroz, directamente con su propia IP dura sólo unos minutos para ser bloqueado. Esta vez es necesario encontrar un intermediario para ayudar a pasar el mensaje - es decir, la IP proxy. una castaña, como usted va a comprar té con leche no quieren hacer cola, en busca de chicos de los recados para comprar en nombre de la misma.

urllib viene con un ProxyHandler de hecho, el ladrón es bueno para usar, pero muchos tutoriales están escritos como un libro. Vamos a algunos reales de hoy, directamente en el código. Tenga en cuenta que hay un pozo aquí:Después de crear el objeto abridor con urllib.request.build_opener(), recuerda registrar el global con install_opener()De lo contrario, es posible que los ajustes no surtan efecto.

importar urllib.request

 Sustituya esto por la IP y el puerto del proxy proporcionados por ipipgo
proxy = 'http://用户名:密码@proxyIP:puerto'

proxy_handler = urllib.request.ProxyHandler({
    'http': proxy
    'https': proxy
})

opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(abridor)

 Prueba la petición
response = urllib.request.urlopen('http://httpbin.org/ip')
print(response.read().decode())

¿Cómo se elige exactamente una IP proxy?

Hay todo tipo de agentes en el mercado, así que aquí va un resumen para los hermanos:

Lo más importante que debe recordar es que si no está utilizando una dirección IP, podrá utilizar la API para extraer dinámicamente una dirección IP a partir de la dirección IP.

Control de calidad de escenas de vuelco comunes

P: ¿El código se ejecuta pero el agente no funciona?

R: Primero comprueba si el formato del proxy es correcto, especialmente cuando se trata de la contraseña de la cuenta. ¡Se recomienda utilizar el sitio de prueba httpbin.org/ip para verificar primero!

P: ¿Cómo puedo saber si he elegido el tipo de agente adecuado?

¡R: usted necesita un alto alijo de proxies residenciales, un gran número de elección barata de los centros de datos. ipipgo servicio al cliente puede dar soluciones personalizadas, directamente a ellos para probar IP probar!

P: ¿Qué debo hacer si el agente deja de conectarse de repente?

R: Primero, mira si la IP está caducada, los proxy dinámicos generalmente tienen tiempo de supervivencia. Se recomienda añadir un mecanismo de reintento de excepción en el código para cambiar automáticamente a una nueva IP.

Di algo desde el corazón.

He utilizado siete u ocho proveedores de servicios proxy, y he utilizado ipipgo durante mucho tiempo, principalmente porque quiero ahorrarme la mente. Su cliente es realmente no soplar, la gente blanca puede empezar en tres minutos. Céntrate en tres funciones prácticas:

1. ApoyoFiltrar IPs por regiónEs una gran idea hacer una recogida de datos localizada.

2. Los paquetes de tráfico pueden suspenderse en cualquier momentoA diferencia de algunas plataformas donde es un desperdicio si lo compras y no lo usas

3. Cuando se encuentran con problemas técnicos para encontrar el servicio al cliente, la velocidad de respuesta es más rápido que el chico de la entrega

Por último, un recordatorio para los novatos: proxy IP no es una panacea, la clave es trabajar con una frecuencia de solicitud razonable. No creas que colgando un proxy puedes hacer lo que quieras, el sitio no es tonto. Controlar el número de concurrencia, junto con el tiempo de inactividad al azar, es la solución a largo plazo.