Adquisición y uso de IP proxy en Python: ejemplos de código y tutoriales de configuración

Te enseñamos a jugar con proxy IP con Python

La recopilación de datos debe participar en el hierro viejo debe entender que muchos sitios se añaden ahora al mecanismo anti-escalada. La semana pasada, ayudé a un amigo para conseguir un monitoreo de precios de comercio electrónico, con su propia banda ancha, incluso subió durante tres días, los resultados fueron bloqueados directamente IP, banda ancha no puede ir en Internet. Esta vez a pensar en el proxy IP, hoy para darle toda la mercancía seca.

¿Qué puede hacer realmente una IP proxy?

En pocas palabras.cambia tu armadura y conéctate. Por ejemplo, si desea registrar cuentas a granel para probar la función, utilizando la misma IP es seguro que será el control del viento. En este momento a través de la rotación de IP proxy, cada operación es como una persona diferente está utilizando. Otro ejemplo es hacer la comparación de precios de comercio electrónico transfronterizo, es necesario simular los diferentes países que visitan los usuarios, la IP proxy será capaz de manejar las restricciones geográficas.

Adquisición de IP por proxy en el mundo real

Aquí tomar el paquete residencial dinámico de ipipgo como una castaña, su familia API de acoplamiento es particularmente conveniente. En primer lugar, registrar una cuenta para obtener la clave de autorización, prestar atención al nodo de protocolo HTTP. Aquí hay un pozo a tener en cuenta: algunas plataformas devuelven el formato "host:port", ipipgo directamente al enlace proxy completo.

solicitudes de importación

def get_proxy(): api_url = "
    api_url = "https://api.ipipgo.com/getproxy?key=你的密钥"
    resp = requests.get(api_url).json()
    return f "http://{resp['ip']}:{resp['port']}"

 Comprueba si el proxy funciona
proxy = get_proxy()
probar.
    test_resp = requests.get('http://httpbin.org/ip', proxies={'http': proxy})
    print(f "La IP actual ha cambiado a: {test_resp.json()['origen']}")
except Exception as e.
    print("Falló la conexión proxy, mensaje de error: ", str(e))

Errores comunes en la configuración

1. Ajustes de tiempo de espera: recomendado 30 segundos de tiempo de espera total, 10 segundos de tiempo de espera de conexión.
2. Autenticación de agentes: algunos agentes requieren una contraseña de cuenta con el formatohttp://user:pass@ip:puerto
¡3. coincidencia de protocolo: subir https sitio pero configurado http proxy, este error de bajo nivel que he visto novatos cometen a menudo!

Consejos para un uso prolongado

Se recomienda utilizar una solución de agrupación de proxy para almacenar las IPs adquiridas en Redis y obtenerlas aleatoriamente cada vez. Esta es una versión simple de la implementación:

from redis import Redis
import random

r = Redis(host='localhost', port=6379)

 Rellenar proxies a intervalos regulares
def rellenar_proxies():
    new_proxies = [get_proxy() for _ in range(10)]
    r.sadd('proxy_pool', new_proxies)

 Uso de proxies
def get_random_proxy():
    return random.choice(r.smembers('proxy_pool'))

Botiquín de primeros auxilios QA

P: ¿Qué debo hacer si el agente deja de conectarse de repente?
R: Primero revise el balance de la cuenta, y luego pruebe la red local. La disponibilidad promedio del proxy de ipipgo es de 92% o más, si hay fallas frecuentes se recomienda cambiar a una IP residencial estática.

P: ¿Y si tengo que procesar un gran número de solicitudes al mismo tiempo?
R: con la biblioteca de peticiones asíncronas con proxy pool, aiohttp + asyncio combinación de medida puede funcionar a 500 + peticiones por segundo. ¡Recuerde establecer el número de concurrencia no es demasiado alto, se recomienda controlar dentro de 50 hilos!

¿Por qué ipipgo?

Después de utilizar siete u ocho proveedores de proxy, la razón por la que acabé quedándome con ipipgo a largo plazo son tres palabras:Firme, rápido y económicoLa recopilación de datos TikTok es muy bueno. Su línea de TK para hacer la recopilación de datos TikTok es particularmente potente, a diferencia de algunas plataformas siempre saltar CAPTCHA. El precio también es transparente, los recién llegados se recomienda comprar la versión estándar residencial dinámico, más de 7 yuanes 1G flujo suficiente para probar.

Consulte aquí una comparación de los tipos de envases:

Residencial dinámico (estándar)para desarrolladores individuales, 7,67 $/GB
Residencial dinámico (empresa): con acceso prioritario a la API, 9,47 $/GB
Viviendas estáticasEspecial para escenas IP fijas, 35 $/unidad

Por último, una palabra molesta, con un proxy IP no es una panacea, o con el control de la frecuencia de solicitud, solicitud de aleatorización encabezado de estos medios. Una vez que me olvidé de establecer el retraso, incluso con el proxy o por el sitio de destino identificado, no podemos hacer que este error de bajo nivel ah.