Pythonrequests ejemplo: código base de peticiones HTTP

¡Mira aquí si te dedicas a rastrear Python! ¡Proxy IP para evitar el bloqueo!

Recientemente, una gran cantidad de hermanos de recogida de datos se preguntan, ¿por qué su propio rastreador que se ejecuta en la carrera fue bloqueada? Esta es una cuestión de hecho, al igual que el juego para abrir el cuelgue una razón -.La misma solicitud loca IP, sitios web de la gente no bloquea usted bloquea quién?Esta vez necesitas proxy IP como sustituto, hoy tomamos como castaña la librería de peticiones de Python.

solicitudes de importación

proxies = {
    'http': 'http://username:password@gateway.ipipgo.com:9020',
    https: http://username:password@gateway.ipipgo.com:9020
}

response = requests.get('http://目标网站.com', proxies=proxies)
print(respuesta.texto)

Fíjese en un punto clave:El nombre de usuario y la contraseña deben cambiarse por la cuenta que registró en ipipgo.La dirección de su servidor proxy es gateway.ipipgo.com y el número de puerto cambiará dependiendo del paquete. Se recomienda ir directamente a la web oficial para encontrar la última configuración, no te engañes.

Tres tipos de ocultación para IP proxy

Muchos blancos no saben que el agente también se divide en niveles, he aquí una ciencia sencilla:
Agente transparente(el sitio puede ver tu IP real) → Agente general(oculta la IP pero expone la identidad del proxy) ¡ú Agentes High Stash(Sigilo total). Para las orugas hay que usar alijo alto, ¡recomendamos ipipgo!Paquete Diamante, la tasa de detección antitrepa medida puede caer 70%.

Cinco pautas para evitar trampas en el mundo real

1. No seas perezoso con la configuración del tiempo de esperaEl tiempo de espera por defecto para las peticiones no está limitado, por lo que si te encuentras con un proxy laggy, tu aplicación se quedará atascada hasta el final del tiempo.

response = requests.get(url, proxies=proxies, timeout=10)

2. La rotación de PI debe ser aleatoriaNo seas estúpido y usa una IP fija, la API de ipipgo puede obtener dinámicamente un pool de IPs para que cada petición use una nueva IP.

3. No hay que subestimar la gestión de excepciones: Reintenta automáticamente si la conexión falla, pero no te quedes sin salida.

intentar.
    response = requests.get(url, proxies=proxies)
except requests.exceptions.ProxyError: print("El proxy está dando vueltas, prueba con otra IP")
    ProxyError: print("El proxy no funciona, prueba con otra IP")

Caso real: Control de precios en el comercio electrónico

El año pasado, ayudé a un amigo a hacer un sistema de comparación de precios para una empresa de comercio electrónico, y utilicé el paquete Business Edition de ipipgo.500 sondeos IP cada 5 minutos...corrió constantemente durante 3 meses sin ser baneado. Aquí tienes un consejo:Se accede a diferentes páginas de productos con diferentes IP regionaleslo que hace que se parezca más a un usuario real.

Preguntas frecuentes QA

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: Primero verifique el balance de su cuenta, luego utilice la herramienta de prueba en línea provista por ipipgo para medir la disponibilidad de IPs. Se recomienda seleccionar aleatoriamente una IP del pool de IPs antes de cada solicitud.

P: ¿Cómo puedo saber si un agente es un gran alijo?
R: Visite http://httpbin.org/ip, si la IP devuelta no es la misma que su IP real y no hay cabecera X-Forwarded-For, se trata de un verdadero alijo alto

P: ¿Cómo asigno IP a varios rastreadores encendidos al mismo tiempo?
R: Utilice ipipgo'sCanal dedicado multihiloLa dirección IP de cada hilo es independiente de la dirección IP de cada hilo para evitar conflictos de recursos.

Di algo desde el corazón.

Al principio de la utilización de proxies también pisó el hoyo, el peor momento debido a la utilización de proxies libres condujo al servidor fue hackeado. Más tarde, me cambié al servicio profesional de ipipgo y descubrí que.Una IP proxy estable ahorra mucho trabajo.. Especialmente su función de enrutamiento inteligente que selecciona automáticamente el nodo más rápido esto huele bien.

Un último recordatorio para los novatos:No escribas las contraseñas de las cuentas explícitamente en código.Se recomienda el uso de variables de entorno o archivos de configuración, la seguridad en primer lugar. Si todavía no entiende, vaya directamente a la página web oficial de ipipgo servicio técnico al cliente, la velocidad de respuesta que algunas grandes fábricas mucho más rápido.