Configuración del tiempo de espera de las peticiones en Python: optimización del rendimiento del rastreador con IP proxy

Lo que no entiendes hasta que te sacan de una web

Cuando aprendí a hacer reptiles, siempre pensé que todo iría bien si el código funcionaba. Hasta que un día recibí un error 403 y me quedé mirando la pantalla."Tus visitas son demasiado frecuentes".Sólo cuando te das cuenta de que el mecanismo anti-escalada de la página web es más sensible de lo que piensas. En este momento simplemente cambiando el User-Agent ya no es bueno, tienes que llegar a una solución más profesional.

La configuración del tiempo de espera es un misterio

Muchos novatos tienden a ignorar el parámetro timeout, y como resultado, sus programas se atascan. Como ejemplo, la forma más segura de usar la librería requests es escribirla de esta manera:

response = requests.get(url, timeout=(3.05, 27))

aquí están3,05 segundoses un tiempo de espera de la conexión.27 segundos.Es un tiempo de espera de lectura. No uses números enteros, un punto decimal evitará conflictos con la configuración horaria de algunos servidores. Si no obtienes respuesta después del tiempo establecido, desconéctate y pasa a la siguiente tarea, no te quedes en el mismo árbol.

La forma correcta de abrir una IP proxy

Las solicitudes de HF independientes son como utilizar la misma llave para abrir una cerradura una y otra vez, tarde o temprano el cerrajero se dará cuenta. Es entonces cuando llega el momento deipipgoEl servicio de proxy dinámico permite que cada solicitud cambie a una "capa" diferente. Su reserva de IP se actualiza con suficiente frecuencia, y puede cambiar automáticamente más de 200 nodos activos por hora.

proxies = {
    'http': 'http://user:pass@gateway.ipipgo.com:9020',
    https: http://user:pass@gateway.ipipgo.com:9020
}
response = requests.get(url, proxies=proxies, timeout=10)

Ajuste del rendimiento Triple Axe

Registro de dificultades reales

Hubo un tiempo en que rastreaba datos públicos del gobierno y establecía un tiempo de espera de 3 segundos. Como resultado, algunas páginas con un montón de campos siempre tiempo de espera, y más tarde se encontró que esApretón de manos SSLTarda demasiado. Establece el tiempo de espera de conexión en 5 segundos, y mantén el tiempo de espera de lectura en 15 segundos, y el problema está resuelto. Este tipo de detalles no se escribirán en el documento oficial, todo es una lección aprendida con sangre y lágrimas.

Botiquín de primeros auxilios QA

P: ¿Por qué sigue bloqueado después de usar un proxy?
R: Verifique la frecuencia de uso de la IP, se recomienda que una sola IP solicite no más de 50 veces por hora. el fondo de ipipgo puede ser configurado para cambiar automáticamente la frecuencia de

P: ¿Cuál es el tiempo de espera adecuado?
A: primero mira la velocidad media de respuesta del sitio, durante la prueba con una línea de base de 10 segundos, la carrera oficial acortado a 70% tiempo

P: ¿Qué debo hacer si mi IP proxy falla de repente?
R: Añade un mecanismo de reintento al módulo de gestión de excepciones, como este:

intentar.
     Código de petición normal
except (Timeout, ProxyError): ipipgo.refresh_ip() Llama a la API para cambiar la IP.
    ipipgo.refresh_ip() llama al API para cambiar la IP.
    logger.warning("Activado mecanismo de fusión")

Diga la verdad.

El rastreo es esencialmente una batalla de ingenio con las operaciones del sitio web. La última vez que usé ipipgo'sgeolocalizaciónFunción, específicamente llamar a la IP de la sala de servidores de Shanghai para coger el foro local, la tasa de éxito se duplica directamente. Su personal técnico también enseñó un truco: el tiempo de espera y la estrategia de conmutación de proxy vinculante, nodos lentos degradan automáticamente, este conjunto de combinaciones hacia abajo, la eficiencia de la colección ha aumentado más de tres veces.