API de Google Flights (Python): llamadas proxy de Python a la API de vuelos

Cuando Python se encuentra con datos de vuelo, ¿cómo funciona el proxy IP?

Recientemente un amigo me pidió que usara Python para capturar datos de vuelos de Google, el resultado lo hizo y se estrelló - no es un problema técnico, es que la IP es limitada. Esto me recuerda a mi experiencia del año pasado cuando ayudé a una plataforma de viajes a hacer captura de datos, utilizando IP proxy para resolver perfectamente el mismo tipo de problema. Hoy, vamos a enseñar cómo utilizarIP real en directopara ocuparse del rompecabezas.

¿Por qué se bloquea siempre su rastreador?

El mecanismo anti rastreo de los sitios web de las compañías aéreas es más estricto que los controles de seguridad. Por dar una castaña, los usuarios normales pueden comprobar los vuelos 3 veces por minuto, pero el programa puede hacerlo 30 veces por segundo. El sistema ha descubierto que la frecuencia de acceso de una determinada IP es como un cohete, y directamente le pone un sello. Esta vez necesitas una IP proxy paraencubrirhaciendo creer al servidor que está siendo operado por una persona diferente.

 Demostración de error típica (sin proxy)
importar peticiones
url = "https://www.google.com/flights/api/search"
response = requests.get(url) ¡Esta es una forma segura de que te cierren!

Práctica: Poner un manto de invisibilidad a Python

Aquí tienes un ejemplo del Proxy Residencial Dinámico de ipipgo (no me preguntes por qué lo he elegido, luego hablaré del portal). La clave es hacer que cada peticiónvolver a las andadasPresta atención a las puertas del código:

importar peticiones
from itertools import ciclo

 Lista de proxies proporcionados por ipipgo (ejemplo)
proxies = [
    "http://user:pass@gateway.ipipgo.com:20000",
    "http://user:pass@gateway.ipipgo.com:20001".
    "http://user:pass@gateway.ipipgo.com:20002"
]
proxy_pool = cycle(proxies)

para _ en rango(5).
    proxy_actual = siguiente(proxy_pool)
    proxy_actual = siguiente(proxy_pool)
        respuesta = requests.get(
            "https://www.google.com/flights/api/search", proxies={"http": proxy_actual}, proxy_actual_pool
            proxies={"http": proxy_actual},
            timeout=10
        )
        print("¡Datos obtenidos correctamente!")
        break
    except.
        print(f"{proxy_actual} ha fallado, cambio automático...")

Obsérvese el uso deRotación de agentesEl mecanismo es como librar una guerra de guerrillas, cambiando de posición con cada solicitud. Las IP residenciales dinámicas de ipipgo son apropiadas porque proceden de la banda ancha doméstica real y son más difíciles de identificar que las IP de las salas de servidores.

Las tres leyes de hierro de la selección de agentes

Guía para evitar la fosa (Sangre y lágrimas)

1. ¡No escribas una IP proxy muerta en el código! Es mejor obtenerla dinámicamente a través de la API, ¡la interfaz de extracción de ipipgo puede obtener una IP fresca en 3 segundos!
2. Compruebe el encabezado de la solicitud cuando obtenga un error 403, y recuerde traer elUsuario-AgenteNavegador falso
3. Controle la frecuencia de las peticiones, incluso con un proxy, no sea demasiado arrogante, se recomienda un retraso aleatorio de 1-3 segundos
4. Importante recopilación de datos se recomienda el uso de IP exclusiva, compartida piscina IP puede ser jugado por el anterior mal

Preguntas frecuentes sobre el desminado

P: ¿Proxy configurado o bloqueado?
R: Comprueba si el tipo de IP coincide, por ejemplo, para comprobar los vuelos de EE.UU., necesitas utilizar la IP de EE.UU. ipipgo soporta el filtrado de IPs por país/ciudad, recuerda añadir geo=us en los parámetros de la API.

P: ¿Qué debo hacer si los datos devueltos son confusos?
R: El 80% es un problema de codificación, añada una frase después de la respuesta de las peticiones.encoding = 'utf-8'

P: ¿Cómo elijo un paquete para mis necesidades de nivel empresarial?
R: Diríjase directamente al servicio de atención al cliente de ipipgo para solicitar soluciones personalizadas, pueden según el volumen de negocio con diferentes IP pools, ¡más rentables que el paquete estándar!

Diga la verdad.

Utilizado siete u ocho servicios de proxy, el bloqueo final ipipgo no es irrazonable. El año pasado doble once para hacer la comparación de tarifas aéreas, con su piscina IP dinámica durante 72 horas de funcionamiento continuo, la tasa de éxito se mantiene en 92% arriba. La clave esRápida respuesta postventaUna vez tuve un problema de conexión IP en el Reino Unido y el técnico cambió a un nuevo lote de recursos en 10 minutos.

Por último, una advertencia: el proxy IP no es la panacea, con una estrategia de peticiones razonable se puede obtener el doble de resultado con la mitad de esfuerzo. Al igual que en la cocina, son indispensables ingredientes frescos (calidad de la IP) y dominar el fuego (control de las peticiones).