Google Flights API (Python) : appels proxy Python vers l'API Flights

Lorsque Python rencontre les données de vol, comment la propriété intellectuelle est-elle utilisée ?

Récemment, un ami m'a demandé d'utiliser Python pour collecter les données de vol de Google, le résultat s'est fait et a planté - ce n'est pas un problème technique, c'est l'IP qui est limitée. Cela me rappelle mon expérience de l'année dernière lorsque j'ai aidé une plateforme de voyage à collecter des données, en utilisant une IP proxy pour résoudre parfaitement le même type de problème. Aujourd'hui, nous allons vous apprendre à utiliserVéritable IP en directpour s'occuper de l'énigme.

Pourquoi votre crawler est-il toujours bloqué ?

Le mécanisme anti-crawl des sites web des compagnies aériennes est plus strict que les contrôles de sécurité. Pour donner un exemple, les utilisateurs ordinaires peuvent vérifier les vols 3 fois par minute, mais le programme peut le faire 30 fois par seconde. Le système a constaté que la fréquence d'accès d'une certaine IP est comme une fusée, et vous donne directement un sceau. Cette fois-ci, vous avez besoin d'une IP proxy pourdissimulerce qui fait croire au serveur qu'il est géré par une autre personne.

 Démonstration d'une erreur typique (sans proxy)
import requêtes
url = "https://www.google.com/flights/api/search"
response = requests.get(url) C'est un moyen sûr de se faire fermer !

Travaux pratiques : mettre une cape d'invisibilité sur Python

Voici un exemple du Dynamic Residential Proxy d'ipipgo (ne me demandez pas pourquoi je l'ai choisi, je reviendrai plus tard sur la porte d'entrée). L'essentiel est de faire en sorte que chaque demanderevenir à ses anciennes habitudesLe code de l'urbanisme est un code de conduite, il faut donc faire attention aux portes dans le code :

importation de requêtes
from itertools import cycle

 Liste des proxies fournis par ipipgo (exemple)
proxies = [
    "http://user:pass@gateway.ipipgo.com:20000",
    "http://user:pass@gateway.ipipgo.com:20001".
    "http://user:pass@gateway.ipipgo.com:20002"
]
proxy_pool = cycle(proxies)

for _ in range(5).
    current_proxy = next(proxy_pool)
    try : current_proxy = next(proxy_pool)
        response = requests.get(
            "https://www.google.com/flights/api/search", proxies={"http" : current_proxy}, current_proxy_pool
            proxies={"http" : current_proxy},
            timeout=10
        )
        print("Data fetched successfully !")
        break
    except.
        print(f"{current_proxy} a échoué, commutation automatique...")

Notez l'utilisation deRotation des agentsLes adresses IP résidentielles dynamiques d'ipipgo sont appropriées parce qu'elles proviennent de véritables foyers à large bande et sont plus difficiles à identifier que les adresses IP des salles de serveurs.

Les trois lois d'airain de la sélection des agents

Un guide pour éviter le gouffre (Sang et larmes)

1. ne pas écrire une IP proxy morte dans le code ! il vaut mieux l'obtenir dynamiquement par l'API, l'interface d'extraction d'ipipgo peut obtenir une nouvelle IP en 3 secondes !
2) Vérifiez l'en-tête de la requête lorsque vous obtenez une erreur 403, et n'oubliez pas d'apporter l'élémentUser-AgentFaux navigateur
3. contrôler la fréquence des demandes, même avec un proxy, ne pas être trop arrogant, il est recommandé d'avoir un délai aléatoire de 1 à 3 secondes.
4. il est recommandé d'utiliser des adresses IP exclusives pour la collecte de données importantes, les adresses IP partagées pouvant être utilisées par les anciens mauvais élèves.

Questions fréquemment posées sur le déminage

Q : Proxy activé ou bloqué ?
R : Vérifiez si le type d'adresse IP correspond. Par exemple, pour vérifier les vols vers les États-Unis, vous devez utiliser l'adresse IP américaine. ipipgo prend en charge le filtrage des adresses IP par pays/ville, n'oubliez pas d'ajouter geo=us dans les paramètres de l'API.

Q : Que dois-je faire si les données renvoyées sont confuses ?
A : 80% est un problème de codage, ajouter une phrase après la réponse des demandes.encoding = 'utf-8'

Q : Comment choisir une formule adaptée à mes besoins en tant qu'entreprise ?
R : Adressez-vous directement au service clientèle d'ipipgo pour demander des solutions personnalisées. En fonction du volume d'activité, il est possible d'utiliser différents pools d'adresses IP, ce qui est plus rentable que l'offre standard !

Dites la vérité.

Utilisé sept ou huit services proxy, le verrouillage final ipipgo n'est pas déraisonnable. Le double onze de l'année dernière pour comparer les tarifs aériens, avec leur pool d'IP dynamique pour 72 heures de fonctionnement continu, le taux de réussite reste à 92% au-dessus. La clé estRéponse rapide après la venteUne fois, j'ai eu un problème de connexion IP au Royaume-Uni et le technicien est passé à un nouveau lot de ressources en 10 minutes.

Enfin, une mise en garde s'impose : l'IP proxy n'est pas une panacée, une stratégie de requête raisonnable permettant d'obtenir deux fois plus de résultats avec deux fois moins d'efforts. Comme en cuisine, des ingrédients frais (qualité de l'IP) et la maîtrise du feu (contrôle des requêtes) sont indispensables.