Expedia Crawler : Extraction de données de voyage

Pourquoi dois-je utiliser une adresse IP proxy pour recueillir des données sur les déplacements ?

搞旅游数据抓取的兄弟们应该都懂，Expedia这种大平台的反爬机制就跟安检似的，逮着可疑流量就往死里封。上个月我亲眼见着个新手，用自己家宽带连着抓了俩小时，结果IP直接被拉黑名单，连正常订酒店都受影响。

C'est alors qu'il est temps dePool d'IP ProxyLa première chose à faire est de mettre la main sur une nouvelle carte, et vous pourrez le faire. La première chose à faire est de faire la queue à un endroit touristique populaire, et vous pouvez facilement être la cible de vendeurs à la sauvette, mais si vous pouvez changer votre carte d'identité à tout moment pour entrer, n'est-ce pas beaucoup plus stable ? Le Dynamic Residential Proxy d'ipipgo est justement là pour ça, avec de vraies IP résidentielles dans plus de 200 pays à travers le monde, et sans crainte d'être bloqué à la moindre occasion.

Expérience pratique avec un crawler d'Expedia.

Commençons par un exemple de code réel, en utilisant la bibliothèque de requêtes de Python. Il n'y a que trois points clés :En-tête UA aléatoireetintervalle de demandeetRotation des agents.

importation de requêtes
from itertools import cycle
import time
import random

 Liste des proxies du backend ipipgo
proxies = [
    "http://user:pass@gateway.ipipgo.com:8000",
    "http://user:pass@gateway.ipipgo.com:8001".
     ... Plus de nœuds de proxy
]
proxy_pool = cycle(proxies)

headers_list = [
    {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36'},
    {'User-Agent' : 'Mozilla/5.0 (Macintosh ; Intel Mac OS X 10_15_7)'}, ...
     ... Préparer 10+ UA
]

def scrape_hotel(url).
    try.
        proxy = next(proxy_pool)
        headers = random.choice(headers_list)
        response = requests.get(url,
                              proxies={"http" : proxy, "https" : proxy},
                              headers=headers,
                              timeout=15)
         Traitement des données de la réponse...
        time.sleep(random.uniform(2,5)) Attente aléatoire de l'anti-régularité
    except Exception as e.
        print(f "Erreur de crawl : {e}, passage au proxy suivant")

Notez qu'il y a deux nids-de-poule ici :N'utilisez pas de proxy de centre de données(facilement reconnaissable).Doit changer d'UA pour chaque demande. J'ai déjà testé cela auparavant, en utilisant le proxy résidentiel d'ipipgo + cette configuration, et cela a fonctionné pendant trois jours sans déclencher le captcha.

Guide de sélection de la propriété intellectuelle par procuration pour éviter les pièges

C'est là que le bât blesse.maintien de la sessionCertaines API d'Expedia veulent prendre des cookies, vous devez donc utiliser l'API d'ipipgo.Fonction de liaison de sessionSi vous le faites, assurez-vous d'utiliser la même adresse IP de sortie pour l'ensemble du cycle de la session, sinon vous devrez changer d'authentification en quelques minutes.

Questions fréquemment posées QA

Q : Que puis-je faire pour remédier à la lenteur de la vitesse IP du proxy ?
R : La priorité est donnée aux nœuds géographiquement proches, comme le nœud de Chicago de l'ipipgo pour la capture des données nord-américaines. Si le délai est supérieur à 2 secondes, il est recommandé de mettre en place un mécanisme de réessai dans le code.

Q : Pourquoi suis-je toujours bloqué après avoir utilisé un proxy ?
R : Vérifiez trois points : 1. l'en-tête de la requête avec ou sans paramètres de cookies 2. s'il y a une opération répétée à haute fréquence 3. la pureté de l'IP du proxy. Vous pouvez utiliser l'interface de détection d'ipipgo pour tester le premier point en direct.

Q : Comment puis-je casser le captcha d'Expedia ?
R : Ne soyez pas trop dur, abandonnez simplement le proxy actuel lorsque vous rencontrez le CAPTCHA. Le pool de proxies d'ipipgo est le suivantMécanisme automatique de suppression progressivel'adresse IP signalée sera temporairement mise hors ligne.

Dites la vérité.

Enfin, il convient de rappeler que les données de capture ne doivent jamaisNe vous engagez pas plus que vous ne pouvez le faire.. J'ai vu des gens ouvrir 50 fils de discussion et les détester tellement qu'ils finissaient par bloquer tout le segment ASN. La solution à long terme consiste à fixer un taux raisonnable (1 à 3 fois/minute est recommandé) et à utiliser le routage intelligent d'ipipgo. Après tout, ce que nous voulons, ce sont des données, et non pas rivaliser avec l'équipe de sécurité de la plateforme, n'est-ce pas ?