Ensemble de données Airbnb : une ressource pour les données sur les chambres d'hôtes

Les pièges de la saisie de données par B&B

Récemment, de nombreux amis qui exploitent des chambres d'hôtes m'ont contacté pour se plaindre, en disant qu'ils voulaient analyser les données des annonces sur Airbnb, et qu'en conséquence, juste après avoir saisi quelques pages, leurs IP étaient bloquées, ce qui est quelque chose que je connais trop bien, et j'ai eu des problèmes l'année dernière lorsque j'ai aidé une chaîne d'hôtels à faire une analyse concurrentielle. À l'époque, j'ai utilisé le réseau de mon bureau pour capturer les données, les 200 premiers articles étaient corrects, mais soudain le CAPTCHA a sauté, et après une demi-heure, l'IP s'est retrouvée directement dans la liste noire.

On a découvert par la suite que le mécanisme anti-crawl de la plateforme était plus sophistiqué que prévu.beaucoup plus intelligent.. Ils ne se contentent pas de regarder la fréquence des visites, ils vérifient :

1. si l'en-tête de la requête ressemble à un véritable navigateur
2. s'il y a une irrégularité dans l'intervalle entre les clics, comme dans le cas d'une opération humaine.
3. si la localisation géographique de l'adresse IP correspond à celle du B&B.

Comment les adresses IP proxy sont devenues une arme magique pour la collecte de données

Un cas concret doit être mentionné ici. J'ai un stagiaire qui effectue une analyse des prix des chambres d'hôtes à Chengdu et qui doit surveiller en temps réel les données relatives aux inscriptions à Sanya. En utilisant une adresse IP locale, il a vérifié trois fois et déclenché le contrôle du vent, puis il a changé l'adresse IP de Sanya en temps réel.ipipgod'adresses IP résidentielles dynamiques, simulant avec succès le comportement de navigation des visiteurs réels.

Focus sur les merveilles des IP résidentielles dynamiques. CommeipipgoLe pool de rotation change automatiquement d'adresse IP pour chaque demande, ce qui est particulièrement adapté aux scénarios qui nécessitent une comparaison de données multirégionales. Par exemple, si vous saisissez simultanément les prix des chambres d'hôtes dans le deuxième et le cinquième périphérique de Pékin et que vous les visitez avec des adresses IP de différentes régions, la plateforme les considérera comme du trafic naturel.

Apprendre à utiliser un proxy IP pour récupérer des données

Voici un exemple concret en Python (ne vous souciez pas de le lire, suivez-le) :

demandes d'importation
à partir d'un choix d'importation aléatoire

 Pool de proxys de ipipgo
proxies = [
    "http://user:pass@23.88.12.34:8888",
    "http://user:pass@45.67.89.12:8888".
     Ici, il est recommandé d'avoir au moins 50 adresses IP.
]

url = "https://www.airbnb.cn/room/123456"

for _ in range(100) :
    try : resp = requests.get(url, url)
        resp = requests.get(url,
            proxies={"http" : choice(proxies)}, headers={"User-Agent" : "Mozilla 5.0.
            headers={"User-Agent" : "Mozilla/5.0 (Windows NT 10.0)..."}
        )
        print(resp.text[:200]) Imprime les 200 premiers caractères pour voir si l'opération a réussi.
    except Exception as e.
        print("Réessayer avec une adresse IP différente :", e)

Il y a trois points essentiels :① Le pool d'adresses IP doit être suffisamment important ② Les adresses IP sont choisies au hasard ③ Le camouflage de l'en-tête de la requête. Lorsque vous utilisez le service d'ipipgo, n'oubliez pas que son API prend en charge le remplacement automatique de l'IP des points d'extrémité, ce qui représente beaucoup moins de travail que de maintenir vous-même un pool de serveurs mandataires.

Cinq questions fréquemment posées par les Blancs

Q1 : Pourquoi une IP résidentielle est-elle nécessaire ?
R : Les plateformes de B&B sont particulièrement sensibles aux adresses IP des centres de données, et les adresses IP résidentielles ressemblent à de vrais touristes, comme si porter un masque à une mascarade était plus naturel qu'autre chose.

Q2 : Quel est le volume de propriété intellectuelle nécessaire par jour ?
R : Examinez la fréquence de la collecte. Il est recommandé que chaque IP ne dépasse pas 30 requêtes par heure, et si vous voulez collecter 1 000 données, il est plus sûr de préparer 50 IP.

Q3 : Que dois-je faire si je rencontre un CAPTCHA ?
R : Arrêtez immédiatement la demande d'IP en cours, passez à une nouvelle IP et réduisez la fréquence. Le paquet ipipgo avec la fonction de commutation automatique permet d'économiser beaucoup de choses.

Q4 : Le scraping de données est-il légal ?
R : Tant que la vie privée de l'utilisateur n'est pas en jeu, la simple collecte d'informations sur les listes publiques constitue une analyse concurrentielle légitime. Toutefois, n'oubliez pas de fixer des intervalles de collecte raisonnables.

Q5：Comment choisir un prestataire de services d'agent ?
R : Concentrez-vous sur la pureté de l'IP (si elle est marquée par la plateforme) et sur la vitesse de réponse. Par exemple, le pool d'adresses IP d'ipipgo est mis à jour chaque semaine avec 20%, ce qui permet d'éviter les listes noires.

Un peu d'expérience sincère.

L'année dernière, lorsque j'ai aidé mon client à faire l'analyse du marché des B&B d'Asie du Sud-Est, j'ai utilisé sept ou huit services proxy. Certaines IP bon marché semblent rentables, mais le résultat est que les IP 30% sont sur la liste noire de la plate-forme. Plus tard, j'ai changé le paquet d'IP exclusives d'ipipgo, l'efficacité de la collecte a directement doublé. Leur service clientèle dispose d'une fonction particulièrement utile...Détection du réchauffement de l'IPL'adresse IP d'un segment IP bloqué peut être exclue à l'avance.

Deux derniers rappels de deux nids de poule pour les débutants :
1) N'achetez pas une IP partagée pour pas cher, c'est comme si vous vous serriez dans un bus, une personne sera bloquée et tout le bus en souffrira.
2. ne pas collecter à intervalles réguliers ; les humains ne s'arrêtent pas quelques secondes lorsqu'ils naviguent sur le web.

Si vous débutez avec les IP proxy, nous vous recommandons de commencer directement avec le package d'expérience d'ipipgo. Les nouveaux utilisateurs bénéficient d'une période d'essai de trois jours, juste assez pour tester le processus de collecte. N'oubliez pas que l'outil de collecte n'est qu'un moyen de parvenir à une fin, l'objectif étant de voir les besoins réels du marché des chambres d'hôtes à travers les données.