Zillow Dataset : Historical Property Data Package Télécharger

Pourquoi le téléchargement du paquet Zillow reste-t-il toujours bloqué ?

Le vieux briscard de l'analyse des données immobilières a dû être confronté à cette situation : lorsqu'on consulte les données historiques de Zillow sur les prix des logements, soit la page se charge lentement comme une tortue, soit elle affiche soudainement un CAPTCHA, le plus tragique étant que l'adresse IP est directement bloquée. C'est comme manger des nouilles sans assaisonnement - c'est très étouffant. La cause première tient en deux mots :Exposition à l'IPLe système anti-crawler de Zillow se concentre spécifiquement sur les visites fréquentes d'adresses IP, et l'utilisation d'une seule adresse IP pour glaner des données de manière agressive vous placera sur une liste noire en quelques minutes.

Comment les adresses IP par procuration sont-elles devenues une bouée de sauvetage ?

Par exemple, télécharger des données Zillow sur votre réseau domestique équivaut à porter une veste verte fluorescente et à se promener sous surveillance. Passer à une IP proxy, c'est comme jouer un spectacle de travestis - un nouveau gilet (adresse IP) pour chaque demande. C'est particulièrement vrai avec lesAgents résidentiels dynamiquesZillow ne peut pas dire s'il s'agit d'une personne réelle ou d'une machine, compte tenu des milliers d'adresses de réseaux domestiques réels dans le pool IP.

import requêtes
proxies = {
  'http' : 'http://user:password@gateway.ipipgo.io:3000',
  'https' : 'http://user:password@gateway.ipipgo.io:3000'
}
response = requests.get('https://www.zillow.com/homes/data', proxies=proxies)

Trois conseils pour choisir le bon fournisseur de services d'agence

Il y a beaucoup de fournisseurs de services proxy IP sur le marché, mais il y a plus de fosses qu'un conducteur de moto à l'entrée du métro. Concentrez-vous sur ces trois indicateurs :

Comme ceux que nous utilisons à la maison.ipipgoLe plus grand avantage deLa réserve d'adresses IP résidentielles est profondeLa dernière fois que j'ai aidé un client à consulter des données sur le prix des maisons à Los Angeles pendant 12 heures d'affilée avec 3 requêtes par seconde, le contrôle des vents ne s'est pas déclenché. La dernière fois que j'ai aidé un client à consulter des données sur le prix des maisons à Los Angeles, 3 requêtes par seconde pendant 12 heures d'affilée n'ont pas déclenché le contrôle des vents, et l'arrière-plan a montré que plus de 800 IP résidentielles de différentes villes ont été utilisées pour basculer automatiquement.

Didacticiel de configuration pratique

Voici une démonstration utilisant le framework Scrapy de Python (pas de panique, il ne s'agit que de 5 lignes de code) :

 Ajoutez ces deux lignes à settings.py
ROTATING_PROXY_LIST = [
  'gateway.ipipgo.io:3000',
  'gateway.ipipgo.io:3001', 'gateway.ipipgo.io:3001', 'gateway.ipipgo.io:3001', 'gateway.ipipgo.io:3001'
  'gateway.ipipgo.io:3002'
]
DOWNLOADER_MIDDLEWARES = {
  'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware' : 543,
}

Voici le plus important : n'oubliez pas de l'activer dans le backend d'ipipgo !Routage intelligent模式，系统会自动匹配Zillow服务器所在地的IP。比如要爬美国德州数据，就优先分配达拉斯、休斯顿的住宅IP，能降低60%以上。

Guide de l'ancien conducteur pour éviter les pièges

1. Ne pas utiliser d'agents libres.Les adresses IP qui prétendent être gratuites ont été signalées par Zillow comme étant destinées à des robots d'indexation : neuf adresses IP sur dix qui prétendent être gratuites ont été signalées par Zillow comme étant destinées à des robots d'indexation !

2. Fréquence des demandes de contrôleMême si vous utilisez un proxy, n'envoyez pas 20 requêtes par seconde comme si vous étiez en train de faire une crise d'épilepsie !

3. Faux en-têtes: N'oubliez pas de changer le User-Agent au hasard, n'utilisez pas la valeur par défaut de Scrapy !

Foire aux questions QA

Q：Pourquoi le site est-il toujours bloqué alors que j'ai déjà utilisé un proxy ?

R : Vérifiez si vous utilisez une IP de centre de données et remplacez-la par le proxy résidentiel d'ipipgo pour résoudre le problème immédiatement.

Q : Dois-je maintenir mon propre pool d'adresses IP ?

R : Ce n'est pas nécessaire, ipipgo background élimine automatiquement les IP non valides, et vous pouvez toujours exploiter les données à 2 heures du matin.

Q : Combien de temps faut-il pour télécharger des données historiques ?

R : Avec un crawl à un seul thread, 100 000 enregistrements environ 6 heures, il est recommandé d'ouvrir 5 threads avec les 5 ports d'ipipgo pour qu'ils fonctionnent en même temps !

Et enfin, la grande vérité : toute cette histoire de crawler de données.Les adresses IP proxy sont choisies correctement et l'arrêt de travail est deux fois plus précoce.. En particulier ceux qui disposent d'un routage intelligent comme ipipgo, qui équivaut à embaucher un planificateur d'adresses IP 24 heures sur 24 et 7 jours sur 7 et qui vous permet de gagner suffisamment de temps pour revoir dix épisodes de Silicon Valley.