Zillow Web Crawler : Outil de collecte de données sur le prix des maisons

Quelle est la difficulté de la saisie des données par Zillow ?

Si vous avez participé à l'exploration de données immobilières, vous savez que le mécanisme anti-escalade de Zillow est plus strict que la sécurité des biens. Si vous ne faites pas attention, votre adresse IP sera bloquée, et le plus pitoyable, c'est que parfois, même le code de vérification n'est pas donné, et que vous obtenez directement une page blanche. Ce site vise principalement à empêcher trois types d'opérations :Visites à haute fréquenceetIP Repeat LoginetTrajectoires non conventionnelles.

Pour vous donner un exemple, votre adresse IP locale peut être supprimée si vous consultez 50 annonces par jour. Ce qui est encore mieux, c'est la géo-clôture, certaines listes régionales doivent avoir une IP locale pour voir les détails. Cette fois, vous devez compter sur l'IP proxy pourSe faire passer pour un utilisateur réel dans une autre région，注意不是啊，纯粹是为了解决网站本身的访问限制。

Conseils pour la configuration de l'IP Proxy

Voici un marronnier utilisant la librairie requests de Python, en se concentrant sur la façon d'intégrer le proxy d'ipipgo dans le code. Faites attention à le remplacer par le mot de passe de votre propre compte, ne soyez pas stupide et copiez-le directement :

importation de requêtes
from itertools import cycle

 Liste des proxies d'ipipgo (n'oubliez pas de les remplacer par de vraies informations)
proxies = [
    "http://用户名:密码@gateway.ipipgo.com:9000",
    "http://用户名:密码@gateway.ipipgo.com:9001".
    "http://用户名:密码@gateway.ipipgo.com:9002"
]

proxy_pool = cycle(proxies)

for page in range(1, 10) : current_proxy = next(proxy_pool)
    current_proxy = next(proxy_pool)
    try : current_proxy = next(proxy_pool)
        response = requests.get(
            f "https://www.zillow.com/homes/{page}_p/",
            proxies={"http" : current_proxy}, timeout=10
            timeout=10
        )
         Ajoutez votre code d'analyse ici...
    except Exception as e.
        print(f "Échec avec {proxy_courant}, passez au suivant ! Message d'erreur : {str(e)}")

Concentrez-vous sur trois fosses :

1. N'utilisez pas de proxies gratuits, 9 sur 10 sont invalides, ce qui en laisse 1 sur le chemin de l'échec.
2. Découper les proxies de manière aléatoire pour chaque demande, ne pas utiliser une seule IP jusqu'à la mort.
3. Ne fixez pas le délai d'attente à plus de 15 secondes et n'attendez pas si vous êtes vraiment bloqué.

Pourquoi recommandez-vous ipipgo ?

Il faut faire l'éloge de nos propres produits, mais il faut le faire jusqu'au bout. Récemment, j'ai testé sept ou huit fournisseurs de services sur le marché pour mon équipe, et les données parlent d'elles-mêmes :

En particulier.Pureté de la propriété intellectuelle résidentielleLe fait est que de nombreux agents vendent des IP de salles de serveurs comme des IP résidentielles. Les IP d'ipipgo sont de véritables IP domestiques à large bande, et cela fonctionne particulièrement bien pour des plateformes comme Zillow qui sont sensibles aux types d'IP. J'ai eu un client qui n'arrivait pas à obtenir les tableaux des prix des maisons avec d'autres agents, alors je l'ai mis en contact avec nous et cela a été fait.

Questions fréquemment posées

Q : Puis-je être poursuivi par Zillow pour avoir utilisé un proxy IP ?
R : Tant qu'il ne s'agit pas de déchiffrer des données cryptées ou de lancer des attaques DDos, il n'est pas illégal de simplement collecter des informations publiques. Bien entendu, vous devez respecter les règles robots.txt du site web.

Q : Que dois-je faire si je rencontre 403 interdits ?
R : Trois étapes : 1. désactiver immédiatement le proxy actuel ; 2. vérifier si l'en-tête de la requête contient des empreintes de navigateur ; 3. demander un segment IP de remplacement dans le backend d'ipipgo.

Q : Dois-je travailler avec le navigateur d'empreintes digitales ?
R : S'il s'agit d'une collection à long terme et à grande échelle, il est recommandé d'utiliser un navigateur anti-association. Pour les collections à petite échelle, vous pouvez utiliser les requêtes + l'AU aléatoire.

Manigances anti-blocage

Enfin, je vous propose un joker : gardez le créneau horaire de la collecte à10 heures-16 heures dans les villes ciblesPar exemple, si vous souhaitez obtenir des annonces à Los Angeles, n'utilisez pas l'heure de Pékin pendant la journée. Par exemple, si vous souhaitez obtenir des annonces de Los Angeles, n'utilisez pas l'heure de Pékin pendant la journée, car il est tôt le matin là-bas. Utilisez les serveurs mandataires d'ipipgo spécifiques aux villes et la correspondance des fuseaux horaires pour faire passer les demandes pour de vraies personnes.

Une autre astuce consiste à ajouter l'en-tête de la requête au fichierSec-Fetch-Dest : videCe paramètre est rarement utilisé par les navigateurs normaux, mais certains systèmes anti-crawling peuvent l'interpréter à tort comme une requête légitime. Cependant, cette méthode peut échouer à tout moment, alors utilisez-la et chérissez-la.