Collecte de données immobilières : pratique de l'exploration et du nettoyage des listes de Zillow

Pourquoi Zillow Crawler doit-il utiliser des adresses IP proxy ?

Les confrères engagés dans la collecte de données immobilières savent que la plateforme Zillow est comme un hérisson - des données grasses mais couvertes d'épines. La semaine dernière, j'ai vu que l'adresse IP du serveur de mon collègue Zhang avait été supprimée et que plus de 200 fils d'indexation étaient tous hors service. Le point clé est le suivantLes mécanismes anti-crawl de Zillow sont plus stricts que la sécurité du métroLa période d'enquête générale sera directement fermée pour plus de 20 visites consécutives.

C'est à ce moment-là qu'il faut faire appel à des IP proxy pour jouer à des jeux d'habillage. Prenons l'exemple de notre propreipipgoPour les adresses IP résidentielles dynamiques, chaque demande est comme un nouveau gilet, et le site ne peut pas savoir s'il s'agit d'une personne en chair et en os ou d'une machine. Les IP résidentielles de différentes régions peuvent obtenir directement des réductions cachées sur les prix locaux, ce qui est beaucoup plus réaliste que l'utilisation d'IP de centres de données, surtout lorsqu'il s'agit de faire des comparaisons entre États.

Le choix d'une IP proxy est plus profond que vous ne le pensez.

Les IP par procuration disponibles sur le marché sont très hétérogènes, et les nids-de-poule dans lesquels je me suis engagé suffiraient à rédiger un manuel. Commençons par trois indicateurs concrets :

La dernière fois que j'ai utilisé l'IP partagée d'une certaine famille, le résultat a été que les données sur les prix de l'immobilier ont été mélangées avec des unités monétaires canadiennes, et les données de nettoyage ont été presque écrasées.Accès exclusif à l'ipipgoCette pièce est vraiment stable, chaque tâche d'exploration se voit attribuer des segments IP indépendants, le taux de pollution des données est directement réduit de 70 %.

Le système Crawler en action

Commençons par le scénario de configuration réelle (exemple Python) :

importation de requêtes
from itertools import cycle

ip_pool = ipipgo.get_proxy_pool(type='residential', region='auto')
proxies = cycle(ip_pool)

def fetch_listing(url).
    try.
        proxy = next(proxies)
        resp = requests.get(url, proxies={"http" : proxy, "https")
                          proxies={"http" : proxy, "https" : proxy},
                          headers=generate_random_header(), timeout=8)
                          timeout=8)
        return resp.json()
    except Exception as e.
        ipipgo.report_failed(proxy) rejette automatiquement les IP qui ont échoué
        return fetch_listing(url)

Il n'y a que trois conseils clés :En-tête de requête aléatoire + commutation automatique d'IP + fusible de temporisationCe détail peut augmenter le taux de réussite de la demande de plus de 40%. N'oubliez pas d'ajouter "Referer" : "https://www.zillow.com/" dans les en-têtes pour masquer la source, ce détail peut augmenter le taux de réussite de la demande de plus de 40%.

L'épuration des données est plus profonde que l'autre

Le fait de ramper le long des données est comme une maison brute non traitée qui doit être rénovée. Les mites les plus courantes sont les suivantes :

• Affichage des prix de l'immobilier "$1″ - échec de la charge dynamique de la JS
• Les informations sur les ménages sont cachées dans les images
• Plus de 100 pages d'historique des transactions

Il est temps d'utiliser leFiltrage des valeurs aberrantes + vérification multi-sources. Par exemple, pour le champ surface, utilisez une expression régulière pour faire correspondre le format nombre + pieds carrés, puis comparez les enregistrements publics pour COUNTY. Il est recommandé d'utiliser la fonctionIP résidentielle statiquepour effectuer la demande de somme de contrôle et éviter de déclencher le CAPTCHA.

Foire aux questions QA

Q : Que dois-je faire si mon adresse IP est toujours bloquée ?
R : Vérifiez trois points : 1. si le proxy transparent est utilisé (il doit être hautement anonyme) 2. si la fréquence des requêtes est >3 fois/seconde 3. si l'accès se fait avec des cookies. Il est recommandé d'utiliser le mode de rotation automatique d'ipipgo et de fixer un délai aléatoire de 5 à 7 secondes.

Q : J'ai besoin d'extraire des données historiques sur les transactions, comment puis-je les obtenir ?
R : Faites de l'ingénierie inverse avec l'API de Zillow, avec l'IP résidentielle pour faire des requêtes distribuées. Notez que pour simuler la trajectoire du mouvement de la souris, il est plus stable d'utiliser Selenium + la solution d'intégration du navigateur d'ipipgo.

Q : Comment casser le CAPTCHA lorsque je le rencontre ?
R : Changez immédiatement d'adresse IP et réduisez la fréquence, comme recommandé sur le site d'ipipgo.Mécanisme de renvoi du CAPTCHAIl redirige automatiquement la demande qui a déclenché le CAPTCHA vers le canal de codage manuel, ce qui permet d'économiser plus d'efforts que la reconnaissance du CAPTCHA dur.

Pour être tout à fait honnête, dans le domaine de la collecte de données sur les biens immobiliers.Agent résidentiel pour ipipgoC'est en effet ma bouée de sauvetage. La dernière fois que j'ai aidé un client à capturer les données de logement du district scolaire de Los Angeles, avec un pool d'IP dynamiques pendant 72 heures sans se retourner, le taux d'intégrité des données est passé directement à 98,3%.