Wie man Zillow-Daten nutzt: Immobilien-API-Alternativen

Kämpfen Sie nicht gegen Zillows Anti-Climbing, sondern versuchen Sie es mit diesem Joker.

Kürzlich, eine Menge von Immobilien-Daten-Analyse der alten Eisen fragte mich, Zillow's API ist jetzt mehr und mehr begrenzt, um den Tod, wollen Daten in der Masse zu greifen, wie zu tun? In der Tat, können Sie Proxy-IP verwenden, um das Land zu retten, aber es gibt eine Menge Tricks hier. Heute werden wir einige echte nag, lehren Sie, wie man ipipgo Proxy-Service zu verwenden.

Warum muss ich eine Proxy-IP verwenden?

Zillow's Anti-Climbing-System, die gleiche IP-Anfrage mehr als 20 Mal in einer Reihe, Lichtgeschwindigkeit Grenze schwere Dichtung. Letztes Jahr hat ein Kumpel nicht in das Böse glauben, mit ihren eigenen Breitband hart nur, das Ergebnis der IP wurde schwarz für drei Monate auf der Website gezogen kann nicht gehen. Dies ist die Zeit zu brauchenProxy-IP als StellvertreterBei jeder Anfrage wird die Weste gewechselt, damit die Website glaubt, dass ein anderer Benutzer auf sie zugreift.

Wählen Sie eine Proxy-IP, indem Sie sich diese Zugänge ansehen

Die Anbieter von Vermittlungsdiensten auf dem Markt sind bunt gemischt, es wird empfohlen, sich auf drei Punkte zu konzentrieren:
1. IP-ÜberlebenszeitDynamische IPs für Wohngebäude sind sicherer als IPs für Serverräume
2. geografischer StandortVorrang für inländische IP-Segmente in den USA
3. Häufigkeit der Ersetzung: Es ist besser, die IP-Adresse bei jeder Anfrage automatisch zu ändern.

Ich muss Sie über unsere eigenen Produkte informieren.ipipgo Dynamischer Wohnsitz-ProxyDie Erfolgsquote beim Abfangen von Zillow kann mehr als 92% betragen. Ihre IP-Pool wird automatisch jede Stunde aktualisiert, und jede Sitzung schaltet automatisch die Ausfahrt IP, der Schlüssel ist, dass Sie nicht Ihre eigene IP-Liste zu pflegen.

Praktische Proxy-Konfiguration

Am Beispiel der Python-Request-Bibliothek lässt sich der Proxy-Dienst von ipipgo sehr einfach konfigurieren:

Einfuhranträge

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.io:端口',
    'https': 'http://用户名:密码@gateway.ipipgo.io:端口'
}

response = requests.get('https://www.zillow.com/...' , proxies=proxies)

Beachten Sie, dass Sie den Benutzernamen und das Passwort im Code in Ihr eigenes Konto ändern müssen. ipipgo background kann diesen Konfigurationscode direkt generieren. Es wird empfohlen, vor jeder Anfrage eine zufällige Pause von 1-3 Sekunden einzulegen, damit der Vorgang einem echten Menschen ähnlicher wird.

Fünf Tipps zur Vermeidung von Backcrawl

1. den User-Agent für jede Anfrage ändern, nicht immer das gleiche Browser-Logo verwenden.
2. nicht nur ein Gebiet über den Tisch ziehen, sondern zwischen verschiedenen Städten wechseln.
3. nicht in Panik geraten, wenn das CAPTCHA auftaucht, sofort für 15 Minuten anhalten und dann die IP ändern, um fortzufahren.
4. 1-5 Uhr nachts (MST) ist die Erkennung von Backcrawls etwas lockerer.
5. löschen Sie regelmäßig die Cookies, lassen Sie die Website nicht Ihre Fingerabdrücke speichern

Häufig gestellte Fragen QA

F: Ist es in Ordnung, einen kostenlosen Proxy zu verwenden?
A: Tun Sie es nicht! Kostenlose Proxys werden schon seit langem von Crawlern verwendet, und die schwarze Liste von Zillow ist voll von diesen IPs, so dass man sich mit ihrer Verwendung nur selbst ins Bein schießt.

F: Wie viele Sicherheitsdaten werden pro Tag erfasst?
A: Es wird empfohlen, dass Neulinge bis zu 500 Einträge pro Tag kontrollieren und die Auto-Speed-Funktion von ipipgo verwenden, um das Intervall von 10 Sekunden/Zeit einzustellen.

F: Was soll ich tun, wenn ich einen 403-Fehler erhalte?
A: sofort die IP-Änderung + ändern Sie die Anfrage-Header + reduzieren Sie die Häufigkeit der dreifachen, wenn die fortgesetzte Meldung von Fehlern auf der Haltestelle 2 Stunden und versuchen Sie es erneut. ipipipgo-Client hat eine automatische Wiederholung Mechanismus, kann diese Motten zu behandeln.

Sagen Sie die Wahrheit.

In der Tat ist die Frage der Datenerfassung ein Katz-und-Maus-Spiel, der Schlüssel, um zu sehen, wessen Werkzeug ist mehr schlüpfrig. Die Verwendung der richtigen Proxy-IP ist gleichbedeutend mit dem Öffnen einer Tarnkappe, aber wir sollten auch darauf achten, dass wir nicht zu hässlich sind. Kürzlich habe ich festgestellt, dass einige Verkäufer Zillow-Daten verkaufen, also lassen wir die Finger von dieser Art von Daten. Die einzige Möglichkeit, eine Immobilienanalyse durchzuführen, besteht darin, ipipgo zu verwenden, um Kunden bei der Suche nach potenziellen Immobilien zu helfen.

Schließlich erinnern, die neue Registrierung ipipgo denken Sie daran, eine 3-Tage-Testversion führen, genug, um den Crawl-Prozess zu testen. Ihr Kundenservice Reaktion ist recht schnell, das letzte Mal habe ich einen Arbeitsauftrag um zwei Uhr in der Mitte der Nacht, zehn Minuten, um das Problem der Proxy-Konfiguration, die in der Tat zuverlässiger als einige ausländische Dienstleister ist zu lösen.