Open-Data-Website: Programm zur Sammlung von Proxys für offene Daten

Warum wird die offene Datenerfassung immer blockiert? Versuchen Sie diesen Platzhalter.

Brüder, die sich mit der Datenerfassung beschäftigen, wissen, dass der Crawler läuft und von der Website abgewürgt wird. Entweder ist die IP blockiert, oder die Häufigkeit der Zugangsbeschränkungen, die ekelhafteste ist, dass einige Websites direkt geben Sie ein Pop-up CAPTCHA. Zu diesem Zeitpunkt müssen wir Proxy-IP verwenden, um Guerilla-Krieg zu spielen - um es unverblümt zu sagen ist, verschiedene IP-Runden zu verwenden, so dass die Website denkt, es ist eine Gruppe von Menschen in den Besuch.

Zum Beispiel wollen Sie eine Stadt der öffentlichen Verkehrsdaten zu klettern, die gleiche IP-Zugang 50 Mal in Folge, der Server sofort schwarz. Aber wenn jede Anfrage eine andere IP-Adresse ist, ist das Windkontrollsystem der Website verwirrt. Es gibt hier einen wichtigen Punkt:Die Qualität des Proxy-IP bestimmt direkt die Effizienz der ErfassungDas Problem ist, dass es viele verschiedene Proxys auf dem Markt gibt. Die Proxy-Dienste auf dem Markt sind eine bunte Mischung, und bei einigen der billigeren gibt es eine IP-Überlebenszeit von nur 3 Sekunden, oder sie können einfach keine Verbindung herstellen.

Drei Tipps für die Wahl des richtigen Vertreters

Proxy-IP wird in drei Hauptrichtungen unterteilt, wobei die richtige die doppelte Leistung mit der Hälfte des Aufwands erbringt:

Mit dem Schwerpunkt auf dynamischen Wohn-IP, ist diese Sache am besten geeignet für die Erhebung öffentlicher Daten. Da es die reale Heim-Breitband nimmt, jede Anfrage automatisch IP ändern, kann die Website nicht sagen, ob es eine echte Person oder eine Maschine ist. Der dynamische Proxy-Pool von ipipgo deckt mehr als 200 Länder ab, und es kann auch der Standort auf Stadtebene angegeben werden, was gut für die Erfassung geografischer Daten ist.

Ihnen beibringen, wie man Agenten abholt

Hier ist ein Live-Python-Beispiel für die Datenerfassung mit der Anforderungsbibliothek + Proxy-IP:

Einfuhrgesuche

 Proxy-API-Adresse von ipipgo
proxy_api = "https://api.ipipgo.com/getproxy?key=你的密钥"

def get_data(url).
     Neue Proxy-IP abrufen
    proxy = requests.get(proxy_api).json()['proxy']

    proxies = {
        "http": f "http://{proxy}",
        "https": f "http://{proxy}"
    }

    try.
        response = requests.get(url, proxies=proxies, timeout=10)
        return response.text
    except Exception as e.
        print(f "Anfrage fehlgeschlagen, automatische Änderung der IP: {str(e)}")
        return get_data(url) auto-retry

 Beispiel für das Sammeln öffentlicher Daten
traffic_data = get_data("http://data.example.com/traffic-info")

Achten Sie darauf, dieAbfragezeitraumControl in 3-8 Sekunden zufällig, zu regelmäßig leicht identifiziert werden. ipipgo's Client kommt mit intelligenten Scheduling-Funktion, kann automatisch die Schaltfrequenz zu steuern, als ihre eigenen Abfragen zu schreiben, um Zeit zu sparen.

Anleitung zum Betreten der Grube (QA-Sitzung)

F: Was sollte ich tun, wenn ich eine Proxy-IP verwende und diese langsam wird?
A: 80% ist die Qualität des IP-Pools ist nicht gut. Unterstützung auswählenGeschwindigkeitsmessung in Echtzeitvon Dienstanbietern, wie dem ipipgo-Client, der die Latenz jedes Knotens anzeigt und langsame Knoten manuell blockiert.

F: Was soll ich tun, wenn ich eine CAPTCHA-Bombardierung erlebe?
A: zwei Möglichkeiten: 1) reduzieren die Sammlung Frequenz, jede IP nicht mehr als 500 Anfragen pro Stunde 2) auf der statischen Wohn-IP, diese Art von IP Überlebenszeit ist lang, ist es nicht leicht, die Überprüfung auslösen

F: Wie kann ich das Problem lösen, dass ich ausländische öffentliche Daten sammeln muss?
A: mit grenzüberschreitenden Standleitung Agent, wie ipipgo's TK Standleitung an die lokale Familie Breitband gehen, viel stabiler als die gewöhnlichen Serverraum IP. Der eigentliche Test, um die europäischen öffentlichen Datensatz zu fangen, kann die Erfolgsquote mehr als 98% sein.

Warum empfehlen Sie ipipgo?

Es gibt drei großartige Dinge, die diesen Agenturservice auszeichnen:
1. fähigkeitStundensatzFür zeitlich begrenzte Projekte müssen Sie kein monatliches Abonnement abschließen.
2. eingebauter ClientIP-GesundheitscheckSchmeißt ausgefallene Knoten automatisch raus
3. unterstützenSocks5-ProtokollEs ist einfach, eine Schnittstelle zu Python, Java usw. herzustellen.
Insbesondere ihre dynamischen Wohn-Agenten, realen Test Sammlung von einer Regierung offene Plattform, kontinuierlichen Betrieb 12 Stunden ohne blockiert zu werden, die Kosten nur weniger als 20 Yuan ausgegeben.

Schließlich sollten Sie bei der Auswahl eines Proxy-Dienstes nicht nur auf den Preis achten. Einige billige Pakete mit recycelten IP (recycelte IP), hat lange von den großen Websites schwarz gezogen worden. Es wird empfohlen, ein Testpaket zu bekommen, um das Wasser zu versuchen, wie ipipgo neue Benutzer zu 500MB Verkehr zu senden, genug, um ein kleines Projekt laufen, um die Wirkung zu überprüfen.