JSON-Parsing unter Verwendung von Proxy-IPs (eine sehr ausführliche Anleitung)

Praktische Übungen zur Verwendung von Proxy-IP-Pick-Daten

Nun in Crawling Brüder und Schwestern beschäftigt sollte verstehen, der Server nicht bewegen, um Ihnen IP-Sperrung, dieses Mal müssen Sie einen zuverlässigen Proxy-IP-Service-Provider zu finden, wie die Industrie anerkannte Stabilität deripipgoIhr dynamischer IP-Pool ist groß genug, um den Anti-Crawl-Mechanismus wirksam zu umgehen.

Zum Beispiel, wenn Sie den Preis von Waren auf einen bestimmten Schatz fangen wollen, verwenden Sie Ihre eigene IP zu einem Dutzend Mal in einer Reihe zu beantragen, um sicher zu sein, zu verbieten, aber wenn jeder Antrag ist es, eine ipipgo bietet einen Proxy-IP zu ändern, dachte der Server war es ein anderer Benutzer in den Besuch, die Erfolgsquote direkt verdoppelt.

importiere Anfragen
von json importieren JSONDecoder

proxy = {
    'http': 'http://user:pass@gateway.ipipgo.com:9020', 'https': 'http://user:pass@gateway.ipipgo.com:9020'
    'https': 'https://user:pass@gateway.ipipgo.com:9020'
}

resp = requests.get('https://api.example.com/data', proxies=proxy)
Daten = JSONDecoder().decode(resp.text)

Leitfaden zur Vermeidung von Fallstricken bei der Proxy-IP-Konfiguration

Hier sind einige häufige Minenfelder, die Neulinge betreten:

Eine besondere Erinnerung: Wenn Sie das Auto-Rotations-Paket von ipipgo verwenden, denken Sie daran, Session Hold im Code zu aktivieren. Ihr intelligentes Routing schaltet automatisch den optimalen Knoten um, was Ihnen eine Menge Arbeit gegenüber dem manuellen Wechsel der IPs erspart.

Praxisfall: Preisüberwachung im elektronischen Handel

Lassen Sie uns den Prozess anhand eines realen Szenarios durchgehen:

1. 20 hochversteckte IPs aus dem ipipgo-Backend holen.
2. den zufälligen User-Agent-Header einstellen
3. zufällige Auswahl einer IP für jede Anfrage
4. die zurückgegebenen JSON-Daten parsen
5. automatischer Wechsel der alternativen IPs im Falle einer Anomalie

zufällig importieren

ip_pool = [
    '61.219.12.34:8800',
    '103.78.54.21:8800', ...
    ... Andere von ipipgo bereitgestellte IPs
]

def get_data(url).
    try.
        proxy = {'https': random.choice(ip_pool)}
        resp = requests.get(url, proxies=proxy, timeout=8)
        return resp.json()
    except.
        print("Die aktuelle IP funktioniert nicht, automatische Umschaltung...")
        return get_data(url) rekursiver Wiederholungsversuch

Unverzichtbare Tipps zur Fehlersuche

Plötzlich Fehlermeldungen beim Parsen von JSON? Führen Sie zuerst diese drei Schritte aus:

1. drucken Sie die ursprüngliche Antwort aus, um zu sehen, ob Sie die Validierungsseite erhalten haben.
2. das Format mit einem Online-Validierungstool für JSON überprüfen
3. die Verfügbarkeit von Proxy-IPs prüfen (ipipgo verfügt über ein Echtzeit-Erkennungstool im Hintergrund)

Wenn Sie eine seltsame 403-Fehlermeldung erhalten, ist es zu 80 % wahrscheinlich, dass der Request-Header die Identität des Crawlers preisgibt. Denken Sie daran, hinzuzufügen:

headers = {
    
    'Referer': 'https://www.google.com/',
    'DNT': '1' Tracking deaktivieren
}

QA Time: Fragen und Antworten mit hoher Frequenz

F: Die Proxy-IPs funktionieren nicht, wenn ich sie verwende?
A: Wählen Sie das Enterprise-Paket von ipipgo, jede IP-Gültigkeit kann für 5-30 Minuten eingestellt werden und wird automatisch aktualisiert, bevor sie abläuft!

Q：Die zurückgegebenen Daten sind plötzlich verstümmelt?
A: 80% ist ein Kodierungsproblem, verwenden Sie zuerst resp.content.decode ('utf-8') versuchen, nicht auf die gbk ändern

F: Wie lässt sich feststellen, ob die Proxy-IP wirksam ist?
A: Fügen Sie eine Testanfrage in den Code ein: print(requests.get('http://ip.ipipgo.com', proxies=proxy).text)

Upgrade Play: Verteilte Crawler-Architektur

Wenn die Menge der Daten Anstieg, ist es empfehlenswert, auf eine verteilte Lösung zu gehen. Die ipipgo API-Zugang zu den Crawler-Cluster, jeder Knoten automatisch Proxy-IP erhalten. ihre gleichzeitige Schnittstelle unterstützen 100 + Anfragen pro Sekunde, vollständig halten groß angelegte Crawler-Projekt.

Überprüfen Sie schließlich regelmäßig die ipipgo-Backend-Nutzungsstatistiken. Ihre visuellen Berichte machen einen raffinierten Job, Traffic-Verbrauch, IP-Erfolgsrate dieser Indikatoren auf einen Blick, einfach, die Strategie in einer rechtzeitigen Weise anzupassen.