Python Verarbeitung von JSON: Proxy IP Verarbeitung von API Antwortdaten

Praktische Erfahrung mit Proxy-IPs, die in Python-Skripte eingefügt werden

spielen Crawler alten Eisen muss die IP begegnet war die schlechte Sache blockiert, hier, um Ihnen beizubringen, ipipgo Hause Proxy-IP-Dienst direkt an die API zu verwenden. vor allem die ganze verstehen, ihre Schnittstelle, um die JSON lang, welche Art von Daten, die wir bekommen, ist in der Regel lang wie diese zurück:

{
  "code": 0,
  "data": [
    {"ip": "112.95.82.33", "port": 8000, "expire_time": "2024-03-20 12:00:00"},
    {"ip": "183.6.102.156", "port": 8080, "expire_time": "2024-03-20 12:30:00"}
  ]
}

Sehen Sie?code=0Erfolg, die Daten sind mit funktionierenden Proxy-IPs gefüllt. Wir müssen die Anforderungsbibliothek verwenden, um die Schnittstellendaten abzurufen; denken Sie daran, Ihren_api_key durch den vom ipipgo-Backend angegebenen Schlüssel zu ersetzen.

Wie man JSON-Daten mit dem geringsten Aufwand entpackt

Verwenden Sie die Daten nicht überstürzt, wenn Sie sie erhalten, sondern prüfen Sie sie zunächst. Viele Neulinge pflanzen inKeine Prüfung des Statuscodes.Diese Grube. Sehen Sie sich diesen Code an:

Anfragen importieren
json importieren

resp = requests.get('https://api.ipipgo.com/proxy?key=your_api_key')
if resp.status_code == 200: result = json.loads(resp.text)
    ergebnis = json.loads(resp.text)
    if result['code'] == 0.
        proxies = [f"{item['ip']}:{item['port']}" for item in result['data']]
        print("Gefundene gültige IPs:", proxies)
    else: {item['port']}" for item in result['data']]
        print("Schnittstellenfehler: ", result.get('msg'))
else: print("Schnittstellenfehler: ", result.get('msg'))
    print("Netzwerkanforderung wurde übersprungen, Statuscode:", resp.status_code)

Das ist der springende Punkt:Prüfen Sie zuerst den HTTP-Statuscode und dann den Business-StatuscodeDoppelte Versicherung. Die IP von ipipgo ist in der Regel 30 Minuten lang gültig, denken Sie daran, sie rechtzeitig zu ändern.

Wie Proxy-IPs an Crawler weitergeleitet werden

Hier ist eine geschmacklose Operation - dynamisches Proxy-Pooling. Speichern Sie die Proxy-IPs, die Sie erhalten, in einer Liste und recyceln Sie sie, viel stabiler als eine einzelne IP:

von itertools importieren Zyklus

def get_proxy_pool()::
     Dies ruft die ipipgo API auf.
    Proxies zurückgeben

proxy_pool = cycle(get_proxy_pool())

 So erhalten Sie ihn, wenn Sie ihn verwenden
current_proxy = next(proxy_pool)
requests.get(url, proxies={"http": current_proxy, "https": current_proxy})

Denken Sie daran, eine Ausnahme Verarbeitung hinzuzufügen, Begegnung Ausfall IP automatisch wechseln. ipipgo's IP Überlebensrate kann 95% oder mehr erreichen, zuverlässiger als die freien Proxies.

Erste-Hilfe-Richtlinien für häufige Überschlagsszenen

F: Was sollte ich tun, wenn ich ständig SSL-Fehler erhalte?

A: achtzig Prozent ist das Proxy-Protokoll nicht gepaart, https Links müssen https Proxy verwenden, nicht verwechseln die Art des Protokolls. Überprüfen Sie die Protokolleinstellungen in der ipipgo Hintergrund

Q：Returned JSON parsing failed?

A: 80% ist ein Kodierungsproblem, versuchen Sie resp.content.decode('utf-8') hart zu dekodieren. ipipgo's Schnittstellenrückgabe ist Standard UTF-8

F: Kann ich die Proxy-IP nicht verwenden, wenn ich sie gerade erst erhalten habe?

A：检查本地网络防火，或者换个ipipgo的机房节点。他们家江苏机房对国内线路特别友好

Warum empfehlen Sie ipipgo?

Vergleichen wir die wichtigsten Dienstleistungsanbieter auf dem Markt:

Das Wichtigste ist, dass ihr Haus Folgendes bietetDas einzige Instrument zur Überprüfung der IP-Qualität im LandDie Funktion des Erhaltens eines Proxy-IP zu testen und dann verwenden wirklich spart Zeit. Jetzt registriert auch senden 10G Verkehr Paket, genug zu testen.

Zum Schluss noch ein Hinweis: Denken Sie bei der Arbeit mit JSON-Daten daran, diejson.dumps()Eine formatierte Ausgabe spart beim Debuggen eine Menge an Augenschmaus. Fügen Sie noch ein paar try-except-Blöcke in Ihren Code ein, und Sie werden garantiert ein Skript haben, das alle anderen überdauert.