Python parst JSON-Antwort: Python-Proxy-Antwort parsen

Python verarbeitet JSON-Antworten von Proxy-IPs und vermeidet dabei geschickt Fallstricke

Crawler Freunde müssen diese Situation begegnet sein - offensichtlich bekam der Proxy-IP-API-Rückkehr Daten, aber einfach nicht analysieren können die verfügbaren IP. keine Panik, lassen Sie uns Schritt für Schritt, lehren Sie Python verwenden, um mit dem Proxy-IP JSON-Antwort spielen.

Basisversion: direkte Analyse des Antwortinhalts

Nehmen wir als Beispiel die API-Antwort von ipipgo und beginnen mit einer typischen Struktur (simulierte Daten):

{
  "code": 200,
  "data": [
    { "ip": "1.1.1.1", "port":8080, "expire_time": "2024-01-01 12:00:00"}, { "ip": "2.2.2.2", "port":8888, "expire_time": "2024-01-01 12:0588"}, [
    {"ip": "2.2.2.2", "port":8888, "expire_time": "2024-01-01 12:05:00"}
  ]
}

Bei der Verarbeitung in Python wird dieLaden Sie es nicht einfach auf und machen Sie Feierabend.Vergessen Sie nicht, eine Statuscodeüberprüfung hinzuzufügen:

Anfragen importieren
json importieren

resp = requests.get('https://api.ipipgo.com/getip')
if resp.status_code == 200: data = json.loads(resp.text)
    daten = json.loads(resp.text)
    if data['code'] == 200.
        if data['code'] == 200: for proxy in data['data']: print(f"{proxy['data'])")
            print(f"{proxy['ip']}:{proxy['port']}")

Praktische Fähigkeiten: Proxy-IP-Ausnahmebehandlung

Sind Sie jemals auf eine dieser Situationen gestoßen? Offensichtlich werden die Daten zurückgegeben, aber die IP schlägt bei der tatsächlichen Verwendung fehl. Es wird empfohlen, dass beim Parsen vonGültigkeitsprüfung hinzufügen::

from datetime import datetime

for proxy in data['data']:: expire = datetime.strptime(proxy['expire_time'])
    expire = datetime.strptime(proxy['expire_time'], "%Y-%m-%d %H:%M:%S")
    if datetime.now() < expire.
        usable_proxies.append(proxy)

Die Proxy-Verfallsdaten von ipipgo sind sekundengenau angegeben, was besonders für Programme wichtig ist, die über lange Zeiträume laufen müssen. IhrDynamic Residential (Enterprise Edition) PaketLängere Gültigkeitsdauer, geeignet für Geschäftsszenarien, die eine stabile IP erfordern.

Erweiterte Funktionen: automatische Umschaltung von Proxy-Pools

In Kombination mit den API-Funktionen von ipipgo ist es möglich, einen intelligenten Agentenpool zu erstellen. Beachten Sie diese beiden wichtigen Punkte:

• aufstellen30 Sekunden im VorausAuslaufende IPs aktualisieren
• Getrennte Speicherung für verschiedene Protokolle (HTTP/HTTPS)

def update_proxy_pool():
    new_proxies = requests.get('https://api.ipipgo.com/reload').json()
    for p in new_proxies['data'].
        if p['type'] == 'https'.
            https_pool.append(f"{p['ip']}:{p['port']}")
        sonst.
            http_pool.append(f"{p['ip']}:{p['port']}") 

Warum empfehlen Sie ipipgo?

Ich habe 7 oder 8 Proxy-Dienste genutzt und mich schließlich für den von ipipgo entschieden.Drei handfeste Vorteile::

QA für hochfrequente Fragen

Q：JSONDecodeError wird immer beim Parsen gemeldet?
A: Neunzig Prozent der vom Proxy-Server zurückgegebenen Daten sind keine JSON-Daten. Es wird empfohlen, resp.status_code zu verwenden, um den Status zu bestimmen, und dann eine try-except-Paketanalyselogik hinzuzufügen

F: Ich habe die IP erhalten, aber die Verbindung wurde unterbrochen?
A: Es kann sein, dass die IP blockiert ist, ändern Sie sie in ipipgoTK-LinieVersuchen Sie es. Diese Linie hat eine höhere Erfolgsquote

F: Müssen Sie mehrere API-Rückgaben gleichzeitig verarbeiten?
A: Verwenden Sie ipipgo'sSchnittstelle für Batch-ExtraktionWenn Sie IPs aus mehreren Regionen auf einmal abrufen wollen, denken Sie daran, Geo-Feldfilter zu Ihrem Parsing hinzuzufügen.

Eine letzte Sache.Versteckte Tipps: ipipgo's API Unterstützung kehrt zurückVerschiedene DatenformateWenn es schwierig ist, JSON in Python zu verarbeiten, können Sie zum txt-Format wechseln und es direkt zeilenweise lesen, indem Sie in den API-Parametern ein format=txt in der Zeile hinzufügen. Beachten Sie jedoch, dass dabei der Port, die Ablaufzeit und andere Details verloren gehen, die für schnelle Tests der Szene geeignet sind.