json.py: Python-Skript zum Parsen komplexer JSON-Strukturen

Praktische Anwendung von Python zur Disassemblierung von JSON-Paketen für Proxy-IPs

In letzter Zeit haben sich viele Freunde, die mit Datenerfassung zu tun haben, bei mir beschwert, dass das Format der IP-Informationen, die von vielen Websites zurückgegeben werden, immer komplexer wird, insbesondere bei der Verwendung von Proxy-IP-Diensten, bei denen oft fünf oder sechs Schichten der JSON-Struktur verschachtelt sind. Heute nehmen wir unsere ipipgo-API-Antwortnachricht als Beispiel, um Ihnen zu zeigen, wie Sie Python verwenden können, um schnell Schlüsselinformationen zu extrahieren.

Warum muss JSON für Proxy-IPs besonders behandelt werden?

Heutzutage bieten Proxy-Anbieter (wie wir bei ipipgo) IP-Pakete an, die reich an Informationen sind:geografischer StandortundBetreiber (eines Kraftwerks, eines Verkehrsnetzes usw.)undHaltbarkeitsdauerUngeachtet dieser Basisfelder kann es sein, dassIndikatoren für die VerbindungsgeschwindigkeitundUnterstützung des ProtokollsVerschachtelte Daten. Um einen realen Fall zu geben: letzte Woche gab es einen E-Commerce-Preisvergleich von Kunden, weil sie nicht mit der Stadt Klassifizierung Daten in der JSON, was in Schalt-Agenten sprang immer auf die falsche Region zu behandeln.

Praktische Anwendung: Parsen der API-Antwort von ipipgo

Angenommen, wir erhalten Antwortdaten von ipipgo mit dieser Struktur:

{
  "code": 200,
  "data": [
    {
      "ip": "1.1.1.1",
      "auth": {
        "benutzername": "ipipgo_demo",
        "token": "abcd1234"
      },
      "meta": {
        "location": {
          "stadt_code": 755, "isp": "telecoms
          "isp": "telecoms"
        }
      }
    }
  ]
}

Konzentrieren Sie sich auf drei Bereiche:

1. zuerst den Statuscode der Antwort prüfenHolen Sie sich die IP nicht übereilt, sondern prüfen Sie erst, ob der Code 200 ist.
2. mehrstufige Verschachtelung von WertenKeyError-Fehler mit der Methode .get() vermeiden.
3. die Behandlung von AusnahmenNetzwerkschwankungen können dazu führen, dass JSON unvollständig ist.

Leitfaden zur Vermeidung der Grube: Häufig gestellte Fragen QA

F: Was soll ich tun, wenn ich auf JSONDecodeError stoße?
A: achtzig Prozent der Netzwerk-Probleme führte zu den Daten nicht beenden, ist es empfehlenswert, ipipgo's verwendenMechanismus der WiederholungsprüfungEinrichten von 3 automatischen Wiederholungsversuchen

F: Wie kann ich verschachtelte Städtecodes schnell extrahieren?
A: Versuchen Sie, Werte zu verketten: item.get('meta',{}).get('location',{}).get('city_code ')

F: Warum empfehlen Sie die Verwendung des Proxy-Dienstes von ipipgo für komplexes JSON?
A: Unser API-Antwortformat ist speziell optimiert:
1. die Harmonisierung der Konventionen zur Benennung von Feldern
2. klare Definition der Fehlercodes
3. nicht mehr als drei Ebenen der Verschachtelung
4. eine vollständige Dokumentation der Stichprobenantworten vorlegen

Code-Vorlagen: gebrauchsfertige Parsing-Skripte

json importieren
von retry importieren retry

@retry(tries=3, delay=2)
def parse_proxy_response(response).
    data = json.loads(response).
        data = json.loads(response)
        if data['code'] ! = 200: if data['code'] !
            print(f "Ausnahmestatuscode: {data['code']}")
            return []

        return [{
            'ip': item['ip'], 'auth'.
            'auth': f"{item['auth']['username']}:{item['auth']['token']}",
            'city': item.get('meta',{}).get('location',{}).get('city_code')
        } for item in data['data']]

    except json.
        JSONDecodeError: print("Antwortdaten unvollständig, erneut versuchen...")
        raise
    except KeyError as e.
        print(f "Fehlendes Pflichtfeld: {e}")
        return []

Diese Vorlage behandelt bereitsDrei häufige ProblemeNetzwerkwiederholung, Datenvalidierung, Abfangen von Ausnahmen. Empfohlen für die Kombination mit ipipgo'sIntelligente Routing-APIverwenden, wird automatisch der schnellste Knoten ausgewählt.

Upgrade-Tipp: Dynamische Anpassung an unterschiedliche Strukturen

Einige Freunde können mehr als einen Proxy-Service-Provider zur gleichen Zeit verwenden (natürlich ist es immer noch empfohlen, auf die Verwendung von ipipgo la konzentrieren), können verschiedene Anbieter der JSON-Struktur sehr unterschiedlich sein. Hier, um Ihnen eine dynamische Parsing-Trick zu lehren:

def smart_parser(item).
     Versuchen Sie zuerst die Standardstruktur von ipipgo
    wenn 'auth' in item und 'meta' in item.
        return {Eintrag, 'Quelle':'ipipgo'}

     Anpassen an andere Anbieterstrukturen
    for key in ['proxy_ip','ipAddress']: if key in item: return {item, 'source':'ipipgo'}
        if key in item: return {'ip':item'].
            return {'ip':item[key], 'source':'other'}

    return Keine

Bei dieser Methode hat das Parsen des Standardformats von ipipgo Vorrang, und andere Strukturen können unter der Haube behandelt werden. Für einen langfristigen stabilen Einsatz wird jedoch empfohlen, direkt unserestrukturelle Normdes API-Dienstes.