Python liest JSON-Dateien: JSON-Datenverarbeitung

Was zum Teufel ist eine JSON-Datei?

Wir engagieren uns in Crawling Brüder sollten die .json Suffix-Datei gesehen haben, ist dieses Produkt ein Notizblock mit Format. Zum Beispiel von ipipgo Hintergrund, um die Proxy-IP-Liste zu erhalten, neun von zehn Mal sind dieses Format. Zum Beispiel können Sie es öffnen und sehen die Struktur:

{
    "proxies": [
        {"ip": "123.45.67.89", "port": 8080}, {"ip": "98.76.54.32", "port": 3128}, {"proxies": [
        {"ip": "98.76.54.32", "port": 3128}
    ]
}

Achten Sie darauf in dergeschweifte Klammern über mittleren KlammernDies ist die Standardmethode zum Schreiben von JSON. Wenn Sensei mit Proxy-IPs oder anderen Daten zu tun hat, müssen Sie zuerst diese Struktur in Ordnung bringen.

Python, wie isst man diese Schüssel mit "JSON-Reis"?

Die Verwendung von Python zur Verarbeitung von JSON-Dateien ist im Grunde genommen so einfach, wie es nur geht, und besteht aus drei Hauptschritten:

json importieren

 Schritt 1: Öffnen Sie die Box
with open('ipipgo_proxies.json', 'r') as f:
    data = json.load(f)

 Schritt 2: Auswählen und sortieren
for proxy in data['proxies'].
    print(f "Verfügbare Proxies: {proxy['ip']}:{proxy['port']}")

 Schritt 3: Aktualisieren Sie das Inventar (z. B. im ipipgo-Format)
data['proxies'].append({"ip": "76.135.28.41", "port": 8888})
with open('new_proxies.json', 'w') as f.
    json.dump(data, f, indent=4)

Und jetzt kommt der Clou! Bei der Verwendung des Proxy-Dienstes von ipipgo ist das von der API zurückgegebene JSON-Format besonders übersichtlich, mit Feldnamen in fester Kleinschreibung, was für die Stapelverarbeitung besonders günstig ist.

Wie lassen sich Proxy-IPs und JSON verbinden?

Alte Fahrer, die sich mit Datenerfassung beschäftigen, wissen, dass Proxy-IP und JSON-Dateien der goldene Partner sind. Nehmen Sie eine echte Szene:

importiere Anfragen
from json.decoder import JSONDecodeError

proxies = {
    'http': 'http://ipipgo_username:ipipgo_password@gateway.ipipgo.com:9021', 'https': 'http://ipipgo_username:ipipgo_password@gateway.ipipgo.com:9021'
    'https': 'https://ipipgo_username:ipipgo_password@gateway.ipipgo.com:9021'
}

try.
    response = requests.get('https://api.example.com/data', proxies=proxies)
    data = response.json() automatisch in ein Wörterbuch umgewandelt
    print(data['results'][0]['ip_address'])
except JSONDecodeError: print("data['results'][0]['ip_address']")
    print("Diese Seite gibt kein korrektes JSON zurück!")

Hier ist eine.Versteckte TippsProxy-Unterstützung für ipipgoDie Authentifizierung mit Benutzername und Passwort wird direkt in die Proxy-Adresse geschriebenDas Design spart wirklich Zeit, da die Authentifizierung nicht jedes Mal manuell durchgeführt werden muss.

Praktischer Leitfaden zur Vermeidung der Grube

Für Neulinge gibt es einige häufige Fehlschläge:

Frage-und-Antwort-Runde

F: Warum muss ich JSON mit dem Proxy von ipipgo verwenden?
A: Weil ihre API die Formatspezifikation zurückgibt und auch dieMassenzugriffim Gesang antwortenStatus-Anfragedie direkt in ein Wörterbuch umgewandelt wird und funktioniert.

F: Was soll ich tun, wenn bei der Bearbeitung großer Dateien ein Speicherplatzproblem auftritt?
A: Benutzen Sie die ijson-Bibliothek zum Streaming-Lesen oder rufen Sie direkt die Paging-API von ipipgo auf, ziehen Sie nicht alle Daten auf einmal.

Q：json.dump speichern die Chinesen verstümmelt werden?
A: Fügen Sie zwei Parameter hinzu, um den Frieden zu wahren: ensure_ascii=False, encoding='utf-8′.

Und zum Schluss noch eine kleine Erkenntnis: ipipgos Proxy-Liste JSON versteckt einegeheimes FeldSie heißt "region_code", mit ihr können Sie die Export-IP einer bestimmten Region genau auswählen, ich werde es aber nicht der Öffentlichkeit mitteilen!