Python JSON zu CSV: Ein komplettes Skript zur Verarbeitung von API-Daten

Praktische Anwendung von Python für die API-Datenverarbeitung

Kürzlich fragte einige Freunde Lao Zhang, mit Python, um die Schnittstelle, um die JSON-Daten, wie man in CSV konvertieren, diese Sache scheint einfach, aber in Wirklichkeit gibt es eine Menge von Gruben versteckt. Vor allem, wenn Sie eine Menge von Daten zu sammeln müssenDie Wahrscheinlichkeit einer IP-Sperrung wird direkt verdoppeltAls Erstes müssen Sie einen Blick auf den von Ihnen verwendeten Dienst werfen. Heute nehmen wir unseren ipipgo-Proxydienst als Beispiel, um Ihnen zu zeigen, wie man das richtig macht.

Warum brauche ich eine Proxy-IP, um mir zu helfen?

Nehmen wir einen realen Fall: Xiao Wang schrieb letzte Woche einen Crawler, die Ergebnisse liefen weniger als 2 Stunden, die Zielsite zog seine IP schwarz. Diese Situation ist zu häufig, viele API-Schnittstellen habenBegrenzung der ZugangsfrequenzAls Erstes müssen Sie den Proxy-IP-Pool von ipipgo verwenden. Mit dem Proxy-IP-Pool von ipipgo ist es so, als würde man unzählige "Doppelgänger" für das Programm installieren, mit einer anderen IP-Adresse für jede Anfrage, so dass es nicht leicht zu finden ist.

Vorbereitung des Arbeitsbeginns

Beginnen Sie mit der Installation einiger wichtiger Bibliotheken (überspringen Sie diese, wenn Sie sie bereits installiert haben):

pip install anfragen pandas

Bei den Proxy-Einstellungen der Requests-Bibliothek fallen viele Neulinge auf die Nase. Das Proxy-Format für ipipgo sollte wie folgt geschrieben werden:

proxies = {
  http': 'http://用户名:密码@gateway-address:port',
  https': 'https://用户名:密码@gateway-adresse:port'
}

Code-Zerlegung in der Praxis

Angenommen, wir wollen Wetterdaten abrufen, so besteht der gesamte Prozess aus drei Schritten:

1. Aufrufen von APIs mit Proxy-IPs
2. Die JSON-Daten reduzieren
3. Als CSV-Datei speichern

Anfragen importieren
importiere pandas as pd

 Hier ersetzen wir sie durch die echten Proxy-Informationen, die von ipipgo bereitgestellt werden
PROXY_USER = "Ihre Kontonummer"
PROXY_PASS = "Ihr Kennwort"
GATEWAY = "gateway.ipipgo.com:9021"

def get_data():
    proxies = {
        'http': f'http://{PROXY_USER}:{PROXY_PASS}@{GATEWAY}',
        'https': f'http://{PROXY_USER}:{PROXY_PASS}@{GATEWAY}'
    }

     Geben Sie hier Ihre eigene API-Adresse ein
    resp = requests.get('https://api.weather.com/data', proxies=proxies)
    return resp.json()

 Fokussierung auf verschachtelte Strukturen
def parse_data(raw).
     Erweitern eines mehrschichtigen verschachtelten Wörterbuchs
    df = pd.json_normalize(raw, 'hourly', ['city','update_time'])
    return df

if __name__ == '__main__'.
    daten = get_data()
    df = parse_data(daten)
    df.to_csv('wetter.csv', index=False)

Leitfaden zur Vermeidung der Grube

Drei häufige Fallstricke für Neulinge:

1. fehlerhafte Authentifizierung des Agenten：检查账号密码里的特殊字符，比如@符号要换成%40
2. fehlende Felder: Achten Sie darauf, den Meta-Parameter anzugeben, wenn Sie json_normalize verwenden.
3. kodierungstechnische Fragencsv mit dem Parameter encoding='utf_8_sig' speichern

Sie können fragen.

F: Warum ipipgo und nicht andere?
A: Seine Familie hat ein Eintagsfliege.dynamische AnschlussbindungEin und dasselbe Gateway kann sowohl das HTTP- als auch das HTTPS-Protokoll verwenden, ohne dass zwischen den Konfigurationen hin und her gewechselt werden muss.

F: Was soll ich tun, wenn ich bei der Verarbeitung großer Datenmengen nicht weiterkomme?
A: Versuchen Sie Paging + Multi-Threading, denken Sie daran, jedem Thread einen eigenen Proxy zuzuordnen. ipipgo'sHigh Stash FirmenpaketEs unterstützt 500 Gleichzeitigkeiten und funktioniert gut mit Personen.

F: Was sollte ich tun, wenn sich die von der API zurückgegebene Datenstruktur ständig ändert?
A: Fügen Sie vor dem Parsen einen try-except-Block hinzu und verwenden Sie json.dumps(raw_data), um die Rohdaten in der Datenbanksicherung zu speichern, so dass Sie den Fehler noch beheben können.

Sprechen Sie aus dem Herzen.

Proxy-IPs sind wie Autoreifen für die Datenerfassung. Wenn Sie Reifen von schlechter Qualität (kostenlose Proxys) verwenden, bekommen Sie auf der Autobahn innerhalb von Minuten einen platten Reifen. ipipgo'sHandelsvertreterUnser Team hat es getestet und es wurde kontinuierlich für 3 Tage ohne Abbruch gesammelt. Vor allem ihre intelligente Routing-Funktion, automatische Umschaltung des schnellsten Knotens, als manuell ändern IP eine Menge Herzschmerz zu speichern.

Schließlich möchte ich Neulinge daran erinnern, in der Testphase Pay-per-Use-Pakete zu nutzen und dann auf monatliche Pakete umzusteigen, wenn sie reibungslos laufen. json to csv ist einfach, aber mit einer guten Proxy-IP ist es ein echtes Produktivitätswerkzeug.