Python-Anfragen zum Abrufen von JSON: API-Datenverarbeitung

A. Warum werden immer Crawl-Daten gezogen? Versuchen Sie diese Methode

Engagiert in der Datenerhebung des alten Eisen sind sicher, eine solche Situation begegnet sind: die Verwendung von Anfragen Bibliothek nur zwei Seiten von Daten, IP auf der Zielseite aus dem kleinen schwarzen Haus gegriffen. Zu dieser Zeit, nicht in Eile sein, um die Tastatur zu zerschlagen.Proxy-IPDas ist Ihre rettende Gnade! Es ist, als würde man ein Spiel spielen, eine kleine Nummer öffnen, die Weste wechseln und weiterarbeiten.

Zum Beispiel, einige E-Commerce-Website Anti-Climbing-Mechanismus Diebe, die gleiche IP-Zugang zu einem Dutzend Mal hintereinander, um den Alarm auszulösen. Zu dieser Zeit, wenn Sie ipipgo dynamischen Proxy-Pool verwenden, jede Anfrage für einen neuen Export IP, kann der andere Server nicht zwischen echten Menschen oder Verfahren zu unterscheiden, natürlich, werden Sie nicht blockiert werden.

importiert Anfragen
von itertools importieren Zyklus

 Liste der von ipipgo bereitgestellten Proxys (Beispiel)
proxies = [
    "http://user:pass@gateway.ipipgo.com:30001",
    "http://user:pass@gateway.ipipgo.com:30002".
    "http://user:pass@gateway.ipipgo.com:30003"
]
proxy_pool = cycle(proxies)

for page in range(1, 50): current_proxy = next(proxy_pool)
    aktueller_Vollmacht = nächster(proxy_pool)
    aktueller_proxy = nächster(proxy_pool)
        resp = requests.get(
            "https://api.example.com/data",
            proxies={"http": current_proxy}, timeout=10
            timeout=10
        )
        print(resp.json())
    except Exception as e.
        print(f "Rollover mit {current_proxy}:", str(e))

Zweitens, die Proxy-IP-Konfiguration der drei Gruben, 90% Neulinge gepflanzt worden sind

1. Auslassung von AuthentifizierungsinformationenViele Brüder schreiben direkt eine IP-Adresse und fertig, das Ergebnis zurück 407 Fehler. ipipgo Proxy müssen in den Benutzernamen und das Passwort zu füllen, ist das Formathttp://用户名:密码@GatewayAdresse:Anschluss

2. Unzulässig eingestellte ZeitüberschreitungEinige Proxy-Knoten können langsam reagieren, ohne den Timeout-Parameter bleibt das Programm stecken. Es wird empfohlen, eine Zeitüberschreitung von 5-15 Sekunden je nach Geschäftsanforderungen festzulegen.

3. Fehlende AusnahmebehandlungNetzwerkanfragen sind von Natur aus instabil, besonders wenn Proxies verwendet werden, und es ist wichtig, Fehler gut zu wiederholen. Es wird empfohlen, den Dekorator retry zu verwenden, um den automatischen Wiederholungsmechanismus zu implementieren.

Drittens: Praktische Kenntnisse der JSON-Datenverarbeitung

Nachdem Sie die von der API zurückgegebenen JSON-Daten erhalten haben, sollten Sie es nicht eilig haben, diese direkt in der Datenbank zu speichern. Führen Sie zunächst mehrere Verarbeitungen durch:

1. DatenbereinigungDas Extrahieren von Schlüsselfeldern mit jsonpath ist viel einfacher als das manuelle Parsen der Felder. Zum Beispiel$...PreisFähigkeit, alle Preise schnell zu extrahieren

2. Ausreißer-FilterungWenn Sie auf Nullwerte oder falsch formatierte Daten stoßen, protokollieren Sie sie und überspringen Sie sie!

von jsonpath_ng importieren parse

def process_data(json_data).
     Produktname und Preis extrahieren
    name_expr = parse('$..Produktname')
    preis_expr = parse('$..preis')

    ergebnisse = []
    for match in name_expr.find(json_data):
        produkt = {'name': match.wert}
        price_match = price_expr.find(json_data)
        if preis_übereinstimmung.
            produkt['preis'] = float(preis_match[0].wert)
        ergebnisse.append(produkt)
    Ergebnisse zurückgeben