Parsing von JSON-Dateien in Python: Lesen und Verarbeiten von Dateien

Sie lernen, wie man mit Python mit JSON-Dateien und Proxy-IP-Praktiken spielt

Vor kurzem habe ich einem Freund bei einem Datenerfassungsprojekt geholfen und festgestellt, dass viele Neulinge bei der Verarbeitung von JSON-Dateien nicht weiterkommen. Insbesondere ist es notwendigKombiniert mit Proxy-IPDie Zeit, oft begegnet eine Vielzahl von Motten. Heute werde ich die Grube, die ich trat in, um Ihnen eine Reise, übrigens, Amway unser Team verwendet zwei Jahre deripipgo-Proxy-Dienst.

Zunächst die grundlegende Funktionsweise der JSON-Datei

Beginnen wir damit, wie man mit Python JSON-Dateien bearbeiten kann. Es geht nicht nur darum, die Datei lesen zu können, sondern auch zu wissen, wie man mit Proxy-IPs arbeitet. Nehmen wir zum Beispiel an, wir wollen mit einer Konfigurationsdatei arbeiten, die eine Proxy-IP enthält:

json importieren

 Einlesen der Proxy-IP-Konfigurationsdatei
with open('ip_config.json', 'r', encoding='utf-8') as f.
    ip_pool = json.load(f)

print(f "Aktuelle Anzahl der verfügbaren IPs: {len(ip_pool['ips'])} one")

Passen Sie hier auf.KodierungsproblemeDies führt häufig zu Fehlern, insbesondere bei Dateien, die aus Windows exportiert werden. Wenn Sie auf Dekodierungsfehler stoßen, versuchen Sie, dieencoding='gbk'.

II. die Proxy-IP-Konfiguration in der Praxis

Nachdem die Proxy-IP ermittelt wurde, geht es darum, wie sie in der Anfrage verwendet werden kann. Wir empfehlen hier die Verwendung vonSession-Objekte für die Anforderungsbibliothekwas effizienter ist als die Einrichtung einer einzigen Anfrage:

Anfragen importieren
from random importieren Wahl

def get_proxy_session(): session = requests.
    session = requests.Session()
    proxy = choice(ip_pool['ips']) zufällige Auswahl einer IP
    session.proxies = {
        "http": f "http://{proxy['user']}:{proxy['pwd']}@{proxy['ip']}:{proxy['port']}",
        "https": f "http://{proxy['user']}:{proxy['pwd']}@{proxy['ip']}:{proxy['port']}"
    }
    return session

 Proxy-Konnektivität testen
try.
    session = get_proxy_session()
    resp = session.get('http://httpbin.org/ip', timeout=5)
    print("Aktuelle Proxy-IP:", resp.json()['origin'])
except Exception as e.
    print("Proxy-Verbindung fehlgeschlagen:", str(e))

Drittens: Ausnahmebehandlung auf drei Achsen

Die meisten Kopfschmerzen in der eigentlichen Schlacht ist eine Vielzahl von unerwarteten Situationen, hier sind drei gemeinsame Fallstricke:

1. die Nichtrotation des Bevollmächtigten

Empfohlenerneuter VersuchDie Bibliothek implementiert automatische Wiederholungen, was viel einfacher ist als das manuelle Schreiben von Schleifen:

von retrying importieren retry

@retry(stop_max_attempt_number=3)
def safe_request(url).
    session = get_proxy_session()
    return session.get(url, timeout=8)

2. JSON-Parsing-Fehler

Manchmal sind die vom Server zurückgegebenen Daten nicht standardisiert, dann können Sie diejson.JSONDecodeFehlerAuffangen von Ausnahmen:

versuchen.
    data = resp.json()
except json.JSONDecodeError: print("Die zurückgegebenen Daten sind nicht im Standard-JSON-Format").
    print("Die zurückgegebenen Daten sind nicht im Standard-JSON-Format.")

3. die Einstellungen für das Zeitlimit der Verbindung

Viele Neulinge vergessen, den Timeout-Parameter einzustellen, was zu einer Blockierung des Programms führt. Es wird empfohlen, sie je nach Geschäftsszenario einzustellenZeitüberschreitung beim Verbindenim Gesang antwortenZeitüberschreitung beim LesenGetrennte Kontrollen.

IV. reale Falldemonstration

Um ein Beispiel für die Erhebung von Preisen im elektronischen Handel zu geben, nehmen wir an, dass die Ziel-Website einen strengen Anti-Climbing-Mechanismus hat:

def crawl_product_price(product_id).
    url = f "https://api.example.com/products/{product_id}"
    try: resp = safe_request(url).json()
        resp = safe_request(url).json()
        return resp['preis']['aktuell']
    except KeyError.
        print("Das Preisfeld konnte nicht abgerufen werden.")
        return Keine

 Verwendung der exklusiven IP-Pools von ipipgo
print("Verwendung von ipipgos stabilem Proxy-Dienst...")

Hier mit ipipgo'sexklusiver IP-PoolVerglichen mit der gemeinsamen IP-Erfolgsrate kann diese um mehr als 60% verbessert werden. Ihre IP-Überlebensrate wird mit 98% gemessen, was zuverlässiger ist als die anderen, die wir zuvor verwendet haben.

V. Häufig gestellte Fragen QA

F: Warum werden Anfragen nach der Verwendung einer Proxy-IP verlangsamt?
A: Normales Phänomen, gute Proxydienst-Verzögerungskontrolle innerhalb von 800ms. Wenn Sie ipipgo'sHochgeschwindigkeitskanalkann auf etwa 200 ms optimiert werden.

Q：Was sollte ich tun, wenn alle Proxy-IPs plötzlich ausfallen?
A: Überprüfen Sie zunächst die Kontoberechtigungen und wenden Sie sich dann an den technischen Support von ipipgo. Deren Hintergrund kann den IP-Verfügbarkeitsstatus in Echtzeit überprüfen, und die Reaktionszeit ist recht schnell.

F: Wie gehe ich mit Websites um, die eine Anmeldung erfordern?
A: Es wird empfohlen, ipipgo'sSession-haltende IPDie gleiche IP behält den Anmeldestatus bei, um häufige Änderungen zu vermeiden, die zu einer Unterbrechung der Verbindung führen könnten.

Zum Schluss noch ein kleiner Tipp: JSON-Dateien können tatsächlich Kommentare speichern! Obwohl der Standard dies nicht unterstützt, können Sie mitjson5Diese Bibliothek wird für das Parsing verwendet. Es wird jedoch empfohlen, dass Produktionsumgebungen disziplinierter sind und nicht mit ihr herumspielen.