Python Load JSON from File: Native Datenverarbeitung

Wie spielen JSON-Profile mit Proxy-IPs?

Crawler wissen, dass Proxy-IPs wie Wiederbelebungsmünzen im Spiel sind, mit denen man in kritischen Momenten sein Leben erneuern kann. Wenn wir Python verwenden, um lokale JSON-Dateien zu verarbeiten, müssen wir oft die Proxy-IP-Konfiguration laden. Sie haben zum Beispiel eine Datei namens proxy_config.json, die wie folgt aussieht:

{
    "proxy_pool": [
        { "http": "http://user:pass@12.34.56.78:8888"}, { "https": "http://user:pass@12.34.56.78:8888"}, { "https": "http://user:pass@12.34.56.78:8888"}
        {"https": "https://user:pass@12.34.56.89:8888"}
    ],
    "timeout": 10
}

Das Laden dieser Datei ist sehr einfach, aber seien Sie vorsichtig!Schreiben Sie den Pfad nicht falsch.! Ich verwende normalerweise absolute Pfade, um sicherer zu sein:

json importieren
importieren os

config_path = os.path.join(os.path.dirname(__file__), 'proxy_config.json')
with open(config_path, 'r', encoding='utf-8') as f:
    config = json.load(f)

Wie kann man mit Proxy-IP-Pools spielen?

Nachdem wir die Konfigurationsdatei erhalten haben, müssen wir mit dem IP-Pool spielen, um ein Gefühl für den Rhythmus zu bekommen. Es wird empfohlen, das Zufallsmodul zu verwenden, um die Reihenfolge aufzulösen, und dann eine kreisförmige Warteschlange zu erhalten, etwa so:

von itertools importieren Zyklus
importieren zufällig

random.shuffle(config['proxy_pool'])
proxy_cycle = cycle(config['proxy_pool'])

Bei jeder Anfragenext(proxy_cycle)Es wird in der Lage sein, zu drehen, viel stabiler als eine einzelne IP. Aber seien Sie vorsichtig, einige Websites werden die Häufigkeit der IP-Ersatz zu erkennen, dieses Mal, um die Schaltgeschwindigkeit zu steuern.

Die drei Fallstricke der Ausnahmebehandlung

In diese drei Schlaglöcher bin ich im wirklichen Leben schon einige Male getreten:

1. falsche Dateikodierung (insbesondere Windows)
2. JSON-Formatierungsfehler (fehlende Kommas werden in Minuten gemeldet)
3. fehlgeschlagene Proxy-Authentifizierung (falsches Passwort, wie wenn man ins falsche Haus geht)

Es wird empfohlen, es in ein Try-Except zu verpacken, um Ihr Leben zu retten:

try: with open('proxy_config.json', 'r') as f:
    with open('proxy_config.json', 'r') as f.
        config = json.load(f)
except json.JSONDecodeError as e: print(f "Das Format der Konfigurationsdatei ist nicht korrekt!
    print(f "Die Konfigurationsdatei hat nicht das richtige Format! Fehlerstelle: Zeile {e.lineno}")
except FileNotFoundError: print(f "Das Format der Konfigurationsdatei ist nicht korrekt!
    print("Datei verloren gegangen! Überprüfen Sie den Pfad!")

IPIPGO Proxy-Dienst Praktische Tipps

Ich habe sieben oder acht Proxy-Dienste benutzt, und IPIPGO hat eineeinzigartige FähigkeitDie von ihrer API zurückgegebenen Daten liegen direkt im Standard-JSON-Format vor, ohne dass Sie sie selbst parsen müssen. Zum Beispiel, um einen dynamischen IP-Pool zu erhalten:

Einfuhrgesuche

resp = requests.get('https://api.ipipgo.com/get_proxy', params={'type': 'json'})
ip_pool = resp.json()['proxies']

Mit ihremIntelligentes RoutingDie Funktion kann automatisch mit dem schnellsten Knoten übereinstimmen. Gemessene Latenzzeit kann auf 40% oder so reduziert werden, vor allem beim Umgang mit großen Mengen von Daten-Dieb offensichtlich.

Häufig gestellte Fragen Q&A

F: Wie kann ich die Konfigurationsdatei automatisch laden, nachdem sie aktualisiert wurde?
A: Verwenden Sie die Watchdog-Bibliothek, um Dateiveränderungen zu überwachen, oder seien Sie einfach brutaler und überprüfen Sie die Änderungszeit der Datei vor jeder Anfrage.

F: Was sollte ich tun, wenn sich die Proxy-IPs plötzlich aufhängen?
A: Fügen Sie dem Code eine lokale IP-Touting-Richtlinie hinzu, etwa so:

proxies = proxy_cycle.next() if len(proxy_pool) > 0 else None

F: Wie kann ich prüfen, ob die Proxy-IP gültig ist?
A: IPIPGO verfügt über ein Echtzeit-Erkennungstool im Hintergrund, oder Sie schreiben selbst ein Erkennungsskript:

test_url = 'http://httpbin.org/ip'
try.
    requests.get(test_url, proxies=proxy, timeout=5)
except: requests.get(test_url, proxies=proxy, timeout=5)
    print("Diese IP ist cool.")

Sorgfältiges Profilmanagement

Zum Schluss möchte ich noch ein paar private Tipps geben:

1. sensible Informationen (wie API-Schlüssel) in einer separaten _credentials.json speichern
2. die IP-Ablaufzeit mit Kommentarfeld aufzeichnen
3. json.dump regelmäßig für die Sicherung der Konfiguration verwenden
4. jq-Befehl (Linux/Mac) zur schnellen Überprüfung der JSON-Datei

Sichern Sie zum Beispiel die Konfiguration wie folgt:

Zeit importieren
with open(f'config_backup_{int(time.time())}.json', 'w') as f.
    json.dump(config, f, indent=2)

Eine Proxy-IP zu bekommen ist wie Pfannenrühren, die Hitze ist wichtig. ipipgo'sDynamische intelligente TerminplanungFunktion, kann automatisch helfen, stellen Sie die "Feuer", Anfänger und Veteranen geeignet sind. Ihre technischen Dokumente im Detail geschrieben, stoßen Probleme direkt zu überprüfen, als Baidu Rohr.