Python Verarbeitung JSON: Python Proxy JSON Verarbeitung Tutorials

I. Warum Proxy-IP zur Verarbeitung von JSON-Daten verwenden?

Do Datenerfassung Brüder verstehen, direkt nehmen ihre IP schwer zu missfallen die Website ist einfach, die Tür zu essen. Zum Beispiel wollen Sie Batch-Crawl-Wetterdaten, Rohstoffpreise, existieren diese in der JSON-Format der Informationen, ein Dutzend aufeinanderfolgende Anfragen können blockiert werden IP. Dieses Mal mit ipipgo's Proxy-IP-Pool, genau wie auf den Crawler tragen dieUnsichtbarkeitsmantelDie Erfolgsquote wird direkt verdoppelt, indem für jede Anfrage eine andere Weste gewählt wird.

Zweitens, Python Verarbeitung JSON der drei großen Fähigkeiten

Zunächst einmal, die ganze verstehen, die grundlegenden Betrieb, hier zu lehren Sie drei praktische Tricks:

json importieren

 1. string in Wörterbuch (wie beim Auspacken eines Kuriers)
data_str = '{"Stadt": "Shanghai", "ip": "192.168.1.1"}'
data_dict = json.loads(data_str)

 2. dictionary to string (verpackt für den Versand)
new_data = {"status": 200}
json_str = json.dumps(new_data)

 3. Datei-Lese- und Schreiboperationen (wichtige Daten werden im Safe gespeichert)
with open('data.json', 'w') as f.
    json.dump(daten_dict, f)

Drittens, mit dem Proxy IP echten Kampf um die Daten zu fangen

Nehmen wir einen realen Fall: Verwenden Sie den dynamischen Wohn-Proxy von ipipgo, um die API-Daten einer Website zu erfassen. Sehen Sie sich den Abschnitt zur Proxy-Konfiguration an:

Einfuhrgesuche

proxies = {
    'http': 'http://用户名:密码@proxy.ipipgo.com:端口',
    'https': 'http://用户名:密码@proxy.ipipgo.com:端口'
}

response = requests.get(
    'https://api.example.com/data',
    proxies=proxies,
    timeout=10
)

 Behandlung von möglicherweise verstümmeltem Code
if response.encoding == 'ISO-8859-1': response.encoding == response.encoding == 'ISO-8859-1'.
    response.encoding = response.apparent_encoding

Daten = response.json()
print(data.get('Temperatur'))

Wichtiger Hinweis: Die Proxy-Adresse von ipipgo befindet sich im Backend"Mein Paket."Es kann in der HTTP/HTTPS Dual-Protokoll-Unterstützung gefunden werden, denken Sie daran, ihre Konto-Passwörter zu ersetzen.

Viertens, die schwarze Technologie für den Umgang mit mehrschichtigen verschachtelten JSON

Geraten Sie nicht in Panik, wenn Sie auf diese kranke Struktur stoßen:

{
  "Ergebnis": {
    "proxies": [
      {"ip": "1.1.1.1", "Geschwindigkeit": 200}, {"ip": "2.2.2.2", "Geschwindigkeit": 150}
      {"ip": "2.2.2.2", "Geschwindigkeit": 150}
    ]
  }
}

Extrahieren Sie die IP-Liste in einem Schritt mit jsonpath:

from jsonpath import jsonpath

ips = jsonpath(data, '$..proxies[].ip')
print(ips) output ['1.1.1.1.1.1', '2.2.2.2.2']

V. Praktische gemeinsame Umsturzszene QA

F: Was sollte ich tun, wenn ich keine Verbindung zur Proxy-IP herstellen kann?
A: Überprüfen Sie zunächst drei Elemente: ① Kontopasswort enthält Sonderzeichen (empfohlene URL-Kodierung) ② Port wird auf der Webseite nicht angezeigt ③ Testen Sie die TCP-Verbindung (telnet proxy.ipipgo.com port)

Q：json.decoder.JSONDecodeError报错怎么办？
A: achtzig Prozent der Website wieder eine Fehlerseite, erste Druck (response.text), um den ursprünglichen Inhalt zu sehen, ist es empfehlenswert, Try-Except-Paket hinzufügen:

versuchen.
    data = response.json()
except JSONDecodeError: print("Das zurückgegebene JSON ist kein richtiges JSON!
    print("Das zurückgegebene JSON ist kein richtiges JSON!")

Sechs, ipipgo-Paket, wie man die kostengünstigste

Empfehlungen auf der Grundlage von Geschäftsszenarien:

Schließlich möchte ich erwähnen, dass es einfacher ist, Proxys mit dem ipipgo-Client als mit der API zu verwalten, und es erkennt automatisch die IP-Verfügbarkeit. Encounter technische Probleme direkt an ihre technischen Kundendienst, ist die Reaktionsgeschwindigkeit mindestens doppelt so schnell wie gewöhnliche Händler - fragen Sie mich nicht, wie zu wissen, sind aus der Erfahrung der Schritt aus der Grube.