Proxy-IP-Verarbeitung von JSON-Strings: Techniken zur Verarbeitung von JSON-Strings durch Proxys

Praktische Erfahrung mit Proxy-IP-Verarbeitung von JSON-Strings

Kürzlich, eine Menge von Datenerfassung Partnern gefragt, mit dem Proxy-IP immer in der JSON-Datenverarbeitung stecken diese aus. Heute werden wir nag, wie ipipgo Proxy-Dienst zu verwenden, einfach mit einer Vielzahl von JSON-Strings der geschmacklosen Betrieb zu behandeln.

Erstens, die IP-Adresse in der JSON auf diese Weise zu spielen

Nehmen wir ein reales Szenario: Der Crawler erhält Daten, die wie folgt aussehen

{
  "ip": "192.168.1.1",
  "port": "8080",
  "expiry": "2024-12-31"
}

Verwenden Sie an dieser Stelle die ipipgo-API, um das IP-Feld direkt zu ersetzen:

importiere Anfragen
from ipipgo import get_proxy Das ist der Punkt!

proxy = get_proxy() Ermittelt automatisch die neuesten Proxy-IPs.
daten['ip'] = proxy['ip']
data['port'] = proxy['port']

zur Kenntnis nehmenDie API von ipipgo gibt das Standard-JSON-Format zurück, so dass Sie sich nicht selbst um das Parsing kümmern müssen!

Zweitens: Keine Panik, wenn Sie auf ein seltsames Format stoßen

Einige Websites geben die IP und den Port wie folgt an"proxy": "1.1.1.1:8888"Ich werde dir einen Trick beibringen:

 Automatische Erzeugung von Standardformaten mit dem ipipgo-Client
von ipipgo importieren format_proxy
schlechtes_format = "1.1.1.1:8888"
clean_proxy = format_proxy(bad_format) return {'ip':'1.1.1.1','port':'8888'}

Drittens, die dynamische IP sollte so geändert werden

Denken Sie an diese goldene Kombination, wenn Sie häufig den Agenten wechseln müssen:

random importieren
json importieren

def refresh_proxy().
    proxies = ipipgo.get_batch(10) holt 10 IPs auf einmal
    return random.choice(proxiles) Zufällige Auswahl einer zu verwendenden

while True: aktueller_proxy = refresh_proxy
    aktueller_proxy = refresh_proxy()
     Fügen Sie den Proxy in Ihre JSON-Anfrage-Header ein
    headers = {'X-Proxy': json.dumps(current_proxy)}

Viertens, vermeiden Sie den Grubenführer (weißes Muss)

Häufige Überschlagstellen:
1. die Portnummer wird zu einer Zeichenkette ("8080″ statt 8080)
2. das IP-Feld mit zusätzlichen Leerzeichen ("192.168.1.1")
3. uneinheitliche Gestaltung der Verfallsdaten

 Verwenden Sie diese universelle Reinigungsfunktion
def clean_proxy_data(raw_json)::
    try.
        raw_json['port'] = int(raw_json['port'].strip())
        raw_json['ip'] = raw_json['ip'].strip()
         Automatisches Konvertieren des Zeitformats
        raw_json['ablauf'] = pd.to_datetime(raw_json['ablauf']).strftime('%Y-%m-%d')
    außer.
        return ipipgo.get_fresh_proxy() Probleme direkt an neue IPs

QA-Zeit

Q：Was sollte ich tun, wenn immer wieder JSON-Parsing-Fehler auftreten?
A: Beginnen Sie mit dem, was ipipgo zu bieten hat!validieren_proxyVorabtests der Schnittstellen vor dem Einfügen des Geschäftscodes

F: Was ist, wenn ich mehrere IP-Pools gleichzeitig verwalten muss?
A: Verwenden Sie ihreDynamic Residential (Enterprise Edition)Paket, Unterstützung für Multi-Channel-gleichzeitige Verarbeitung, mehr als 9 Yuan 1G Verkehr genug, um kleine und mittlere Projekte laufen

F: In der Beta-Phase lief es gut, aber online ist es abgestürzt?
A: Denken Sie daran, dem JSON-Request-Header die"X-Proxy-Quelle": "ipipgo"Die Möglichkeit, spezielle serverseitige Optimierungen auszulösen

Wie Sie das beste Preis-Leistungs-Verhältnis wählen

Ein letztes Geheimnis: Das Vergraben des JSON in"Wiederholungsversuch":3Feld, gibt die API von ipipgo automatisch 3 Wiederholungen, was nicht einmal in der offiziellen Dokumentation steht!