JSON-Konvertierungsobjekt: Proxy-IP-Schnittstelle JSON-Datenkonvertierungs-Verarbeitungsmethode

Sind Sie schon einmal in die JSON-Datenkonvertierungsgrube getreten?

Die Peers, die sich mit der Proxy-IP-Schnittstelle beschäftigt haben, wissen, dass die JSON-Daten oft wie russische Schachtelpuppen aussehen. Zum Beispiel kann ein Feld, das heute "ip_address" heißt, morgen zu "proxy_ip" werden, diese Art der zufälligen Benennung von Gesichtsfeldern kann Entwickler verrückt machen. Vor allem, wenn Sie eine Schnittstelle zu mehreren Proxys benötigen, ist die von jedem von ihnen zurückgegebene Datenstruktur wie ein Dialekt, der seine eigene Sprache spricht.

Kürzlich habe ich einem Freund geholfen, einen typischen Fall zu lösen: Bei der Verwendung des Dynamic Residential Proxy von ipipgo gab die Schnittstelle den Statuscode 200 zurück, aber das Programm konnte die IP-Liste nicht auflösen. Später stellte sich heraus, dass ein verschachteltes Feld mit einem booleschen Wert vermischt war, was zu einem Bruch in der gesamten Parsing-Kette führte.

 Beispiel für einen Fehler
{
  "Daten": [
    {"ip": "1.1.1.1", "port": "8000", "active": true}, {"ip": "2.2.2.2", "port": "8080", "active": "yes"}
    {"ip": "2.2.2.2", "port": "8080", "aktiv": "ja"}
  ]
}

Drei Tipps für den Umgang mit heterogenen Daten

Der erste Stil: die Feldzuordnungsmethode

Es wird empfohlen, eine Feldalias-Bibliothek im Code zu erstellen, um die Feldnamen zu registrieren, die bei verschiedenen Dienstanbietern auftreten können. Zum Beispiel gibt ipipgo "proxy_list" zurück, andere können "node_list" oder "ips" heißen, um die Zuordnungstabelle im Voraus zu erstellen:

field_mapping = {
    'ip ipgo': {'ip': 'proxy_ip', 'port': 'proxy_port'},
    'other_service_providers': {'ip': 'node_address', 'port': 'node_port'}
}

Stil 2: Typ Konvertierungsschild

Keine Panik, wenn es um die Umwandlung von Zahlen in Zeichenketten geht, besorgen Sie sich einen Universalumrechner:

def safe_convert(wert).
    try: return int(Wert).
        return int(Wert)
    except: return str(Wert).strip()
        return str(Wert).strip()

Stil 3: Anomalie-Fang-Grenze

Try-except auf dem äußeren Wrapper des Parsing-Prozesses, und seien Sie besonders vorsichtig, wenn sich None-Werte einschleichen:

versuchen.
    proxy = json.loads(raw_data)
except json.JSONDecodeError as e: print(f "Parsing failed: {str(e)}")
    print(f "Parsing fehlgeschlagen: {str(e)}")

Praktische Demontage des Koffers

Angenommen, wir wollen die von ipipgo zurückgegebenen Daten der Echtzeit-Proxy-Schnittstelle verarbeiten:

 Rohes JSON
{
  "proxy_list": [
    {"proxy_ip": "1.1.1.1", "proxy_port":8080, "expire_time": "2024-05-20 12:00:00"},
    {"proxy_ip": "2.2.2.2", "proxy_port": "8000", "expire_time":null}
  ]
}

Drei Punkte sind dabei besonders zu beachten:

1. Gemischter numerischer/String-Typ für die Anschlussnummer
2. Standardisierung der Zeitformate
3. Touting-Programm für Nullwerte

Empfohlene Verarbeitungsvorlagen:

import dateutil.parser

def process_proxy(daten):
    processed = []
    for item in data['proxy_list']:
        try.
            processed.append({
                'ip': item['proxy_ip'], 'port': int(item['proxy_port'])
                'port': int(item['proxy_port']),
                'expiry': dateutil.parser.parse(item['expire_time']) if item['expire_time'] else None
            })
        except Exception as e.
            print(f "Datenausnahme: {item}, Fehler: {str(e)}")
    return processed

Häufig gestellte Fragen

F: Was soll ich tun, wenn ich beim Parsen immer eine Zeitüberschreitung habe?
A: Überprüfen Sie drei Punkte: 1. ob die komprimierte Übertragung aktiviert ist 2. ob die Timeout-Einstellung der Verbindung angemessen ist 3. es wird empfohlen, den API-Direktverbindungsmodus von ipipgo zu verwenden

F: Wie kann man vor plötzlichen Änderungen im Datenformat warnen?
A: Es wird empfohlenDaten-FingerprintingWenn der MD5-Wert für jede Anfrage erzeugt und mit der letzten Anfrage verglichen wird, wird der MD5-Wert für jede Anfrage erzeugt und mit der letzten Anfrage verglichen.

F: Wo sollte ich die Authentifizierungsinformationen für die Verarbeitung ablegen?
A: Es wird empfohlen, dies einheitlich in der Konvertierungsschicht zu handhaben, z.B. kann die Authentifizierungsinformation von ipipgo automatisch durch den Request-Header injiziert werden

Empfehlungen des Herzrettungsprogramms

Wenn Sie sich nicht mit dieser ganzen Konvertierungslogik herumschlagen wollen, können Sie einfach die von ipipgo bereitgestellteStandardisiertes SDK. Sie kapseln eine Vielzahl von Ausnahmebehandlungen und Typkonvertierungen, Unterstützung für Python/Java/PHP und andere mehrsprachige Versionen. Zum Beispiel, die Python-Version des Aufrufs Beispiel:

von ipipgo importieren ProxyClient

client = ProxyClient(api_key="Ihr_Schlüssel")
proxies = client.get_proxies(type='dynamic', count=10)

Auch die Paketoptionen sind einfach und überschaubar:

Schließlich, um ehrlich zu sein, anstatt zu werfen in der JSON-Format der verschiedenen Service-Provider, ist es besser, eine Schnittstelle Spezifikation des Dienstleisters zu wählen. Wie ipipgo dies bietet komplette Entwicklungsdokumentation, Docking-Effizienz kann mindestens 60% verbessert werden, sparen Sie Zeit, um eine Tasse Kaffee zu trinken ist nicht gut?