JSON to CSV tool: Konvertierung des Proxy-Datenformats

Praktische Übungen zur Änderung von Proxy-IP-Daten von JSON in CSV

Diejenigen unter Ihnen, die häufig mit Proxy-IPs arbeiten, kennen diese Situation sicher: Die IP-Liste, die Sie vom Dienstanbieter erhalten, ist im JSON-Format, aber der von Ihnen verwendete Crawler erkennt nur CSV-Tabellen. Diese Formatinkongruenz ist wie der Versuch, ein Steak mit Stäbchen zu essen - nicht unmöglich, aber immer unangenehm.

Nehmen wir unsere ipipgo-Benutzer als Beispiel: Die vom Backend exportierten Proxydaten sind standardmäßig eine normale JSON-Struktur. Sie sieht zum Beispiel so aus:

{
  "Proxies": [
    {
      "ip": "203.34.56.78",
      
      "protocol": "socks5", "location": "Xuzhou, Jiangsu Province", "protocol": "socks5", "socks5", "socks5".
      "Standort": "Xuzhou, Jiangsu"
    }, { "ip": "203.34.56.78
    {
      "ip": "118.23.45.67", "port": 3128, {
      
      "Protokoll": "http", "Ort": "Shenzhen, Guangdong" }, { "ip": "118.23.45.67", "port": 3128, "Protokoll": "http", "Ort": "Xuzhou, Jiangsu" }
      "Standort": "Shenzhen, Guangdong"
    }
  ]
}

Aber wenn Sie diese Daten in Excel für das Screening zu stopfen, oder importiert in einige nur essen CSV-Format-Software, müssen Sie zu einer Formatänderung kommen. Hier, um Ihnen zwei praktische Konvertierungsmethoden zu lehren, um sicherzustellen, dass sicherer als die Verwendung von Online-Konvertierungs-Websites - nach allem, der Proxy-IP solche sensiblen Daten, nicht nur auf eine dritte Website übergeben.

Python verfügt über einen großartigen Formatkonverter.

Bereiten Sie einen Texteditor vor und erstellen Sie eine neue .py-Datei. Der folgende Code ist ein Konvertierungsskript, das von unserem Techniker speziell für ipipgo-Nutzer geschrieben wurde:

csv importieren
json importieren

 Denken Sie daran, den Pfad zu Ihrer eigenen Datei zu ändern
with open('ipipgo_data.json') as f:
    data = json.load(f)['proxies']

csv_columns = ['ip', 'port', 'protocol', 'location']

with open('output.csv', 'w', newline='') as csvfile:
    writer = csv.DictWriter(csvfile, fieldnames=csv_columns)
    writer.writeheader()
    for row in data.
        writer.writeow(row)

Nach der Ausführung dieses Verfahrens werden mehrere output.csv-Dateien im gleichen Verzeichnis vorhanden sein. Öffnen Sie sie mit Excel, um die reguläre Tabelle zu sehen, aber auch nach Region und Protokolltyp, um zu filtern. Wenn Sie z. B. einen Socks5-Agenten in Jiangsu finden möchten, können Sie die Tabelle direkt durchsuchen.

Warum ist es empfehlenswert, Proxy-IPs mit CSV zu speichern?

Hier sind einige konkrete Vorteile:

Vor allem mit ipipgo's Proxy-Pool, müssen oft verschiedene Regionen der IP nach den geschäftlichen Anforderungen zu screenen. in eine CSV, auch wenn der Betrieb des Kollegen, um damit umzugehen wird nicht blind sein, nachdem alle, die Tabelle Betrieb ist eine Person wird.

Häufig gestellte Fragen QA

F: Was ist mit verschachtelten Daten in JSON?
Einige Agenten haben zum Beispiel Validierungsinformationen in ihren Daten:

"auth": {
  "benutzername": "ipipgo_user",
  "passwort": "123456"
}

Fügen Sie bei der Verarbeitung ein Feld wie "auth.username" zu csv_columns hinzu, und der Code kann es in eine separate Spalte mit der entsprechenden Verarbeitung erweitern.

F: Was soll ich tun, wenn ich bei der Konvertierung auf unsaubere Codes stoße?
Fügen Sie der Funktion open einen Kodierungsparameter hinzu, z.B. encoding='utf-8-sig', was besonders nützlich ist, wenn Sie mit chinesischen Proxy-Regionen arbeiten.

F: Kann ich automatisch und regelmäßig wechseln?
Verwenden Sie den Windows-Aufgabenplaner oder die Linux-Crontab mit der API von ipipgo, um die neueste Proxy-Liste automatisch zu erhalten und die CSV-Datei jeden Tag bei Tagesanbruch zu aktualisieren.

Versteckte Vorteile für ipipgo-Nutzer

Wir haben sogar eineSchnell-Export-KanalWenn Sie Ihre Daten in das CSV-Format konvertieren möchten, können Sie nach dem Einloggen auf [Datenexport] → [CSV-Format] klicken und erhalten in drei Sekunden eine fertige Formulardatei. Diese Funktion ist speziell für Benutzer, die oft Datenanalysen durchführen müssen, als mit einem Skript zu konvertieren viel mehr Mühe.

Wenn Sie eine Schnittstelle zu anderen Systemen der Szene benötigen, ist es empfehlenswert, direkt die ipipgo-API zu verwenden, in den Anfrageparametern ein format=csv hinzuzufügen, die Rückgabe ist ein fertiger CSV-Datenstrom, wodurch die Notwendigkeit für Konvertierungsschritte entfällt. Spezifische Dokumente im Hintergrund des Benutzers in der [Development Guide], nach dem Beispiel-Code verwendet werden kann, um zu ändern.

Abschließend möchte ich noch eines sagen: Proxy-IP-Daten beinhalten Kontosicherheit, also achten Sie bei der Konvertierung des Formats auf den Speicherort der Datei. Vor allem mit den Authentifizierungsinformationen des Proxys, denken Sie daran, die temporären Dateien rechtzeitig nach der Konvertierung zu löschen, nicht eine Hintertür für diejenigen, die interessiert sind, zu verlassen.