Python JSON vers CSV : Conversion de format de données

Tout d'abord, pourquoi le format JSON doit-il être transformé en format CSV ?

Les frères qui s'occupent du traitement des données savent que, bien que le format JSON soit flexible, le format CSV est évidemment plus pratique pour le traitement par lots ou l'analyse des données. En particulier lors de l'utilisation d'IP proxy pour la collecte de données, souvent pour rassembler des milliers d'informations IP, la conversion de format est devenue une nécessité.

Supposons que vous obteniez des données d'IP proxy telles que celles-ci à partir de l'API ipipgo :

{
  "proxies" : [
    { "ip" : "123.45.67.89", "port" : 8080, "type" : "https"}, { "ip" : "98.76.54.32", "port" : 3128, "type" : "socks5"}, [
    {"ip" : "98.76.54.32", "port" : 3128, "type" : "socks5"}, {"ip" : "98.76.54.32", "port" : 3128, "type" : "socks5"}.
  ]
}

Cette fois-ci, pour importer des données Excel, CSV est beaucoup plus pratique que JSON. De plus, de nombreux outils d'analyse de données pour CSV sont plus conviviaux et offrent une vitesse de traitement plus rapide.

Deuxièmement, la main pour vous apprendre la conversion Python de la grande loi

En voici un pour les frères.Voie de conversion universelleLa conversion du format se fait en trois étapes :

import json
import csv

 Étape 1 : Lire le fichier JSON
avec open('ipipgo_proxies.json', 'r') as f :
    data = json.load(f)

 Étape 2 : Extraire les données IP du proxy
proxies = data['proxies']

 Etape 3 : Ecrire dans un fichier CSV
avec open('ipipgo_proxies.csv', 'w', newline='') as f.
    writer = csv.DictWriter(f, fieldnames=['ip', 'port', 'type'])
    writer.writeheader()
    writer.writers(proxies)

A noter quelques arrêts au stand :

• N'oubliez pas d'ajouternewline="sinon le fichier CSV contiendra des lignes vides.
• Le nom du champ doit être exactement le même que la clé dans le JSON.
• Les structures imbriquées doivent être développées à l'avance

C. Scénarios de proxy IP compétences pratiques

Compte tenu des scénarios d'utilisation réels d'ipipgo, nous recommandons de prendre quelques mesuresCombinaisons de fonctions ultra-pratiques: :

C'est là que le bât blesse.Mises à jour dynamiques de l'IPScénario : le proxy IP d'ipipgo est automatiquement mis à jour chaque jour, utilisez ce script pour convertir la dernière liste d'IP au format CSV à intervalles réguliers, avec la tâche crontab timer, il peut parfaitement réaliser la maintenance automatique du pool de proxy.

IV. lignes directrices pour l'apurement des questions fréquemment posées

Q : Que dois-je faire si le chinois est désordonné après la conversion ?
A : ajouter le paramètre encoding='utf-8-sig' à la fonction open, ça marche !

Q : Que dois-je faire si je rencontre des JSON imbriqués à plusieurs niveaux ?
R : Développez-la d'abord avec la fonction json_normalize, par exemple :

from pandas import json_normalize
df = json_normalize(data, 'proxies', ['ip', 'port', 'type'])

Q : Comment puis-je optimiser la vitesse de conversion qui est trop lente ?
R : Deux excellents conseils :
1. traitement par lots avec la bibliothèque pandas
2. filtrer les champs non désirés avant la conversion

V. Pourquoi recommandez-vous ipipgo ?

Pendant le processus de conversion des données, leSource IP stable du proxyIl s'agit d'une sécurité de base. ipipgo présente trois avantages principaux :

1. Mécanisme exclusif de détection de la survie de l'IP, qualité fiable des données
2. Prise en charge de la conversion automatique de format, obtention directe de données au format CSV
3. Documentation dédiée à l'accès à l'API, développement du docking pour gagner du temps et de l'énergie

Pour donner un exemple concret : avant d'aider les clients à surveiller les prix du commerce électronique, avec l'IP proxy d'ipipgo + le script de conversion de cet article, une demi-heure a suffi pour nettoyer les 50 000 données, et le client a appelé la ligne !

Et enfin.Code de mise à niveauUn exemple complet d'intégration avec l'API ipipgo :

importer des demandes
importation csv

 Obtenir les données IP du proxy pour ipipgo
resp = requests.get('https://api.ipipgo.com/proxies')
data = resp.json()

 Conversion directe en mémoire sans écrire dans un fichier
csv_buffer = []
csv_buffer.append(','.join(['ip', 'port', 'type']))
pour proxy dans data['proxies'].
    csv_buffer.append(f"{proxy['ip']},{proxy['port']},{proxy['type']}")

 Enregistrer le résultat final
avec open('ipipgo_live.csv', 'w') as f :
    f.write(''.join(csv_buffer))