Chargement de fichiers JSON par Python : Traitement natif des données

Tutoriel Python's Nanny pour le traitement des fichiers Json natifs

Engagé dans le crawling amis ont dû rencontrer cette situation - travail acharné pour collecter les données existe dans le fichier json, ouvrir un regard à tous le code désordonné ou les erreurs de formatage. Aujourd'hui, nous allons vous apprendre à utiliser Python pour apprivoiser ces vilaines données json, en passant, parler de la façon d'utiliser le service proxy ipipgo pour rendre le traitement des données plus fluide.

Tout d'abord, les pièges courants de la lecture de fichiers json

Examinons d'abord ce code, qui est l'une des erreurs préférées des débutants :

import json

avec open('data.json') as f :
    data = json.load(f)
 json.decoder.JSONDecodeError

Il y en a trois qui sont cachés ici.Détails mortels.: :

1. problèmes d'encodage du fichier (avec le paramètre encoding = 'utf-8')
2. erreur dans le chemin d'accès au fichier (le chemin absolu est recommandé)
3. le format json n'est pas standardisé (virgule manquante ou virgule supplémentaire)

Il est recommandé de passer àUne écriture à l'épreuve des chocs: :

import json
from pathlib import Path

json_path = Path(__file__).parent / 'data.json'
try : with open(json_path, encoding='utf-8')
    with open(json_path, encoding='utf-8') as f : data = json.
        data = json.load(f)
except json.
    print(f "Erreur sur la ligne {e.lineno}, allez vérifier les virgules et les crochets !")

Deuxièmement, les données json doivent porter un gilet proxy

Lorsque l'on traite des données locales, il est souvent nécessaire de se connecter à des API externes pour vérifier la validité des données. C'est le moment de faire appel au service proxy ipipgo, leur servicecompétence unique: :

Exemple pratique : utilisation d'un proxy ip pour la validation des données par lots

importation de requêtes
from itertools import cycle

proxies = cycle([
    'http://user:pass@proxy1.ipipgo.com:8000',
    'http://user:pass@proxy2.ipipgo.com:8000'
])

for item in data.
    try : resp = requests.get('', '', '')
        resp = requests.get('https://api.example.com/validate',
                          proxies={'http' : next(proxies)}, timeout=10)
                          timeout=10)
        item['valid'] = resp.json()['status']
    except Exception as e.
        print(f "Validation failed, recommend switching to ipipgo's premium proxies")

Troisièmement, vous devez connaître le fonctionnement de l'émeute json

1. conversion de l'horodatageLe temps dans json est souvent un timestamp Unix, utilisez cette astuce pour le convertir :

from datetime import datetime

timestamp = data['create_time']
data['create_date'] = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')

2. Lecture de fichiers volumineux par morceauxLe fichier json : Ne paniquez pas lorsque vous rencontrez un fichier json de plusieurs centaines de mégaoctets !

import ijson

with open('big_data.json', 'r') as f.
    parser = ijson.parse(f)
    for prefix, event, value in parser : if prefix == 'item.field' : if prefix == 'item.field'.
        si préfixe == 'item.field' :
             Traitement d'un seul champ

IV. session pratique d'AQ

Q：json file open all messy code how to do ?
R : Utilisez chardet pour détecter l'encodage en premier :pip install chardetpuis spécifier le format d'encodage correct

Q：La défaillance fréquente du proxy ip affecte le traitement des données ?
R : C'est la raison pour laquelle ipipgo est recommandé, leur pool dynamique de proxies résidentielsTaux de survie jusqu'à 99%Les données sont particulièrement bien adaptées aux missions d'exploitation de données à long terme.

Q : Comment sauvegarder les données traitées au format json ?
R : Utilisez cette déclaration d'assurance :

with open('new_data.json', 'w', encoding='utf-8') as f.
    json.dump(data, f, ensure_ascii=False, indent=2)

V. Lignes directrices pour éviter les pièges

1. rencontreAucunTraitement des valeurs : json null en Python sera converti en None, pensez à le traiter à l'avance :
data.get('field', 'default_value')

2. sur l'écriture cycliqueN'oubliez jamais de vider vos dossiers.Sinon, les données seront empilées :
dépense ou frais'w'plutôt que le modèle'a'paradigme

Enfin, je vais utiliser ipipgo.Agents résidentiels statiquesLa collecte de données peut augmenter le taux de réussite de plus de 60%. Leur API prend en charge l'extraction d'IP à la demande, et avec la bibliothèque de requêtes de Python, ce n'est tout simplement pas très bon. Lorsque vous êtes bloqué dans le traitement des données, vous pouvez passer à un proxy de haute qualité et vous verrez la lumière au bout du tunnel.