Python lire les fichiers JSON : tutoriels d'analyse JSON

Des exercices pratiques pour apprendre à jouer avec les données JSON avec Python

Récemment, beaucoup d'amis qui font de la capture de données m'ont demandé pourquoi utiliser Python pour traiter des fichiers JSON est toujours bloqué ? C'est comme cuisiner sans toutes les épices. Aujourd'hui, nous allons parler de la façon de rendre le traitement JSON plus fluide avec l'arme secrète du proxy IP. Tout d'abord, parlons de la scène : par exemple, vous voulez obtenir des informations sur les marchandises en vrac à partir d'un site Web, l'autre côté des données JSON renvoyées pour cacher le bébé, mais direct difficile facile à déclencher anti-escalade, alors vous avez besoin de proxy IP pour jouer avec.

import json
importer des requêtes

 Voici un exemple utilisant le service proxy d'ipipgo
proxy_config = {
    "http" : "http://username:password@gateway.ipipgo.com:9020",
    "https" : "http://username:password@gateway.ipipgo.com:9020"
}

response = requests.get('https://api.example.com/products', proxies=proxy_config)
data = json.loads(response.text)

print(data['product_list'][0]['price'])

Fiche d'information sur les pièges communs de l'analyse JSON

Je vais énumérer quelques erreurs typiques commises par les débutants :

La bonne façon d'ouvrir un proxy IP

Ceux d'entre vous qui ont utilisé ipipgo savent que cet agent a une particularité merveilleuse : il prend en chargeCommutation à la demande. Par exemple, lorsqu'il s'agit de données paginées :

from itertools import cycle

 Préparer plusieurs nœuds proxy ipipgo
proxy_pool = cycle([
    "http://user:pass@node1.ipipgo.com:9020",
    "http://user:pass@node2.ipipgo.com:9020"
])

for page in range(1, 10) : current_proxy = next(proxy_pool)
    current_proxy = next(proxy_pool)
    response = requests.get(f'https://api.example.com?page={page}',
                          proxies={"http" : current_proxy})

séance interactive de questions et réponses

Q：Pourquoi mon analyse JSON signale-t-elle toujours une KeyError ?
R : 80% des noms de champs sont mal écrits, utilisez d'abord data.keys() pour voir le vrai nom du champ. S'il s'agit d'un champ dynamique, il est recommandé de l'écrire avec .get('field name', default value)

Q : Le proxy d'ipipgo doit-il être vérifié à chaque fois ?
R : Sa famille prend en charge la persistance de la session et vous pouvez réutiliser la connexion après la première authentification, en fonction du type de paquet. Paquet Enterprise avec persistance de session par défaut

Q : Que puis-je faire pour gérer le format d'heure étrange renvoyé par l'API ?
R : Utilisez le module d'analyseur de la bibliothèque dateutil, qui est beaucoup plus souple que datetime :

from dateutil import parser
timestamp = parser.parse("2023-12-25T08:30:00+08:00")

Jeu de mise à niveau : Manipulation d'exception Triple hache

La différence entre un pilote expérimenté et un novice réside dans la gestion des exceptions. Il est recommandé d'envelopper les requêtes de trois couches de try :

essayer.
    resp = requests.get(url, proxies=proxy_config, timeout=10)
    resp.raise_for_status()
except requests.exceptions.ProxyError :
     Ceci déclenche le mécanisme de changement automatique d'IP d'ipipgo.
except json.
    JSONDecodeError : print("Le JSON retourné n'est pas un JSON correct !")
except KeyError as e.
    print(f "Le champ n'existe pas : {str(e)}")

Une dernière remarque, vous devez vous tourner vers un service de proxy comme ipipgo avec un routage intelligent. Il a récemment ajouté un nouveaumappage dynamique des portsavec l'API pour obtenir la dernière liste de proxy, plus fiable que d'écrire une adresse IP morte. La prochaine fois que vous rencontrerez un problème d'analyse JSON, n'oubliez pas de vérifier si l'adresse IP est restreinte, et de changer de canal.