Bibliothèque JSON de Python : Explication du module de traitement des données

Python joue avec les données IP du proxy, la bibliothèque json est le maître caché !

Les personnes impliquées dans la collecte de données de vieux fer savent que la combinaison de l'IP proxy et de JSON est tout simplement un partenaire en or. Ne nous voilons pas la face aujourd'hui, passons directement aux opérations de base. Tout d'abord, pourquoi avons-nous besoin d'utiliser la bibliothèque JSON pour traiter les données du proxy IP ? Par exemple, la plateforme ipipgo qui renvoie à la liste des agents est au format JSON standard, n'utilisez pas ce truc pour analyser les données à la main ?

import json

 Supposons qu'il s'agisse des données proxy renvoyées par ipipgo
proxy_data = ''''
{
    "code" : 200,
    "data" : [
        {"ip" : "123.123.123.1", "port" : 8000},
        {"ip" : "123.123.123.2", "port" : 8001}
    ]
}
'''

 Analyse dans un dictionnaire
parsed_data = json.loads(proxy_data)
print(parsed_data['data'][0]['ip']) output 123.123.123.1

surveiller attentivementjson.loads()Cette opération clé permet de transformer la chaîne de caractères en un objet dictionnaire. Beaucoup de novices plantés dans la conversion de type de données, rappelez-vous que les données d'origine sont une chaîne lorsque vous devez utiliser des charges, si c'est un fichier utiliser des charges.

Conseils pratiques sur l'IP proxy : ne pas négliger la gestion des exceptions

Les tests ont révélé que le traitement des données IP par proxy est le plus sujet aux mites, en raison des fluctuations du réseau. Par exemple, à partir d'ipipgo obtenir des données soudainement déconnecté, sans exception gestion des minutes plantage du programme. Regardez cette version améliorée du code :

import json
importer des requêtes

def get_ipipgo_proxies() :
    try : resp = requests.get('')
        resp = requests.get('https://api.ipipgo.com/proxy-list')
        return json.loads(resp.text)['data']
    except json.JSONDecodeError : print("Parsing JSONDecodeError").
        JSONDecodeError : print("Échec de l'analyse des données JSON, vérifier le format de retour de l'interface.")
    except requests.exceptions.RequestException : print("Échec de l'analyse des données JSON, vérification du format de retour de l'interface")
        RequestException : print("Exception de connexion réseau, suggérer de vérifier la configuration du proxy.")
    return []

L'accent est mis iciCapture d'une double anomalieS'il y a un problème de réseau, c'est une question distincte du problème de format de données. Le format de réponse de l'API est plus stable, en particulier lorsque vous utilisez le service d'ipipgo. S'il y a une erreur d'analyse, il s'agit probablement d'un problème de réseau local.

Rotation de l'IP du proxy Essentiel : stockage permanent des données

Lors de la collecte de données, il est souvent nécessaire de sauvegarder le pool d'adresses IP du proxy, et c'est là que json.dump() s'avère utile. Avec l'API de mise à jour temporisée d'ipipgo, vous pouvez réaliser une maintenance automatisée du proxy :

import json
from datetime import datetime

def save_proxy_pool(proxies): : timestamp = datetime.now().
    timestamp = datetime.now().strftime("%Y%m%d%H%M")
    with open(f'ipipgo_proxies_{timestamp}.json', 'w') as f :
        json.dump({"update_time" : timestamp, "proxies" : proxies}, f, indent=2)

Les serveurs mandataires d'ipipgo sont généralement valables pendant 6 à 24 heures, et il est recommandé d'effectuer une mise à jour toutes les heures.

Foire aux questions QA

Q : Pourquoi la connexion échoue-t-elle toujours avec le proxy d'ipipgo ?
R : Tout d'abord, vérifiez que le format du proxy est correct. Nous vous suggérons d'utiliser leur API pour obtenir directement le dernier proxy. Si cela ne fonctionne toujours pas, il se peut que le réseau local limite le port du proxy.

Q : Comment améliorer l'efficacité de la collecte d'IP par proxy ?
R : Essayez d'utiliser le multithreading + le package high concurrency d'ipipgo, leur pool de proxy exclusif supporte 500+ connexions en même temps, n'oubliez pas de fixer un timeout raisonnable (3-5 secondes recommandées).

Enfin, j'ai dit une chose qu'il faut savoir : avec json.dumps () du paramètre ensure_ascii pour traiter les informations du proxy chinois, n'oubliez pas de mettre False, sinon vous verrez un tas de code unicode. J'ai marché sur ce terrain à l'époque, et maintenant je vous dis que cela m'a permis d'économiser trois jours de débogage.