Analyseur JSON Python : Traitement des données du dictionnaire

Quand Proxy IP rencontre Python Dictionary, comment jouer sans se retourner ?

Lorsque vous utilisez Python pour capturer les données IP d'un proxy, vous avez dû rencontrer cette chose qu'est le JSON. C'est comme ouvrir un colis, vous savez qu'il y a de bonnes choses à l'intérieur, mais si vous ne savez pas comment l'ouvrir, il est facile de tout casser. Aujourd'hui, nous allons utiliser la manière la plus terre à terre pour parler de l'utilisation du dictionnaire Python pour traiter les données IP du proxy.

import json

 En supposant qu'il s'agit des données brutes de l'interface ipipgo
proxy_data = ''''
{
    "code" : 0,
    "data" : [
        {"ip" : "112.95.235.86", "port":8080, "protocol" : "http"}, {"ip" : "120.79.139", "port":8080, "protocol" : "http"}, [
        {"ip" : "120.79.169.139", "port":8888, "protocole" : "https"}, {"ip" : "120.79.169.139", "port":8888, "protocole" : "https"}.
    ]
}
'''

 Etape 1 : Décompresser le paquet
data_dict = json.loads(proxy_data)

Guide d'anatomie des données IP proxy

Ne soyez pas pressé d'utiliser les données JSON, il faut d'abord en comprendre la structure. Les données renvoyées par ipipgo ressemblent généralement à ceci : la couche extérieure contient le code d'état et les données proprement dites, et la couche intérieure cache le code d'état et les données proprement dites.Liste des adresses IP réelles. Il est temps d'éplucher les couches comme un oignon :

Pratique : transformer l'IP en un format utilisable

Beaucoup de débutants ont tendance à tomber dans le piège de laconversion des donnéesCette étape. Par exemple, pour transformer l'adresse IP du proxy renvoyée par ipipgo en un format utilisable par la bibliothèque de requêtes, vous devez procéder comme suit :

proxies_list = []
for item in data_dict['data'] :
    proxies_list.append({
        item['protocol'] : f"{item['ip']}:{item['port']}"
    })

print(proxies_list)
 Résultats en sortie :
 [{'http' : '112.95.235.86:8080'}, {'https' : '120.79.169.139:8888'}]

Guide pour éviter les pièges : Ne soyez pas paresseux dans la gestion des exceptions

Le traitement des données IP de proxy est la tâche la plus redoutée.Anomalies dans le format des données. Par exemple, l'interface d'ipipgo renvoie parfois des informations sur la maintenance, qui doivent être défendues :

essayer.
    si data_dict['code'] ! = 0 : if data_dict['code'] !
        raise ValueError("L'interface a renvoyé une exception").
     La logique de suivi...
except KeyError as e.
    print(f "Le champ n'existe pas : {str(e)}")
except json.JSONDecodeError : print("Le champ n'existe pas : {str(e)}")
    JSONDecodeError : print("Erreur de format de données")

QA Time : Questions et réponses fréquemment posées

Q : Pourquoi mon proxy IP interrompt-il toujours la connexion ?
R : Il est recommandé d'utiliser l'interface de vérification en temps réel d'ipipgo, dont le taux de survie des IP est de 95% ou plus !

Q : Comment gérer les informations d'authentification de l'IP proxy ?
R : Ajoutez le champ authentification au dictionnaire, par exemple :

{'http': 'user:pass@112.95.235.86:8080'}

Q : Quelles sont les astuces pour le traitement par lots de milliers d'adresses IP ?
R : utilisez generator au lieu de list, comme l'interface d'ipipgo qui supporte le paging pour obtenir, n'oubliez pas d'ajouter un délai pour éviter d'être bloqué !

Conseil ultime : choisir les bons outils pour faire de grandes économies

Tous ceux qui ont déjà utilisé une IP proxy savent que c'est trop de travail de maintenir son propre pool d'IP. CommeipipgoCe type de prestataires de services professionnels fournit non seulement une interface API prête à l'emploi, mais le format des données de retour est également normalisé. Leur documentation technique se trouve directement dans le code d'exemple Python, les problèmes rencontrés peuvent également trouver une assistance technique.

Enfin, j'aimerais vous rappeler que le traitement des données JSON est comme la friture, il faut maîtriser le feu (traitement des exceptions) et l'assaisonnement (conversion des données). La prochaine fois que vous rencontrerez un problème de traitement de données IP par proxy, vous aurez peut-être envie de boire une gorgée d'eau pour vous calmer, contre ce guide pas à pas, vous êtes assuré de faire un détour.