Objet de conversion JSON : interface IP proxy Méthode de traitement de la conversion des données JSON

Vous êtes-vous déjà retrouvé dans la fosse de conversion des données JSON ?

Les pairs qui se sont engagés dans l'interface proxy IP comprennent que les données JSON ressemblent souvent à des poupées russes gigognes. Par exemple, un champ appelé aujourd'hui "ip_address" peut devenir demain "proxy_ip". Ce type de dénomination aléatoire des champs peut rendre les développeurs fous. En particulier lorsque vous devez vous interfacer avec plusieurs proxies, la structure de données renvoyée par chacun d'entre eux est comme un dialecte, chacun parlant sa propre langue.

Récemment, j'ai aidé un ami à traiter un cas typique : lorsqu'il a utilisé le proxy résidentiel dynamique d'ipipgo, l'interface a renvoyé un code d'état 200, mais le programme n'a pas pu résoudre la liste des adresses IP. Il s'est avéré par la suite qu'un champ imbriqué avait été mélangé avec une valeur booléenne, ce qui a entraîné une rupture dans toute la chaîne d'analyse.

 Exemple d'erreur
{
  "data" : [
    {"ip" : "1.1.1.1", "port" : 8000, "active" : true}, {"ip" : "2.2.2.2", "port" : "8080", "active" : "yes"}
    {"ip" : "2.2.2.2", "port" : "8080", "active" : "yes"}, {"ip" : "2.2.2.2", "port" : "8080", "active" : "yes"}.
  ]
}

Trois conseils pour gérer les données hétérogènes

Le premier style : la méthode de cartographie sur le terrain

Il est recommandé de créer une bibliothèque d'alias de champs dans le code pour enregistrer les noms de champs qui peuvent apparaître chez différents fournisseurs de services. Par exemple, ipipgo renvoie "proxy_list", d'autres peuvent être appelés "node_list" ou "ips", afin d'établir à l'avance la table de correspondance :

field_mapping = {
    'ip ipgo' : {'ip' : 'proxy_ip', 'port' : 'proxy_port'},
    'other_service_providers' : {'ip' : 'node_address', 'port' : 'node_port'}
}

Style 2 : Bouclier de conversion de type

Ne paniquez pas lorsqu'il s'agit de convertir des nombres en chaînes de caractères, procurez-vous un convertisseur universel :

def safe_convert(value).
    try : return int(value).
        return int(valeur)
    except : return str(value).strip()
        return str(valeur).strip()

Style 3 : Limite de capture des anomalies

Try-except sur l'enveloppe extérieure du processus d'analyse, et se méfier particulièrement des valeurs None qui se faufilent :

essayer.
    proxy = json.loads(raw_data)
except json.JSONDecodeError as e : print(f "Parsing failed : {str(e)}")
    print(f "Échec de l'analyse : {str(e)}")

Démontage pratique de l'étui

Supposons que nous voulions traiter les données de retour de l'interface proxy en temps réel de l'ipipgo :

 JSON brut
{
  "proxy_list" : [
    {"proxy_ip" : "1.1.1.1", "proxy_port":8080, "expire_time" : "2024-05-20 12:00:00"},
    {"proxy_ip" : "2.2.2.2", "proxy_port" : "8000", "expire_time":null}
  ]
}

Trois points en particulier doivent être pris en compte lors de son traitement :

1. Type mixte numérique/chaîne de caractères pour le numéro de port
2. Normalisation des formats horaires
3. Programme de publicité pour les valeurs nulles

Modèles de traitement recommandés :

import dateutil.parser

def process_proxy(data) :
    processed = []
    for item in data['proxy_list'] :
        try.
            processed.append({
                'ip' : item['proxy_ip'], 'port' : int(item['proxy_port'])
                'port' : int(item['proxy_port']),
                'expiry' : dateutil.parser.parse(item['expire_time']) if item['expire_time'] else None
            })
        except Exception as e.
            print(f "Exception de données : {élément}, erreur : {str(e)}")
    return processed

Questions fréquemment posées

Q : Que dois-je faire si j'ai toujours un temps d'arrêt lors de l'analyse ?
R : Vérifiez trois points : 1. si la transmission compressée est activée 2. si le délai de connexion est raisonnable 3. il est recommandé d'utiliser le mode de connexion directe de l'API d'ipipgo.

Q : Comment avertir d'un changement soudain de format de données ?
R : RecommandationsEmpreinte digitale des donnéesSi la valeur MD5 est générée pour chaque demande et comparée à la dernière demande, la valeur MD5 est générée pour chaque demande et comparée à la dernière demande.

Q : Où dois-je placer les informations d'authentification pour le traitement ?
R : Il est recommandé de traiter la couche de conversion de manière uniforme. Par exemple, les informations d'authentification d'ipipgo peuvent être automatiquement injectées dans l'en-tête de la requête.

Recommandations du programme de sauvetage cardiaque

Si vous ne voulez pas vous embarrasser de toute cette logique de conversion, vous pouvez simplement utiliser la fonctionSDK standardisé. Ils encapsulent une variété de traitements d'exceptions et de conversions de types, supportent Python/Java/PHP et d'autres versions multilingues. Par exemple, la version Python de l'exemple d'appel :

from ipipgo import ProxyClient

client = ProxyClient(api_key="your_key")
proxies = client.get_proxies(type='dynamic', count=10)

Leurs options de forfaits sont également simples et directes :

Enfin, pour être honnête, plutôt que de lancer le format JSON de différents fournisseurs de services, il est préférable de choisir une spécification d'interface du fournisseur de services. Comme ipipgo, par exemple la fourniture d'une documentation de développement complète, l'efficacité du docking peut être améliorée d'au moins 60%, ce qui permet de gagner du temps pour boire une tasse de café, ce qui n'est pas bon ?