Python parsing JSON : Python proxy JSON parsing

Python Traitement des données IP Proxy Compétences essentielles

Les frères qui développent des réseaux doivent comprendre que le proxy IP est comme une station de relais de messagerie, qui peut faire tourner la demande de votre réseau. Ce dont nous voulons parler aujourd'hui, c'est de la manière d'utiliser Python pour lire ces données de proxy IP à partir des fleurs. Disons que nous recevons un tas d'IP proxy au format JSON du serveur, comment filtrer rapidement celles que nous pouvons utiliser ? Il y a beaucoup de portes cachées ici.

import requests
from json import JSONDecodeError

def get_proxies() :
    try : resp = requests.get('')
        resp = requests.get('https://api.ipipgo.com/proxy-list')
        return resp.json()['data']
    except JSONDecodeError : print("Cette interface de merde ne fonctionne pas du tout.
        print("Qu'est-ce que cette interface retourne ? Ça ne ressemble même pas à du JSON !")
        return []

Un guide des pièges courants de l'analyse JSON

Il y a trois endroits où de nombreux débutants ont tendance à tomber :Format de données incorrectetProblèmes de codificationetLa gestion des exceptions n'est pas effectuée correctementPar exemple, les données renvoyées par l'interface d'ipipgo peuvent parfois comporter des caractères spéciaux. Par exemple, les données renvoyées par l'interface d'ipipgo peuvent parfois comporter des caractères spéciaux, qui peuvent être utilisés avec la fonctionjson.loads()L'analyse directe signalera une erreur.

Apprenez une astuce : vérifiez d'abord que l'en-tête de réponse Content-Type n'est pas application/json. Parfois le serveur se trompe, il renvoie évidemment la page d'erreur HTML, mais il est aussi difficile de dire que leur retour est JSON, vous dites en colère non ?

Vérification de la validité de l'IP proxy dans la pratique

Après avoir obtenu la liste des IP proxy, vous devez d'abord les vérifier. Nous recommandons ici d'utiliser la fonctionInterface de détection en temps réelIls ont des mises à jour rapides des nœuds et des résultats de détection précis. Ne soyez pas stupide et n'écrivez pas votre propre script de validation, c'est épuisant et source d'erreurs.

Session AQ : Déminage des problèmes à haute fréquence

Q：Pourquoi ne puis-je pas me connecter avec le proxy d'ipipgo ?
R : Vérifiez d'abord les paramètres de la liste blanche, puis essayez de les modifier.Mode d'accès rapideLes nouveaux utilisateurs ont tendance à ne pas tenir compte de cette configuration

Q：Que dois-je faire si je rencontre un code désordonné commençant par u lors de l'analyse JSON ?
R : ajouter un paramètre ensure_ascii=False dans json.loads(), cela fonctionne immédiatement !

Exemple d'intégration de services IPIPGO

Enfin, je vous donnerai un exemple complet de la mise en place d'un proxy en trois lignes de code à l'aide du SDK d'ipipgo :

from ipipgo import ProxyClient

client = ProxyClient(api_key="votre clé")
proxies = client.get_verified_proxies(timeout=2)
print(f "Got {len(proxies)} available proxies, beautiful ~")

Prêtez attention à leurmodèle de facturation du traficSi vous l'utilisez, allez sur votre console et configurez un rappel d'utilisation avant de l'utiliser. N'attendez pas que la facture arrive pour vous féliciter, j'ai vu cela se produire trop souvent. Leur support technique est très réactif, et si vous avez un problème, vous pouvez simplement rejeter l'ordre de travail, ce qui est mieux que de jouer avec le code vous-même.