Traitement JSON par Python : tutoriels de traitement JSON par proxy Python

I. Pourquoi utiliser un proxy IP pour traiter des données JSON ?

Les frères de la capture de données comprennent, directement prendre leur IP difficile à détester le site est facile à manger la porte. Par exemple, vous voulez crawler par lots les données météorologiques, les prix des matières premières, ceux-ci existent dans le format JSON de l'information, une douzaine de requêtes consécutives peuvent être bloquées IP. Cette fois, avec le pool d'IP proxy d'ipipgo, tout comme pour le crawler portant le logo de l'entreprise.cape d'invisibilitéLe taux de réussite est directement doublé en changeant de gilet à chaque demande.

Deuxièmement, le traitement JSON par Python des trois grands métiers

Tout d'abord, il faut comprendre le fonctionnement de base de l'appareil, et vous apprendre trois astuces pratiques :

import json

 1. chaîne de caractères vers dictionnaire (comme pour déballer un courrier)
data_str = '{"city" : "Shanghai", "ip" : "192.168.1.1"}'
data_dict = json.loads(data_str)

 2. du dictionnaire à la chaîne (emballé pour l'expédition)
new_data = {"status" : 200}
json_str = json.dumps(new_data)

 3. opérations de lecture et d'écriture de fichiers (données importantes stockées dans le coffre-fort)
avec open('data.json', 'w') as f.
    json.dump(data_dict, f)

Troisièmement, avec l'IP proxy, le combat réel pour capturer les données

Prenons un cas concret : utilisez le proxy résidentiel dynamique d'ipipgo pour capturer les données de l'API d'un site web. Regardez la section de configuration du proxy :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@proxy.ipipgo.com:端口',
    'https' : 'http://用户名:密码@proxy.ipipgo.com:端口'
}

response = requests.get(
    'https://api.example.com/data',
    proxies=proxies,
    timeout=10
)

 Gestion d'un éventuel code brouillé
if response.encoding == 'ISO-8859-1' : response.encoding == response.encoding == 'ISO-8859-1'.
    response.encoding = response.apparent_encoding

data = response.json()
print(data.get('temperature'))

Note importante : l'adresse proxy d'ipipgo se trouve dans le backend."Mon paquet".Il peut être trouvé dans le support du double protocole HTTP/HTTPS, n'oubliez pas de remplacer les mots de passe de leurs comptes.

Quatrièmement, la technologie noire pour traiter les JSON imbriqués à plusieurs niveaux

Ne paniquez pas lorsque vous rencontrez cette structure malade :

{
  "result" : {
    "proxies" : [
      {"ip" : "1.1.1.1", "speed" : 200}, {"ip" : "2.2.2.2", "speed" : 150}
      {"ip" : "2.2.2.2", "speed" : 150}
    ]
  }
}

Extraire la liste des adresses IP en une seule étape avec jsonpath :

from jsonpath import jsonpath

ips = jsonpath(data, '$..proxies[].ip')
print(ips) output ['1.1.1.1.1', '2.2.2.2.2']

V. AQ pratique des scènes de renversement courantes

Q : Que dois-je faire si je ne parviens pas à me connecter à l'adresse IP du proxy ?
R : vérifiez d'abord trois éléments : ① le mot de passe du compte contient des caractères spéciaux (encodage URL recommandé) ② le port n'est pas renseigné dans la page web affichée ③ testez la connectivité TCP (telnet proxy.ipipgo.com port)

Q：json.decoder.JSONDecodeError报错怎么办？
R : Quatre-vingt pour cent du site renvoie une page d'erreur, il faut d'abord imprimer (response.text) pour voir le contenu original, il est recommandé d'ajouter le paquet try-except :

essayer.
    data = response.json()
except JSONDecodeError : print("Le JSON retourné n'est pas un JSON correct !
    print("Le JSON retourné n'est pas un JSON correct !")

Sixièmement, le paquet ipipgo : comment choisir la solution la plus rentable ?

Recommandations basées sur des scénarios d'entreprise :

Enfin, j'aimerais mentionner qu'il est plus facile de gérer les proxies avec le client ipipgo qu'avec l'API, et qu'il détecte automatiquement la disponibilité des IP. Si vous rencontrez des problèmes techniques, adressez-vous directement à leur service clientèle technique, la vitesse de réponse est au moins deux fois plus rapide que celle des commerçants ordinaires - ne me demandez pas comment le savoir, vous sortez de l'expérience de la sortie de la fosse.