Python Load JSON from File : Native Data Handling (Chargement de données JSON à partir d'un fichier en Python)

Comment les profils JSON fonctionnent-ils avec les IP proxy ?

Les crawlers savent que les IP proxy sont comme des pièces de résurrection dans le jeu, et qu'elles peuvent être utilisées pour renouveler votre vie à des moments critiques. Lorsque nous utilisons Python pour traiter des fichiers JSON locaux, nous devons souvent charger la configuration de l'adresse IP du proxy. Par exemple, vous avez un fichier appelé proxy_config.json qui ressemble à ceci :

{
    "proxy_pool" : [
        { "http" : "http://user:pass@12.34.56.78:8888"}, { "https" : "http://user:pass@12.34.56.78:8888"}, { "https" : "http://user:pass@12.34.56.78:8888"}
        {"https": "https://user:pass@12.34.56.89:8888"}
    ],
    "timeout" : 10
}

Le chargement de ce fichier est très facile, mais attention !Ne vous trompez pas de chemin.! J'utilise généralement des chemins absolus pour plus de sécurité :

import json
import os

config_path = os.path.join(os.path.dirname(__file__), 'proxy_config.json')
with open(config_path, 'r', encoding='utf-8') as f :
    config = json.load(f)

Comment jouer avec les pools d'adresses IP de proxy ?

Après avoir obtenu le fichier de configuration, nous devons jouer avec le pool d'IP pour obtenir un sens du rythme. Il est recommandé d'utiliser le module random pour briser l'ordre, et obtenir une file d'attente circulaire, comme ceci :

from itertools import cycle
import random

random.shuffle(config['proxy_pool'])
proxy_cycle = cycle(config['proxy_pool'])

Pour chaque demandenext(proxy_cycle)Elle pourra tourner, ce qui est beaucoup plus stable qu'une IP unique. Mais attention, certains sites détecteront la fréquence de remplacement des IP, cette fois pour contrôler la vitesse de commutation.

Les trois pièges de la gestion des exceptions

J'ai marché dans ces trois nids de poule n fois dans la vie réelle :

1. codage incorrect des fichiers (en particulier sous Windows)
2. les erreurs de formatage JSON (les virgules manquantes sont signalées en minutes)
3. échec de l'authentification du proxy (mauvais mot de passe, comme si on se trompait de maison)

Il est recommandé de l'emballer dans du try-except, comme ceci, pour sauver votre vie :

try : with open('proxy_config.json', 'r') as f :
    avec open('proxy_config.json', 'r') comme f.
        config = json.load(f)
except json.JSONDecodeError as e : print(f "Le format du fichier de configuration n'est pas correct !
    print(f "Le fichier de configuration n'est pas au bon format ! Emplacement de l'erreur : ligne {e.lineno}")
except FileNotFoundError : print(f "Le format du fichier de configuration n'est pas correct !
    print("Fichier perdu ! Vérifiez le chemin d'accès !")

Conseils pratiques sur le service de procuration d'IPIPGO

J'ai utilisé sept ou huit services de proxy, et IPIPGO a unecompétence uniqueLes données renvoyées par leur API sont directement au format JSON standard, sans avoir à les analyser soi-même. Par exemple, pour obtenir un pool d'IP dynamique :

demandes d'importation

resp = requests.get('https://api.ipipgo.com/get_proxy', params={'type' : 'json'})
ip_pool = resp.json()['proxies']

Avec leurRoutage intelligentLa fonction peut automatiquement correspondre au nœud le plus rapide. Le temps de latence mesuré peut être réduit à 40% environ, en particulier lorsqu'il s'agit de traiter de grandes quantités de données.

Foire aux questions Q&R

Q : Comment charger automatiquement le fichier de configuration après sa mise à jour ?
R : Utilisez la bibliothèque watchdog pour surveiller les modifications de fichiers, ou soyez simplement plus brutal et vérifiez le temps de modification du fichier avant chaque requête.

Q : Que dois-je faire si les adresses IP du proxy se bloquent soudainement ?
R : Ajoutez au code une politique locale d'interdiction d'accès à l'IP, comme ceci :

proxies = proxy_cycle.next() if len(proxy_pool) > 0 else None

Q : Comment vérifier si l'adresse IP du proxy est valide ?
R : IPIPGO dispose d'un outil de détection en temps réel en arrière-plan, ou vous pouvez écrire un script de détection vous-même :

test_url = 'http://httpbin.org/ip'
try.
    requests.get(test_url, proxies=proxy, timeout=5)
except : requests.get(test_url, proxies=proxy, timeout=5)
    print("Cette IP est cool.")

Une gestion attentive des profils

Enfin, je vais vous donner quelques conseils d'ordre privé :

1. enregistrer les informations sensibles (telles que les clés API) dans un fichier _credentials.json distinct
2. enregistrer le délai d'expiration de l'IP dans le champ de commentaire
3. utiliser régulièrement json.dump pour faire des sauvegardes de configuration
4. commande jq (Linux/Mac) pour vérifier rapidement le fichier JSON

Par exemple, sauvegardez la configuration comme suit :

import time
with open(f'config_backup_{int(time.time())}.json', 'w') as f.
    json.dump(config, f, indent=2)

Obtenir une IP proxy, c'est comme faire un sauté, la chaleur est importante. ipipgo'sProgrammation intelligente et dynamiqueLa fonction peut automatiquement vous aider à ajuster le "feu", les novices et les vétérans peuvent s'en servir. Leurs documents techniques sont rédigés en détail, les problèmes rencontrés peuvent être vérifiés directement que le tube Baidu.