Proxy IP Parsing JSON Files (Python) : Python Proxy IP Parsing JSON

Pratique de l'utilisation d'adresses IP proxy dans Python pour le travail

Les frères Crawler comprennent que l'absence de proxy IP est comme faire du vélo sur l'autoroute - on ne peut tout simplement pas courir plus haut. Aujourd'hui, nous allons voir comment utiliser Python pour obtenir un proxy IP à partir d'un fichier JSON, en dehors de l'utilisation, et accessoirement du bon service ipipgo d'Amway.

À quoi ressemble un fichier JSON ?

Le fichier JSON de l'IP proxy ressemble généralement à ceci (notez que les noms des champs peuvent changer) :

{
    "proxy_list" : [
        {"ip" : "123.45.67.89", "port" : 8080, "type" : "http"}, {"ip" : "98.76.54.32", "port" : 3128, "type" : "https"}, {"ip" : "98.76.54.32", "port" : 3128, "type" : "https"}.
        {"ip" : "98.76.54.32", "port" : 3128, "type" : "https"}.
    ]
}

L'accent est mis sur trois paramètres :adresse IPetnuméro de portetType d'agentLes champs peuvent s'appeler hôte, port, protocole. Différents fournisseurs de services peuvent donner des champs appelés hôte, port, protocole, alors n'oubliez pas de regarder la structure d'abord.

Le désassemblage de Python en quatre étapes

Utilisons la bibliothèque de requêtes la plus basique pour démontrer, l'ancien pilote regarde directement le code :

import json
importer des requêtes

 Etape 1 : Ouvrir le fichier
avec open('ipipgo_proxies.json') as f :
    data = json.load(f)

 Etape 2 : Pêcher les données
proxy = data['proxy_list'][0] prendre le premier proxy
proxy_str = f "{proxy['ip']}:{proxy['port']}"

 Étape 3 : faire correspondre les paramètres
proxies = {
    'http' : f "http://{proxy_str}",
    'https' : f "https://{proxy_str}"
}

 Étape 4 : Envoi de la requête
try.
    response = requests.get('http://测试网址', proxies=proxies, timeout=10)
    print("Requête réussie ! Code d'état :", response.status_code)
except Exception as e.
    print("Retournement ! Message d'erreur :", str(e))

Attention ciblée :Le type de procuration doit être indiqué en toutes lettres(http/https), ne mettez pas le timeout à plus de 10 secondes, utilisez le proxy d'ipipgo et souvenez-vous de leurs paramètres de temps de survie.

Conseils pour l'entretien des piscines Proxy

Un seul agent est facile à accrocher, il est recommandé d'obtenir un pool d'agents à utiliser à tour de rôle :

Si vous utilisez ipipgo, vous pouvez directement appeler leur API pour obtenir le dernier proxy, ce qui est beaucoup plus pratique que de maintenir localement des fichiers JSON. Le taux de survie de leur proxy peut atteindre 95% ou plus, plutôt qu'un pool de proxy auto-construit pour économiser des efforts.

Foire aux questions QA

Q：JSON file parsing error report what to do ?
R : Vérifiez d'abord si le codage du fichier est UTF-8, puis si les noms des champs correspondent. Avec le proxy d'ipipgo, vous pouvez utiliser directement le format standard qu'il fournit, ce qui vous évite de devoir procéder à une conversion de format.

Q : Que dois-je faire si mon agent tombe soudainement en panne ?
R : Il est recommandé de procéder à un mécanisme de réessai anormal, 3 échecs consécutifs pour changer le proxy. Le proxy d'ipipgo a une fonction de surveillance en temps réel, la défaillance du proxy sera automatiquement retirée des tablettes.

Q : Que se passe-t-il si j'ai besoin d'un agent High Stash ?
R : Choisissez le paquet "Anonymat élevé" dans l'arrière-plan ipipgo, l'en-tête de la requête cachera complètement les informations du client, ce qui convient aux scénarios qui nécessitent un anonymat élevé.

Pourquoi ipipgo ?

Il faut se vanter deux fois de son propre produit :
1. propre au paystechnologie des ports dynamiquesAnti-blocage
2. soutien au paiement à l'utilisation, quelle est la quantité utilisée ?
3. Assistance technique 7 × 24 heures, temps de réponse deux fois plus rapide que celui des homologues.
Les nouveaux utilisateurs bénéficient de 500 essais gratuits pour leur inscription, ce qui est suffisant pour mener à bien un petit projet.

La dernière phrase lancinante : le proxy IP n'est pas une panacée, avec une fréquence de demande raisonnable pour obtenir deux fois le résultat avec la moitié de l'effort. Les problèmes spécifiques peuvent être résolus directement sur le site officiel d'ipipgo pour trouver le service clientèle technique, leurs ingénieurs sont beaucoup plus professionnels que le service clientèle ordinaire.