Lecture de fichiers JSON par Python : Proxy IP traitant des données locales

Formation pratique à l'utilisation de Python pour appeler la bibliothèque IP du proxy local

Les confrères engagés dans les crawlers de réseau doivent comprendre que le stockage local de centaines de milliers de proxy IP est trop normal. Aujourd'hui, nous prenons Python pour discerner un disque de ces fichiers JSON existent dans le proxy IP, vous apprendre à filtrer rapidement la qualité des ressources peut être utilisé. Pas de panique, même si vous êtes débutant, suivez les étapes pour aller absolument comprendre.

import json

 Notez qu'il ne faut pas écrire les chemins morts, il est recommandé d'utiliser des chemins relatifs.
avec open('proxy_pool.json', 'r', encoding='utf-8') as f.
    proxy_data = json.load(f)

print(f "Successfully loaded {len(proxy_data)} proxy configuration entries.")

Le point clé de ce code ci-dessus est queFormat d'encodage du documentDe nombreux débutants tombent dans le piège des fichiers json contenant des commentaires en chinois ou des symboles spéciaux. Si vous constatez des erreurs d'encodage, essayez de changer le paramètre d'encodage en gbk ou supprimez le contenu non essentiel du fichier.

Trois conseils pour filtrer les agents efficaces

Ne vous précipitez pas sur les données brutes dès que vous les obtenez, effectuez d'abord trois cycles de sélection :

En voici les grandes lignesJugement sur le type de protocoleDe nombreux fournisseurs de services proxy (comme notre ipipgo) prennent en charge plusieurs protocoles à la fois. Il est recommandé d'utiliser le filtrage par type pour séparer les différents protocoles en différentes catégories, de sorte que lorsque vous appelez plus tard, vous ne serez pas débordé.

Vérification en situation réelle de la validité des procurations

Le code de validation suivant est recommandé pour la mise en signet et exclut automatiquement les nœuds qui ont échoué :

import requests
from concurrent.futures import ThreadPoolExecutor

def check_proxy(proxy) :
    try : resp = requests.get('')
        resp = requests.get('http://httpbin.org/ip',
                          proxies={'http' : proxy}, timeout=2))
                          timeout=2)
        return True if resp.status_code == 200 else False
    return False if resp.status_code == 200 else False
        return False

 Accélération de la validation avec un pool de threads
avec ThreadPoolExecutor(max_workers=20) as executor : results = executor.
    results = executor.map(check_proxy, proxy_list)

valid_proxies = [p for p, v in zip(proxy_list, results) if v]

Notez que l'adresse de test n'utilise pas de sites sensibles, ce qui facilite le déclenchement de l'anti-escalade. Il est sûr et fiable d'utiliser httpbin pour les tests, et il peut également renvoyer les informations sur l'IP actuelle. Si le taux de réussite est faible, il est recommandé de passer àipipgoLe service stable de l'agence de leur famille peut survivre jusqu'à 95% ou plus.

Session d'AQ : un guide pour éviter les pièges

Q : Que dois-je faire si je lis le fichier JSON et que je constate une erreur d'encodage ?
R : Il est probable à 90 % que le fichier soit mélangé avec l'en-tête BOM. Utilisez le Bloc-notes pour enregistrer au format UTF-8 et n'oubliez pas de sélectionner l'option "pas de BOM" !

Q : Que dois-je faire si le programme se bloque lorsque je vérifie l'agent ?
R : 80% n'est pas un paramètre de délai d'attente ! Le délai d'attente des demandes ne doit pas être inférieur, il est recommandé de le fixer entre 2 et 3 secondes !

Q : Existe-t-il une solution pour les pools d'agents locaux qui sont trop difficiles à gérer ?
R : Accès direct au service API d'ipipgo, qui fournit une mise à jour en temps réel de la liste de proxy, ce qui est beaucoup moins contraignant que de la maintenir soi-même. Les nouveaux utilisateurs peuvent également bénéficier d'un essai de trafic 5G, suffisant pour mener à bien un petit projet !

Conseils pour l'entretien à long terme

Enfin, j'aimerais vous donner une suggestion : utilisez crontab ou une tâche programmée pour exécuter régulièrement un script d'autodétection afin de signaler les proxies défaillants. Avec le pool d'IP dynamiques d'ipipgo en complément, vous pouvez dire adieu aux problèmes de blocage d'IP. Rappelez-vous que des ressources proxy stables sont la pierre angulaire du succès du crawler, ne soyez pas avare sur la configuration de base.

Si vous êtes toujours confus après avoir lu ceci, allez directement sur le site web d'ipipgo et regardez leur documentation technique, qui est beaucoup plus détaillée que ce que j'ai ici. En particulier la fonction de planification intelligente, qui peut automatiquement faire correspondre le meilleur proxy en fonction du site Web cible, ceux qui l'utilisent le savent.