Scripts Python pour les API permettant d'obtenir efficacement des adresses IP de proxy.

Apprentissage pratique de l'utilisation de Python pour glaner des adresses IP de proxy fraîches

Récemment, certains amis qui collectent des données se plaignent toujours à moi, disant que les agents libres trouvés en ligne sont soit bloqués dans PPT, soit ne peuvent pas survivre plus de 5 minutes. Je le sais trop bien ! Aujourd'hui, je vais vous donner une astuce, en utilisant un script Python pour interfacer directement avec l'API des fournisseurs de services professionnels, afin que vous puissiez extraire l'IP proxy la plus fraîche à tout moment, comme si vous commandiez un plat à emporter.

Pourquoi dois-je utiliser l'API pour obtenir un proxy ?

L'utilisation du proxy traditionnel a connu ces choses : le copier-coller manuel des IP, le remplacement fréquent des fichiers de configuration, le déplacement sur l'échec de la vérification ... (Ne me demandez pas comment savoir) maintenant directement avec l'API docking est comme l'installation d'un robinet intelligent - combien d'IPs veulent mettre à tout moment, mais aussi peut êtreFiltrage automatique des nœuds défaillantsVous gagnez ainsi suffisamment de temps pour conduire trois rois.

Secrets pratiques de l'arrimage en Python

Voici un exemple de ce que vous pouvez faire avecipipgoAPI pour une démonstration, leur interface est conçue comme une caméra muette. Commençons par une petite préparation :
1) Allez sur le site officiel pour vous enregistrer et obtenir une clé API (n'oubliez pas d'obtenir un quota d'essai gratuit).
2. comprendre les descriptions des paramètres dans la documentation de l'interface
3. préparer votre environnement Python (la bibliothèque requests est indispensable)

demandes d'importation

def grab_proxies(api_key) : url = "".
    url = "https://api.ipipgo.com/v1/proxy"
    params = {
        "key" : api_key, "protocol" : "socks5", supporte http/https/socks5
        "protocol" : "socks5", prend en charge http/https/socks5
        "count" : 10, prenez-en autant que vous voulez
        "region" : "us" Spécifiez le code de la région.
    }
    response = requests.get(url, params=params)
    return [f"{item['ip']}:{item['port']}" for item in response.json()['data']]]

 Exemple d'utilisation
proxy_list = grab_proxies("Votre clé API")
print(f "IP fraîche : {', '.join(proxy_list[:3])}...")

Cette version de base du script est déjà capable de récupérer des pools de proxy en quelques secondes, mais vous pouvez ajouter ces fonctionnalités si vous voulez jouer plus 6 :
- Mécanisme de rotation automatique des adresses IP (pour éviter qu'une seule adresse IP ne soit utilisée de manière trop agressive)
- Stratégie de relance en cas d'exception (réapprovisionnement automatique en cas de défaillance d'une IP)
- Optimisation des requêtes simultanées (gestion simultanée de plusieurs canaux IP)

Trois conseils pour la préservation de la propriété intellectuelle

Même si vous utilisez l'API, ces fosses continueront à rouler si vous n'y prêtez pas attention :
1. gestion du cycle de vieIl est recommandé de changer d'IP toutes les 15-30 minutes, comme ipipgo, un pool d'IP résidentiel dynamique n'est tout simplement pas suffisant.
2. correspondance des protocoles: Crawling websites with http, game hangers with socks5, choose the wrong protocol for nothing !
3. camouflage de la circulationN'oubliez pas d'ajouter User-Agent dans l'en-tête de la requête, ne laissez pas le site cible penser que vous êtes un robot !