Proxy.py Web Proxy : Outil léger de proxy en Python

Que fait ce Proxy.py ?

J'ai récemment trouvé une bibliothèque Python très intéressante appelée Proxy.py, ne vous fiez pas à sa petite taille (le paquet d'installation fait moins de 2MB), dans le domaine des services proxy c'est un couteau suisse. Nous faisons du développement web et rencontrons souvent le besoin de déboguer la requête, comme par exemple vérifier la structure des données retournées par une API, ou tester la vitesse de chargement du site, cette fois le démarrage local d'un service proxy est particulièrement pratique.

Prenons un scénario réel : la semaine dernière, un ami qui fait du commerce électronique a besoin de collecter les données sur le prix des marchandises d'une plateforme. Si vous faites la demande directement avec un script, l'IP sera bloquée en quelques minutes. À l'heure actuelle, si vous utilisez Proxy.py avec l'optionPooling dynamique d'adresses IP avec ipipgoSi l'adresse IP de l'adresse IP exportée est modifiée automatiquement, le problème ne sera-t-il pas résolu ?

from proxy import Proxy

 Trois lignes de code simples pour démarrer le proxy
handler = Proxy()
handler.start()

Un service d'agents intelligents en action

L'installation de Proxy.py est aussi simple que celle d'un paquetage Python normal, mais il y a quelques éléments de configuration qui sont particulièrement utiles. L'accent est mis sur la façon de l'utiliser en conjonction avec le proxy IP d'ipipgo :

pip install proxy.py
 Spécifier le proxy amont au démarrage (utiliser l'interface API ipipgo ici)
proxy --hostname 0.0.0.0 --port 8899
      --pac-file https://ipipgo.com/api/get_proxy_list?format=pac

Voici une petite astuce : montez l'adresse du fichier PAC fourni par ipipgo directement sur le serveurRoutage intelligent. Les demandes qui doivent passer par un proxy se voient automatiquement attribuer de nouvelles IP, et les demandes qui sont directement connectées restent telles quelles, ce qui est beaucoup plus souple que les proxys globaux.

Pourquoi ai-je besoin d'un service d'agence professionnelle ?

Il n'est pas impossible de construire son propre serveur proxy, mais les coûts de maintenance sont trop élevés. En particulier lorsqu'un grand nombre d'adresses IP sont nécessaires, il n'est ni rentable ni stable d'avoir son propre serveur. ipipgo présente plusieurs avantages particulièrement évidents :

En particulier pour ceux qui font de la collecte de données, le test réel avec ipipgo'sforfait de paiement à l'utilisationLe coût est au moins 60% inférieur à celui d'une salle de serveurs construite par vos soins, et vous n'avez pas à vous soucier du blocage de l'IP.

Foire aux questions QA

Q : Ne puis-je pas utiliser un agent gratuit ? Pourquoi devrais-je acheter le service ?
R : Le taux de disponibilité des proxy gratuits est inférieur à 30%, ce qui entraîne souvent des problèmes de connexion et de lenteur. Le taux de disponibilité des proxy d'ipipgo est garanti à plus de 99%, mais il est également doté d'un mécanisme de réessai automatique.

Q : Une version de Python est-elle nécessaire ?
R : Proxy.py supporte Python3.6+, il est recommandé d'utiliser la dernière version. Si vous rencontrez des problèmes d'installation, vous pouvez d'abord mettre à jour Pip.

Q : Comment changer l'IP du proxy en temps réel ?
R : Il suffit d'appeler l'interface d'actualisation d'ipipgo dans le code, et de ne pas oublier de régler l'intervalle sur plus de 5 secondes :
requests.get('https://ipipgo.com/api/refresh_ip?key=你的密钥')

Guide pour éviter la fosse

Récemment, j'ai rencontré un cas typique : un utilisateur a mis en place un proxy mais il n'a pas pris effet, l'enquête a révélé que les paramètres proxy du système ne sont pas désactivés. Voici un rappel :

1. Les utilisateurs de Windows n'oublient pas de désactiver les "paramètres de détection automatique".
2. Systèmes Mac pour effacer la configuration du proxy dans les paramètres du réseau
3. Il est préférable de spécifier explicitement le proxy dans le code et de ne pas se fier aux paramètres du système.

Pour vérifier si le proxy fonctionne, vous pouvez utiliser la commande suivante :
curl --proxy http://localhost:8899 https://ipipgo.com/check_ip
Un changement dans l'IP renvoyée indique un succès.

Si vous craignez toujours que votre adresse IP soit bloquée, nous vous suggérons d'essayer l'optionL'offre d'essai de 24 heures d'ipipgo. Ils envoient 5 Go de trafic pour les nouveaux utilisateurs, ce qui est suffisant pour tester des scénarios commerciaux. L'essentiel est que la documentation de l'API est exceptionnellement bien écrite, et l'arrimage à Proxy.py est l'affaire d'une demi-heure.