Proxy IP Extraction : Proxy IP Extraction API Docking Development

Vous apprendrez à utiliser des interfaces IP proxy.

Récemment, de nombreux amis ont demandé comment installer l'interface IP proxy sur leur propre système de développement, cette chose n'est pas difficile à dire mais facile à faire. L'année dernière, lorsque j'ai accosté pour la première fois, je n'ai fait que déboguer la signature pendant deux jours. Voici un tutoriel de niveau nounou pour tout le monde, n'oubliez pas de voir la fin du guide pour éviter la fosse.

Quatre étapes pour l'arrimage de l'API

Aujourd'hui, les principaux fournisseurs de services utilisent l'interface RESTful. Prenons l'exemple d'ipipgo home dynamic residential proxy :

 Exemple en Python (n'oubliez pas d'installer d'abord la bibliothèque requests)
import requêtes

def get_proxy() : api_url = "
    api_url = "https://api.ipipgo.com/getproxy"
    params = {
        "key" : "Votre clé d'autorisation",
        "type" : "dynamic",
        "count" : 10,
        "format" : "json"
    }
    response = requests.get(api_url, params=params)
    return response.json()['data']

centreIl est recommandé de choisir le format json dans le champ du paramètre, qui est moins sujet aux erreurs que le format texte. N'oubliez pas d'effectuer le test de connectivité après avoir obtenu l'agent, ne l'envoyez pas directement au système de l'entreprise.

Pièges courants sur le terrain

La semaine dernière un ami m'a dit que son crawler était toujours bloqué, j'ai vérifié et j'ai trouvé que le proxy pool n'était pas mis à jour à temps. Voici une solution de rafraîchissement automatique :

 Rafraîchissement temporel du pool d'agents (toutes les heures)
from apscheduler.schedulers.background import BackgroundScheduler

def refresh_proxy() :
    global proxy_pool
    new_proxies = get_proxy()
    proxy_pool = list(set(proxy_pool + new_proxies))

scheduler = BackgroundScheduler()
scheduler.add_job(refresh_proxy, 'interval', hours=1)

Comment choisir l'offre la plus avantageuse

Voici un tableau comparatif réel (basé sur la dernière offre d'ipipgo) :

Conseils pour économiser de l'argentLe premier paquet dynamique est utilisé lors de la phase de test, et il est plus rentable de passer à un paquet statique une fois que l'activité est stabilisée. En cas de besoins particuliers, il faut s'adresser directement au service clientèle pour personnaliser le programme, ce qui permet d'économiser environ 20% par rapport aux paquets difficiles à acheter.

Sélection pratique de l'AQ

Q : Que dois-je faire si l'appel à l'API échoue toujours ?
R : Vérifiez d'abord trois choses : 1. si la clé a expiré 2. si le format des paramètres est correct 3. si le solde du compte est suffisant. L'arrière-plan d'ipipgo dispose de journaux d'appels en temps réel, ce qui est beaucoup plus rapide que d'enfouir des points dans le code pour dépanner.

Q : Que s'est-il passé lorsque le proxy IP a soudainement ralenti ?
R : 80 % des nœuds sont temporairement restreints. Il est recommandé d'ajouter un mécanisme de commutation automatique dans le code, et d'écarter directement l'agent qui rencontre un dépassement de délai de plus de 3 secondes. La version entreprise du progiciel d'ipipgo est dotée d'une fonction de planification intelligente, qui permet de réaliser de nombreuses économies.

Q : Que se passe-t-il si je dois utiliser des adresses IP de différents pays en même temps ?
R : Dans la demande API, ajoutez le paramètre country_code sur la ligne, par exemple pour les États-Unis sur la transmission de US. Notez que certains petits pays doivent contacter le service clientèle à l'avance pour ouvrir les autorisations IP.

Détails techniques incontournables

Enfin, un point facilement négligé - l'authentification par proxy. Aujourd'hui, le courant dominant est divisé en deux parties :

 Méthode 1 : Avec le mot de passe du compte dans l'URL
proxy_url = "http://username:password@ip:port"

 Méthode 2 : demande d'authentification de l'en-tête
headers = {
    "Proxy-Authorization" : "Basic base64 encoded account password"
}

Les outils clients d'ipipgo intègrent un mécanisme d'authentification automatique, ce qui permet aux utilisateurs blancs de l'utiliser directement sans se préoccuper de quoi que ce soit.

Si vous n'y arrivez toujours pas après avoir lu, allez directement sur leur site officiel pour trouver le service clientèle technique en ligne. La vitesse de réponse mesurée est supérieure à celle de certains grands fabricants, bien plus rapide que les deux dernières heures du milieu de la nuit pour mentionner l'ordre de travail et le retour de quelqu'un, sur la base de cette attitude de service, je fais des éloges.