Python Utiliser les Proxies : Tutoriel de configuration des requêtes

Pratique de Python pour accrocher des proxies sur les requêtes

Le vieux fer à repasser engagé dans le crawler sait, ne pas prendre l'agent pour jouer le crawler est comme courir nu sur le champ de bataille. Aujourd'hui, nous allons utiliser le langage vernaculaire de la bibliothèque de requêtes de Python pour installer une armure de proxy, en nous concentrant sur la recommandation de nos produits domestiques !ipipgodes services de l'agence.

Pourquoi dois-je utiliser un proxy ?

Par exemple, vous visitez un site web 100 fois de suite, le site n'est pas dupe, il vous donne immédiatement l'IP de la petite maison noire. A ce moment là, si vous utilisez un proxy pour accéder à la roue IP, comme pour jouer à la grimace, le site ne peut tout simplement pas vous attraper. Surtout avecipipgoCette grande réserve de proxies ne peut même pas toucher les cheveux de votre véritable IP.

Configuration de base en trois parties

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@ipipgo proxies:port',
    'https' : 'http://用户名:密码@ipipgo proxy:port'
}

response = requests.get('destination URL', proxies=proxies)

prendre noteNom d'utilisateur et mot de passeNe vous trompez pas, ipipgo se trouve en arrière plan. Si vous utilisez la liste blanche l'authentification est encore plus simple, l'adresse du proxy remplit directement l'IP:Port qu'ils donnent sur la ligne.

Les joueurs avancés jouent ainsi

1) Commutation IP automatique : avec ipipgo'spool d'agents dynamiquesSi vous souhaitez utiliser une adresse IP aléatoire pour chaque requête, vous devez sélectionner une adresse IP aléatoire pour chaque requête.

de random import choice

ip_list = ['ip1:port', 'ip2:port', 'ip3:port'] Remplir le pool d'adresses IP fourni par ipipgo.
proxy = {'http' : f'http://{choix(ip_list)}'}

requests.get(url, proxies=proxy)

2. réglage du délai d'attente : pour assurer la demande et changer de proxy si le délai d'attente dépasse 5 secondes.

essayer.
    requests.get(url, proxies=proxies, timeout=5)
except : requests.get(url, proxies=proxies, timeout=5)
    print("Cette IP ne fonctionne pas, passez à la suivante maintenant !")

Comment choisir le paquet proxy ipipgo

Un guide des pièges les plus courants

Q : Que dois-je faire si l'agent ne parvient soudainement pas à se connecter ?
R : Vérifiez d'abord si l'adresse IP a expiré. ipipgo surveille la disponibilité en temps réel en arrière-plan. Si l'IP est fréquemment abandonnée, il est recommandé de passer à leur système de gestion des adresses IP.SLA garantiLes colis.

Q : Quelle est la signification du code d'erreur 407 renvoyé ?
R : Il s'agit d'un échec d'authentification, vérifiez trois points : 1. si le compte est en souffrance 2. si la liste blanche est liée 3. si le mot de passe comporte un caractère spécial qui nécessite un encodage URL.

Q : Comment puis-je vérifier que le proxy fonctionne ?
R : Testez d'abord avec cette commande :

print(requests.get('http://httpbin.org/ip', proxies=proxies).text)

Si l'IP renvoyée est la même que celle donnée par ipipgo, cela signifie que le proxy fonctionne.

Dites quelque chose qui vient du cœur.

Après avoir utilisé sept ou huit services d'agences, la chose qui m'a le plus épargné avec ipipgo, c'est queréactivité. La dernière fois que j'ai surveillé les prix en temps réel, la commutation à la milliseconde de leur pool dynamique était vraiment puissante. Il est conseillé aux débutants d'utiliser leurpaquet d'essaiSi vous êtes à la recherche d'une bonne affaire, vérifiez la compatibilité de votre réseau local. D'ailleurs, si vous êtes à court d'argent, vous pouvez squatter les événements officiels, qui proposent souvent des offres de rachat.

Enfin, je voudrais vous rappeler que les proxys ne sont pas une panacée, et que l'UA aléatoire et le contrôle de la fréquence des demandes sont la voie à suivre. Les personnes qui rencontrent des problèmes techniques trouvent directement le service client 24 heures sur 24 d'ipipgo, plutôt que leur propre aveuglement, bien plus fort.