Tout d'abord, il faut bien comprendre ce qu'est l'IP proxy.
Supposons que vous indiquiez une mauvaise adresse de livraison lorsque vous faites des achats en ligne, le service de messagerie livrera le colis au mauvais endroit. L'IP proxy est comme un changement temporaire de l'adresse de livraison, de sorte que le serveur cible pense que vous êtes un visiteur d'un autre endroit. Par exemple, si vous visitez un site web de Pékin avec une IP de Jiangsu, l'autre partie verra que la source de la visite est Jiangsu.
C'est la situation la plus fréquente que rencontrent nos amis crawleurs :Utilisez continuellement la même adresse IP pour récupérer des données, le site vous place directement sur la liste noire !La première chose à faire est d'effectuer une rotation de vos IP proxy pour éviter d'être bloqué. Cette fois-ci, vous devez procéder à la rotation des IP proxy, afin d'éviter d'être bloqué. Cependant, une attention particulière doit être portée à la recherche d'un fournisseur de service proxy. Il ne faut pas choisir ceux qui viennent d'une source inconnue, comme nous utilisons ipipgo, une telle qualification formelle est fiable.
Deuxièmement, le python pour engager la procuration des deux poses
Commençons par la bibliothèque de requêtes la plus couramment utilisée, l'ajout de proxies est énorme et simple :
demandes d'importation
proxies = {
'http' : 'http://用户名:密码@ipipgo proxies:port',
'https' : 'https://用户名:密码@ipipgo proxy:port'
}
resp = requests.get('destination URL', proxies=proxies, timeout=10)
print(resp.text)
C'est un peu plus difficile si vous utilisez urllib, mais vous n'avez pas besoin d'installer des bibliothèques tierces :
from urllib.request import ProxyHandler, build_opener
proxy = ProxyHandler({
'https' : 'https://ipipgo提供的代理地址:端口'
})
opener = build_opener(proxy)
response = opener.open('https://要访问的网站')
print(response.read().decode('utf-8'))
Troisièmement, éviter ces fosses permet de gagner du temps 80%
Trois des endroits où il est le plus facile pour les débutants de se retourner :
1. Mauvais format de proxyLe mot de passe doit être écrit séparément de http et https, il y a des symboles spéciaux dans le mot de passe, il faut les échapper avec %.
2. Le délai d'attente n'est pas défini.Il est recommandé que le délai d'attente ne soit pas supérieur à 15 secondes, sinon le programme se bloquera.
3. La qualité de l'IP n'est pas bonne
C'est pourquoi nous recommandons ipipgo, qui est optimisé pour les robots d'indexation.Paquet résidentiel dynamiqueJ'ai utilisé la version standard avec une adresse IP dynamique pendant trois jours et cela n'a pas déclenché de contre-script. Testé avec la version standard de l'IP dynamique, l'exécution pendant trois jours consécutifs du script n'a pas déclenché d'anti-escalade. Pour maximiser les résultats de l'agent, n'oubliez pas cette combinaison d'or : 1. changer aléatoirement l'IP pour chaque demande (l'API d'ipipgo peut l'obtenir directement en masse) 2. commutation aléatoire avec User-Agent 3. contrôler la fréquence des visites pour qu'elles ne soient pas trop intenses Donnez un exemple de code du monde réel : Q : Que dois-je faire si l'adresse IP du proxy est invalidée après son utilisation ? Q : Que se passe-t-il si j'ai besoin d'un grand nombre de droits de propriété intellectuelle pour les projets de mon entreprise ? Q : Le code semble correct mais je ne peux pas me connecter à l'agent. J'ai utilisé 7 ou 8 services proxy et j'ai finalement opté pour ipipgo pour trois raisons principales : 1. Le protocole prend en charge l'ensemble dessocks5 et https fonctionnent tous les deux, mais certains sites ne reconnaissent que des protocoles spécifiques. 2. Économies pour le client: Leur client Windows est très pratique, deux clics et vous pouvez changer d'adresse IP ! 3. Transparence des prixContrairement à certaines plateformes qui cachent des suppléments, la version standard de Dynamic Residential commence à 7,67 $/G, ce qui rend le coût de la collecte de données gérable ! Enfin, ne vous contentez pas de regarder le service proxy bon marché. Avant l'achat bon marché de 5 yuan 100G, le résultat est que la moitié des IP sont gaspillées, mais retardées. Maintenant, avec la version standard de l'IP dynamique d'ipipgo, l'efficacité de la collecte est d'au moins 3 fois, la clé n'est pas de passer toute la journée à changer l'IP.IV. les compétences pratiques sont dispensées
importation de l'aléatoire
importer des demandes
def get_ipipgo_proxy(): : Ici, nous changeons l'adresse de l'API pour celle que nous avons obtenue du backend ipipgo.
Remplacez-la par votre propre adresse API provenant du backend d'ipipgo.
api_url = "https://api.ipipgo.com/getproxy"
proxies = requests.get(api_url).json()['data']
return random.choice(proxies)
headers_list = [
{'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0)...'} ,
{'User-Agent' : 'Mozilla/5.0 (Macintosh ; Intel Mac OS X 10_15_7)...'}
]
resp = requests.get(
url=URL cible, proxies={'https
proxies={'https' : get_ipipgo_proxy()},
headers=random.choice(headers_list),
timeout=12
)
V. Questions rapides et réponses aux questions fréquemment posées
R : Cette situation est due à 80 % à l'utilisation d'agents de mauvaise qualité. La stabilité du paquet résidentiel statique d'ipipgo est bien meilleure, 35 yuans par IP peuvent être utilisés pendant un mois entier !
R : s'adresser directement au service clientèle de l'entreprise pour obtenir un plan personnalisé. Il est possible d'adapter la méthode de facturation en fonction du volume d'activité, ce qui permet de payer en fonction du volume de manière rentable !
R : Vérifiez d'abord les paramètres de la liste blanche, l'arrière-plan d'ipipgo pour lier l'IP locale. Si vous utilisez l'authentification par mot de passe du compte, rappelez-vous que le format est user:pass@ip:port.VI. pourquoi recommandez-vous ipipgo ?
Français 
简体中文 
English 
Español 
Deutsch