Envoi de requêtes HTTP par Python : Configuration du proxy de requêtes Python

La bonne façon d'ouvrir Python crawler plus agent

Les copains du Crawler comprennent que la demande directe nue d'envoyer une minute à l'IP bloquée, cette fois vous avez besoin de trouver un intermédiaire fiable - proxy IP. Nous n'avons pas tout un faux, directement sur le code pour vous apprendre comment configurer le proxy en Python, et d'ailleurs, le propre bon service ipipgo d'Amway.

Comment fonctionne exactement une IP proxy ?

En clair, cela signifie que votre demande sera d'abord transmise par l'intermédiaire d'un serveur proxy. Par exemple, si vous allez au restaurant et que vous commandez un repas, vous avez d'abord dit au chef "steak", mais vous laissez maintenant le serveur transmettre votre commande au chef. Ainsi, le chef ne sait pas qui a commandé le repas.

 Proxy de configuration de la bibliothèque des requêtes (se concentrer sur le paramètre proxies)
importer des demandes

proxies = {
    'http' : 'http://用户名:密码@ip address:port',
    'https' : 'https://用户名:密码@ip address:port'
}

response = requests.get('destination URL', proxies=proxies, timeout=10)

Deux poses de configuration à apprendre absolument

Position 1 : demande de bibliothèque(pour les novices)
Il suffit de mettre le dictionnaire des proxies directement dans les paramètres de la requête, et de noter que http et https doivent être écrits séparément. N'oubliez pas de sélectionner socks5 comme type de protocole lorsque vous utilisez la ligne TK d'ipipgo :

proxies = {'http' : 'socks5://proxy information generated by ipipgo account'}

Position 2 : bibliothèque urllib(vieille école mais stable)
Le processeur d'agent doit être créé en premier et convient aux situations où un contrôle fin est nécessaire :

from urllib.request import ProxyHandler, build_opener

proxy = ProxyHandler({'http' : '117.88.176.66:3000'}) avec l'IP fournie par ipipgo
opener = build_opener(proxy)
response = opener.open('http://目标网址')

Pourquoi recommandez-vous ipipgo ?

Pas de formules de politesse pour le produit maison, on passe directement aux choses sérieuses :

Mention spéciale pour leurAPI SERPLes frères qui s'occupent de l'exploration des moteurs de recherche peuvent appeler directement les interfaces prêtes à l'emploi et s'épargner ainsi les problèmes liés à la lutte contre l'escalade.

Pièges courants AQ

Q : La configuration du proxy est réussie mais la requête échoue ?
R : Vérifiez d'abord si le format IP est correct, en particulier avec les mots de passe des comptes. Si vous utilisez le client ipipgo, il est recommandé d'utiliser son outil de détection d'IP pour mesurer d'abord la connectivité.

Q : Comment gérer le besoin d'un grand nombre d'adresses IP ?
R : directement sur leur fonction d'extraction API, le code pour ajouter un mécanisme de rotation du pool d'IP. L'édition Enterprise prend en charge plus de 500 IP en même temps, n'oubliez pas de définir l'intervalle de requête.

Q : Échec du proxy web HTTPS ?
R : Il est probable qu'il s'agisse d'un problème de certificat, dans la demande d'ajout.verify=FalseLes paramètres peuvent être résolus temporairement. Pour une utilisation à long terme, il est recommandé de configurer le certificat SSL exclusif d'ipipgo.

Q : Que dois-je faire si mon agent est lent ?
R : Sélection prioritaire de nœuds géographiquement proches, tels que les entreprises nationales avec l'IP statique provinciale d'ipipgo. Les entreprises transfrontalières directement sur leur ligne privée internationale, le délai peut être ramené à 200 ms ou moins.

conseil pratique

1. ajouter un mécanisme de tentative de proxy dans le code, et changer automatiquement d'IP en cas d'échec.
2. n'utilisez pas de proxies gratuits ! Non seulement les données ne sont pas sécurisées, mais neuf fois sur dix, elles ne fonctionnent pas.
3. pour faire du crawler distribué, l'API d'ipipgo dans votre système d'ordonnancement
4) Si vous devez maintenir la session pendant une longue période, n'oubliez pas d'opter pour leur offre exclusive d'IP statique.

Enfin, pour être honnête, la configuration du proxy n'est pas compliquée en soi, l'essentiel est de trouver un fournisseur de services fiable. La famille ipipgo prend en charge la facturation horaire, les nouveaux utilisateurs peuvent également mener le volume de test (ne demandez pas comment mener, le site officiel pour trouver l'entrée), d'abord utiliser et ensuite acheter ne pas marcher sur la fosse.