AIOHTTP Setting Proxy IP : Configuration d'un proxy de requête HTTP asynchrone Python

Des exercices pratiques pour apprendre à jouer avec le proxy IP avec Python

Les amis crawleurs doivent comprendre que le mécanisme d'anti-escalade des sites est de plus en plus difficile. La semaine dernière, un vieux frère chargé de la collecte de données m'a trouvé pour se plaindre, disant que le projet de leur entreprise était le site cible bloqué par plus d'une douzaine d'IP.méthode de l'IP proxyLa première chose dont nous allons parler aujourd'hui est comment configurer un proxy en utilisant aiohttp. Aujourd'hui, nous allons parler de la façon d'utiliser aiohttp asynchronous magic tool configuration proxy, incidemment, la bonne utilisation de notre propre service ipipgo.

Ne pas marcher sur l'environnement d'installation

Assurez-vous d'abord que votre version de Python est supérieure à 3.6, et n'oubliez pas d'utiliser cette commande pour installer aiohttp :

pip install aiohttp[speedups]

Ne manquez pas ce [speedups], il peut augmenter la vitesse d'analyse. Si vous obtenez des erreurs d'installation, essayez d'abord de mettre à jour votre version de pip, je l'ai fait trois fois au cours de l'année dernière.

Code de base de la configuration du proxy

Nous allons droit au but, en prenant l'exemple de l'agent résidentiel d'ipipgo :

import aiohttp

async def fetch() : proxy_auth = aiohttp.
    proxy_auth = aiohttp.BasicAuth("ipipgo account", "password")
    async avec aiohttp.ClientSession() comme session.
        async avec session.get(
            "https://目标网站.com",
            proxy="http://gateway.ipipgo.com:8080",
            proxy_auth=proxy_auth
        ) as response : return await response.text()
            return await response.text()

Notez que le paramètre proxy doit être celui fourni par ipipgo.adresse de la passerelleL'adresse IP est la même que l'adresse IP de l'API, alors ne soyez pas stupide et écrivez l'adresse IP directement dans l'API, j'ai vu des débutants écrire l'adresse IP dynamique directement dans le code, et le résultat est bloqué en une demi-heure, j'ai donc retenu la leçon !

Comment choisir entre dynamique et statique ?

Voici le tableau comparatif complet pour vous donner une vision plus visuelle :

C'est là que le bât blesse.Ligne TKGrâce à cette technologie noire, les délais mesurés par les amis du commerce électronique transfrontalier peuvent être ramenés à 200 ms ou moins, soit plus de deux fois plus vite qu'une ligne ordinaire.

Lignes directrices sur le déminage des problèmes courants

Q : Pourquoi ne puis-je pas me connecter à l'agent ?
R : Vérifiez d'abord trois éléments : 1. le compte si les frais sont dus 2. les paramètres du pare-feu du terminal 3. le protocole de proxy s'il faut choisir le bon (http/https ne pas confondre).

Q : Que dois-je faire si je rencontre une erreur de certificat SSL ?
R : Ajouter un paramètre à ClientSession :

connector = aiohttp.TCPConnector(ssl=False)

Toutefois, l'utilisation à long terme de la technologie contact ipipgo proposée pour les certificats exclusifs est sûre et sans souci !

Q : Comment puis-je vérifier le trafic restant ?
R : Connectez-vous à la console ipipgo pour consulter directement les statistiques d'utilisation, ou appelez l'API REST pour des requêtes en temps réel.

Trucs et astuces avancés

1. se rappeler d'utiliser le polling multi-agentsasyncio.gatherdemande parallèle
2) Le délai d'attente défini ne doit jamais dépasser 30 secondes, et il est recommandé de l'écrire de cette manière :

timeout = aiohttp.ClientTimeout(total=20)

3. bombardé par captcha ? Aller sur ipipgoIP statique dédiéePaquet, taux de reconnaissance pro droit vers le bas 60%

Enfin, pour être honnête, le choix d'un service de procuration est semblable à celui d'un rendez-vous galant : ne vous contentez pas de regarder le prix le plus bas. Les services comme ipipgo peuvent fournirProgramme personnalisé 1v1Les besoins particuliers de la rencontre directement pour trouver un frère technique d'amarrage, que vous jeter votre propre sauver beaucoup d'ennuis. En particulier pour les entreprises d'outre-mer, leur ligne transfrontalière peut vraiment sauver des vies, qui utilise qui sait.