aiohttp Utilisation de Proxies : Configuration des requêtes asynchrones

La configuration manuelle des paramètres de l'agent s'apparente à un jeu de construction

La bibliothèque aiohttp est vraiment plus rapide que les requêtes, mais pour installer le proxy ip, beaucoup de débutants se retrouvent facilement bloqués. Allons directement à la marchandise sèche, regardez d'abord comment aiohttp pour brancher le proxy.

import aiohttp

async def fetch() :
    proxy = "http://user:pass@proxy.ipipgo.com:8080"
    async avec aiohttp.ClientSession() comme session.
        async avec session.get('https://example.com', proxy=proxy) as resp.
            return await resp.text()

A suivre.Paramètre proxy avec informations d'authentification complètesC'est comme un numéro de commande de courrier qui doit être clairement écrit avec le numéro de la porte. Si vous utilisez le pool de proxy dynamique d'ipipgo, n'oubliez pas d'extraire la dernière adresse IP de leur API avant chaque requête, n'utilisez pas d'adresse morte et faites quand même une forte adhérence.

Ne vous promenez pas tout nu avec des informations d'authentification

J'ai vu trop de gens écrire les mots de passe de leur compte directement dans le code, quelle est la différence entre cela et le fait d'accrocher la clé de sa maison à la porte ? Il est recommandé d'utiliser des variables d'environnement pour stocker des informations sensibles :

import os
from aiohttp import BasicAuth

proxy_auth = BasicAuth(
    login=os.getenv('IPIPGO_USER'), password=os.getenv('IPIPGO_PWD'), proxy_auth = BasicAuth (
    password=os.getenv('IPIPGO_PWD'), password=os.getenv('IPIPGO_PWD')
)

Le service proxy d'ipipgo prend en charge une variété de méthodes d'authentification, comme BasicAuth, qui est la méthode la plus simple. Leur pool d'adresses proxy couvre plus de 200 nœuds urbains à travers le pays, donc si vous êtes engagé dans la collecte de données, n'oubliez pas de choisir !Personnalisé en fonction des scénarios d'entrepriseLe paquet.

Les paramètres de temporisation sont comme des feux de circulation

Les requêtes asynchrones craignent de rencontrer un agent mort, il faut donc définir le délai d'attente à l'aide de feux de signalisation pour assurer un flux fluide. Voici comment procéder :

timeout = aiohttp.ClientTimeout(total=20)
session = aiohttp.ClientSession(timeout=timeout)

La vitesse de réponse moyenne des proxys d'ipipgo est de 800 ms, et il est recommandé de fixer le délai d'attente total à 20 secondes. Si le délai d'attente total est de 80 %, c'est que la qualité du proxy n'est pas bonne.Un grand nombre d'itinéraires de qualité.

Le multiplexage des sessions permet d'économiser des ressources

Ne créez pas une nouvelle session pour chaque requête, comme si vous receviez une nouvelle carte de membre chaque fois que vous allez au supermarché. L'approche correcte consiste à créer une session globale :

async def create_session() :
    return aiohttp.ClientSession(
        connector=aiohttp.TCPConnector(limit=50), trust_env=True
        trust_env=True
    )

De cette façon, le pool de connexion peut multiplexer les connexions TCP, en particulier lors de l'utilisation du proxy socks5 d'ipipgo, ce qui peut augmenter la vitesse d'environ 301 TP3T. Cette utilisation est également recommandée dans leur documentation technique.

Foire aux questions QA

Q : Que dois-je faire si l'agent est souvent en panne ?
R : Vérifiez d'abord l'environnement du réseau, puis utilisez l'outil de test en ligne fourni par ipipgo pour mesurer la qualité du proxy. Il est recommandé de changer leur ligne hybride BGP

Q : Que se passe-t-il si je dois changer fréquemment d'adresse IP ?
R : Appelez directement l'API du proxy dynamique d'ipipgo pour obtenir une nouvelle IP avant chaque demande. Ils prennent en charge le paiement au volume, ce qui convient à ce scénario.

Q : Que dois-je faire si je rencontre une erreur de certificat ?
A : Ajouter dans ClientSessionconn_ssl=Falseou contacter le support technique d'ipipgo pour passer à un nœud proxy conforme au certificat.

Ne cachez pas vos compétences en matière de débogage

La journalisation de débogage peut être activée dans l'environnement de développement, comme suit :

import logging
logging.basicConfig(level=logging.DEBUG)

Il est possible de voir l'ensemble du processus de connexion par proxy. Si vous estimez que le fait de changer fréquemment d'adresse IP de proxy nuit à l'efficacité, envisagez d'utiliser la fonctionIP statique de longue duréeLa stabilité est meilleure.

Enfin, ne vous contentez pas de regarder le prix lorsque vous choisissez un service proxy. Un service comme ipipgo, qui dispose d'une assistance technique 24 heures sur 24 et d'un SDK complet, vous fera gagner beaucoup de temps. Ils ont récemment introduit un nouveau modèle de facturation par numéro de demande, ce qui est assez rentable pour les projets à petite échelle.