Requests Library Proxy : le module Requests se connecte directement à un serveur proxy.

Apprenez à utiliser la bibliothèque Requests pour accrocher des proxies !

Récemment, beaucoup d'amis qui font de la collecte de données se demandent comment utiliser la bibliothèque de requêtes de Python pour que le proxy ne soit pas bloqué ? C'est une question simple, mais il y a quelques pièges auxquels il faut prêter une attention particulière. Prenons ipipgo family proxy service pour donner une châtaigne, garantie de voir le bout de la main.

Configuration du proxy de base (ne pas sous-estimer cette étape)

Beaucoup de débutants se plantent dans la configuration du proxy, en fait, le cœur des trois lignes de code. Prenons l'exemple du proxy http :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:9020',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:9020'
}

response = requests.get('destination URL', proxies=proxies)

En voici une.Tai Hang District, Hong KongLe serveur proxy passe par le canal http. Le port proxy d'ipipgo changera en fonction de l'offre, n'oubliez donc pas de vérifier le dernier numéro de port dans l'arrière-plan après l'achat.

Les mandataires dynamiques sont rois

Un seul proxy peut facilement être bloqué, vous devez utiliser la rotation des pools d'adresses IP. Prenons l'exemple du service de redirection dynamique d'ipipgo :

demandes d'importation
à partir d'un choix d'importation aléatoire

proxy_list = [
    
    'gateway.ipipgo.com:9021', 'gateway.ipipgo.com:9022', 'gateway.ipipgo.com:9022'
    'gateway.ipipgo.com:9022'
]

def get_with_retry(url).
    for _ in range(3).
        try.
            proxy = f'http://用户名:密码@{choix(proxy_list)}'
            return requests.get(url, proxies={'http' : proxy, 'https' : proxy}, timeout=8)
        except.
            continue
    return None

surveiller attentivementréglage du délai d'attenteLa vitesse de réponse d'ipipgo est d'environ 200 ms, ce qui est trop court au lieu d'être facile à évaluer. Leur pool d'adresses IP dynamiques change automatiquement d'adresse IP à chaque demande, ce qui convient aux scénarios nécessitant un remplacement à haute fréquence.

Guide pratique pour éviter la fosse

Citez quelques leçons de sang :

Récemment, j'ai constaté que certaines personnes utilisaient l'objet session des requêtes sans fermer la connexion, ce qui faisait planter le serveur proxy. N'oubliez pas d'ajouter l'objetresponse.close()!

Temps consacré à l'assurance qualité

Q : Dois-je installer des pilotes localement pour utiliser le proxy d'ipipgo ?
R : Ce n'est pas du tout nécessaire ! Leurs proxies utilisent le protocole http standard, remplissez le paramètre proxies et cela fonctionnera.

Q：Pourquoi mon proxy de test réussit-il mais l'acquisition échoue ?
A : Il est possible que le site web cible dispose d'un système de détection d'empreintes digitales. Essayez d'ajouter un "User-Agent" dans l'en-tête de la requête, ou contactez ipipgo pour obtenir un paquet à haute valeur ajoutée.

Q : Comment choisir les nœuds pour les agents d'outre-mer ?
R : En arrière-plan d'ipipgo, choisissez la "route intelligente", qui correspondra automatiquement au nœud présentant la latence la plus faible. Le test de collecte du commerce électronique transfrontalier est efficace.

Dites quelque chose qui vient du cœur.

L'agent, trois points reposent sur la technologie et sept points sur le service. Auparavant, nous utilisions quelques produits bon marché, mais nous ne pouvions pas agir sur l'échec de l'IP. Plus tard, ils ont changé le paquet exclusif d'ipipgo, avec leur accès dynamique API au proxy, l'efficacité de la collecte a directement doublé. En particulier, leurLes adresses IP anormales sont automatiquement rejetéeset combien de temps de maintenance manuelle est économisé.

Un dernier rappel : n'écrivez pas de configurations de proxy mortes dans votre code ! Il est recommandé de stocker les informations de compte avec des variables d'environnement. Si le code va sur github, vous n'aurez pas le temps de pleurer. Bon, ce qu'il faut dire ne doit pas être dit, j'ai harcelé, il y a des problèmes pour trouver le service client d'ipipgo, c'est mieux que de me demander ~ ~ !