Exemple de requête Python : Tutoriels de configuration de code de proxy de requête Python

Tout d'abord, pourquoi utiliser une adresse IP proxy ? Prenons un exemple concret

Récemment, un ami commerçant en ligne s'est plaint à moi que son entreprise avait utilisé Python pour explorer les données relatives aux produits de base et que, par conséquent, le mécanisme anti-escalade du site web avait directement bloqué l'IP de l'entreprise, ce qui avait rendu toute l'équipe aveugle. À l'heure actuelle, si vous pouvez utiliser une IP proxy, changer de gilet pour continuer à travailler, comment retarder les affaires ? Nous allons vous apprendre quelques astucesopération de sauvetageEn outre, l'utilisation de Python permet de masquer le programme lors d'une requête.

Deuxièmement, la bibliothèque des requêtes pour configurer l'agent (version portable)

Installez d'abord les bibliothèques essentielles :

pip install requests

Et voilà ce qu'il y a de plus intéressant ! Lorsque vous utilisez le service proxy d'ipipgo, n'oubliez pas de remplacer le mot de passe du compte et l'adresse IP par les vôtres. Voici un exemple concret :

demandes d'importation

proxies = {
    'http' : 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
}

response = requests.get('https://www.taobao.com', proxies=proxies)
print(response.status_code)

Remarquez l'utilisation dehttp://L'adresse proxy au début est l'endroit où beaucoup de gens échouent. Si vous utilisez le protocole Socks5, n'oubliez pas d'installer le fichierpip install requests[socks]Réopération.

Troisièmement, paramètres de la bibliothèque Urllib (ancienne version du pilote)

Certains projets plus anciens utilisent encore urllib, et la méthode d'installation est légèrement plus détournée :

from urllib import request

proxy_handler = request.ProxyHandler({
    
    'https' : 'http://用户名:密码@gateway.ipipgo.com:端口'
})

opener = request.build_opener(proxy_handler)
response = opener.open('https://www.douban.com')
print(response.read().decode('utf-8'))

IV. guide pour éviter les pièges sur le terrain

En voici quelques-unsune leçon apprise dans le sang et les larmes: :

V. Session d'assurance qualité (questions d'utilisateurs réels)

Q : Le proxy a été mis en place avec succès, mais il n'a aucun effet.
R : Vérifiez d'abord le format de l'adresse du proxy et veillez à ne pas écrire http comme https.Test en un clicFonctionne avec un minimum d'effort.

Q : Comment passer automatiquement d'un proxy à l'autre ?
R : Écrire un gestionnaire de pools d'adresses IP qui fonctionne avec l'API d'ipipgo pour obtenir de nouvelles adresses IP à intervalles réguliers. l'extrait de code ressemble à ceci :

import random

ip_pool = [
    'http://ip1:端口',
    'http://ip2:端口'
]

proxies = {'http' : random.choice(ip_pool)}

VI - Conseils pour le choix d'un paquet

Choisir en fonction des besoins de l'entreprise :

• Pour les données d'explorationDynamique résidentielle (standard)7,67 $/GB, c'est déjà assez bon marché
• La saisie de quelques secondesMaisons statiquesJ'ai 35 dollars pour un IP fixe, je suis constant comme un vieux chien.
• Applications d'entreprise directement surDes solutions sur mesureSoutien au paiement à l'utilisation

Un dernier fait froid dans le dos : la ligne TK d'ipipgo est particulièrement adaptée aux personnes qui ont besoin deVisites de hauts lieuxLe scénario selon lequel les personnes qui l'ont utilisé ont secrètement renouvelé leur abonnement. Le code est bien écrit, mais il ne sert à rien sans un agent fiable, vous ne croyez pas ?