selenium set proxy ip : Schéma d'accès au proxy IP du navigateur de test automatisé Selenium

Tout d'abord, pourquoi Selenium doit-il définir une IP proxy ?

Tous ceux qui effectuent des tests automatisés savent qu'il faut parfois laisser le navigateur faire semblant de fonctionner dans différentes régions. Par exemple, pour mesurer la vitesse de chargement d'une page web, il faut simuler l'accès simultané d'utilisateurs de Pékin, Shanghai et Guangzhou. Si vous utilisez directement votre propre réseau à ce moment-là, les données mesurées ne sont qu'une plaisanterie.

Prenons un exemple concret : l'année dernière, un ami a fait du commerce électronique. Avec Selenium pour surveiller les prix, les résultats sont toujours l'IP bloquée du site cible, puis il a changé l'IP résidentielle dynamique, avec Selenium pour effectuer des intervalles d'accès aléatoires, le taux de réussite de la collecte de données a directement grimpé à 95%, voire plus.

Deuxièmement, nous vous apprenons à installer des agents dans Selenium.

Voici les deux programmes les plus couramment utilisés, n'oubliez pas de choisir le bon en fonction des besoins de votre entreprise :

 Mise en place d'un proxy pour Chrome (version non authentifiée)
from selenium import webdriver

proxy = "123.123.123.123:8888" Remplacer ici par l'adresse proxy réelle fournie par ipipgo
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(f'--proxy-server={proxy}')
driver = webdriver.Chrome(options=chrome_options)

 Paramètres du proxy nécessitant une authentification de compte (voir ici)
 Prenons l'exemple de la ligne TK d'ipipgo, le format est username:password@IP:port.
from seleniumwire import webdriver Cette bibliothèque doit être installée en plus.

proxy_options = {
    'proxy' : {
        
        'https' : 'https://user123:pass456@gateway.ipipgo.net:24000', 'no_proxy' : 'localhost,127
        'no_proxy' : 'localhost,127.0.0.1' Ces adresses ne passent pas par le proxy
    }
}
driver = webdriver.Chrome(seleniumwire_options=proxy_options)

Attention aux nids-de-poule :Beaucoup de gens se plantent sur le type de protocole du proxy. Par exemple, la ligne TK d'ipipgo doit utiliser le protocole Socks5, qui doit être remplacé par le protocole--proxy-server=socks5://IP:portL'article.

C. Guide de sélection des agents pour différents scénarios d'entreprise

Voici toute une table compréhensible pour vous :

IV. Sites de renversement courants sur le terrain

Cas 1 :Le navigateur ne s'ouvre pas après la configuration du proxy
Vérifiez tout d'abord que l'adresse du proxy n'a pas été saisie de manière incorrecte, en particulier les deux points et le numéro de port. Pour les frères qui utilisent le client ipipgo, il est recommandé d'utiliser leur première adresse proxy.Détection en un clicLa fonction mesure si la procuration est en vigueur ou non.

Cas 2 :Soudain, toutes les demandes sont interrompues
Quatre-vingt pour cent des IP sont celles du site cible. Cette fois-ci, pour changer l'IP résidentielle dynamique d'ipipgo, leur pool d'IP est automatiquement rafraîchi toutes les 15 minutes, personnellement testé que le changement manuel d'IP économise beaucoup d'ennuis.

demandes d'importation

def refresh_proxy().
     Appeler l'API d'ipipgo pour obtenir une nouvelle IP.
    api_url = "https://api.ipipgo.com/dynamic?token=你的令牌"
    new_proxy = requests.get(api_url).json()['proxy']
    return nouveau_proxy