Firefox Geckodriver : Configuration du pilote proxy de Firefox

Apprentissage pratique de l'utilisation du proxy suspendu du navigateur Firefox

Les amis engagés dans la collecte de données ont dû rencontrer le site anti-escalade, cette fois le proxy IP est salvateur. Nous ne parlons pas de la complexité du principe, nous vous enseignons directement comment utiliser Firefox avec le proxy suspendu Geckodriver. Note ah, ici dit le proxy est conforme à des fins légales, comme faire des études de marché, surveiller les prix ces choses sérieuses.

Ne soyez pas paresseux dans votre préparation.

Vérifiez que ces trois éléments sont chargés en premier :
1. navigateur Firefox (dernière version requise)
2. environnement Python (3.7+ recommandé)
3. la bibliothèque Selenium (pip install selenium fera l'affaire)

 Vérifier que Geckodriver fonctionne
from selenium import webdriver
driver = webdriver.Firefox()
driver.get("http://www.ipipgo.com/ip") Ici nous utilisons notre propre service pour détecter l'IP.

Code de base de la configuration du proxy

Et voilà le truc en plus ! Lorsque vous utilisez le service proxy d'ipipgo, n'oubliez pas de le configurer comme suit dans le code :

from selenium.webdriver import FirefoxOptions

opts = FirefoxOptions()
opts.set_preference('network.proxy.type', 1)
opts.set_preference('network.proxy.http', 'gateway.ipipgo.com') C'est l'adresse du proxy extrait.
opts.set_preference('network.proxy.http_port', 30001) voir l'API pour le port spécifique
opts.set_preference('network.proxy.ssl', 'gateway.ipipgo.com') C'est pour les sites HTTPS.
opts.set_preference('network.proxy.ssl_port', 30001)

driver = webdriver.Firefox(options=opts)

Surveillez cet espace !N'oubliez pas d'ajouter ces deux lignes si vous obtenez une erreur de certificat :

opts.set_preference('acceptInsecureCerts', True)
opts.set_preference('security.cert_pinning.enforcement_level', 0)

Il y a quelque chose à dire sur la sélection des paquets

Foire aux questions QA

Q : Que dois-je faire si la procuration ne prend pas effet après que je l'ai établie ?
R : Tout d'abord, visitez manuellement la page de détection d'IP d'ipipgo, si l'affichage est toujours l'IP locale, vérifiez trois points : 1. le code dans le port pour écrire ou ne pas écrire l'erreur 2. le solde du compte est suffisant 3. extrayez si le proxy est en vigueur !

Q : Comment choisir entre les paquets dynamiques et les paquets statiques ?
R : Si vous devez changer fréquemment d'adresse IP, choisissez l'option dynamique, par exemple pour la surveillance des appels téléphoniques non sollicités ; si vous devez conserver le statut de connexion, choisissez l'option statique, par exemple pour l'exploitation des médias sociaux.

Q : Que dois-je faire si mon agent est lent ?
R : Dans ipipgo background switch terminal node, il est recommandé de choisir la distance physique proche de la région. Par exemple, si vous faites du commerce électronique japonais, vous devriez donner la priorité aux serveurs situés à Tokyo.

Guide pour éviter la fosse

Une erreur fréquente chez les débutants :
1. ne pas désactiver le proxy local du navigateur (conflit avec les paramètres du code)
2. oublier de configurer le proxy SSL (ce qui fait que les sites web HTTPS ne s'ouvrent pas)
3. la même requête IP est trop fréquente (même avec un proxy pour contrôler le rythme)

Enfin, une connaissance froide : avec le proxy dédié TK d'ipipgo, l'accès à certaines plates-formes de commerce électronique, peut être plus rapide que le proxy ordinaire 30% ou à peu près. En particulier, comment configurer leur service client technique pour trouver le programme, de toute façon, le service personnalisé 1 à 1 n'est pas utilisé pour rien.