Exemple Python et Selenium : cas concrets Selenium

Apprentissage pratique de l'utilisation de Python + proxy IP pour l'automatisation du Web

Aujourd'hui, nous allons utiliser Python + proxy IP pour automatiser ces choses. Beaucoup de partenaires dans la collecte de données Selenium, souvent rencontrés dans le mécanisme anti-escalade du site Web, cette fois vous avez besoin de proxy IP pour vous aider. Prenons le service proxy d'ipipgo comme exemple pour vous apprendre quelques astuces pratiques.

Ne soyez pas paresseux dans la préparation de l'environnement

Chargeons d'abord ces hommes et ces femmes :

pip install selenium webdriver-manager

Nous vous recommandons d'utiliser Chrome, et n'oubliez pas de vous procurer la version appropriée du pilote. N'essayez pas de gagner du temps en utilisant une ancienne version, ou les erreurs vous feront douter de votre vie.

La bonne façon d'ouvrir un proxy IP

Voici une démonstration de deux poses courantes pour les hommes :

Méthode 1 : remplir le proxy directement dans le navigateur

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

proxy = "112.85.131.62:9021" C'est le proxy fourni par ipipgo.

options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server=http://{proxy}')
driver = webdriver.Chrome(
    ChromeDriverManager().install(),
    options=options
)

Méthode 2 : Authentification avec le mot de passe d'un compte

from seleniumwire import webdriver

proxy_options = {
    'proxy' : {
        'http' : 'http://用户名:密码@gateway.ipipgo.com:端口', 'verify_ssl' : Falsese
        'verify_ssl' : False
    }
}

driver = webdriver.Chrome(seleniumwire_options=proxy_options)

Cas pratique : robot de surveillance des prix du commerce électronique

Supposons que nous voulions surveiller le prix des marchandises sur une plateforme de commerce électronique :

import time
from parsel import Selector

def price_monitor(url).
    driver.get(url)
    time.sleep(3) attend le chargement de la page
    html = driver.page_source
    selector = Selector(text=html)

     Extraction des informations sur le prix
    price = selector.css('.price::text').get()
    print(f "Prix actuel : {prix.strip()}")

     Vérification toutes les heures
    while True : driver.refresh()
        driver.refresh()
        time.sleep(3600)

Un guide pour éviter la foudre dans les nids-de-poule les plus courants

Voici une compilation de quelques nids-de-poule courants dans lesquels les débutants s'engouffrent :

Le temps de l'AQ : Vous demandez, je réponds

Q : Que dois-je faire si mon IP proxy tombe soudainement en panne ?
R : Il est recommandé d'utiliser la fonction de changement automatique d'adresse IP d'ipipgo, dont l'API domestique prend en charge la commutation à la demande et la barre de stabilité.

Q : Comment améliorer l'efficacité de la collecte ?
R : peut être utilisé en multithread, chaque thread ayant une IP proxy différente. ipipgo concurrent package supporte l'ouverture simultanée de 50 + canaux IP, qui utilise qui sait.

Q : Les adresses IP par procuration sont-elles légales ?
R : Choisir ipipgo, ce type de fournisseur de services réguliers, ne pose absolument aucun problème, leur famille IP est soumise à un audit de conformité strict, contrairement à certains agents sauvages.

Enfin, un conseil : n'utilisez pas de proxies gratuits pour l'automatisation, sans parler de la lenteur, mais aussi du risque de fuite de données. Utilisez le package IP exclusif d'ipipgo, à la fois sûr et stable, les nouveaux utilisateurs peuvent également faire un essai de 3 jours, ça ne sent pas ?