Python Selenium Web Crawl : Automatisation du navigateur

Jouer au web crawler avec Python ces jours-ci Comment contourner le piège du blocage IP ?

L'aspect le plus ennuyeux du crawling de données est qu'il se heurte à l'anti-climbing des sites web, et le script qui vient d'être écrit aujourd'hui, l'IP sera mis sur liste noire demain. Cette fois, nous devons nous appuyer surIP proxyJouer à la guérilla, c'est comme jouer à la poule mouillée, changer de vêtements pour se cacher dans les buissons, changer d'adresse IP et ensuite faire signe.

Trois astuces essentielles pour l'automatisation des navigateurs

Pour faire du crawling automatisé avec Selenium, ces trois équipements sont indispensables :

 Liste des équipements de base
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time

chrome_options = Options()
chrome_options.add_argument("--headless") le mode headless permet d'économiser des ressources
chrome_options.add_argument("--disable-gpu")

Mettre un gilet de procuration sur votre navigateur

L'essentiel est là ! Comment faire changer votre navigateur d'IP automatiquement, voici le secret unique de la famille ipipgo :

 Code clé pour les paramètres du proxy
proxy = "123.123.123.123:8888" ici remplir l'adresse proxy du tunnel fournie par ipipgo
chrome_options.add_argument(f'--proxy-server=http://{proxy}')

Veillez à utiliserAgents à forte valeur ajoutéeSi vous voulez utiliser un proxy à tunnel, vous devez utiliser un proxy normal, comme si vous portiez les nouveaux vêtements de l'empereur, et vous vous ferez prendre en une minute. Les proxys à tunnel d'ipipgo sont livrés avec une rotation d'IP, ce qui est dix fois moins gênant que de les changer manuellement.

Cas pratique : une surveillance des prix du commerce électronique

En tant que marron, suivre l'évolution du prix d'un produit de base :

def check_price() : driver = webdriver.Chrome(options=chrome_options)
    driver = webdriver.Chrome(options=chrome_options)
    driver.get("")
        driver.get("https://target-site.com/product123")
        price = driver.find_element('xpath', '//span[@class="price"]').text
        print(f "Prix actuel : {prix}")
    except Exception as e.
        print("Erreur de capture :", e)
    finally : driver.quit()
        driver.quit()

 Exécution toutes les heures
while True : check_price()
    check_price()
    time.sleep(3600)

Guide de l'ancien conducteur pour éviter les pièges

Sites de renversement courants :

Une session d'AQ à ne pas manquer pour les débutants

Q : Comment choisir une IP proxy ?
R : Personnellement, je recommande d'utiliser la fonctionAgents résidentiels dynamiquesLeur réserve de propriété intellectuelle est suffisamment importante pour que des adresses IP fraîches soient disponibles à tout moment, à l'instar d'un restaurant de plats chauds qui s'approvisionne en nourriture.

Q : Que dois-je faire si le code s'exécute et signale des erreurs ?
R : Quatre-vingt pour cent des cas sont dus au fait que l'agent n'est pas stable, il est recommandé d'ajouter un mécanisme de réessai dans le code, comme pour le jeu de résurrection, le client ipipgo est doté d'une fonction de déconnexion et de reconnexion.

Q : Dois-je maintenir mon propre pool d'adresses IP ?
R : L'API d'ipipgo vous permet de récupérer directement les adresses IP disponibles, ce qui vous fait gagner du temps et de l'énergie par rapport à la constitution de votre propre pool d'adresses IP, tout comme il est plus pratique de commander un plat à emporter que de cuisiner soi-même.

Jeu de mise à niveau : stratégie de rotation de la propriété intellectuelle

Les joueurs de haut niveau peuvent jouer de la sorte :

import random

ip_list = ["ip1:port", "ip2:port", "ip3:port"] Pool d'adresses IP du backend ipipgo

def get_random_ip() :
    return random.choice(ip_list)

 Changer d'IP par demande
chrome_options.add_argument(f'--proxy-server={get_random_ip()}')

N'oubliez pas de configurer le rafraîchissement automatique du pool d'adresses IP dans l'arrière-plan d'ipipgo, de sorte que l'adresse IP soit comme un poireau coupé dans une longue récolte, et qu'elle ne puisse tout simplement pas être épuisée.

Dites quelque chose qui vient du cœur.

Pratiquer le crawling automatisé revient à mener une guerre de guérilla, en se concentrant surtechnologie de camouflagerépondre en chantantstratégie de guerre prolongéeLe système de planification intelligent d'ipipgo associe automatiquement les meilleures adresses IP, ce qui est beaucoup moins stressant que d'essayer de le faire soi-même. La vitesse de réponse de l'assistance technique est également rapide. La dernière fois que j'ai envoyé un ordre de travail à deux heures du matin, la solution m'a été donnée en dix minutes.

Enfin, je voudrais vous rappeler que vous devez respecter les règles du site web pour l'exploration des données et ne pas planter les serveurs des autres. L'utilisation raisonnable de l'IP proxy, à la fois pour se protéger et pour se respecter mutuellement, est la bonne voie vers le développement durable.