Attente d'éléments dans Selenium : Attente d'éléments dans Selenium

Premièrement, pourquoi votre crawler est-il toujours expulsé du site ?

咱们做数据采集的同行应该都遇到过这种情况：脚本运行得好好的，突然就报元素找不到的错误。这时候别急着骂街，八成是网页加载速度的问题。有些网站加载图片或者动态内容需要两三秒，你的脚本却像饿狼扑食一样冲上去，能不撞么？

Voici une astuce pour tout le monde - utiliser un proxy IP avec le mécanisme d'attente. Par exemple, avec le proxy résidentiel d'ipipgo, chaque fois que vous visitez le site, l'adresse IP de l'utilisateur réel est modifiée, le système anti-escalade du site web ne sera pas facile à détecter. Couplé à la fonction d'attente de Selenium, c'est comme si on équipait un script d'un "frein intelligent" pour voir les éléments chargés avant de le faire.

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.import expected_conditions as EC

 Configuration du proxy ipipgo
proxy = "ipipgo.com:8000"
chrome_options.add_argument(f'--proxy-server=http://{proxy}')

 Exemple d'attente explicite
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "target-element"))
)

Deuxièmement, combien des trois postes d'attente connaissez-vous ?

L'erreur la plus courante des débutants est d'utiliser time.sleep(), ce qui revient à traverser la rue les yeux bandés. Nous devons apprendre les trois méthodes appropriées :

 1. attendre fermement (non recommandé)
time.sleep(5)

 2. attendre implicitement (paramètre global)
driver.implicitly_wait(10)

 3. attente explicite (réglage précis)
WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.CLASS_NAME,'btn'))))

Axé sur l'attente explicite, ce produit permet de garder un œil sur les changements d'état d'éléments spécifiques. Avec l'IP dynamique d'ipipgo, il est possible de mieux utiliser l'IP dynamique, par exemple pour surveiller les changements de prix d'un site de commerce électronique, chaque demande étant adressée à une IP différente, non seulement pour éviter d'être bloqué, mais aussi pour saisir les mises à jour de données en temps utile.

Troisièmement, comment les adresses IP mandataires et les mécanismes d'attente s'articulent-ils ?

Voici un scénario pratique : la nécessité de collecter le prix des marchandises dans différentes régions. Avec la méthode ordinaire, il est facile d'être identifié comme un crawler, cette fois il est temps d'offrir la solution d'ipipgo.agent de géolocalisationEn haut.

 Rotation des différentes IP de localisation
locations = ['us', 'jp', 'de']
pour loc dans locations.
    proxy = f "ipipgo.com/{loc}:8000"
    chrome_options.add_argument(f'--proxy-server=http://{proxy}')

     Attente intelligente des éléments de la page
    try.
        price = WebDriverWait(driver, 15).until(
            EC.visibility_of_element_located((By.XPATH, "//span[@class='price']"))
        )
        print(f"{loc} prix régional : {prix.texte}")
    except TimeoutException.
        print("Dépassement du délai de chargement, passage automatique au nœud suivant")
        continuer

La beauté de cette combinaison est que lorsqu'une IP est restreinte, le mécanisme d'attente s'arrête automatiquement et passe à l'IP de la région suivante pour poursuivre la tâche, et tout le processus fonctionne.

IV. les lignes directrices en matière de premiers secours pour les situations de renversement les plus courantes

Q1 : Je ne trouve pas un élément alors qu'il existe ?
R : 80% d'entre eux utilisent le mode furtif ou l'IP proxy identifiée par le site web. Il est recommandé d'utiliser plutôt le proxy à haut niveau d'anonymat d'ipipgo, dont le pool d'IP est mis à jour avec plus de 2 millions d'IP résidentielles chaque jour, et dont l'effet de camouflage est plus réaliste.

Q2 : Quel est le temps d'attente approprié ?
R : Cela dépend de la vitesse de réponse du site web. Il est recommandé d'utiliser l'outil de mesure de la vitesse d'ipipgo pour choisir des nœuds avec une faible latence, généralement entre 10 et 15 secondes. Ne choisissez pas une durée trop courte, qui entraînerait des dépassements de délai fréquents, ni une durée trop longue, qui nuirait à l'efficacité du site.

Q3 : Comment récupérer le contenu chargé dynamiquement ?
R : Essayez une combinaison d'attente roulante :

driver.execute_script("window.scrollTo(0, document.body.scrollHeight) ;")
WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, ".lazy-load"))
)

V. Ne marchez pas sur ces nids-de-poule

1. n'envoyez pas de demandes en continu sur la même IP, utilisez la fonction de rotation automatique d'ipipgo et réglez l'IP pour qu'elle change toutes les 5 à 10 demandes.
2) Ne vous débattez pas lorsque vous rencontrez le CAPTCHA, passez à une nouvelle IP de proxy résidentiel à temps.
3. n'oubliez pas d'utiliser ipipgo pour les objets importantspool IP exclusifÉvitez de partager des adresses IP avec d'autres utilisateurs, ce qui pourrait entraîner une interdiction collatérale.

最后给个忠告：网页加载速度这事儿，七分靠等待策略，三分靠代理质量。选对工具很重要，像ipipgo这种专门做高质量代理的服务商，能帮你省去不少折腾时间。他们的技术客服也挺靠谱，上次我半夜遇到问题居然还有人值班，这点确实要。