XPath avec les nœuds frères : Techniques de positionnement des éléments

Pratique : explorer des données dynamiques avec des nœuds frères

Supposons que nous voulions explorer les prix d'une plateforme de commerce électronique et que la structure de la page ressemble à ceci :

  espace publicitaire
  ￥999 
  réduction limitée dans le temps

Le XPath correct devrait être :

//div[@class='product']/span[2]

Cependant, il est facile de se faire piéger par les changements de position de l'annonce. Il est plus sûr d'utiliser le positionnement des nœuds frères :

//span[contains(text(),'¥')]/sortie précédente::span[1]/sortie suivante::span[1]

Pourquoi les adresses IP proxy doivent-elles fonctionner avec XPath ?

dépense ou fraisipipgoLorsque vous utilisez le service proxy, vous rencontrez souvent des situations où des serveurs situés dans des régions différentes renvoient des structures de page différentes. Par exemple, il est possible que des serveurs de régions différentes renvoient des structures de pages différentes :

C'est alors qu'il est temps deAjustement dynamique de XPathPour cela, il faut utiliser les différentes adresses IP régionales fournies par ipipgo pour effectuer des recherches structurelles et trouver le moyen le plus stable de les localiser.

Trois conseils pour éviter la détection

1. Temps d'attente aléatoire: ajout d'un délai aléatoire de 0,5 à 3 secondes avant l'opération XPath
2. positionnement hybridePositionnement des nœuds : utilise à la fois le positionnement des nœuds de classe et des nœuds frères.
3. Rotation du pool d'adresses IPLes IP de sortie : Utilisez le pool d'IP exclusif d'ipipgo pour changer d'IP de sortie pour chaque demande.

 Exemple de code Python
from selenium import webdriver
from ipipgo import get_proxy call ipipgo SDK

proxy = get_proxy(region='East China')
options = webdriver.ChromeOptions()
options.add_argument(f'--proxy-server={proxy}')
driver = webdriver.Chrome(options=options)

 Emplacement composé avec des nœuds frères
price = driver.find_element_by_xpath('//div[contains(@class, "price-box")]//following-sibling::span[1]')

Foire aux questions QA

Q : Pourquoi ne puis-je pas capturer des données même si j'utilise le positionnement des nœuds frères ?
R : Quatre-vingt pour cent des pages web à chargement dynamique utilisent d'abord l'agent résidentiel d'ipipgo pour simuler l'environnement réel de l'utilisateur, attendent que les éléments aient fini de se charger, puis saisissent l'image de l'utilisateur.

Q : Comment traiter les structures imbriquées à plusieurs couches lorsqu'elles sont rencontrées ?
R : Essayez de combiner le positionnement des axes, par exempleancêtre::divs'adapterfrère ou sœur suivant(e)Si vous n'y arrivez pas, utilisez l'outil d'analyse de la structure des pages d'ipipgo.

Q : Que dois-je faire si XPath se comporte de manière incohérente dans différents navigateurs ?
R : Il est recommandé d'utiliser le noyau Chromium fixe, avec la fonction de gestion des empreintes digitales du navigateur d'ipipgo.

Conseils pratiques d'ipipgo

Lorsque nous avons apporté une assistance technique à nos clients, nous avons constaté que l'utilisation deIP exclusif + routage intelligentLa combinaison de ces éléments peut augmenter le taux de réussite du positionnement XPath de plus de 60%. Particulièrement recommandé pour la surveillance des prix :

1. utiliser les doubles lignes Chine orientale/Chine septentrionale d'ipipgo
2. mettre en place un mécanisme de réessai automatique en cas d'échec
3. mettre à jour la base de règles XPath une fois par semaine

Enfin, beaucoup de mes pairs sont tombés dans le piège desS'en tenir à la technologie et ne pas changer l'IPLa première chose à faire est d'utiliser les bons outils. En fait, l'utilisation du bon outil est plus utile que le code dur, comme le système de planification intelligent d'ipipgo peut automatiquement correspondre au nœud optimal, beaucoup plus efficace que la commutation manuelle. Un frère testé, le même script XPath, avec un bon proxy, l'acquisition de données IP peut être triplée, c'est la réalité de l'écart.