Fonctions d'inclusion XPath : Techniques de positionnement de la correspondance de texte

Que fait réellement cette fonction XPath include pour vous ?

Les vieux briscards de l'exploration de données l'ont bien compris : les éléments d'une page web changent souvent comme un vilain enfant. C'est le moment d'utiliserfonction contains()C'est comme installer un chercheur flou pour XPath, par exemple, pour trouver une div avec le mot "prix" dans son attribut class, vous pouvez directement écrire//div[contains(@class, 'price')]Peu importe qu'il soit suivi de "-new" ou "-discount".

A titre d'exemple, le prix d'un site de commerce électronique est aujourd'hui utilisé par l'entreprise.produit-prixDemain, ce seraprix de l'articleSi vous utilisez la méthode de positionnement normale, vous devrez modifier le code tous les jours. Si vous utilisez la fonction contains pour écrire//span[contains(@id, 'price')]Les scripts peuvent être utilisés pendant au moins trois mois sans changement de script - à condition que le site ne modifie pas également le mot "prix".

Proxy IP et XPath fonctionnent bien ensemble.

De nombreux débutants ne savent pas que les requêtes fréquentes de saisie de données à l'aide de XPath entraîneront le blocage de leur adresse IP. cette fois-ciPool proxy dynamique pour ipipgoLes IP de leur proxy résidentiel font l'objet d'une rotation et, grâce à des intervalles de requête aléatoires, la probabilité d'être bloqué est réduite au minimum.

Remarque particulière : lorsque la fonction contient est utilisée pour la localisation, il est préférable de l'associer à la fonctionHigh Stash Proxy pour ipipgoParce que certains sites détectent les caractéristiques des requêtes XPath. La dernière fois, un client a utilisé un proxy ordinaire pour récupérer des données, le résultat du site web contenant la requête est bloqué, remplacé par un proxy personnalisé ipipgo pour résoudre le problème.

Guide pratique pour éviter la fosse

1. ne pas utiliser le contenu comme une panacée - rencontrer<div class="price-box special">Ce type d'espace au milieu doit être écrit comme suitcontains(@class,'price')Au lieu de la chaîne entière

2. sensible à la casse Cette fosse est comprise par ceux qui l'ont foulée, en utilisant l'expressionfonction translate()Il est plus sûr de convertir en minuscules, par exemple :
//[contains(translate(text(),'abcdefghijklmnopqrstuvwxyz','abcdefghijklmnopqrstuvwxyz'),'iphone')]

3. l'IP du proxy devrait se souvenir de mettre en place une liste blanche, en particulier avec le proxy d'entreprise d'ipipgo, qui lie en arrière-plan l'IP du serveur à utiliser. Un jour, un ami a oublié cela, et a débogué pendant une demi-journée en pensant qu'il avait écrit le mauvais XPath.

Foire aux questions QA

Q : XPath est écrit correctement mais ne peut pas capturer les données, qu'est-ce qui ne va pas ?
R : Quatre-vingt pour cent d'entre eux déclenchent le mécanisme anti-escalade, comme cela a été suggéré :
1. vérifier que l'en-tête de la demande est complet
2. la réduction de la fréquence d'acquisition
3. passer au proxy résidentiel dynamique d'ipipgo

Q : La fonction "contains" a-t-elle une incidence sur la vitesse d'exploration ?
R : Il est vrai qu'il sera plus lent que la correspondance exacte, mais avec le proxy exclusif d'ipipgo, il peut le compenser. Le test réel avec leur proxy de 10M de bande passante, le traitement de 100 000 pièces de données peut être plus rapide 30% ou à peu près.

Q : Comment puis-je optimiser l'utilisation de plusieurs contenus en même temps ?
R : Essayez de l'écrire comme suit ://div[contains(@class, 'box') and contains(@id, 'item')]，配合ipipgo的智能路由功能，能自动选择最低的节点。

Une dernière remarque : de nombreux sites disposent désormais d'une protection supplémentaire contre l'IA, et les moyens techniques ne suffisent pas. Comme le nouveau site d'ipipgoProxy pour le navigateur FingerprintIl peut simuler l'environnement réel du navigateur et est plus stable avec l'exploration XPath. Ce programme permet en particulier de comparer les prix dans le domaine du commerce électronique et de perdre beaucoup moins de cheveux.