XPath text() contient un tutoriel sur la correspondance floue

Mise en pratique du contenu de XPath pour jouer avec les correspondances floues

La capture de données du vieux fer doit savoir que les éléments de la page web sont aussi glissants que la scène, et que la fonction de contenu est tout simplement un panier de bambou pour attraper le poisson. Aujourd'hui, nous allons prendre le cas réel pour dire, comment utiliser cet outil avec proxy IP pour travailler.

I. XPath contient des opérations de base

Ce qu'on appelle le contenu est, franchement, uneDétecteur de mots-clésLe format ressemble à ceci://div[contains(text(),'keyword')]. En tant que marron, vous souhaitez connaître le prix d'un article mais il existe plusieurs versions cachées dans la page :

Veillez à ne pas mettresymbole spécialPour la fuite, rencontrez ¥ ce symbole monétaire n'oubliez pas d'utiliser le caractère d'échappement pour le traitement. Si vous n'êtes vraiment pas sûr, utilisez l'IP dynamique d'ipipgo pour essayer quelques versions de pages supplémentaires, la probabilité de réussite peut être doublée.

Deuxièmement, la combinaison idéale de la technologie de proxy IP

Quelle est la plus grande crainte du crawling par lots, le blocage d'IP ? C'est le moment d'utiliser notreipipgo Pool d'IP dynamique. Jouez-le exactement de cette façon :

1. Changement aléatoire de l'adresse IP de sortie pour chaque demande
2. Changement de ligne automatique en cas de CAPTCHA
3. IP résidentielle statique pour la saisie des données tôt le matin

En ce qui concerne le troisième point, de nombreux sites s'intéressent aux éléments suivantsCentre de données IPParticulièrement sensible. En utilisant le proxy résidentiel d'ipipgo, déguisé en accès utilisateur réel, avec des contenus pour faire du fuzzy matching, le taux de réussite peut aller jusqu'à 90% ou plus.

Troisièmement, la bataille proprement dite de l'opération sordide

Récemment, j'ai rencontré un problème en aidant un client à saisir des données relatives au commerce électronique : le titre du produit était mélangé avec le nom de l'entreprise.symbole de marsLa première chose à faire est de s'assurer que l'on a une bonne idée de ce que l'on fait. Par exemple, [explosive ★ hot] ce genre de, XPath régulier directement au repos. Plus tard avec contient (texte (), 'pop-up') et contient (texte (), 'hot') de la méthode d'écriture double assurance, ensemble avec ipipgo salle de serveur IP de Hong Kong, solution parfaite.

Dans un cas encore plus extrême, un site web divise le prix en trois parties et affiche : ￥199. C'est le moment d'utiliser lecontient+nœud épissage://div[contains(@class,'price')]/span[contains(text(),'9′)]

IV. Lignes directrices pour la prévention du renversement

Un piège courant pour les débutants :

• Sensible à la casse (converti avec la fonction translate)
• Les espaces sont perturbés (plus la gestion de l'espace de normalisation)
• Contenu chargé dynamiquement (en conjonction avec l'application ipipgoLes API sont mises à jour en temps réelIP)

La semaine dernière, un ami mourait d'envie de faire correspondre les données, et il s'est avéré que le site utilisait le formatpolice de caractères anti-escalade. Apprenez-lui à utiliser le proxy 4G mobile d'ipipgo + contains(text(), 'promote') fuzzy write pour contourner directement la détection.

Questions fréquemment posées sur l'AQ

Q : Comment choisir entre l'IP dynamique et l'IP statique ?
R : la phase de test avec l'IP dynamique se fait de manière occasionnelle, la phase officielle recommande l'utilisation d'ipipgo.IP statique de longue duréeLa stabilité pèse sur ses pairs.

Q : Que dois-je faire si je ne peux pas faire correspondre XPath ?
R : Vérifiez d'abord si l'adresse IP est interdite, changez les adresses IP.Agents à forte valeur ajoutéeRéessayez. Si cela ne fonctionne pas, utilisez une assurance multiple comme contains(text(),'price') ou contains(text(),'$').

Q : Que puis-je faire pour éviter que les adresses IP proxy n'affectent la vitesse d'exploration ?
A : Il s'agit là d'un compliment à l'égard d'ipipgoOptimisation des lignes BGPL'essentiel est de mettre en place une bonne politique de rotation des adresses IP, afin de ne pas avoir à utiliser une seule adresse IP pour tout. L'essentiel est de mettre en place une bonne politique de rotation des IP, afin de ne pas utiliser une IP jusqu'à la mort.

La dernière phrase lancinante, s'engager dans la capture de données, c'est comme jouer à la guérilla, XPath est l'arme, le proxy IP est le gilet pare-balles. Utilisez ipipgo cette arme magique, pour vous assurer de gagner cent batailles sur le champ de bataille des données. Si vous rencontrez des problèmes étranges dans la pratique, n'hésitez pas à taquiner notre frère technique.