XPath-Include-Funktionen: Positionierungstechniken für Textabgleiche

Was leistet diese XPath-Include-Funktion eigentlich für Sie?

Die alten Eisen, die sich mit dem Crawling von Daten beschäftigen, wissen sicherlich, dass sich die Elemente einer Webseite oft wie ein ungezogenes Kind verändern. Dies ist die Zeit zu verwendenenthält()-FunktionEs ist, als würde man einen Fuzzy-Sucher für XPath installieren. Um zum Beispiel ein div mit dem Wort "price" in seinem class-Attribut zu finden, kann man direkt schreiben//div[enthält(@class,'Preis')]Es spielt keine Rolle, ob es von "-new" oder "-discount" gefolgt wird.

So wird beispielsweise das Preisschild einer E-Commerce-Website heute von derProduktpreisMorgen wird es seinArtikelpreisWenn Sie die normale Positionierungsmethode verwenden, müssen Sie den Code jeden Tag ändern. Wenn Sie die Funktion contains verwenden, um//span[enthält(@id,'Preis')]Die Skripte können mindestens drei Monate lang verwendet werden, ohne dass das Skript geändert wird - vorausgesetzt, die Website ändert nicht auch noch das Wort "Preis".

Proxy IP und XPath arbeiten gut zusammen.

Viele Neulinge wissen nicht, dass häufige Anfragen beim Abrufen von Daten mit XPath dazu führen, dass ihre IP gesperrt wird.Dynamischer Proxy-Pool für ipipgoDas ist praktisch, denn die IP-Adressen der Proxys werden rotiert, und durch zufällige Abfrageintervalle wird die Wahrscheinlichkeit, blockiert zu werden, minimiert.

Besonderer Hinweis: Wenn Sie die Funktion contains zum Auffinden verwenden, ist es am besten, sie mit der FunktionHochversteckter Proxy für ipipgoDenn einige Websites erkennen XPath-Abfrageeigenschaften. Letztes Mal, ein Kunde verwendet gewöhnlichen Proxy, um Daten zu greifen, das Ergebnis der Website mit enthält die Anfrage blockiert sind, ersetzt mit ipipgo benutzerdefinierten Proxy, um das Problem zu lösen.

Praktischer Leitfaden zur Vermeidung der Grube

1. Verwenden Sie den Inhalt nicht als Allheilmittel - treffen<div class="price-box special">Diese Art von Raum in der Mitte muss geschrieben werden alsenthält(@class,'Preis')Statt der ganzen Zeichenkette

2. Groß- und Kleinschreibung Diese Grube wird von denjenigen verstanden, die sie betreten haben, indem sie dietranslate()-FunktionEs ist zum Beispiel sicherer, in Kleinbuchstaben zu konvertieren:
//[enthält(translate(text(),'abcdefghijklmnopqrstuvwxyz','abcdefghijklmnopqrstuvwxyz'),'iphone')]

3. proxy IP sollte daran denken, eine Whitelist einzurichten, insbesondere mit ipipgo's Enterprise-Class-Proxy, im Hintergrund verbindliche Server-IP zu verwenden. Einmal ein Kumpel vergaß dies, Debugging einen halben Tag dachte, er schrieb den falschen XPath.

Häufig gestellte Fragen QA

F: XPath ist korrekt geschrieben, aber die Daten können nicht erfasst werden, was ist los?
A: Achtzig Prozent von ihnen lösen den Anti-Kletter-Mechanismus aus, wie vorgeschlagen:
1. die Überprüfung der Vollständigkeit des Request-Headers
2. die Verringerung der Häufigkeit des Erwerbs
3. der Wechsel zum dynamischen Wohn-Proxy von ipipgo

F: Wirkt sich die Funktion "Enthalten" auf die Kriechgeschwindigkeit aus?
A: Es ist wahr, dass es langsamer als die exakte Übereinstimmung sein wird, aber mit ipipgo's exklusivem Proxy kann es ausgeglichen werden. Der tatsächliche Test mit ihren 10M Bandbreite Proxy, die Verarbeitung von 100.000 Stück von Daten kann schneller 30% oder so sein.

F: Wie kann ich die gleichzeitige Verwendung mehrerer Inhalte optimieren?
A: Versuchen Sie, es so zu schreiben://div[enthält(@class,'box') und enthält(@id,'item')]kann in Verbindung mit der intelligenten Routing-Funktion von ipipgo automatisch den Knoten mit der geringsten Latenzzeit auswählen.

Eine letzte Bemerkung: Viele Websites haben jetzt einen zusätzlichen KI-Schutz, und technische Mittel allein reichen nicht aus. Wie die neue Website von ipipgoFingerprint Browser Proxy PaketEs kann die reale Browserumgebung simulieren und ist stabiler mit XPath Crawling. Vor allem tun E-Commerce-Preisvergleich Bruder, mit diesem Programm kann eine Menge weniger Haare verlieren.