XPath text() enthält ein Tutorial zum unscharfen Abgleich

Praktische Erfahrung mit XPath enthält, um mit Fuzzy Matching zu spielen

engagieren sich in der Datenerfassung des alten Eisen wissen sollten, begegnete die Art der Web-Seite Elemente wie Schmerle so glatt wie die Szene, mit der Funktion enthält, ist einfach wie ein Bambus-Korb zu fangen Schmerle. Heute werden wir den tatsächlichen Fall zu sagen, wie man dieses Tool mit Proxy-IP zu arbeiten.

I. XPath enthält grundlegende Operationen

Diese Sache namens Inhalt ist, offen gesagt, eineSchlüsselwort-Detektorsieht das Format wie folgt aus: //div[enthält(text(),'Schlüsselwort')]. Als Fuchs wollen Sie den Preis eines Artikels erfassen, aber es gibt verschiedene Versionen, die auf der Seite versteckt sind:

Achten Sie darauf, dass Sie diespezielles SymbolUm das Leck, begegnet ¥ diese Art von Währungssymbolen denken Sie daran, die Escape-Zeichen Verarbeitung verwenden. Wenn Sie wirklich unsicher sind, verwenden Sie die dynamische IP von ipipgo, um ein paar mehr Seitenversionen auszuprobieren, kann die Wahrscheinlichkeit des Erfolgs verdoppelt werden.

Zweitens, die goldene Kombination von Proxy-IP-Technologie

Was ist die größte Angst beim Batch-Crawling, die IP-Sperrung? Dies ist der richtige Zeitpunkt für die Nutzung unsereripipgo Dynamischer IP-Pool. Spielen Sie es genau so:

1. Zufällige Änderung der Ausgangs-IP für jede Anfrage
2. Automatische Zeilenumschaltung bei CAPTCHA
3. Statische IP-Adresse des Wohnorts für die Datenerfassung am frühen Morgen

Was den dritten Punkt betrifft, so sind viele Websites daran interessiertRechenzentrum IPBesonders sensibel. Mit dem Wohn-Proxy von ipipgo, der als echter Benutzerzugang getarnt ist und Fuzzy Matching enthält, kann die Erfolgsquote bis zu 90% oder mehr betragen.

Drittens, die eigentliche Schlacht in der geschmacklosen Operation

Kürzlich stieß ich auf einen Fallstrick, als ich einem Kunden bei der Erfassung von E-Commerce-Daten half: Der Produkttitel wurde mit demMars-SymbolDies ist das erste Mal, dass ich dies gesehen habe. Zum Beispiel, [explosiv ★ heiß] diese Art von, regelmäßige XPath direkt zur Ruhe. Später mit enthält (Text (), 'pop-up') und enthält (Text (), 'hot') der doppelten Versicherung schriftlich Methode, zusammen mit ipipgo Hong Kong Server Raum IP, perfekte Lösung.

In einem noch extremeren Fall teilt eine Website den Preis in drei Teile auf und zeigt an: ￥199. Dies ist der richtige Zeitpunkt, um dieenthält+Knotenspleißen://div[enthält(@class,'Preis')]/span[enthält(text(),'9′)]

IV. Leitlinien zur Vermeidung von Überschlägen

Ein häufiger Fallstrick für Neulinge:

• Groß- und Kleinschreibung beachten (mit der Funktion "Übersetzen" umgewandelt)
• Leerzeichen sind durcheinander (plus Normalisierung der Leerzeichen)
• Dynamisch geladene Inhalte (in Verbindung mit ipipgo'sAPIs werden in Echtzeit aktualisiertIP)

Letzte Woche wollte ein Kollege unbedingt die Daten abgleichen, und es stellte sich heraus, dass die Website dieSchriftart Anti-Climbing. Bringen Sie ihm bei, den mobilen 4G-Proxy von ipipgo zu verwenden + contains(text(),'promote') fuzzy write, um die Erkennung direkt zu umgehen.

QA Häufig gestellte Fragen

F: Wie wählt man zwischen dynamischer IP und statischer IP?
A: Testphase mit dynamischer IP zufällig bauen, der offizielle Lauf empfohlen, ipipgo verwendenLanglebige statische IPDie Stabilität hängt über den Gleichaltrigen.

F: Was soll ich tun, wenn ich XPath nicht zuordnen kann?
A: Prüfen Sie zunächst, ob die IP gesperrt ist, ändern Sie die IP-Go'sHochversteckte AgentenVersuchen Sie es noch einmal. Wenn das nicht funktioniert, verwenden Sie eine Mehrfachversicherung wie contains(text(),'price') oder contains(text(),'$').

F: Was kann ich tun, wenn Proxy-IPs die Crawling-Geschwindigkeit beeinträchtigen?
A: Das muss ein Kompliment an ipipgo's seinOptimierung der BGP-Leitungen，实测比裸连还低。关键是要设置好IP轮换策略，别可着一个IP往死里用。

Der letzte nagende Satz, in der Datenerfassung engagieren ist wie Guerilla-Krieg spielen, XPath ist die Waffe, Proxy-IP ist kugelsichere Weste. Verwenden Sie ipipgo diese magische Waffe, um sicherzustellen, dass Sie hundert Schlachten auf dem Schlachtfeld der Daten gewinnen. Wenn Sie irgendwelche seltsamen Probleme in der Praxis haben, zögern Sie bitte nicht, unseren technischen Bruder zu ärgern.