XPath-Text-Einschlussfunktionen: Elementausdrücke lokalisieren

Unscharfe Suche" in XPath

Engagiert in Web-Crawling Bruder verstehen, die meisten Kopfschmerzen ist das Element Positionierung wie eine Nadel im Heuhaufen. Dieses Malenthält()-FunktionEs ist wie ein Nachtsichtgerät, das Elemente mit spezifischem Text direkt anvisieren kann. Um zum Beispiel alle Schaltflächen auf einer Seite mit den Worten "Jetzt kaufen" zu finden, schreiben Sie eine//button[enthält(text(),'Jetzt kaufen')]Es ist vollbracht.

Doch hier gibt es einen Haken: Viele Websites werden jetzt dynamisch geladen, die Seitenelemente ändern sich. Dieses Mal müssen Sie sich auf die Proxy-IP verlassen, umUmgehung von ZugriffsfrequenzbeschränkungenIm Folgenden finden Sie ein Beispiel für einen rotierenden IP-Pool mit ipipgo. Um eine Kastanie zu geben, mit ipipgo rotierenden IP-Pool, jede Anforderung für eine andere IP-Adresse, mit genauen XPath Positionierung, sowohl um Verkehr zu sparen und nicht leicht, die Anti-Climbing-Mechanismus auslösen.

Wie Proxy-IPs mit XPath funktionieren

Dieser Situation begegnen wir in der Praxis häufig:
1. unvollständiges Laden der Zielseite und sporadische Elemente
2. das Captcha-Pop-up unterbricht den Prozess
3. zufällige Änderungen der Seitenstruktur, um einen Schurken zu spielen

Dann ist es an der Zeit, dieDoppelte Versicherungsstrategie::
- Unscharfer Abgleich mit contains()
- Simulation von realen Vorgängen mit dem Wohnagenten von ipipgo
Diese Kombination von Stanzen kann die Erfolgsquote um mehr als 60% erhöhen. Verwenden Sie zum Beispiel bei der Erfassung von E-Commerce-Preisen//span[enthält(@class,'Preis')]um mit den Unterschieden in der Preisauszeichnung von Website zu Website fertig zu werden.

Praktische Fälle von Hands-on-Unterricht

Angenommen, wir wollen die Rede des Besitzers eines Forums erfassen (Merkmal: Benutzerebene mit dem Logo "Moderator"):

//div[enthält(@class,'user-info') und enthält(. ,'moderator')]/following-sibling::div[@class='content']

Wenn Sie jetzt direkt Ihre eigene IP verwenden, um wild durchzuziehen, werden Sie innerhalb weniger Minuten gesperrt. Verwenden Sie die Lösung von ipipgo:

Häufig gestellte Fragen QA

F: Warum muss ich IPs mit contains() proxyen?
A: Genaue Positionierung, um die Anzahl der Anfragen zu reduzieren, Proxy-IP zu verhindern, dass die Anfrage zu dicht ist, um blockiert werden, die doppelten Schutz ist.

F: Was sollte ich tun, wenn ich auf eine dynamische Klasse treffe?
A: Zum Beispiel//div[enthält(@class,'preis_')]Passen Sie Elemente ab, deren Klasse price_ enthält, und denken Sie auch daran, den Proxy von ipipgo für Wohngebiete zu verwenden, nicht die IP des Rechenzentrums.

F: Was ist der Knüller an ipipgo?
A: Ihr ZuhauseAbrechnungsmodell auf AbrufBesonders geeignet für kleine und mittlere Projekte, die im Gegensatz zu anderen Unternehmen monatlich zu bezahlen sind. Es gibt auch eine Echtzeit-Überwachung der IP-Verfügbarkeit, die IP hängt automatisch geschnitten, dieser Punkt ist besonders kritisch in der langfristigen Sammlung.

Ein Leitfaden zur Vermeidung von Fallstricken, an die Sie denken sollten

Drei abschließende Ratschläge für Neulinge:
1. verwenden Sie keine zu kurzen Wörter in den Einträgen, da sie leicht falsch zugeordnet werden können.
2. die Proxy-IPs sollten mit automatischer Überprüfung ausgewählt werden (z. B. mit der Qualitätsprüfungsfunktion von ipipgo)
3. bei wichtigen Datenerhebungen daran denken, die Daten lokal zu speichern, um wiederholte Anfragen zu vermeiden

Am Ende, XPath und IP-Proxy sind wie Essstäbchen Brüder, mit einem der beiden allein wird nicht helfen Sie essen. Enthält () spielen glatt, und dann mit einem zuverlässigen ipipgo Proxy-Service, Datenerhebung diese Sache wird eine Hälfte des Erfolgs sein. Was nicht verstehen, können Sie direkt auf ihre Heimat Bibliothek gehen, um über den Fall als die veralteten Tutorials im Internet viel stärker drehen.