Die Funktion contains in XPath: Positionierung der Textübereinstimmung

Wie funktioniert das mit den Inhalten in XPath?

Brüder in Web-Crawling beschäftigt müssen diese Situation gesehen haben: Es gibt eine Schaltfläche auf der Seite nicht gefunden werden kann, schauen Sie genauer hin, um seine Klassennamen mit einer zufälligen Zeichenfolge zu finden. An diesem Punktenthält()-FunktionEin echter Lebensretter, der sich auf Positionierungsrätsel mit wechselnden Elementen spezialisiert hat.

Ein Beispiel: Das Preiselement einer E-Commerce-Website sieht folgendermaßen aus:

<div class="price_abc123">¥299</div>

Mit normalem XPath ist das nicht möglich, also ist es an der Zeit, den "contains"-Trick anzuwenden:

//div[enthält(@class, 'preis_')]

Wie hängen Proxy-IPs und XPath zusammen?

Was ist die größte Befürchtung bei der Verwendung von Proxy-IPs für die Datenerfassung?Sie wurde von der Website erkannt!Einige Websites speziell auf die Positionierung Eigenschaften des XPath konzentrieren, wenn Sie feststellen, dass Sie immer einen festen Pfad verwenden, um Daten zu erfassen, Minuten, um die IP zu blockieren. dieses Mal ipipgo dynamischen IP-Pool wird in handliches kommen, jede Anfrage für einen anderen Export IP, mit flexiblen enthält Positionierung, Sammlung Erfolgsquote direkt verdoppelt.

Wenn Sie z. B. den Kraftstoffpreis in verschiedenen Regionen des Landes erfassen wollen, kann die Struktur der Webseite in verschiedenen Provinzen fein abgestimmt werden:

//span[contains(text(), 'petrol 92')]/following-sibling::div

Diesmal wird der hochwertige Proxy von ipipgo aufgehängt, um eine genaue Positionierung zu gewährleisten, aber auch um zu vermeiden, dass der Antiklettermechanismus ausgelöst wird.

Drei große Fallstricke in der realen Welt

1. Textinhalt mit LeerzeichenEinige Websites haben versteckte Leerzeichen vor und nach dem Text. Denken Sie daran, normalise-space hinzuzufügen, um dies zu berücksichtigen:

//[enthält(normalise-space(), 'login')]

2. Chinesisch und Englisch gemischtWenn es sich um gemischten Text wie "Submit" handelt, wird empfohlen, Pipelining zu verwenden, um mehrere Übereinstimmungen zu erzielen:

//button[enthält(text(), 'Absenden') oder enthält(text(), 'Absenden')]

3. Dynamisch geladene InhalteIn diesem Fall denken Sie daran, mit ipipgo'sHochgeschwindigkeitsknotensetzen Sie eine angemessene Zeitspanne fest, um Positionierungsfehler aufgrund von Ladeverzögerungen zu vermeiden.

Optimierungs-Tipps, die nur alte Autofahrer kennen

- Meistens werden kombinatorische Bedingungen verwendet:enthält()Verwendung mit anderen Attributen für größere Genauigkeit
- Sichtbarem Text Priorität einräumen: hinzufügennot(enthält(@style,'display:none'))Ausgeblendete Elemente filtern
- Ändern Sie Ihre Positionierungsstrategie regelmäßig: Genau wie beim Wechsel der Proxy-IPs sollten Sie nicht zulassen, dass Websites Ihre Routine herausfinden!

Häufig gestellte Fragen QA

Q：Was soll ich tun, wenn die Übereinstimmung der Inhalte immer falsch ist?
A: Versuchen Sie es mitübersetzen()Funktionen unterscheiden nicht zwischen Groß- und Kleinschreibung oder verwenden stattdessen unscharfe Abgleichskombinationen, wie den Abgleich von Text und benachbarten Elementmerkmalen

F: Warum wird es nach der Verwendung von ipipgo immer noch erkannt?
A: Überprüfen Sie drei Dinge: 1. ob der Request Header zufällig gewechselt wird 2. ob der XPath zu fest ist 3. ob die Zugriffshäufigkeit angemessen ist. Es wird empfohlen, den automatischen Rotationsmodus von ipipgo + zufällige Verzögerungseinstellungen zu öffnen

F: Gibt es eine Alternative zum Inhalt?
A: Sie können versuchenbeginnt mitvielleichtendet - mitDer Schlüssel ist, mit einer qualitativ hochwertigen Proxy-IP zu arbeiten, wie ipipgo, dieSitzung haltenDienstleistungen, die die Stabilität der Sammlung effektiv aufrechterhalten

Warum empfehlen Sie ipipgo?

Nachdem wir eine Reihe von Dienstleistern auf dem Markt getestet und verglichen haben, gewinnt ipipgo in drei Schlüsselkriterien:
1. die IP-Überlebenszeit beträgt bis zu 6-12 Stunden (in anderen Haushalten sind 2-3 Stunden üblich)
2. landesweite Abdeckung von über 300 städtischen Knotenpunkten (Branchendurchschnitt 50+)
3) Der automatische Deduplizierungsmechanismus stellt sicher, dass jedes Mal eine neue IP bezogen wird.

Insbesondere bei Projekten, die eine langfristige Datenüberwachung vorsehen, sollten Sie dieexklusiver IP-PoolMit intelligenter XPath-Positionierung, kontinuierliche Sammlung für 30 Tage ohne Abwurf. Neue Benutzer-Registrierung sendet auch 5G Verkehr Paket, genug, um kleine und mittlere Projekte zu testen.

Schließlich: XPath Positionierung und IP-Proxy sind wie Essstäbchen Brüder, einzige Verwendung von denen Kopf kann nicht essen heißen Reis. Enthält die Funktion, glatt zu spielen, und dann mit einem zuverlässigen ipipgo Proxy, Datenerhebung dieser Angelegenheit ist auf halbem Weg dorthin. Der Rest ist mehr Praxis und mehr Anpassungen, gibt es keine spezifischen Fragen willkommen auf der offiziellen Website zu finden technischen Kundendienst nörgeln.