XPath-Include-Funktionen: Webtext-Suchausdrücke

Praktische Anwendung der XPath-Funktion "contains" zum Auffinden von Webelementen

Brüder, die sich mit der Datenerfassung beschäftigen, wissen, dass der XPath-Ausdruck wie ein Suchscheinwerfer ist, der die Elemente auf der Webseite genau lokalisieren kann. Allerdings sind viele Neulinge immerDynamischer Textauf den Fall - wie der Preis der Waren zeigen "¥ 199,00 ″ und "¥ 199 ″ das Format dieser Differenz, dieses Mal haben Sie zu bewegen, aus enthält () die magische Waffe.

Warum muss ich bei XPath Proxy-IPs verwenden?

Sie schreiben zum Beispiel einen perfekten XPath-Ausdruck: //div[contains(@class,'price')], und plötzlich schlägt er nach einem Dutzend aufeinander folgender Besuche einer bestimmten Website fehl. Höchstwahrscheinlich liegt das Problem nicht an Ihrem Code, sondern an der ZielseiteIhre lokale IP blockiert.! In diesem Fall wird ein professioneller Proxy-Dienst wie ipipgo benötigt, der die IPs der Haushalte automatisch umschaltet, damit der Sammelauftrag nicht unterbrochen wird.

Enthält funktionspraktische Fähigkeiten

Denken Sie an diese drei häufigen Kombinationen:

1. // Tag [enthält(Text(), "Schlüsselwort")] → Tag finden, der bestimmten Text enthält
2. //[enthält(@Attribut,'fester Teil')] → entspricht Elementen mit sich dynamisch ändernden Attributwerten
3. enthält+beginnt-mit-Kombination → behandelt Klassennamen mit zufälligen Suffixen

Nehmen wir an, wir wollen die Bewertung einer E-Commerce-Plattform erfassen und stellen fest, dass das Div jedes Bewertungsblocks eine zufällig generierte ID hat, aber alle das Präfix "review-" enthalten, das zu diesem Zeitpunkt geschrieben werden kann:

//div[enthält(@id,'Rezension-')]/p

Konfiguration des ipipgo-Proxy-Dienstes

Konfigurieren Sie den Proxy in der Python-Anforderungsbibliothek (denken Sie daran, das Kontopasswort im Beispiel durch Ihre eigenen Anmeldedaten zu ersetzen, die Sie vom ipipgo-Backend erhalten haben):

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
    'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}
response = requests.get(url, proxies=proxies, timeout=10)

Hier ist eine.Leitfaden zur Vermeidung der GrubeDie kostenlose Proxies von vielen Brüdern verschwenden viel Zeit Debugging, ist das Ergebnis, dass die Sammlung Effizienz reduziert wird. ipipgo exklusive IP-Pool unterstützt die automatische Forensik, die tatsächliche Prüfung in der kontinuierlichen 12 Stunden der Sammlung von Aufgaben, die IP-Verfügbarkeitsrate ist bei 98% oder mehr aufrechterhalten.

Häufig gestellte Fragen QA

F: Was soll ich tun, wenn ich den richtigen XPath schreibe, aber die Daten nicht erfassen kann?
A: Prüfen Sie zunächst, ob es Anti-Climbing auslöst, verwenden Sie ipipgo, um die IP zu wechseln und versuchen Sie es erneut. Es wird auch empfohlen, in XPath contains(@class,'xxx') hinzuzufügen, um eine sekundäre Filterung durchzuführen.

F: Muss ich die Proxy-IP häufig ändern?
A: Hängt von der Stärke der Windkontrolle der Ziel-Website ab. Es wird empfohlen, den "Smart Switching"-Modus im ipipgo-Hintergrund einzustellen, dann schaltet das System die IPs automatisch entsprechend dem Antwortstatus um

F: Wie lässt sich prüfen, ob das Mittel wirksam ist?
A: Sie können zunächst http://httpbin.org/ip查看当前出口IP besuchen und die zugewiesenen IPs, die in der ipipgo-Konsole angezeigt werden, vergleichen, um zu sehen, ob sie übereinstimmen.

Upgrade Play: Intelligenter Fehlertoleranz-Mechanismus

Fügen Sie eine doppelte Versicherung in den Code ein: Wenn "Locate" fehlschlägt, wird automatisch versucht, mit anderen Attributen zu suchen und gleichzeitig die IP in Echtzeit über die API von ipipgo zu ändern. geben Sie hier eine Pseudo-Code-Logik an:

versuchen.
    element = find(//div[contains(@id,'content')])
except: element = find(//div[contains(@class,'main-text')])
    element = find(//div[contains(@class,'main-text')])
    ipipgo.rotate_ip() ruft die IP-Änderungsschnittstelle auf

Und schließlich, für diejenigen unter Ihnen, die ipipgo benutzen, denken Sie daran, es im Hintergrund einzuschalten!"XPath-Modus"Diese Funktion wurde speziell für Szenarien entwickelt, in denen Elemente genau lokalisiert werden müssen, und umgeht automatisch die üblichen Anti-Crawling-Strategien. Neue Nutzer registrieren sich, um einen 3G-Traffic-Test zu erhalten, der ausreicht, um den gesamten Erfassungsprozess zu durchlaufen.