XPath Text Include Queries: Schreiben von Ausdrücken zum Auffinden von Webelementen

Praktische Anwendung der XPath-Textabfragen zur Datenerfassung

Das Ärgerlichste an der Datenerfassung ist, dass sich die Struktur der Webseite ändert, um den Leuten einen Trick beizubringen ---Die Funktion contains() von XPathDies ist wie ein GPS für Webelemente. Es ist wie ein GPS für Webelemente, sodass Sie Ihre Seite auch dann noch finden können, wenn sie sich ein wenig verändert hat.

Wenn Sie beispielsweise den Preis eines Produkts erfassen möchten, aber feststellen, dass das Preiselement auf der Webseite keine feste ID hat, verwenden Sie die//span[enthält(text(),'¥')]Fangen Sie einfach alle Etiketten mit dem ¥-Symbol, egal in welchem Winkel es versteckt ist.

//div[contains(@class,'price-box')]//span[contains(text(),'¥')]

Proxy IP und XPath, wie man Sex hat

Wenn Sie Crawler einsetzen, die hektisch Daten abgreifen, ist der Schutz Ihrer Website vor Bränden kein Zuckerschlecken. Dann ist es an der Zeit, unsereipipgo Dynamischer Wohnsitz-ProxySein IP-Pool ist unerschöpflich, und mit dem Fuzzy Matching von XPath wird die Effizienz der Sammlung direkt verdoppelt.

Wenn Sie zum Beispiel den Preis einer nationalen Abteilung eines E-Commerce-Unternehmens abfragen möchten, verwenden Sie ipipgo'sStandortagenten auf StadtebeneWechseln Sie zu anderen regionalen IPs und verwenden Sie diesen XPath erneut, um die Preise zu ermitteln:

//[enthält(@id,'preis_') und enthält(text(),'ermäßigter Preis')]]

Denken Sie daran, die Proxy-Authentifizierung von ipipgo im Code zu konfigurieren:

Anfragen importieren
proxies = {
  'http': 'http://用户名:密码@gateway.ipipgo.com:端口',
  'https': 'http://用户名:密码@gateway.ipipgo.com:端口'
}
response = requests.get(url, proxies=proxies)

Praktischer Leitfaden zur Vermeidung der Grube

Drei häufige Fehler, die Neulinge machen:

Konzentrieren Sie sich auf den dritten Punkt: Wenn die Website einen Anti-Crawl-Mechanismus hat, denken Sie daran, ipipgo in den XPath-Sammelcode derAutomatische Proxy-UmschaltfunktionAuf diese Weise wird jede Anfrage von einer anderen IP-Adresse exportiert, was sich bei der Verhinderung von Blockierungen als wirksam erwiesen hat.

Frage-und-Antwort-Runde

F: Was soll ich tun, wenn ich ein Element in XPath nicht finden kann?
A: Prüfen Sie zunächst, ob der Inhalt dynamisch geladen wird, in diesem Fall muss mit Selenium gearbeitet werden, denken Sie daran, den Proxy von ipipgo in Selenium zu konfigurieren, seine Familie unterstützt dieProxy-Einstellungen auf Browser-Ebene.

F: Was soll ich tun, wenn meine Proxy-IP immer wieder abbricht?
A: 80% von ihnen benutzen Spam-Proxys. ipipgo's exklusive Proxy-Linien sind5-Sekunden-Verbindungsgarantieund der reale Berufsverkehr ist so beständig wie ein alter Hund.

Q：Was muss ich tun, wenn ich Websites aus dem Ausland erfassen muss?
A: ipipgo's überseeischer Serverraum-Agent deckt 50+ Länder ab, mit XPath's mehrsprachiger Textabfrage, zum Beispiel, um den Preis der deutschen Website mit dementhält(text(),'€'), ein Haken.

Schließlich ist XPath etwas, das Sie mehr üben müssen, um damit vertraut zu sein. Seien Sie nicht zu streng mit der komplexen Seite, verwenden Sie contains() mit unseren ipipgo'sIntelligente AuflösungsstelleDas erste, was Sie tun müssen, ist, um Ihre Hände auf eine Website, die Sie für Ihren eigenen persönlichen Gebrauch verwenden können. Code zu schreiben müde, um seine Heimat Hintergrund Griff eine kostenlose Testversion, neue Benutzer zu senden 5G Verkehr Paket es.