Erweiterte Verwendung der Funktion XPath contains()

Wenn die Proxy-IP auf die wunderbare XPath contains()-Reaktion trifft

Crawler wissen, dass Daten-Crawler Angst haben, aufDynamischer Klassennameim Gesang antwortenZufälliges Element idHier ist die contains()-Funktion von XPath wie ein Grillspieß. Zur Zeit ist die Funktion contains() von XPath wie ein Grillspieß an einer Imbissbude, mit dem man alle möglichen Informationen aufspießen kann. Viele Leute kennen jedoch nur die Funktion contains(text(), 'keyword'), die wie eine Maschinenpistole ist, die man als brennenden Spieß benutzen kann.

I. Trident-Verwendung in Proxy-IP-Szenarien

In Verbindung mit den Premium-Proxys von ipipgo kann contains() Tricks anwenden:

Denken Sie daran, das Backend von ipipgo einzugebenIP-Schalthäufigkeitim Gesang antwortenZeitüberschreitung und NeuversuchDie Umstellung auf den intelligenten Modus ist viel weniger mühsam als die manuelle Umstellung.

Zweitens, das Attributwert-Fuzzy-Matching der Soi-Operation

Viele Websites fügen Elementen zufällige Suffixe hinzu, z. B. class="btn-submit-5a3b". In diesem Fall können Sie es so schreiben:

//button[contains(@class,'btn-submit') and contains(@onclick,'submitForm')]

Diese Kombo schlägt zu, egal ob sie von Marsianer oder Kauderwelsch gefolgt wird. Kombiniert mit ipipgo'sStatische LangzeitwirkstoffeDieselbe IP bleibt eine halbe Stunde lang unverändert und löst die Überprüfung nicht aus, was 37% stabiler ist als die dynamische IP.

III. die Positionierung des Blitzes bei mehrschichtiger Verschachtelung

Schimpfen Sie nicht gleich, wenn Sie auf eine verschachtelte DOM-Struktur stoßen, sondern versuchen Sie Folgendes:

//div[contains(@style,'display: block')]//span[contains(@data-bind,'ko.observable') ][contains(. ,'inventory')]

Dieser Trick funktioniert bei Elementen, die von verschiedenen Front-End-Frameworks erzeugt werden. ipipgo'sexklusiver IP-PoolEs gibt eine versteckte Funktion - Sie können einen bestimmten Server Raum Linie, wie z. B. dedizierte San Jose Knoten zu fangen nordamerikanischen E-Commerce, die Latenz kann bis zu 200ms gedrückt werden.

IV. Das ultimative Geheimnis der Kombination von Bewegung und Statik

Mischen Sie contains() mit Achsenausdrücken und passen Sie sie an:

//table[contains(@class,'data-table')]/tbody/tr[position()>1]/td[contains(normalise-space(), ' spot')]/Vorläufer-Geschwister::td[1]

Diese Schreibweise ermöglicht es Ihnen, den Tabellenkopf zu überspringen, um den Punkt zu erfassen, was viel schneller ist als ein regulärer Ausdruck. Denken Sie daran, ipipgo einzuschalten inIntervall-Randomisierung anfordernWenn Sie das Zugriffsintervall auf einen zufälligen Wert zwischen 1,8 und 3,2 Sekunden einstellen, kann das Anti-Climbing-System das Muster überhaupt nicht herausfinden.

QA Erste-Hilfe-Kasten

F: Was soll ich tun, wenn meine IP-Adresse ständig von Websites blockiert wird?
A: 80% ist die Qualität der Agenten nicht gut, ipipgo'sHandelsvertreterMit UA-Spoofing und TLS-Fingerprinting-Verschleierung, neue Benutzer erhalten 1G-Traffic-Test kostenlos.

F: Wie kann ich Hunderte von Websites gleichzeitig überwachen?
A: Verwenden Sie ipipgo'sMulti-Threading-PaketDenken Sie daran, in Verbindung mit der Kombinationsabfrage contains()+starts-with() von xpath den Timeout-Schwellenwert auf 8 Sekunden zu setzen.

F: Können dynamisch geladene Daten nicht erfasst werden?
A: 80% ist xpath ist nicht richtig geschrieben, versuchen Sie contains() mit contains(@style,'loading') zu tun warten Beurteilung. ipipgo'sS5-AgentUnterstützt die direkte Integration in Puppeteer, das Rendern und anschließende Erfassen ist solide.

Eine letzte Erkenntnis: ipipgo'sAgenten für RechenzentrenKürzlich aktualisierte TCP-Handshake-Optimierung, beim Crawlen von Seiten, die viele contains()-Abfragen enthalten, ist die Antwortgeschwindigkeit 2,3 mal schneller als bei regulären Proxies. Neue Benutzer Registrierung verlieren Promo-CodeXPath666Wenn Sie ein Premium-Paket drei Tage lang kostenlos kaufen können, ist das wirklich ein Verlust, wenn Sie sich nicht über den Tisch ziehen lassen.