Was macht XPath mit Klassennamen wirklich?
Jeder, der ein Daten-Crawler ist, sollte wissen, dass diese Elemente auf einer Webseite wie Chamäleons sind, besonders heutzutage, wenn sie voll sind von
// Als Live-Beispiel
//div[contains(@class,'product-item')]
Wie sind Proxy-IP und XPath zusammen gekommen?
Mit ipipgo's Proxy-Service mit XPath, um Daten zu greifen, ist es wie die Crawler einen Mantel der Unsichtbarkeit. Zum Beispiel, wenn Sie den Preis einer E-Commerce-Website zu fangen wollen, Menschen Anti-Climbing-Mechanismus gefunden, dass Sie häufig besuchen, direkt auf Ihre IP heruntergefahren das kleine schwarze Haus. Dieses Mal mit ipipgo'sDynamische WohnungsvermittlerDie Erfolgsquote wird direkt verdoppelt, indem für jede Anfrage verschiedene Exit-IPs geändert werden und eine genaue XPath-Positionierung erfolgt.
Hier ist eine reale Situation: ein Kunde mit einer festen IP, um Daten zu erfassen, drei Tage gesperrt werden. Nach dem Wechsel zum rotierenden Proxy von ipipgo.Zwei Wochen Dauerbetrieb ohne AnomalienDie Kriechgenauigkeit stieg von 481 TP3T auf 921 TP3T.
Treten Sie nicht auf die drei Gruben der Klassennamenpositionierung
1. aufpassen bei Klassennamen mit Leerzeichen: z.B.
2. dynamisch generierter Klassenname: wie class="ui-component-12345″, diesmal mit dem festen Teil, z. B. //[contains(@class,'ui-component-')]
3) Multi-Matching-Probleme: Es wird empfohlen, Entwickler-Tools zu verwenden, um zu überprüfen, dass XPath nicht mit mehr als einem Element übereinstimmt.
Praktisches Tutorial zur Konfiguration
Nehmen wir als Beispiel den Agenten Python + ipipgo:
Anfragen importieren
von lxml importieren html
proxies = {
'http': 'http://用户名:密码@gateway.ipipgo.com:9020', 'https': 'http://用户名:密码@gateway.ipipgo.com:9020'
'https': 'https://用户名:密码@gateway.ipipgo.com:9020'
}
resp = requests.get('Ziel-URL', proxies=proxies)
tree = html.fromstring(resp.content)
Hier ist der Schlüssel ↓↓
preis = tree.xpath('//span[contains(@class, "preis-symbol")]/following-sibling::text()')[0]
Fünf Fragen, die Sie sich sicher stellen werden
F: Was soll ich tun, wenn sich der Name der Klasse jeden Tag ändert?
A: suchen Sie nach der Entwicklung des Gesetzes, kann wirklich nicht auf ipipgo's gehenJS-Rendering-Proxy-Dienstkann mit dynamisch geladenen Inhalten umgehen
F: Wie kann ich die Übereinstimmung mit mehr als einem Element auflösen?
A: Fügen Sie Positionierungsebenen hinzu, z. B. finden Sie zuerst die festen Merkmale des äußeren Bereichs und gehen dann nach innen.
F: Warum lassen sich die Proxys von ipipgo nicht einfach blockieren?
A: Seine Familie verwendet eine echte Wohn-IP-Pool, jede IP hat reale Benutzerverhalten Merkmale, zuverlässiger als der Server-Raum IP ist nicht ein wenig mehr als einen halben Punkt!
F: Was sollte ich tun, wenn XPath ineffizient ist?
A: Kombiniert mit der Verwendung von CSS-Selektoren, der Schlüsselposition und der Funktion "Enthält" kann ipipgo'sExklusiver Hochgeschwindigkeits-ProxyEs ist auch ein Hindernis für die Geschwindigkeit.
F: Was sollte ich tun, wenn ich auf ein CAPTCHA stoße?
A: ipipgo's Proxy-IP kommt mit Cookie-Management-Funktion, mit der Anfrage-Header-Randomisierung, kann erheblich reduzieren die Überprüfung Code Trigger-Rate
Warum empfehlen Sie ipipgo?
Die eigentlichen Testdaten: Vergleich von drei Proxy-Dienstanbietern, die dasselbe XPath-Skript verwenden, um die Daten einer Plattform zu durchsuchen
| Dienstanbieter | Erfolgsquote | Blockiergeschwindigkeit |
|---|---|---|
| ipipgo | 95% | 2% |
| Unternehmen A | 78% | 15% |
| Unternehmen B | 82% | 22% |
Besondere Erwähnung verdient seine Familie.Klassennamen-Whitelisting-FunktionEs kann allgemeine Regeln für Klassennamen voreinstellen, um sich automatisch an unterschiedliche Website-Strukturen anzupassen, was unter ähnlichen Produkten einzigartig ist.
Deutsch 
简体中文 
English 
Español 
Français