HTML Web Crawling Crashkurs: XPath und reguläre Ausdrücke

Erstens können auch Weiße die einleitende Haltung des Crawlers verstehen

Sie möchten Daten von Webseiten abschöpfen, haben aber Angst, gesperrt zu werden? Erinnern Sie sich zuerst an diesGoldenes DreieckAls Erstes müssen Sie die requests-Bibliothek verwenden, um Anfragen zu senden, XPath, um den Ort zu finden, und reguläre Ausdrücke, um die Details zu erfassen. Lassen Sie sich von der Terminologie nicht einschüchtern. Nehmen wir eine E-Commerce-Site zur Preisüberwachung als Beispiel, nehmen wir an, dass Sie den Preis von Mobiltelefonen abfragen wollen, mit requests.get () können Sie den Quellcode der Webseite abrufen.

zu diesem ZeitpunktProxy-IP-Pool für ipipgoDas ist der Punkt, an dem er ins Spiel kommt. Und warum? Die gleiche IP-Adresse wird wie verrückt angefordert, wenn die Website Sie nicht sperrt, wer dann? Fügen Sie ein paar Zeilen Proxy-Einstellungen in den Code ein, drehen Sie die IP-Adresse, die von ipipgo bereitgestellt wird, genau wie beim "Gesicht"-Spiel, so dass die Website denkt, dass jedes Mal eine andere Person zu Besuch ist.

Zweitens, XPath, um die Daten zu finden als die Schublade ist auch einfach

Stellen Sie sich die Struktur einer Webseite als Kleiderschrank vor, und XPath ist die Navigationssprache, die der Anwendung mitteilt: "Das zweite Kleidungsstück links in der dritten Schublade". Klicken Sie mit der rechten Maustaste auf ein Element in den Chrome-Entwicklertools (F12) und wählen Sie XPath kopieren, um den Standortpfad direkt zu erhalten. Der Preis eines Mobiltelefons könnte zum Beispiel in der Größenordnung von//div[@class='price-box']/span[1]Diese Position.

III. reguläre Ausdrücke: das Schweizer Taschenmesser der Datenbereinigung

Wenn die Daten im Internet unübersichtlich sind, können Sie sie mit Hilfe von Stammdaten filtern. Wenn Sie zum Beispiel einen Preis finden, der "ab ¥3.299" lautet, verwenden Sie died+,d+Dann können Sie 3299 extrahieren. Denken Sie an die drei Kardinalzeichen:.? (beliebiges Zeichen)undd+ (Zahl)undw+ (alphanumerisch).

Praktischer Fall: Behandlung von Telefonnummern mit Verunreinigungen
Originaltext: Rufnummer des Kundendienstes400-1234-5678(Arbeitstage)
Normale Formel:d{3}-d{4}-d{4}

Viertens: Der richtige Weg, die Proxy-IP zu öffnen

Ich habe es um 4:00 Uhr morgens gesehen.VerbindungsFehlerWas ist das? Das passiert, wenn man keinen guten Proxy verwendet. Den Proxy von ipipgo in den Code einzubauen ist, als würde man einen Crawler mit einer Tarnkappe versehen:

proxies = {
    http': 'http://username:password@ipipgo-proxy-server:port',
    https': 'https://username:password@ipipgo-proxy-server:port'
}
response = requests.get(url, proxies=proxies)

Das ist der springende Punkt:Zufällige IP-Auswahl pro AnfrageundUngewöhnliche automatische UmschaltungundZeitgesteuerte IP-VerfügbarkeitsprüfungDie ipipgo-API gibt direkt eine Liste der verfügbaren Proxys zurück, was viel weniger zeitaufwändig ist, als sie selbst zu pflegen.

V. Leitfaden zur Vermeidung des Abgrunds: 5 häufige Fehler von Anfängern

1. vergessen hat, den Request-Header zu setzen und als Bot abgefangen wurde
2. ein einziger IP-Swipe, 10 Minuten, um ein großes Paket von Bannern zu bekommen!
3. nicht mit dem asynchronen Laden von Seiten umgehen und die Einsamkeit auffangen
4. die Regeln sind zu starr, die Webseite wird nicht funktionieren, wenn Sie den Stil ändern.
5. keine Ausnahmebehandlung, Programmabstürze mitten in der Nacht

VI. Zeit für QA: Sie werden danach fragen wollen!

F: Was sollte ich tun, wenn XPath bei der Überarbeitung der Website nicht funktioniert?
A: Verwenden Sie mehr relative Pfade und unscharfe Übereinstimmungen, zum Beispiel//[enthält(@class,'Preis')]Widerstandsfähiger gegen Veränderungen als feste Klassen

F: Wie werden die Agenten von ipipgo abgerechnet?
A: Ihre FamilienpressenTatsächliche NutzungGebühr, im Gegensatz zu einigen Plattformen, wo Sie ein Paket kaufen müssen. Neue Benutzer erhalten $ 5 Bonus, genug, um Tausende von Anfragen zu testen!

F: Wie kann ich das CAPTCHA umgehen, wenn ich es sehe?
A: Reduzieren Sie die Häufigkeit der Anfrage + wechseln Sie UA + verwenden Sie ipipgo's High Stash Proxy dreiteiligen Satz. Wirklich Begegnung hardcore Verifizierungscode, ist es empfehlenswert, den Code-Plattform zugreifen

VII. letzter Rat: Seien Sie nicht leichtsinnig

Krabbler sind hartnäckige Kämpfer, und es geht nur darum, wer länger lebt. Mach diese drei Dinge gut:
1. zufälliger Schlaf pro Anfrage (1-3 Sekunden)
2. die Erstellung von drei Analyseprogrammen für wichtige Projekte
3. die Verwendung von ipipgoexklusiver IP-PoolDurchführung des Bonding-Programms
Denken Sie daran, dass nachhaltiges Crawling der richtige Weg ist und Sie nicht auf einen kleinen Geldbetrag verzichten sollten, um die Agenturgebühren zu sparen.