R Web Capture: rvest Packet Data Collection Tutorial

Praktische Übungen zur Verwendung von Rvest zum Abfangen von Daten ohne Sperrung von Nummern

Kürzlich, ein kleiner Freund immer fragen mich, mit rvest Fangdaten immer von der Website blockiert IP, wie man mit umgehen? Diese Sache ist wie auf den Markt zu gehen, um Lebensmittel zu kaufen ist immer aus dem gleichen störend angetrieben. Heute werden wir nag, wie der Proxy-IP diese "Tarnkappe" zu verwenden, um das Problem zu lösen, die sich auf die Empfehlung, mich auf die reibungslose ipipgo Service verwenden.

Warum bleibt Ihr Crawler immer hängen?

Webmaster sind keine Vegetarier, sie haben drei Achsen zu schleifen:Erkennung von Zugriffshäufigkeiten, Identifizierung von IP-Anomalien, Erstellung von AnforderungsprofilenDie gleiche IP-Anfrage 50-mal pro Minute, die hunderttausend Meilen entfernt von der normalen Browsing-Geschwindigkeit ist. Um eine Kastanie zu geben, die gleiche IP-Anfrage 50 Mal pro Minute, die mit normalen Menschen Browsing-Geschwindigkeit Unterschied von achtzehn tausend Meilen, nicht blockieren Sie blockieren, die?

 Typische Code-Beispiele
library(rvest)
for(i in 1:100){
  read_html("https://example.com/data?page="%>%paste0(i))
}

Das Schreiben eines solchen Codes ist das Äquivalent dazu, ein Megaphon hochzuhalten und zu rufen: "Ich bin ein Crawler". Die Verwendung einer Proxy-IP ist so, als würde man einem Crawler einen Maulkorb verpassen, damit die Website nicht erkennt, wer man ist.

Praxis der ipipgo-Proxy-Konfiguration

Nehmen Sie den Dynamic Residential Proxy von ipipgo als Beispiel (dies ist der stabilste von ihnen) und richten Sie ihn in drei Schritten ein:

Bibliothek(httr)

proxy <- "username:password@gateway.ipipgo.com:9021" Ersetzen Sie Ihre Authentifizierungsinformationen

 Anfrage mit Proxy
response <- GET("https://target-site.com",
               use_proxy(proxy),
               user_agent("Mozilla/5.0..."))

 Verwendung mit rvest
html % html_text()

beachtenRegelmäßige Änderung der Proxy-IPDie API von ipipgo kann automatisch gewechselt werden, was viel weniger mühsam ist als ein manueller Wechsel. Ihre Überlebensrate kann 99% erreichen, was zuverlässiger ist als kostenlose Proxys.

Little White Common Überschlagsszene

Ich habe mich anfangs in jede dieser Gruben hineingesteckt:

Gewissenserforschung

F: Ist es legal, eine Proxy-IP zu verwenden?
A: Solange Sie Ihre persönlichen Informationen und Geschäftsgeheimnisse nicht berühren, gibt es kein Problem mit der normalen Sammlung öffentlicher Daten. ipipgo's IPs sind reguläre Carrier-Ressourcen, so dass Sie sie praktisch nutzen können.

F: Funktionieren kostenlose Proxys?
A: Sie schmecken, Sie fein - kostenlose IP-Pool, kann es 100 Menschen zur gleichen Zeit mit der gleichen IP, die Website nicht Dichtung nur seltsam! ipipipgo exklusiven Agenten zwar teuer, aber die Erfolgsquote verdoppelt.

F: Wie kann ich feststellen, ob eine Vollmacht in Kraft ist?
A: Fügen Sie einen Testschritt in den Code ein:

test_ip <- GET("https://api.ipify.org", use_proxy(proxy))
cat(content(test_ip, "text")) sollte die Proxy-IP anzeigen

Verbesserte Erfassungsstrategie

Es reicht nicht aus, ein Agent zu sein, man muss auch taktisch vorgehen:
1. zufälliger Ruhezustand für 0,5-3 Sekunden zur Nachahmung des menschlichen Betriebs
2. gemischte Nutzung von PC und mobilen User-Agents
3. dezentralisierte Anfragen mit den globalen Knoten von ipipgo
4. die automatische Wiederholungsfunktion für wichtige Aufgaben aktivieren

Und schließlich ist das Wichtigste bei der Nutzung von ipipgo in den letzten zwei Jahren, dass der Kundendienst schnell reagiert. Einmal begegnete ein technisches Problem um 3 Uhr morgens, die Arbeit um 10 Minuten zu beantworten, wirklich zuverlässig. Neue Benutzer denken Sie daran, sich zu registrieren, um 2G Traffic-Testversion zu erhalten, genug, um eine kleine Million Seiten zu fangen.