Datenerfassung mit R: Ein praktischer Leitfaden für REST-Pakete

Der beste Weg, um die IP-Sperre bei der Datenerfassung mit rvest zu verhindern

Kürzlich, eine Menge von Daten-Analyse-Partnern und ich spucken, mit rvest Paketdaten immer gestoßen IP blockiert gebrochen Sache. Wie letzte Woche, kletterte ein Kumpel den Preis des E-Commerce, nur griff 200 Seiten auf die blockierte IP, so wütend, dass er fast die Tastatur zerschlagen. Heute werden wir Ihnen beibringen, wie man Proxy-IP dieses magische Werkzeug zu verwenden, um diese schlechte Problem zu bekommen.

Mit rvest basics nicht in die Gruben treten

Erstens, um die Lücken zu füllen: Rvest-Packs funktionieren gut wie ein Schweizer Taschenmesser. Aber viele Menschen neigen dazu, in diese Schlaglöcher zu fallen:

 Beispiele für häufige Fehler für Neueinsteiger
library(rvest)
url <- "https://example.com"
html <- read_html(url) direkter nackter Zugriff, warte bis du gesperrt wirst!

Jetzt kommt der Punkt!read_html() Diese Funktion ist standardmäßig im nackten ModusWenn man Sie nicht sperrt, ist der ständige Zugriff wie ein Squaredance vor den Augen des Webmasters.

Das lebensrettende Trio von Proxy IP

Jetzt ist es an der Zeit, unser lebenserhaltendes Trio anzubieten:

 Der richtige Weg zum Öffnen
Bibliothek(httr)
proxy <- "http://username:password@gateway.ipipgo.com:9020"
Antwort <- GET(url, use_proxy(proxy))
html <- read_html(Antwort)

Hier gibt es eine kleine Tür, die in vielen Tutorials nicht deutlich gemacht wird:Der Benutzername sollte in den vom ipipgo-Backend generierten Authentifizierungsstring geändert werden.Das Kennwortfeld kann leer gelassen werden. Ein Vorteil der Verwendung des Proxys ist, dass er die Export-IP automatisch umschalten kann, was viel weniger Probleme bereitet als die manuelle Änderung der IP.

Praxisfall: Preisüberwachung im elektronischen Handel

Nehmen wir ein Beispiel aus der Praxis: Wir wollen den Preis eines Mobiltelefons in einem bestimmten Geschäft ermitteln:

bibliothek(httr)
library(rvest)

ipipgo_proxy <- "http://user-3k9d8s@gateway.ipipgo.com:9020"

for(i in 1:100){
  url <- paste0("https://item.taobao.com?page=",i)
  resp <- GET(url, use_proxy(ipipgo_proxy), timeout(30))
  if(status_code(resp)==200){
     Code zum Parsen der Preisdaten...
  } sonst {
    print("Crawl ausgelöst, IPs automatisch wechseln.")
     Die ipipgo API-Schnittstelle wechselt automatisch die IPs
  }
  Sys.sleep(runif(1,1,3)) Zufälliger Schlaf ist realistischer
}

Sehen Sie sich das an.runif(1,1,3)Der Trick ist, die Zugriffsintervalle unregelmäßig zu gestalten. In Kombination mit der automatischen IP-Pool-Umschaltung von ipipgo ist es im Grunde so stabil wie ein alter Hund.

Häufig gestellte Fragen QA

F: Was soll ich tun, wenn die Proxy-IP ungültig ist, nachdem ich sie verwendet habe?
A: In dieser Situation wird empfohlen, den dynamischen Wohn-Proxy von ipipgo zu verwenden. Deren IP-Pool wird jeden Tag um mehr als 200.000 IPs aktualisiert, was viel stabiler ist als ein statischer Proxy!

F: Einen Proxy einrichten oder blockiert werden?
A: Überprüfen Sie drei Punkte: 1. ob der Proxy hochgradig anonym ist 2. ob der Request-Header Browser-Fingerprints enthält 3. ob die Zugriffshäufigkeit zu hoch ist. Wenn Sie ipipgo verwenden, denken Sie daran, die Funktion "auto request header disguise" zu aktivieren.

F: Was kann ich gegen langsame Proxys tun?
A: Versuchen Sie, Knoten zu wählen, wenn SieGeografisch nahe gelegene ServerräumeDie Latenzzeit der inländischen BGP-Leitung von ipipgo kann innerhalb von 50 ms kontrolliert werden.

Warum wir ipipgo empfehlen

Gebrauchte sieben oder acht Agent-Dienstleister, die letzte langfristige Nutzung von ipipgo auf drei Gründe: 1. Preis ist wirklich (Studenten leisten können, um zu spielen) 2. optimierte Linie speziell für Crawler 3. Kundenservice Reaktion schnell, die letzten zwei Uhr morgens zu erwähnen, die Arbeit, um tatsächlich jemand zurück!

Abschließend ein Ratschlag: Seien Sie nicht gierig und verwenden Sie einen freien Agenten, oder Datenlecks, oder Reverse Crawling. Professionelle Dinge zu professionellen Menschen zu tun, sparen Sie Zeit, um ein paar mehr Daten-Analyse-Modell zu schreiben, nicht riechen?