R-Sprach-Crawler-Praxis: Details zum Paket rvest

Erstens, Hand, um Ihnen beizubringen, rvest zu verwenden, um die Webpage Capture zu spielen

Brüder, die sich mit Netzwerk-Crawling beschäftigen, wissen, dass das rvest-Paket in der Sprache R so gut wie ein Schweizer Taschenmesser ist. Um eine Kastanie zu geben, wollen den Preis eines bestimmten Ost Waren zu fangen, drei Zeilen Code, um es zu tun:

library(rvest)
jd_page % html_text()

Aber freuen Sie sich nicht zu früh! Wenn Sie ein paar Dutzend Seiten hintereinander abrufen, gibt die Website Ihnen sofort IP auf derschwarze ListenAls Erstes müssen Sie eine Proxy-IP-Adresse verwenden, damit der Server Sie erkennt. An dieser Stelle kommt die Bedeutung von Proxy-IPs ins Spiel - sie sind wie ein Tarnmantel, wenn Sie ein Spielchen spielen, damit der Server Ihre echte Adresse nicht erkennt.

Zweitens: Warum ist der Proxy-IP-Crawler ein Rettungsanker?

Diejenigen, die es getestet haben, wissen, dass das Spielen mit Crawlern ohne einen Agenten wie nacktes Laufen ist:

Auf die einheimischen ProdukteipipgoIhre API kann IPs in Sekundenschnelle wechseln, was sich besonders für Szenarien eignet, die eine große Anzahl von Anfragen erfordern. Verwenden Sie zum Beispiel bei der Preisüberwachung den dynamischen Wohn-Proxy, um den Anti-Climbing-Mechanismus zu umgehen.

Drittens, rvest + proxy IP echte Kampfgeheimnisse

Die Konfiguration von Proxies in R ist eigentlich super einfach, es geht nur darum, die richtige Haltung zu verwenden. Nehmen Sie den Proxy von ipipgo als Beispiel:

Bibliothek(httr)

proxy_config <- use_proxy(
  url = "gateway.ipipgo.com",
  url = "gateway.ipipgo.com", port = 9021,
  url = "gateway.ipipgo.com", port = 9021, username = "Ihr_Konto",
  Kennwort = "Ihr_Token"
)

 Anfrage mit Proxy
safe_read_html %
    Inhalt("geparst")
}

zur Kenntnis nehmenDrei wichtige Punkte::
1) Verwenden Sie immer die GET/POST-Methode des HTTR-Pakets.
2. die Authentifizierungsinformationen sollten nicht direkt in den Code geschrieben werden (Umgebungsvariablen werden empfohlen)
(3) Die Timeout-Einstellungen sollten vorzugsweise auf 5-10 Sekunden begrenzt werden.

IV. Leitfaden zur Vermeidung von Fallgruben: Häufig gestellte Fragen QA

F: Was soll ich tun, wenn der Bevollmächtigte immer wieder abbricht?
A: 80% ist die Qualität des IP-Pools. Empfohlen wird die Verwendung von ipipgo'sAusschließliche Nutzung von HochgeschwindigkeitsstreckenDie gemessene Latenzzeit kann auf weniger als 200 ms verkürzt werden.

F: Was ist, wenn ich meine Länder-IP ändern muss?
A: Wählen Sie einfach den Gebietsschema-Code im ipipgo-Hintergrund. Wenn Sie zum Beispiel eine japanische IP-Adresse wünschen, ändern Sie die Proxy-Adresse injp.gateway.ipipgo.com

F: Funktionieren kostenlose Proxys?
A: Blutige Lektion! 9 von 10 kostenlosen Proxys sind schlecht, bleibt noch 1, der Daten stehlen kann. Sie müssen immer noch einen kostenpflichtigen Dienst für wichtige Elemente verwenden. ipipgo neue Benutzer haben$1 SchnupperpaketAm besten ist es, wenn man es selbst erlebt.

Fünftens: Die Meister verwenden fortgeschrittene Techniken

Geben Sie ein paar private Tipps:
1. Automatische IP-UmschaltungVerwenden Sie die Retry-Funktion von httr + die API von ipipgo, um den blockierten automatischen IP-Wechsel zu erreichen.
2. Antrag auf Unkenntlichmachung von Fingerabdrücken: Zufallsgenerierung von UAs mit dem Paket fake_useragent
3. Flusskontrolleratelimit: Kontrolle der Anzahl der Anfragen pro Minute mit dem Paket ratelimit

 Beispiel für automatische Wiederholung
library(ratelimit)

throttled_get <- throttle(GET, rate(n=50, period=60))

retry_request <- function(url){
  RETRY("GET", url.
        times = 3,
        terminate_on = 404,
        httr_config = proxy_config)
}

Schließlich erinnern wir alle Crawler, die Proxys verwenden, daran, dass sie auch dierobots.txtRegeln. Schließlich beschäftigen wir uns nur mit Daten und wollen nicht die Websites anderer Leute durcheinanderbringen. Verwenden Sie gute Werkzeuge, konforme Sammlung, ist der langfristige Weg~