Web-Crawling in der Sprache R: rvest-Paket zur Bekämpfung der Datenerhebung im elektronischen Handel

Wenn Daten aus dem elektronischen Handel auf die Sprache R treffen Altes Eisen

Vor kurzem eine Menge von E-Commerce-Freunde und ich beschwerte sich, dass die Verwendung von Excel, um die Daten zu holen ist wie mit Stäbchen zu essen Steak - mühsam! Heute werden wir nörgeln, wie man die R-Sprache rvest Paket der ganze Punkt der realen verwenden. Konzentrieren Sie sich auf diese Websites Anti-Climbing-Mechanismus, und unser Retter!Proxy-IPWie zum Teufel benutzt man sie, ohne sich zu überschlagen?

Die Anti-Crawl-Dreiergruppe und das Überleben von Proxy-IPs

E-Commerce-Websites sind heutzutage so schlau, dass sie sich diese schädlichen Tricks einfallen lassen:
①IP-Durchflussbegrenzung-Wie bei einer Kostprobe im Supermarkt kann man sie nur dreimal pro Person probieren;
②Captcha-Bombardierung- als eine Freundin, die sich meldet;
③ Verhaltenskontrolle-Zwei Mausbewegungen und Sie werden beobachtet.

Dies ist der richtige Zeitpunkt, um Folgendes anzubietenipipgoDer Proxy-IP-Dienst ist jetzt einfacher zu bedienen als das Kochen von Instant-Nudeln:

Hands on kugelsichere Westen für Reservisten

Hier ist der Punkt! Konfigurieren Sie den Agenten für rvest mit einer hübschen Pose:

bibliothek(httr)
library(rvest)

 Der Schlüsselcode ist hier
proxy_settings %
  html_text()

Beobachten Sie diese Stelle:Der Residential Proxy von ipipgo rotiert automatisch die IPs, viel stabiler als die kostenlosen Proxys. Der letzte Test lief 8 Stunden lang ohne Unterbrechung, die Daten sind korrekt.

Praktischer Leitfaden zur Vermeidung der Grube

Sind Ihnen diese Motten schon einmal begegnet?

• Die Seite bleibt nach der Hälfte des Ladevorgangs stecken
• Die zurückgegebenen Daten sind wie eine verstümmelte Himmelsschrift
• Pop-up-Mensch-Maschine-Verifizierung (HMI)

Mit ipipgo.Intelligentes RoutingFunktion, die automatisch den schnellsten Knoten auswählt. In Verbindung mit einem zufälligen Benutzer-Agenten hält die Website Sie für einen normalen Benutzer, der sich einschleicht.

Weiße QA-Zeit

F: Was kann ich gegen die langsame Proxy-IP-Geschwindigkeit tun?
A: Versuchen Sie, die Protokolle im Hintergrund von ipipgo zu wechseln, http zu socks5 hat manchmal eine wundersame Wirkung. Denken Sie daran zu wählenKnoten mit niedriger LatenzzeitSeien Sie nicht geizig und benutzen Sie die kostenlosen!

F: Der ausgeführte Code meldet einen 403-Fehler?
A: 80% der IP ist markiert, fügen Sie eine tryCatch in den Code, automatisch ändern ipipgo die neue IP. Es wird empfohlen, eine 3-Sekunden-Verzögerung, nicht folgen die hungrigen Wölfe wie eine wilde Anfrage.

F: Was ist mit der unvollständigen Datenerfassung passiert?
A: Prüfen Sie, ob der CSS-Selektor richtig ist, verwenden Sie die Browser-Entwicklerwerkzeuge, um dies zu bestätigen. Öffnen Sie ipipgo'sDatenpivotFunktion, um die Details der Anfrage zu sehen.

Metaphysik der Proxy-IP-Auswahl

Auf dem Markt gibt es drei Arten von Mitteln:

• Transparente Agenten: kein Unterschied zum nackten Herumlaufen
• Gewöhnliche anonyme Agenten: Gesichter mit Masken
• High Stash Agents: ipipgo, die Art, die Verkleidungen machen kann.

Das letzte Mal, als ich einen bestimmten Proxy verwendet habe, wurde er gleich nach dem Start erkannt. Nach dem Wechsel zu ipipgo's hohem Proxy-Bestand, sammelte er 3 Tage lang ununterbrochen Daten. IhrIP-ÜberlebensrateEs ist ein Muss für die Preisüberwachung im elektronischen Handel.

Eine letzte Bemerkung: Die Datenerfassung ist kein Wettlauf, kontrollieren Sie die Häufigkeit der Anfragen. Verwenden Sie ipipgo'sIntelligente GeschwindigkeitskontrolleFunktion, setzen Sie eine 20-30 Sekunden zufällige Intervall, kann der Website-Administrator nicht sehen, dass Sie die Dinge tun. Wenn Sie etwas nicht verstehen, gehen Sie auf ihre Website und werfen Sie einen Blick in die Dokumentation, die ausführlicher als ein Rezept geschrieben ist.