Capturer des données avec R : un guide pratique pour récolter des paquets

La meilleure façon d'éviter le blocage des adresses IP lors de l'utilisation de rvest pour capturer des données

Récemment, un grand nombre de partenaires d'analyse de données et moi avons craché, avec des données de paquets de récolte toujours rencontré IP bloqué chose cassée. Par exemple, la semaine dernière, un ami a grimpé le prix du commerce électronique, il a juste saisi 200 pages sur l'IP bloquée, il était tellement en colère qu'il a presque cassé le clavier. Aujourd'hui, nous allons vous apprendre à utiliser le proxy IP, cet outil magique, pour résoudre ce problème.

Ne marchez pas dans les fosses avec les bases du rvest

Tout d'abord, pour combler les lacunes, les packs rvest fonctionnent bien comme un couteau suisse. Mais beaucoup de gens ont tendance à tomber dans ces pièges :

 Exemples d'erreurs courantes pour les nouveaux arrivants
library(rvest)
url <- "https://example.com"
html <- read_html(url) accès direct, attendez d'être bloqué !

C'est là que le bât blesse !read_html() Cette fonction est en mode nu par défautSi vous ne le faites pas, l'accès continu revient à danser le quadrille sous le nez du webmestre, alors qui bloquez-vous si vous ne le faites pas ?

Le trio salvateur de Proxy IP

C'est le moment d'offrir notre trio qui préserve la vie :

 La bonne façon d'ouvrir
library(httr)
proxy <- "http://username:password@gateway.ipipgo.com:9020"
response <- GET(url, use_proxy(proxy))
html <- read_html(response)

Il y a ici une petite porte d'entrée que de nombreux tutoriels n'expliquent pas clairement :Le nom d'utilisateur doit être remplacé par la chaîne d'authentification générée par le backend d'ipipgo.Le champ du mot de passe peut en fait être laissé vide. Un avantage de l'utilisation de leur proxy est qu'il peut changer automatiquement l'IP d'exportation, ce qui est beaucoup moins gênant que de changer l'IP manuellement.

Cas pratique : surveillance des prix du commerce électronique

Prenons un exemple concret : nous voulons connaître le prix d'un téléphone portable dans un magasin particulier :

bibliothèque(httr)
bibliothèque(rvest)

ipipgo_proxy <- "http://user-3k9d8s@gateway.ipipgo.com:9020"

for(i in 1:100){
  url <- paste0("https://item.taobao.com?page=",i)
  resp <- GET(url, use_proxy(ipipgo_proxy), timeout(30))
  if(status_code(resp)==200){
     Code pour analyser les données de prix...
  } else {
    print("Crawl déclenché, changement d'IP automatique.")
     L'interface API ipipgo changera automatiquement d'adresse IP.
  }
  Sys.sleep(runif(1,1,3)) Le sommeil aléatoire est plus réaliste.
}

Regardez ça.runif(1,1,3)L'astuce consiste à rendre les intervalles d'accès irréguliers. Combiné avec le changement automatique de pool d'IP d'ipipgo, c'est fondamentalement aussi stable qu'un vieux chien.

Foire aux questions QA

Q : Que dois-je faire si l'adresse IP du proxy n'est pas valide après que je l'ai utilisée ?
R : Dans cette situation, il est recommandé d'utiliser le proxy résidentiel dynamique d'ipipgo, leur pool d'IP est mis à jour tous les jours avec plus de 200 000 IP, ce qui est beaucoup plus stable que le proxy statique !

Q : Mettre en place un proxy ou être bloqué ?
R : Vérifiez trois points : 1. si le proxy est très anonyme 2. si l'en-tête de la requête comporte des empreintes digitales du navigateur 3. si la fréquence d'accès est trop élevée. Si vous utilisez ipipgo, n'oubliez pas d'activer la fonction "auto request header disguise".

Q : Que puis-je faire en cas de lenteur des mandataires ?
R : Essayez de choisir des nœuds lorsque vous choisissezSalles de serveurs géographiquement prochesLa latence de la ligne BGP nationale d'ipipgo peut être contrôlée dans les 50 ms.

Pourquoi recommander ipipgo

J'ai utilisé sept ou huit fournisseurs de services d'agent, et la dernière utilisation à long terme d'ipipgo est due à trois raisons : 1. le prix est vraiment raisonnable (les étudiants peuvent se permettre de jouer) ; 2. la ligne est optimisée spécifiquement pour les crawlers ; 3. la réponse du service clientèle est rapide, la dernière fois à deux heures du matin pour mentionner l'ordre de travail, quelqu'un m'a répondu !

Enfin, un conseil : ne soyez pas trop gourmand et n'utilisez pas un agent libre, ou une fuite de données, ou un crawling inversé. Les choses professionnelles à faire pour les professionnels, gagner du temps pour écrire quelques modèles d'analyse de données supplémentaires ne sentent pas ?