Recherche de sites web en langage R : paquet rvest pour la collecte de données sur le commerce électronique

Quand les données du commerce électronique atteignent le langage R Old Iron

Récemment, un grand nombre d'amis du commerce électronique et moi-même nous sommes plaints du fait que l'utilisation d'Excel pour collecter les données est comme l'utilisation de baguettes pour manger un steak - laborieux ! Aujourd'hui, nous allons nous demander comment utiliser le langage R, le package rvest, qui est la raison d'être de Real. Concentrez-vous sur le mécanisme anti-escalade de ces sites web, et notre sauveur !IP proxyComment diable l'utiliser sans se retourner ?

Le tiercé anti-crawl et la survie des adresses IP mandataires

Les sites de commerce électronique sont si intelligents de nos jours qu'ils inventent des astuces préjudiciables :
①IP limitation du débit-Comme dans un échantillonnage de supermarché, on ne peut goûter que trois fois par personne ;
②Captcha Bombing- qu'une petite amie qui prend des nouvelles ;
③ Suivi comportemental-Deux mouvements de souris et vous êtes surveillé.

C'est le moment d'offriripipgoLe service proxy IP est désormais plus facile à utiliser que la cuisson de nouilles instantanées :

Les gilets pare-balles pour les gardes forestiers

Voici ce qu'il faut faire ! Configurez l'agent pour rvest avec une pose cool :

bibliothèque(httr)
bibliothèque(rvest)

 Le code clé est ici
proxy_settings %
  html_text()

A suivre :Le proxy résidentiel d'ipipgo effectue une rotation automatique des IP, ce qui est beaucoup plus stable que les proxies gratuits. Le dernier test a duré 8 heures d'affilée sans être banni, les données sont correctes.

Guide pratique pour éviter la fosse

Avez-vous déjà rencontré l'un de ces papillons ?

• La page reste bloquée au milieu du chargement
• Les données renvoyées ressemblent à une écriture aérienne brouillée.
• la vérification homme-machine (IHM) en mode contextuel

Avec ipipgo.Routage intelligentqui sélectionne automatiquement le nœud le plus rapide. Associé à un User-Agent aléatoire, le site pense que vous êtes un utilisateur normal en train de rôder.

Temps d'assurance qualité en blanc

Q : Que puis-je faire pour remédier à la lenteur de la vitesse IP du proxy ?
R : Essayez de changer de protocole dans l'arrière-plan d'ipipgo, http à socks5 a parfois un effet miraculeux. N'oubliez pas de sélectionnernœud à faible latenceNe soyez pas radins et utilisez ceux qui sont gratuits !

Q : Le code exécuté signale une erreur 403 ?
R : 80% de l'IP est marquée, ajoutez un tryCatch dans le code, changez automatiquement la nouvelle IP de l'ipipgo. Il est recommandé de mettre en place un délai de 3 secondes, ne suivez pas les loups affamés comme une demande sauvage.

Q : Qu'est-il advenu de la saisie de données incomplètes ?
R : Vérifiez que le sélecteur CSS est correct, utilisez les outils de développement du navigateur pour le confirmer. Ouvrez le fichierdonnées pivotpour pouvoir consulter les détails de la demande.

Métaphysique de la sélection de l'IP par procuration

Il existe trois types d'agents sur le marché :

• Agents transparents : pas de différence avec le fait de courir tout nu
• Les agents ordinaires anonymes : des visages masqués
• Agents de haute sécurité : ipipgo, le genre qui peut se déguiser.

La dernière fois que j'ai utilisé un certain proxy, il a été reconnu dès le démarrage. Après être passé à la grande réserve de proxies d'ipipgo, il a collecté des données pendant 3 jours d'affilée, avec la régularité d'un vieux chien. LeurTaux de survie des IPIl fait mouche et est indispensable pour surveiller les prix du commerce électronique.

Une dernière remarque : la collecte de données n'est pas une course, contrôlez la fréquence des demandes. Utilisez la fonctionContrôle intelligent de la vitesseFonction, définir un intervalle aléatoire de 20-30 secondes, l'administrateur du site ne peut pas voir que vous êtes en train de faire des choses. Si vous ne comprenez pas quelque chose, allez sur leur site web et jetez un coup d'œil à la documentation, qui est écrite de manière plus détaillée qu'une recette de cuisine.