Examen d'un crawler web : comparaison des performances de Scrapy et de Puppeteer

Sélection pratique des outils : l'expérience réelle d'un vétéran des reptiles

Les confrères engagés dans la collecte de données savent qu'un mauvais outil peut vous faire perdre trois jours et trois nuits de travail. Ces derniers temps, les gens me demandent toujours lequel de Scrapy et de Puppeteer est le meilleur à utiliser, ces deux produits sont comme des plats à frire et des poêles en fer antiadhésives.L'utiliser au bon moment pour obtenir des résultatsJe ne sais pas si vous êtes une bonne personne, mais je ne suis pas une bonne personne. Pour citer un marronnier, la semaine dernière j'ai aidé des clients à rattraper le prix d'une plateforme de commerce électronique, avec Puppeteer pour ouvrir 10 fenêtres sur le trigger anti-escalade, changer Scrapy avec le pool d'agents d'ipipgo, geler et fonctionner sans problème pendant 8 heures sans se retourner.

Tableau de décomposition des caractéristiques de l'outil (axé sur l'adaptabilité de l'agent)

Guide pratique pour éviter les pièges : configuration du proxy pour jouer le jeu

Ajouter des proxies aux middlewares de Scrapy, rappelez-vous cecicombinaison dorée: :
1) Configurer l'interface API pour ipipgo dans settings.py.
2. le logiciel intermédiaire de téléchargement modifie aléatoirement les en-têtes des requêtes
3. 每个请求间隔设随机0.5-3秒（别用固定！）
有次偷懒没做随机，结果半小时就被识别，换了ipipgo的优质IP才救回来。

Puppeteer s'intéresse davantage aux artefacts d'empreintes de navigateur, n'oubliez pas de les ajouter dans le paramètre de lancement :
-proxy-server=adresse proxy résidentielle dynamique pour ipipgo
-disable-blink-features=AutomationControlled
Le test réel de cette méthode, un site de voyage collectant en continu 30 000 données, n'a pas été bloqué.

Sept questions que vous ne manquerez pas de poser

Q : Pourquoi suis-je toujours reconnu après avoir changé mon IP ?
R : Quatre-vingt-dix pour cent des adresses IP ne sont pas de bonne qualité, et les agents libres ont essentiellement une histoire noire. Il est recommandé d'utiliser l'IP exclusive à haut stockage d'ipipgo et de ne pas oublier d'effacer les cookies à chaque demande.

Q : Dois-je utiliser Puppeteer pour capturer du contenu chargé dynamiquement ?
Scrapy avec splash peut aussi rendre JS, mais pour simuler parfaitement une opération manuelle, ou Puppeteer + ipipgo dynamic IP est plus stable !

Q : Que dois-je faire si le proxy IP est trop lent ?
R : Essayez la ligne hybride BGP d'ipipgo, la vitesse de téléchargement mesurée est 3 fois plus rapide que celle de l'agent ordinaire, ce qui est particulièrement adapté aux besoins d'un grand nombre de scénarios de collecte d'images !

Recommandations du choix ultime

Si vous voulez mon avis.Scrapy + proxy statique ipipgo pour les gros volumes de donnéesSi vous avez besoin d'utiliser Puppeteer + ipipgo dynamic residential IP, par exemple pour effectuer des tâches à long terme telles que la surveillance des prix. Si vous avez besoin d'utiliser Puppeteer + ipipgo dynamic residential IP, comme la collecte de données sur les médias sociaux. Récemment, j'ai trouvé une opération astucieuse : avec Scrapy planifiant des instances de Puppeteer, avec ipipgo double proxy d'authentification, solution parfaite au problème de CAPTCHA.

Un dernier rappel pour les frères novices :N'économisez jamais d'argent sur un agent.La dernière fois que j'ai utilisé un agent de qualité inférieure, les données collectées étaient erronées ! La dernière fois que j'ai utilisé un proxy de mauvaise qualité, les données collectées ont été égarées et le client a failli ne pas donner son accord. Maintenant, avec le paquet ipipgo, avec le remplacement automatique de l'IP invalide, le degré de tranquillité d'esprit est directement tiré vers le haut.