Collecte de données académiques : un exemple de développement d'un robot d'indexation d'articles de journaux

Pourquoi les universitaires doivent-ils construire leurs propres robots ?

Récemment, j'ai aidé quelques étudiants de troisième cycle à préparer leurs données de thèse et j'ai découvert qu'ils utilisaient la méthode la plus primitive : le téléchargement manuel d'articles à partir de sites web de revues. L'un d'entre eux a cliqué sur la souris pendant deux jours pour télécharger 300 articles et a été bloqué par le site web, ce qui m'a soudain fait réaliser que de nombreux universitaires ont en fait besoin de télécharger des articles.Outils d'acquisition automatisésmais craignent que le seuil technologique soit trop élevé.

En fait, de nos jours, écrire des crawlers de base en Python est aussi facile que d'apprendre à faire des œufs brouillés avec des tomates. Le principal problème est que le mécanisme anti-crawl de nombreuses plateformes de revues est plus strict que les barrières de la communauté. C'est à ce moment-là qu'il fautIP proxyPour être votre "cape d'invisibilité", en particulier comme ipipgo, ce type de fournisseurs de services spécialisés dans la création de pools d'adresses IP dynamiques, peut vous permettre, comme le roi des singes, de vous arracher les cheveux pour changer la répartition, et de contourner facilement les restrictions d'accès.

Apprendre à faire correspondre le proxy crawler à la main

Il faut d'abord préparer trois choses : l'environnement Python (recommandé 3.8 ou plus), la bibliothèque de requêtes, et la clé API d'ipipgo. Voici un petit point auquel il faut faire attention, n'utilisez pas directement le proxy gratuit, neuf sur dix sont des pièges. L'année dernière, j'ai essayé un certain trésor pour acheter un proxy bon marché, le résultat du téléchargement du papier mélangé dans le petit texte jaune, la scène était une fois très embarrassante.

Étapes de la configuration de base :
1. se rendre sur le site officiel d'ipipgo et s'inscrire, puis sélectionner leurPaquets réservés aux universitaires(avec un haut niveau d'anonymat)
2) Dans le code de mise en place d'un proxy tournant, il est recommandé de changer l'IP toutes les 5 à 10 requêtes.
3. n'oubliez pas d'ajouter un délai aléatoire, afin que le site ne découvre pas que vous êtes un robot

Pour donner un exemple concret : lorsque vous montez sur le site d'un journal de base, la 7ème requête sera bloquée si vous n'ajoutez pas de proxy. Après avoir utilisé l'IP dynamique d'ipipgo, il a exécuté 2000 requêtes d'affilée et était aussi stable qu'un vieux chien. L'appel à leur API est simple, il suffit d'ajouter un paramètre proxies aux requêtes :

proxies = {
    "http" : "http://用户名:密码@gateway.ipipgo.com:端口",
    "https" : "https://用户名:密码@gateway.ipipgo.com:端口"
}

Éviter l'opération peu glorieuse du backcrawling

Aujourd'hui, le site de la revue de l'anti-escalade est de plus en plus fréquenté, et en plus de changer d'IP, il faut également prêter attention à ces éléments :

En voici une froide : avec ipipgo'sAgent résidentielIl n'est pas facile à identifier que le proxy du centre de données. La dernière fois que j'ai escaladé know.com, le taux de réussite de l'utilisation du proxy ordinaire n'est que de 60%, le passage au proxy résidentiel a directement grimpé à 92%. Mais faites attention à l'éthique universitaire, ne faites pas tomber les serveurs des gens.

Cinq pièges sur lesquels les Blancs marchent souvent

Q : Pourquoi mon crawler fonctionne-t-il d'abord, puis échoue-t-il soudainement ?
R : quatre-vingt pour cent de l'IP a été tirée en noir, n'oubliez pas de changer d'IP aussi souvent que de changer de chaussettes. suggéré dans les paramètres d'arrière-plan de l'ipipgo fréquence de commutation automatique

Q：Pourquoi ne puis-je pas ouvrir le PDF téléchargé ?
R : Il est possible que le mécanisme anti-escalade du site ait été déclenché et qu'une page d'erreur ait été renvoyée. Je vous apprends une astuce : ajoutez une vérification de l'en-tête du fichier dans le code, si vous constatez que le fichier est inférieur à 10 Ko, vous réessayez automatiquement !

Q : Que se passe-t-il si la chenille est lente comme un escargot ?
R : N'ouvrez pas plusieurs fils de discussion et ne vous précipitez pas, mais répartissez les demandes comme dans une guérilla. Utilisez l'API d'ipipgo avec des requêtes asynchrones pour multiplier la vitesse par 3 ou 5 !

Q : Serai-je tenu légalement responsable ?
R : se conformer à l'accord sur les robots + contrôler l'intensité de l'accès + uniquement à des fins académiques, généralement pas de problème. L'année dernière, j'ai utilisé cette méthode pour aider mon tuteur à explorer plus de 80 000 documents, et les articles sont maintenant publiés.

Q : Comment choisir un forfait pour ipipgo ?
R : Il est recommandé aux débutants de choisirPack trafic flexibleJ'ai d'abord acheté 50G pour tâter le terrain. Leurs calculs de trafic sont très réalistes, contrairement à d'autres plateformes qui peuvent être édulcorées.

Parlez avec votre cœur.

La collecte de données universitaires s'apparente à une guerre des tunnels, qui nécessite à la fois une technologie et une stratégie. Dans ce domaine, l'IP proxy est comme le trésor énergétique des Transformers, et en choisissant le bon, on obtient deux fois plus de résultats avec deux fois moins d'efforts. Après avoir utilisé ipipgo pendant six mois, la plus grande satisfaction est leur pool d'IP.Mise à jour assez rapideJ'ai découvert que le service clientèle est toujours en ligne pour répondre aux questions techniques à 3 heures du matin, ce qui est vraiment convaincant.

Enfin, je voudrais vous rappeler qu'il existe des milliers de règles pour les crawlers, mais que la première règle est d'obéir à la loi. N'essayez pas de paralyser les sites web d'autrui au nom de la rapidité, et nous devrions parler de la vertu de l'académie. Si vous avez des doutes, le support technique d'ipipgo peut vous aider à examiner le code gratuitement, et n'oubliez pas de vous voiler la face.