Coursera Dataset : API Methods for Legitimate Access to Course Information (en anglais)

Comment les utilisateurs réels glanent-ils des données sur les cours Coursera ?

Un ami travaillant dans la recherche en éducation m'a récemment contacté pour se plaindre qu'il voulait analyser par lots les données d'évaluation des cours de Coursera, mais qu'il avait été bloqué juste après avoir saisi deux pages d'adresses IP. Cette scène vous est familière, n'est-ce pas ? Pour dire les choses franchement, les plateformes sont chargées deRadar intelligent de contrôle des risquesLe même accès haute fréquence IP au noir direct. C'est le moment d'offrir notre chef-d'œuvre -Rotation de l'IP du proxy.

La bonne façon d'ouvrir l'API officielle

Coursera cache en fait l'interface de données officielle (https://api.coursera.org), que vous pouvez utiliser en vous inscrivant à un compte de développeur. Mais attention à trois choses :

Mis en évidence dans la demandeRecherche universitaireL'ajout de l'extension .edu à l'e-mail double directement le taux de réussite. N'oubliez pas d'indiquer un User-Agent approprié dans l'en-tête de la requête, n'utilisez pas la valeur par défaut de Python, il est facile d'être traité comme un crawler.

Guide pratique de survie aux IP Proxy

Utilisez l'agent résidentiel d'ipipgo comme démo, sa maisonPool IP dynamiqueIl est particulièrement adapté aux scénarios dans lesquels des commutations fréquentes sont nécessaires :

importation de requêtes
from itertools import cycle

proxies = cycle([
    'http://user:pass@gateway.ipipgo1.com:8000',
    'http://user:pass@gateway.ipipgo2.com:8000', [].
     Plus de proxies ici...
])

for page in range(10).
    current_proxy = next(proxies)
    response = requests.get(
        ' https://api.coursera.org/courses',
        proxies={'http' : current_proxy},
        headers={'Authorisation' : 'Bearer YOUR_API_KEY'}
    )
     Traitement de la logique des données...

C'est là que le bât blesse :Doit changer d'IP pour chaque demandeIl est recommandé de fixer l'intervalle à plus de 3 secondes. Le proxy d'ipipgo est livré avec une fonction d'alerte.Basculement automatiqueLa fonction passe automatiquement au nœud suivant lorsqu'elle rencontre une défaillance de connexion, ce qui est beaucoup plus pratique qu'un traitement manuel.

Liste de contrôle de l'auto-inspection pour éviter les pièges

- Ne pas utiliser les adresses IP des centres de données (trop distinctives)
- Ne demandez pas plus souvent que la limite API de 80%.
- Taux de réussite de la collecte plus élevé de 1 à 5 heures du matin (heure UTC)
- Effacer régulièrement les cookies et la mémoire cache
Ne paniquez pas lorsque vous rencontrez un code d'erreur 403, utilisez d'abord l'outil d'ipipgoOutil de détection IPVérifiez si l'adresse IP actuelle est signalée et modifiez le nœud de la ville pour obtenir un sang complet.

Trousse de premiers secours QA blanche

Q : Dois-je utiliser un proxy payant ? Pas ceux qui sont gratuits ?
R : 9 proxies gratuits sur 10 sont des IP sur liste noire, et l'autre est susceptible d'abandonner à tout moment. Les nouveaux venus sur ipipgo ontEssai gratuit de 3 joursIl suffit de faire l'expérience de l'écart pour s'en rendre compte.

Q : Que dois-je faire si les données renvoyées par l'API sont incomplètes ?
R : Quatre-vingt pour cent ont déclenché le mécanisme de limitation du débit. Dans le code, ajouter unLes indices se replient pour un nouveau test.Logic, en conjonction avec le paquet proxy 5G d'ipipgo, capte 99% de données publiques.

Q : Les données collectées sont-elles disponibles dans le commerce ?
R : Attention, les conditions générales de Coursera interdisent explicitement deusage commercialDans le cas de recherches universitaires, n'oubliez pas d'anonymiser les données et de ne pas exposer directement des champs sensibles tels que les identifiants de cours.

Pour être tout à fait honnête, la collecte de données est aujourd'hui une activité à part entière.jeu du chat et de la sourisJe ne suis pas sûr d'être un fan d'ipipgo. La dernière fois que j'ai participé à la construction d'un environnement pour un laboratoire universitaire, j'ai utilisé l'applicationProgramme d'agents hybrides(IP résidentielle + rotation de l'IP de la salle des serveurs) et a fonctionné régulièrement pendant trois mois sans se retourner. La clé est deSimule le rythme d'une personne réellene laissez pas le système de contrôle des risques de la plateforme sentir l'odeur de la machine.