Conjunto de datos de Coursera: Métodos API para el acceso legítimo a la información de los cursos

¿Cómo obtienen los usuarios reales los datos de los cursos de Coursera?

Hace poco, un colega que se dedica a la investigación educativa vino a quejarse de que quería analizar por lotes los datos de las puntuaciones de los cursos de Coursera, sólo para que le bloquearan justo después de coger dos páginas de IPs. Esta escena te resulta familiar, ¿verdad? Para decirlo sin rodeos, las plataformas están cargadas deRadar inteligente de control de riesgosEl mismo acceso de alta frecuencia IP al negro directo. Este es el momento de ofrecer nuestra obra maestra -.Rotación de IP proxy.

La forma correcta de abrir la API oficial

En realidad, Coursera oculta la interfaz oficial de datos (https://api.coursera.org), que puedes prostituir registrándote para obtener una cuenta de desarrollador. Pero ten en cuenta tres cosas:

Destacado en la aplicaciónInvestigación académicaLa tasa de éxito se duplica directamente adjuntando una dirección de correo electrónico con extensión .edu. Recuerda llevar un User-Agent adecuado en la cabecera de la petición, no uses el predeterminado de Python, es fácil que te traten como un crawler.

Guía práctica de supervivencia a las IP proxy

Utiliza el agente residencial de ipipgo como demo, su casaGrupo de IP dinámicasEs especialmente adecuado para situaciones en las que es necesario conmutar con frecuencia:

importar peticiones
from itertools import ciclo

proxies = cycle([
    'http://user:pass@gateway.ipipgo1.com:8000',
    'http://user:pass@gateway.ipipgo2.com:8000', [].
     Más proxies aquí...
])

para página en rango(10).
    proxy_actual = next(proxies)
    response = requests.get(
        'https://api.coursera.org/courses', proxies={'http': current_proxy}, current_proxy = next(proxies)
        proxies={'http': current_proxy},
        headers={'Autorización': 'Portador YOUR_API_KEY'}
    )
     Lógica de procesamiento de datos...

Aquí viene el punto:Debe cambiar la IP para cada solicitudSe recomienda establecer un intervalo de más de 3 segundos. El proxy de ipipgo viene con unConmutación automáticaLa función cambiará automáticamente al siguiente nodo cuando encuentre un fallo de conexión, lo que resulta mucho más cómodo que el procesamiento manual.

Lista de autoinspección para evitar errores

- No utilice IPs de centros de datos (demasiado distintivas)
- No solicites con más frecuencia que el límite API de 80%.
- Mayor índice de éxito de recogida de 1 a 5 de la madrugada (hora UTC)
- Limpie regularmente las cookies locales y la memoria caché
No entre en pánico cuando se encuentre con un código de error 403, primero utilice la herramienta de ipipgoHerramienta de detección de IPCompruebe si la IP actual está marcada y cambie el nodo de la ciudad para obtener sangre completa.

Botiquín QA blanco

P: ¿Tengo que utilizar un proxy de pago? ¿No los gratuitos?
R: 9 de cada 10 proxies gratuitos son IPs de listas negras, y el 1 restante se dará de baja en cualquier momento. los recién llegados a ipipgo tienen3 días de prueba gratuitaExperimenta la brecha por ti mismo.

P: ¿Qué debo hacer si los datos devueltos por la API están incompletos?
R: El ochenta por ciento activó el mecanismo de limitación de caudal. En el código, añada unEl índice retrocede para volver a probarlo.Logic, junto con el paquete proxy 5G de ipipgo, recoge básicamente 99% de datos públicos.

P: ¿Están disponibles comercialmente los datos recopilados?
R: ¡Cuidado! Los términos y condiciones de Coursera prohíben explícitamenteuso comercialSi realizas una investigación académica, recuerda anonimizar los datos y no expongas directamente campos sensibles como los ID de los cursos.

Para ser sinceros, la recopilación de datos es ahora unjuego del gato y el ratónNo estoy seguro de poder hacerlo. La última vez que ayudé a construir un entorno para un laboratorio de la universidad, utilicé ipipgo'sPrograma de agentes híbridos(IP residencial + rotación de IP de sala de servidores) y funcionó de forma estable durante tres meses sin volcarse. La clave esSimula el ritmo de una persona realno dejes que el sistema de control de riesgos de la plataforma huela la máquina.