Recopilación de datos académicos: un ejemplo de desarrollo de rastreadores de artículos de revistas

¿Por qué los universitarios tienen que crear sus propios rastreadores?

Recientemente, he estado ayudando a unos cuantos estudiantes de posgrado con los datos de sus tesis, y me he dado cuenta de que utilizan el método más primitivo: descargar manualmente los artículos de los sitios web de las revistas. Uno de ellos hizo clic con el ratón durante dos días para descargar 300 artículos, y el sitio web lo bloqueó, lo que me hizo darme cuenta de repente de que muchos académicos necesitan realmente descargar artículos.Herramientas de adquisición automatizadapero temen que el umbral tecnológico sea demasiado alto.

De hecho, hoy en día escribir rastreadores básicos en Python es tan fácil como aprender a hacer huevos revueltos con tomates. El principal problema es que el mecanismo anti rastreo de muchas plataformas de revistas es más estricto que las puertas de la comunidad. Es entonces cuando hay queIP proxyPara ser su "capa de invisibilidad", especialmente como ipipgo este tipo de proveedores de servicios especializados en hacer piscina IP dinámica, puede dejar que usted como el Rey Mono tirando de los pelos para cambiar la división como, fácil de eludir las restricciones de acceso.

Enseñarle a emparejar el rastreador proxy a mano

Primero prepara tres cosas: entorno Python (recomendado 3.8 o más), librería requests, y clave API de ipipgo. Aquí hay un pequeño pozo para prestar atención, no utilice directamente el proxy libre, nueve de cada diez son pozos. El año pasado, he intentado un cierto tesoro para comprar un proxy barato, el resultado de la descarga del papel mezclado en el pequeño texto amarillo, la escena fue una vez muy embarazoso.

Pasos básicos de configuración:
1. Vaya al sitio web de ipipgo y regístrese, después seleccione suPaquetes sólo académicos(con alto anonimato)
2. En el código para configurar un proxy rotativo, se recomienda cambiar la IP cada 5-10 peticiones.
3. Recuerda añadir un retardo aleatorio, no dejes que el sitio descubra que eres un robot

Para dar un caso real: cuando se sube a un sitio web de un diario central, la 7ª petición se bloquea si no se añade un proxy. Después de usar la IP dinámica de ipipgo, ejecutó 2000 peticiones seguidas y fue tan estable como un perro viejo. Su llamada a la API es sencilla, basta con añadir un parámetro proxies a las peticiones:

proxies = {
    "http": "http://用户名:密码@gateway.ipipgo.com:端口",
    "https": "https://用户名:密码@gateway.ipipgo.com:端口"
}

Evitar la operación chabacana del backcrawling

Ahora el sitio de la revista de los conjuntos anti-escalada cada vez más, además de cambiar IP también prestar atención a estos:

Aquí hay una fría: con ipipgo'sAgente residencialNo es fácil ser identificado que el proxy de centro de datos. La última vez que subí know.com, la tasa de éxito de la utilización de proxy ordinaria es sólo 60%, cambiar a proxy residencial directamente se disparó a 92%. pero prestar atención a la ética académica, no estropear sus servidores.

Cinco trampas que suelen pisar los blancos

P: ¿Por qué mi rastreador funciona al principio y luego falla de repente?
R: el ochenta por ciento de la IP fue sacado negro, recuerde cambiar de IP con la misma frecuencia que el cambio de calcetines. sugerido en la configuración de fondo ipipgo frecuencia de conmutación automática

P：¿Por qué no puedo abrir el PDF descargado?
R: Es posible que haya activado el mecanismo anti-escalada de la página web y devuelve una página de error. Le enseñaré un truco: añada una comprobación de encabezado de archivo en el código, si encuentra que el archivo es inferior a 10KB, ¡reinténtelo automáticamente!

P: ¿Y si la oruga es lenta como un caracol?
R: No abras múltiples hilos y te precipites, sino reparte las peticiones como en una guerra de guerrillas. Utiliza la API de ipipgo con peticiones asíncronas para aumentar la velocidad entre 3 y 5 veces.

P: ¿Se me considerará legalmente responsable?
R: cumplir el acuerdo de robots + controlar la intensidad del acceso + sólo con fines académicos, generalmente no hay problema. El año pasado utilicé este método para ayudar a mi tutor a rastrear más de 80.000 documentos, y ahora los trabajos están publicados

P: ¿Cómo elijo un paquete para ipipgo?
R: Se aconseja a los principiantes que elijanPaquete de tráfico flexiblePrimero compré 50G para tantear el terreno. Sus cálculos de tráfico son muy realistas, a diferencia de algunas plataformas que pueden diluirse...

Habla con el corazón.

La recopilación de datos académicos es como luchar en una guerra de túneles, que requiere tanto tecnología como estrategia. Proxy IP en este asunto es como el tesoro energético de los Transformers, y elegir el correcto es el doble de resultado con la mitad de esfuerzo. Después de usar ipipgo durante medio año, la mayor sensación es su pool de IP.Actualizado con rapidezHe descubierto que el servicio de atención al cliente sigue en línea para responder a preguntas técnicas a las 3 de la madrugada, lo cual es realmente convincente.

Por último, me gustaría recordarte que hay miles de normas para los rastreadores, pero la primera es obedecer la ley. No intente paralizar sitios web ajenos en aras de la rapidez, y hablemos de la virtud de la academia. Si realmente no está seguro, el soporte técnico de ipipgo puede ayudarle a mirar el código de forma gratuita, y recuerde que hay que dar gato por liebre.