API de Google Scholar: Interfaz de recopilación de datos de tesis

¿Google Scholar juega con los datos? Guía práctica para evitar las trampas de las IP proxy

Los académicos saben que Google Scholar es un gran tesoro escondido. Pero realmente quieren recoger por lotes de datos de tesis, la API oficial ha sido durante mucho tiempo cerrado al público. En este momento, tenemos que mostrar sus habilidades, muchos frikis de la tecnología optan por escribir su propio rastreador. Pero el problema -Su IP será bloqueada en cuestión de minutos.¡No estoy seguro de cómo hacerlo! Hoy vamos a hablar de cómo utilizar IPs proxy para recopilar datos de forma segura y eficiente.

¿Por qué tu rastreador no vive más de tres minutos?

El mecanismo anti rastreo de Google no es vegetariano, fíjate principalmente en estos tres indicadores:

1. la frecuencia de las solicitudes procedentes de una misma IP
2. si el encabezado de la solicitud se parece a una persona real
3. niveles de autenticación de JavaScript

Especialmente la primera, la banda ancha doméstica media en una IP pública, petición loca, límite de flujo ligero bloqueo pesado. El mes pasado, un estudiante de doctorado me dijo que escribió un script para empezar a correr a las 2am, pero el resultado fue que la IP fue bloqueada a las 3am, y la tesis estaba casi abierta.

Las IP proxy son el billete a la vida.

El principio de esta cosa es tan simple comoDeje que diferentes empresas de mensajería entreguen sus paquetesDynamic Residential Proxy de ipipgo es el mejor, ¿por qué? Mira esta tabla comparativa:

El agente residencial de ipipgo probó hasta el suelo.La autenticación no se activa con 500 solicitudes consecutivas. La clave es que su reserva de IP se actualiza diariamente con 20% y no es fácil de etiquetar.

El código real está escrito así

Utilizando Python como ejemplo, recuerdeCambio aleatorio de User-Agentresponder cantandoIntervalo de solicitud de control::

importar peticiones
from itertools import ciclo

proxies = cycle(ipipgo.get_proxy_list()) obtener grupos de IP dinámicas

lista_cabeceras = [
    {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0)...'} ,
    {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel...'}
]

for page in range(1, 100): proxy = next(proxies).
    proxy = siguiente(proxies)
    try: response = requests.get()
        respuesta = requests.get(
            'https://scholar.google.com/scholar', proxies={"http": proxy, "https": proxy}
            proxies={"http": proxy, "https": proxy},
            headers=random.choice(headers_list), timeout=10
            tiempo de espera=10
        )
         Procesando los datos aquí...
        time.sleep(random.uniform(2,5)) random se detiene
    except Excepción as e.
        print(f "Flipado con {proxy}, ¡cambia al siguiente!")

Control de calidad de escenas de vuelco comunes

P: ¿Por qué me siguen bloqueando después de usar un proxy?
R: tres posibilidades: 1. la calidad IP no es buena 2. la cabecera de la petición no cambió aleatoriamente 3. la velocidad es demasiado rápida. Se recomienda utilizar el paquete de rotación inteligente de ipipgo, viene con control de frecuencia de petición.

P：¿Qué paquete debo elegir si quiero recopilar 100.000 datos?
R: Encuentre directamente el servicio de atención al cliente de ipipgo para personalizar el programa, el uso académico tiene descuentos exclusivos. Uso personal elegir pagar 199 paquete mensual es suficiente, uso de nivel empresarial se recomienda comprar paquetes concurrentes.

P: ¿Es esto un delito?
R: El uso académico está básicamente bien siempre que no sea comercial o maliciosamente ofensivo. Recuerde añadir en las cabeceras'Referer': 'https://scholar.google.com/'Más seguro.

Diga la verdad.

No creas en esos proxies gratuitos, nueve de cada diez son una mierda. He visto a gente usar IPs gratuitas antes, y como resultado, subieron a todos los datos de sitios de phishing. ipipgo cuesta dinero, ¡pero el pool de IPs está ahí!Vivienda en la vida real PI，还能按量计费。特别是他们的智能路由功能，自动避开被的IP，省心不是一点半点。

Último recordatorio: ¡no escribas direcciones IP muertas en tu código! Lo mejor es utilizar la API que proporcionan para obtener el último proxy en tiempo real, de modo que incluso si una determinada IP se cuelga, se pueda cambiar automáticamente. No es fácil ser académico, así que trepa y aprecia.