LinkedIn Crawler: una solución conforme para obtener datos de contratación

I. ¿Por qué se bloquean siempre los rastreadores de LinkedIn? Puede que hayas pisado estos baches

El viejo hierro de la recopilación de datos debe entender que el mecanismo anti rastreo de LinkedIn es más estricto que una puerta de seguridad. Los más comunes sonLa frecuencia de acceso IP es demasiado alta, la plataforma encuentra la misma IP solicitando como loca y te pone un precinto. Hay otra situaciónComportamiento anormal de la cuentacomo, por ejemplo, ver de repente perfiles de usuarios desconocidos en grandes cantidades o utilizar una cuenta recién registrada para coger directamente el relevo.

Recientemente me encontré con un caso real: una empresa de selección de personal con un servidor local conectado directamente, acaba de subir 200 informaciones de empleo, la IP estaba en la lista negra. Más tarde, cambió al proxy residencial dinámico de ipipgo y cambió las IPs reales de los usuarios en diferentes regiones para cada solicitud, y no activó el control de viento durante 3 días seguidos.

II. Tres elementos en el núcleo de los datos del compromiso de cumplimiento

He aquí lo más destacado para los chicos:

1. cumplir con el protocolo del robot (no toque los campos prohibidos a gatear)
2. intervalo de solicitud no es demasiado hambre (recomendado 5-10 segundos / tiempo)
3. simulación de comportamiento real (no utilice secuencias de comandos para cepillar)

Centrándonos en la selección de IP proxy, una tabla de comparación directa:

Los grupos de agentes dinámicos como el de ipipgo tienenMás de 90 millones de IP residenciales realesLa conmutación automática de cada solicitud se ha probado personalmente para que funcione con intervalos de 10 segundos y funcione durante una semana seguida sin problemas.

En tercer lugar, la mano para configurar el agente de rastreo

Demostrado aquí en Python, lo mismo para otros lenguajes:

importar peticiones
from tiempo import dormir

proxies = {
    "http": "http://用户名:密码@gateway.ipipgo.com:端口",
    "https": "http://用户名:密码@gateway.ipipgo.com:端口"
}

def fetch_jobs(palabra_clave).
    for page in range(1, 100): url = f"{palabra clave}&page={page}".
        url = f "https://linkedin.com/jobs搜索接口?keywords={palabra clave}&página={página}"
        response = requests.get(url, proxies=proxies)
         Recuerda añadir un retardo aleatorio de 5-15 segundos
        sleep(np.random.randint(5,15))
         Lógica de análisis de datos...

Tenga cuidado de hacer coincidir los valoresRotación del usuario-agenteNo permita que todas las peticiones utilicen la misma huella digital del navegador. El backend de ipipgo puede generar directamente una dirección proxy con autenticación, para que no tenga que manipular la autenticación usted mismo.

IV. Botiquín antibloqueo (colección de piezas de recambio)

Que no cunda el pánico si ya te han golpeado:

1. Parar inmediatamente todas las operaciones en la IP actual
2. cambiar el segmento IP en el backend ipipgo
3. Borre las cookies del navegador y el almacenamiento local.
4. Operar con nueva IP + nueva cuenta después de 24 horas.

He aquí una operación de pacotilla: repartir los periodos de recogida a lo largo delHorario laboral local(por ejemplo, las IP de EE.UU. funcionan de 9 a 18 de la tarde, hora del oeste de EE.UU.), lo que dificulta a la plataforma la identificación de anomalías.

V. Puestos de primeros auxilios de garantía de calidad

P: ¿Es correcto utilizar un proxy gratuito?
R: ¡Lección lacrimógena! Las IPs gratuitas están en la lista negra desde hace mucho tiempo, y serán bloqueadas justo después de conectarse, y pueden filtrar datos. ¿Por qué no usas ipipgo?Limpieza automática de IPservicio, sustitución de IP inválida en segundos.

P: ¿Por qué sigo bloqueado después de cambiar mi IP?
R: Comprueba si estás usando VM fingerprinting, ahora LinkedIn puede detectar las características de VMware. Sugiero ir a ipipgo'sentorno sandbox del navegadorEs más seguro utilizarlo con un agente.

P: ¿Cuánto volumen de IP se necesita al día?
A：Según 1 minuto para recoger 10 veces el cálculo, todo el día probablemente necesita alrededor de 150 IP. paquete de ipipgo sólo tieneRanura de 150 IP/díase recomienda empezar con esta configuración.

VI. Decir la verdad

He visto demasiadas personas codiciosos barato con agente de mala calidad, el resultado de la cuenta de sellado agente de honorarios también golpeó el agua. Servicio de agente confiable para verPureza IPresponder cantandoCapacidad de respuesta posventaLa última vez que llamé al técnico de ipipgo a las 2 de la mañana, me sorprendió que me contestara en segundos y me ayudara con el enrutamiento IP.

Por último, no piense en espigar los datos de LinkedIn, y fije el rango de recogida de forma razonable. Después de todo, estamos haciendo un negocio serio, el cumplimiento con el fin de arroz Chai a largo plazo ¿no es así?