LinkedIn Crawl: Recogida de datos proxy de LinkedIn

¿Por qué tengo que utilizar proxies para los datos de LinkedIn?

Los propietarios de negocios en el extranjero deben entender que si usted quiere cavar la información del cliente de LinkedIn, puede copiar y pegar manualmente la información a la muerte. Utilice un rastreador, acaba de agarrar dos páginas de la cuenta será bloqueada a la muerte. En este momento, usted tiene que confiar en proxy IP paraHacerse pasar por un usuario real en otra regiónEl pool de IPs residenciales dinámicas de ipipgo está probado para soportar el mecanismo anti-crawl de LinkedIn.

¿Cuáles son los indicadores más importantes a la hora de elegir una IP proxy?

Los proveedores de servicios de agencia que hay en el mercado están tirando mucho dinero, hay que fijarse en los de verdad:

ipipgo da en el clavo en estos aspectos, especialmente con suSistema de inspección sanitaria IPCada vez, antes de asignar una IP, escanea el estado de la lista negra.

Configuración práctica

Usando la librería requests de Python como ejemplo, configúrela de esta forma con el servicio proxy de ipipgo:

solicitudes de importación

proxies = {
    'http': 'http://用户名:密码@gateway.ipipgo.com:9020',
    https: http://用户名:密码@gateway.ipipgo.com:9020
}

resp = requests.get(
    'https://www.linkedin.com/sales/search/people',
    headers={'User-Agent': 'Mozilla/5.0'}
    headers={'Usuario-Agente': 'Mozilla/5.0'}
)

Tenga cuidado de ponerNombre de usuario y contraseñaSustitúyela por la información de autenticación que obtienes en el backend de ipipgo, y se recomienda cambiar la IP cada 20 capturas, no te cargues una IP a muerte.

Tres maniobras de pacotilla para evitar ser bloqueado

1. Simulación del trabajo y el descanso de los trabajadoresRecogida de datos: de 9.00 a 18.00 horas en días laborables y fines de semana.
2. Aleatorización de pistas de ratones: Deslizamiento lineal mecánico alterado
3. Disfraz de correo electrónico de empresa: Coge los datos con el parámetro email del nombre de dominio de la empresa.

Sesión de control de calidad

P: ¿Por qué me siguen bloqueando después de usar un proxy?
R: puede haber utilizado la IP del centro de datos, tiene que cambiar ipipgo'sIP dinámica residencialSu banco IP doméstico de 90% o más es de banda ancha doméstica

P: ¿Tengo que mantener mi propio grupo de IP?
R: ¡Nunca! El fondo de ipipgo rechaza automáticamente las IPs inválidas, lo que es mucho más fiable que el mantenimiento manual.

P: ¿Cuántos hilos conviene abrir al mismo tiempo?
R: Se recomienda que los novatos controlen dentro de 5 hilos, el controlador antiguo hasta 15 hilos, recuerde usar ipipgo'sAjuste inteligente de tarifasfuncionalidad

No pise estos baches.

He visto algunas personas compran IPs compartidas para barato, y como resultado, decenas de personas utilizan la misma IP para capturar datos al mismo tiempo, y sus cuentas son directamente bloqueado para siempre. También hay IronBean proxy abierto continuamente captura 8 horas, LinkedIn no es un tonto. Sugerir el uso de ipipgoModo de reposo automáticoEs lo mismo que en la vida real.

Por último, para ser honesto, si quieres obtener datos de LinkedIn de forma constante, tienes que estar dispuesto a gastar dinero en proxies. ipipgo ha estado haciendo actividades recientemente, los nuevos usuarios obtienen 5G de tráfico, que es suficiente para probar durante medio mes. Recuerda usar suAgentes Residenciales DinámicosNo la elijas como IP corporativa estática, esa mierda sirve para otra cosa.