Plataforma de datos de contratación: fuente de datos Indeed/Glassdoor

El mayor quebradero de cabeza de trabajar con datos de contratación

Cualquiera que haga rastreo de datos para plataformas de contratación sabe que sitios como Indeed y GlassdoorLa protección contra orugas es más estricta que la protección contra ladrones. Acabo de escribir un script anteayer, y hoy me ha dado un error 403, y la IP directamente en la lista negra. Lo que es aún mejor es su sistema CAPTCHA, a veces incluso el ojo humano no puede decir si se trata de una carta o una pintura abstracta.

Un cliente que trabaja en un sistema de búsqueda de talentos se quejaba de que su equipo tenía que cambiar manualmente la dirección IP siete u ocho veces al día. El peor momento es 3:00 a.m. fue despertado por el teléfono del jefe, porque el programa de rastreo atascado al día siguiente, lo que resulta en ningún dato disponible. Este tipo de experiencia amarga, los que han participado en saber cómo devastador.

Las IP proxy son el verdadero negocio.

Si desea captar datos de contratación de forma coherente, céntrese enDisimular el acceso como un usuario normalEl secreto es triple. Aquí para decir un caso real: una empresa SaaS de recursos humanos con el servicio de agente residencial de ipipgo, la tasa de éxito de adquisición de datos directamente de 37% se disparó a 92%. secreto en tres:

Tenga cuidado con la configuración de estos dos parámetros cuando utilice ipipgo:No pida menos de 5 segundos entre peticiones(matemáticas) géneroNo utilices una única IP durante más de 30 minutosHe visto gente corriendo a la olla caliente con scripts encendidos. He visto a gente correr a la fondue con scripts activados, sólo para volver y encontrar su IP bloqueada, así que no cometas este tipo de errores de bajo nivel.

Configuración práctica

Aquí tienes una castaña en Python, recuerda rellenar la información de autenticación que te proporciona ipipgo:

proxies = {
  "http": "http://用户名:密码@gateway.ipipgo.com:端口",
  "https": "http://用户名:密码@gateway.ipipgo.com:端口"
}
response = requests.get(url, proxies=proxies, timeout=10)

Concéntrate en tres pozos:
1. No utilice proxies gratuitos, la velocidad es tan lenta como la de un caracol, por no mencionar que los datos también pueden ser interceptados.
2. No seas duro cuando se trata de CAPTCHA, debes ir a la plataforma de codificación.
3. Borre regularmente las cookies, no deje que el sitio recuerde sus características de rastreo

Directrices sobre desminado de problemas comunes

P: ¿Por qué me siguen bloqueando con una IP proxy?
R: Compruebe si la frecuencia de conmutación IP no es suficiente o las peticiones son demasiado intensivas. Se recomienda utilizar la función de ipipgomodo de rotación automáticaLa nueva IP se utilizará para cada solicitud.

P: ¿Cuánto volumen de IP necesito preparar para que sea suficiente?
R: 200-300 IPs de alta calidad son suficientes para 10.000 datos al día. Los paquetes de ipipgo incluyenGrupo de IP dinámicasNo es necesario mantener las cantidades

P: ¿Qué debo hacer si me encuentro con la protección de Cloudflare?
R: Disimule el encabezado de la solicitud en su totalidad, especialmente User-Agent y Referer. ipipgo'sHuella digital del navegadorPuede ocuparse de estos parámetros automáticamente

Tres reglas de hierro para elegir un proveedor de servicios

1. Mira la pureza de la IP: las IP de muchos agentes han sido marcadas por bolsas de trabajo, ipipgo'sPiscina IP residencialActualizado tres veces por semana
2. Medición de la velocidad de respuesta: sólo se pueden utilizar menos de 800 ms, no crea a los que presumen de 200 ms.
3. Compruebe el protocolo soportado: también debe soportar HTTP/HTTPS/SOCKS5, algunos de los antiguos sistemas sólo reconocían protocolos específicos.

Un último dato: el límite de frecuencia de las visitas a Glassdoor es dePor EstadoLa. Usando ipipgo para cambiar IPs en diferentes regiones puede recoger 30% más datos que una IP fija. Estas son nuestras pruebas reales de la experiencia, tómelo directamente uso no seas educado.