Cuando los portales de empleo se centran en su dirección IP
Hacer la recopilación de datos de hierro viejo debe haber encontrado recientemente que una cierta liga, un cierto empleo de estas plataformas anti-escalada significa más y más salvaje. La semana pasada, mi colega acaba de ejecutar un script durante media hora, la IP local directamente en la lista negra, incluso el inicio de sesión de código de verificación del teléfono móvil no se puede guardar. Lo que es más, algunos sitios web ahoraVincular los registros de acceso IP a las cuentasUna vez bloqueada directamente la anomalía, es mucho más difícil que bloquear simplemente la IP.
Tres ejes para los sistemas anti orugas
Estas plataformas utilizan tres trucos principales para poner las cosas en marcha:
Medios de detección | Ideas para descifrar el código |
---|---|
Supervisión de la frecuencia de acceso IP | Distribución del tráfico con proxy pools |
reconocimiento de la firma del encabezamiento de la solicitud | Emulación de las huellas dactilares del navegador |
Análisis de la trayectoria del comportamiento | Intervalo de operación aleatorio |
Lo peor es la deteccion de IP, muchos novatos piensan que con solo comprar un proxy se puede arreglar, el resultado es usarlo solo para descubrir que la IP ha sido marcada como IP de sala de servidores, solo conectada al pinche.
Guía práctica de supervivencia
La semana pasada con ipipgoAgentes Residenciales DinámicosHice una prueba:
1. Dividir la tarea de recogida en 20 subprocesos
2. Cada hilo está vinculado a una dirección IP proxy independiente.
3. Establecer un retardo aleatorio de 3-8 segundos
4. Cambiar automáticamente la dirección IP cada 50 peticiones.
Resultó que funcionó durante 6 horas seguidas sin disparar la alarma, y la clave está en elegir elAgentes High Stash(El encabezado X-Forwarded-For de un proxy normal expondrá la IP real, lo que no es diferente de correr desnudo.
el arma única de ipipgo
¿Por qué se atreven a recomendar sus propios productos? Tienen uno.Biblioteca IP urbanaDe hecho, es un toro:
- Cada control de tiempo de supervivencia IP en 15-30 minutos
- Permite localizar territorios IP por sectores
- Filtrado automático de segmentos IP marcados por sistemas anti rastreo
- Cambio automático de los nodos de salida en caso de CAPTCHA
Especialmente cuando se recojan datos de captación regional, utilice sufunción de geolocalizaciónVisitar directamente disfrazado de buscador de empleo local es mucho más fiable que una IP de rebote nacional.
Evitar el pozo Libro de preguntas y respuestas
P: ¿Por qué sigue bloqueado después de usar un proxy?
R: El noventa por ciento de la calidad del proxy no es buena, pruebe el nivel de anonimato de la IP. Utilice la herramienta de detección de profundidad de ipipgo para realizar una prueba, se puede ver si la IP con características de proxy.
P: ¿Tengo que colaborar con otras medidas contra el rastreo?
R: ¡Es necesario! Proxy IP es sólo la base, para ser emparejado con UA aleatoria, simulación de seguimiento de movimiento del ratón, módulo de reconocimiento CAPTCHA. Recuerde.No deje funciones de la máquina en las cookies.
P: ¿Cómo elegir entre IP dinámica e IP estática?
R: la recolección de alta frecuencia con el seguimiento dinámico, a largo plazo con la estática. ipipgo se proporcionan dos tipos, pero recuerde que la IP estática para serSustitución manual periódicaNo utilices una IP hasta la muerte.
Participar en el backcrawling es como el juego del gato y el ratón, la clave está en utilizar elModelo de comportamiento en la vida real + IP Proxy PremiumJuega con una combinación de golpes. La última vez, un cliente utilizó nuestro programa para recopilar los datos de contratación de una gran fábrica durante tres meses consecutivos, el secreto es que cada solicitud lleva un "DNI" (dirección IP) diferente. Recuerde, el sistema anti-escalada no es blindado, encontrar los puntos débiles adecuados puede ser desgarrado.