Análisis del registro del rastreador: sistema de diagnóstico automático de solicitudes anómalas

¿Por qué los rastreadores siempre son pinchados por los sitios web?

Participó en el rastreo veteranos entienden que el mayor dolor de cabeza es el sitio de repente te dan una cara. Obviamente, el código está escrito sin problemas, los resultados del registro de repente apareció un montón de 403, 429, es el momento de sacar una lupa para ver el registro. Pero comprobar manualmente el registro es como una aguja en un pajar, especialmente con una IP fija, el viento sitio de control de una captura.

Para citar un caso real: el año pasado, hay un equipo de comparación de precios de comercio electrónico, tres días consecutivos de volumen de datos de cintura chop. Comprobación de los registros encontraron que utilizaron la IP fija de la sala de servidores de Beijing para coger una determinada plataforma, las primeras 200 solicitudes estaban bien, la 201 ª vez directamente se comió la puerta. Este es un típicoSe identifican las características de la exposición IPEs lo mismo que llevar la misma ropa e ir al centro comercial todos los días.

Cuatro grandes éxitos del Sistema de Diagnóstico de Anomalías

Tenemos que ser capaces de construir nuestro propio sistema de autodiagnóstico:

¿Cómo se calcula la salud de la PI?

He aquí una fórmula comodín:
Puntuación de salud = (Número de aciertos × 0,7) - (Número de excepciones × 0,3) - (Tiempo de respuesta/1000)
Por ejemplo, si un IP tiene 100 aciertos, 20 excepciones y una respuesta media de 800ms, la puntuación es (100 x 0,7) - (20 x 0,3) - 0,8 = 68,2 puntos. Establezca una línea de aprobación de 60 puntos, por debajo de la cual el IP es automáticamente despedido.

Voy a tener que ir con ipipgo en este caso.Agentes Residenciales DinámicosEl problema es que tienen más de 2 millones de IPs residenciales en su pool de IPs, y cada IP tarda hasta 5 minutos en cambiar. Lo hemos probado en la vida real, y con el algoritmo de salubridad, hemos sido capaces de mantener la tasa de prohibición por debajo de 3%.

Tutorial práctico de configuración

1. Log collector instala un Filebeat y lo envía a ES
2. Consigue un dashboard con Kibana y céntrate en la monitorización:
- Distribución horaria de los códigos de estado anormal
- Las 10 IP más problemáticas
- Curva del tiempo medio de respuesta
3. Escribir un script en Python para sondear los datos de ES y llamar a la API de ipipgo para cambiar la IP cuando se dispare el umbral.

Centrarse en el ipipgoAcceso APIEl diseño de su interfaz es ladrones simple:

importar peticiones
def get_new_ip(): url = "": url = "ip": url = "ip".
    url = "https://api.ipipgo.com/replace"
    params = {
        "clave": "su clave", "tipo": "residencial
        "tipo": "residencial"
    }
    return requests.get(url, params=parámetros).json()['ip']

Preguntas frecuentes QA

P: ¿Cómo elijo una IP proxy sin pisar minas?
R: Recuerda las tres cosas que no debes hacer: no utilices una IP de un centro de datos (es fácil que te identifiquen), no utilices una IP compartida (asumes la culpa de la muerte de tus vecinos), y no seas avaricioso por una barata (cualquier cosa inferior a 50 céntimos/GB es definitivamente un problema). Los proxies residenciales exclusivos como ipipgo son un poco más caros pero estables como un perro viejo.

P: ¿Con qué frecuencia debo realizar análisis de registros?
R: Los registros se barren cada 15 minutos durante las horas punta, y pueden relajarse a 1 hora durante las horas no punta. Si encuentras IPs anómalas, aíslalas inmediatamente, y no te sientas mal por la tarifa proxy.

P: ¿Se reconocerá en su lugar la conmutación por IP con demasiada frecuencia?
R: Aquí es donde ipipgo es inteligente, su estrategia de asignación de IP simulará el ritmo de funcionamiento de la gente real. Por ejemplo, cortan la IP por la mañana y reducen la frecuencia de conmutación a última hora de la noche para sincronizarla con el trabajo y el descanso de la gente real.

¿Cuál es el mayor beneficio de tener este sistema? El mes pasado, un cliente utilizó autodiagnóstico + proxy ipipgo, al principio tardaba 3 horas al día en ocuparse del problema de bloqueo, ahora el sistema se ocupa de sí mismo, y el chico de operaciones y mantenimiento por fin puede salir del trabajo a tiempo.