Cuando la API golpeado control de privilegios proxy IP puede hacer qué? Recientemente, un montón de amigos que hacen el desarrollo de la API se quejó a mí que sus propias interfaces siempre están siendo llamados por tipos no identificados. Es como si su puerta de seguridad no está cerrada, cualquiera puede entrar y tomar las cosas. Esta vez tenemos que confiar en el proxy IP + control de autoridad del par de oro. Proxy I...

Cuando la IP está bloqueada, ¿tu crawler sigue funcionando desnudo? Los hermanos que se dedican a los rastreadores entienden que lo que más temen es despertarse y descubrir que su IP está bloqueada por el sitio web de destino. Los scripts escritos con tanto esfuerzo se quedan mudos de repente, y el flujo de datos es más difícil que Internet. En este momento, si puede recibir una alerta por adelantado, es como instalar un marcapasos para el crawler, cuando es crítico...

Cuando el sistema ELK se encuentra con la anomalía proxy IP, ¿qué se debe hacer? Recientemente se encontró con un caso muy interesante: una empresa para hacer el análisis de registro con ELK, encontró que todas las mañanas a las tres siempre hay un gran número de fallos de solicitud. El hermano de operación y mantenimiento revolvió medio mes no encontró la razón, y finalmente encontró que la IP fija era el sitio de destino como un robot para...

Cuando el rastreador golpeó el contra-rastreador, su IP está bien? El hierro viejo que participan en los rastreadores debe haber experimentado una escena: ayer también corrió un buen guión, hoy de repente 403. En este momento, no se apresure a romper el teclado, el ochenta por ciento de su IP fue blanco del sitio. Al igual que usted va al supermercado para tratar de comer siempre recordado por el empleado se ve, rastreadores ...

Convierta wget en un arma secreta de recolector de datos Los que nos dedicamos a la recolección de datos sabemos muy bien que utilizar wget para descargar algo es como conducir un tractor para cosechar trigo: sencillo y tosco, pero con mucho ruido. Si no lo disfrazas adecuadamente, será destruido por el sitio web de destino como una plaga en un minuto. Hoy vamos a enseñar a los chicos cómo dar a este tractor ...

¿Por qué siempre se bloquea la recopilación de datos móviles? Los hermanos que han participado en la recopilación de datos móviles saben que el mayor dolor de cabeza es que la IP está bloqueada. Especialmente cuando se utiliza Appium para hacer pruebas automatizadas, el dispositivo está conectado a la misma WiFi para ejecutar scripts, el servidor de destino puede ser identificado en cuestión de minutos. La semana pasada hubo un hermano pequeño que hizo una comparación de precios de comercio electrónico conmigo...

Cuando el rastreador se topa con una mutilación de datos, ¿es su proceso de limpieza lo suficientemente duro? Los que se dedican a la recopilación de datos entienden que al duro trabajo de rastrear los datos a menudo le faltan brazos y piernas. Igual que vamos al supermercado a comprar productos especiales, siempre hay algunos espacios vacíos en las estanterías especialmente llamativos. Si no sabes cómo tratar los valores que faltan, tendrás que dividir...

Amigo, ¿tu IP proxy es fiable o no? El viejo Zhang, que se dedica al crawling, tiene la cabeza muy grande últimamente, y las miles de IPs proxy guardadas en su mano son como abrir una caja ciega. El script que se acaba de ejecutar ayer de repente se puso en huelga hoy, y él estaba tan enojado que dio una palmada en la mesa. Entiendo esto demasiado bien, lote verificar la tasa de supervivencia de proxy IP...

Le enseñará cómo utilizar Selenium para colgar el proxy hermanos dedicados a las pruebas automatizadas entender que a veces no cuelgue el proxy simplemente no puede funcionar. Hoy vamos a fastidiar cómo utilizar Python, Java, C, los tres idiomas a Selenium establecido en el proxy, centrándose en el servicio de proxy de nuestro viejo amigo ipipgo. No todo esos falsos ...