En primer lugar, ¿diez millones de datos proxy IP almacenados con qué fin? ¿Por qué tenemos que optimizar?
Hacemos hermano rastreador entender, la mano no millones de IP proxy se avergüenzan de salir. Pero realmente salvó a los diez millones de tiempo cuantitativo, el problema vino -.Las bases de datos ordinarias se te vienen abajo.El otro día, un viejo hierro me dijo que usaban MySQL para almacenar 8 millones de IPs. Hace un par de días, un viejo hierro me dijo que usaban MySQL para almacenar 8 millones de IPs, y que tenían que esperar medio minuto para comprobar las IPs disponibles, ¿para qué jugar con un martillo?
Lo más condenable aquí son las tres fosas:
1. Las consultas se arrastran como una tortuga cuando el volumen de datos es grande
2. El espacio del disco duro se está agotando.
3. Aumento de los costes de mantenimiento
En segundo lugar, la escuela real de optimización del almacenamiento tres ejes
Consejo nº 1: Desmenuzarlo todo
No ponga los huevos en la misma cesta, vamos a cortar las IPs por la geografía. Por ejemplo, la sala de servidores de Beijing 1 sección de la IP almacenada por separado, sala de servidores de Shanghai 2 sección del otro almacenamiento. Tome ipipgo piscina proxy como un ejemplo, tienen unTecnología de corte inteligentePuede empaquetar y almacenar automáticamente IPs en la misma región, y localizar directamente la rebanada específica cuando se comprueba, y la velocidad puede ser más de 5 veces más rápida.
Consejo nº 2: Compruebe la RAM antes que el disco duro
Consigue un mecanismo de caché de dos niveles y pon las IPs usadas recientemente en Redis. Aquí tienes un pequeño truco:
Los datos calientes (utilizados en los últimos 5 minutos) van al primer nivel, los datos calientes (utilizados el mismo día) van al segundo nivel, y sólo el resto va a la base de datos. El tiempo de respuesta medido puede reducirse de 3 segundos a 200 milisegundos.
| tipo de datos | lugar de almacenamiento | tiempo de respuesta |
|---|---|---|
| datos térmicos | caché de memoria | ≤50ms |
| datos de temperatura | Disco duro SSD | ≤200ms |
| datos en frío | accionamiento mecánico | ≥1s |
Consejo nº 3: Consultas paralelas multihilo
No seas estúpido y comprueba la biblioteca en un solo hilo, abre 10 hilos al mismo tiempo para comprobar diferentes divisiones. Tenga cuidado de establecer elmecanismo fusible de tiempo de esperaLa interfaz API de ipipgo incorpora esta función para asignar automáticamente tareas de consulta. 1. Ir a los importantes y a los despiadados 2. Elegir el algoritmo de compresión adecuado 3. La gran separación entre frío y calor P: ¿Afecta la desduplicación de IP al uso? P: ¿Cómo consultar rápidamente los datos comprimidos? P: ¿Aumenta el almacenamiento fragmentado los costes de mantenimiento? Es demasiado esfuerzo tirar la optimización de almacenamiento por su cuenta, sólo tiene que ir directamente a laipipgo EmpresaY ya está. Su sistema de almacenamiento en casa tiene tres características asesinas: La última vez que ayudé a la empresa de un amigo a migrar a ipipgo, el coste mensual original del servidor de 20.000 se redujo directamente a 4.000. La clave es suPanel de visualización de datosHacerlo como un ladrón, el uso de IP, las tasas de supervivencia y todos esos datos de un vistazo. Cuando se trata de almacenar datos, es mejor dejar el trabajo profesional a los profesionales. Es mejor construir ruedas desde cero que subirse a hombros de gigantes. Sobre todo ahora que el mercado de la propiedad intelectual proxy es tan competitivo, ¿no huele bien ahorrar tiempo y dinero y aprovecharlo para ampliar tu negocio?Tres, tecnología de compresión en negro para ahorrar espacio 80%
El mismo segmento IP se representa mediante CIDR. Por ejemplo, 192.168.1.1 a 192.168.1.254, directamente escrito como 192.168.1.0/24, ahorrando espacio de almacenamiento 90%.
Estos son los que mejor funcionan cuando se prueban:
- LZ4: compresión rápida pero tasa de compresión media
- Zstandard: el jugador equilibrado
- Brotli: mayor tasa de compresión, pero consume mucha CPU
Se recomienda elegir según las necesidades de la empresa, para acelerar con LZ4, para ahorrar espacio con Brotli.
Transferencia de 30 días de IPs no utilizadas a almacenamiento en frío con ipipgo'sFunción de archivo inteligenteProcesamiento automatizado. Sus costes de almacenamiento de datos en frío en casa pueden reducirse a una décima parte de los datos en caliente.IV. Preguntas frecuentes QA
R: ¡No tiene ningún efecto! La desduplicación es sólo una optimización a nivel de almacenamiento, el sistema la ampliará automáticamente cuando se llame realmente.
R: Recomendado para ipipgoresuélvelo y encuéntralosin descomprimir todo el conjunto de datos, para localizar directamente los fragmentos de datos deseados.
R: Es más rentable utilizar una solución estándar. Por ejemplo, la solución de almacenamiento de ipipgo puede desplegarse en 10 minutos con un clúster de auto-sharding.V. Recomendaciones del programa para salvar corazones y mentes
1. El algoritmo de compresión inteligente se adapta automáticamente a los escenarios empresariales
2. Motor de consulta distribuido que admite respuestas en milisegundos
3. Clasificación automática por niveles de los datos calientes y fríos, costes de almacenamiento reducidos a 80%
Español 
简体中文 
English 
Deutsch 
Français