Optimización del almacenamiento de datos: el almacenamiento columnar Parquet en acción

Cuando el proxy IP golpeó el almacenamiento de datos de gran tamaño, este truco para ayudarle a ahorrar espacio en el disco duro 80%

Seco proxy IP esta línea de hermanos entender, todos los días para hacer frente a los registros de solicitudes masivas se pueden apilar en una montaña. La semana pasada, un viejo cliente se quejó de que recogieron los datos de calidad IP a la explosión del disco duro del servidor, me preguntó si hay alguna tecnología negro. Hoy en día, le daremos una práctica habilidades - Parquet de almacenamiento columnar para jugar con la compresión de datos, con nuestro servicio de proxy ipipgo, la custodia de sus costes de almacenamiento directamente cortar.

¿Por qué tu archivo de registro se hace más grande cuanto más lo almacenas?

El almacenamiento tradicional de registros es como meter ropa en una maleta, los registros en formato CSV tienen que repetirse para cada campo. Por ejemplo, 1 millón de registros de detección de IP proxy, "portador" este campo puede ser móvil, Unicom, Telecom tres valores, pero CSV será honestamente almacenado 1 millón de veces. Esta vez las ventajas de almacenamiento en columnas salió - los mismos datos se almacenan sólo una vez, sino también por la compresión de columnas.

Aquí viene el punto:

El pool dinámico de IPs de ipipgo genera millones de peticiones cada día, y tras almacenarlas en formato Parquet, el tamaño del archivo se reduce de 230G a 37G. Especialmente para la pertenencia IP y el número AS, que tienen una alta tasa de repetición, el efecto de compresión es comparable al del envasado al vacío.

Configuración práctica de almacenes de datos proxy

He aquí la configuración de un caso real (nótese la sustitución de sus propios parámetros):

Recuerde añadir un conversor a la sesión de escritura cuando obtenga datos con la API de ipipgo. las partes de python pueden hacerlo:

 Imagina que es un bloque de código
importar pyarrow.parquet como pq
ip_data = get_ipipgo_apidata() llamar interfaz ipipgo
tabla = pa.Table.from_pandas(ip_data)
pq.write_table(tabla, 'ip_logs.parquet'.
              compresión='snappy',
              version='2.6')

Tres técnicas de mejora de la eficiencia

1. La zonificación dinámica tiene su lugar
Partición de doble capa por "fecha/localización IP", para poder omitir directamente las particiones irrelevantes al consultar. Por ejemplo, si se consulta la IP anómala de Shanghai, el sistema filtrará automáticamente los bloques de datos de otras regiones.

2. Cortes de columna a jugar 6
La consulta sólo lee las columnas necesarias. ¿Quiere contar el porcentaje de IP de operadores móviles? El sistema sólo escaneará el fichero de datos en la columna "Operador".

3. Separación de datos calientes y fríos
Los datos calientes de los últimos tres días se almacenan en SSD, y los datos históricos se transfieren a un disco mecánico. Los usuarios de ipipgo han comprobado que el tiempo de respuesta de las consultas se reduce de 8 segundos a 1,2 segundos.

Preguntas frecuentes QA

P: ¿Es Parquet adecuado para almacenar datos en tiempo real?
R: Se recomienda realizar un procesamiento por microlotes a nivel de minutos con la interfaz en tiempo real de ipipgo para garantizar la frescura de los datos sin afectar a la eficiencia del almacenamiento.

P: ¿Cómo elegir el algoritmo de compresión?
R: La tasa de compresión GZIP es alta pero consume CPU, prefiera SNAPPY. Si almacena datos de archivo históricos, puede considerar ZSTD.

P: ¿Cómo migrar los datos CSV existentes?
R: Conversión por lotes con Spark o Pandas, recuerde limpiar primero los datos sucios. ipipgo tiene scripts de migración listos en su documentación técnica.

Ahorrar es ganar.

Desde que puse esta solución en mi cliente, redujeron la cuota de renovación de su servidor a la mitad. Ahora con la piscina de proxy de alta calidad de ipipgo, con soluciones de almacenamiento columnar, el promedio diario de procesamiento de 200 millones de solicitudes sin presión. Algunos hermanos pueden preguntar: ¿así que comprometido en la consulta no se convertirá en lento? Pongámoslo de esta manera, la última vez que su CTO miró el segundo informe de respuesta, casi pensó que la base de datos equivocada.

El último punto clave: elegir el proveedor de servicios proxy adecuado es la base, los recursos IP de alta pureza de ipipgo junto con soluciones razonables de almacenamiento de datos, para que el proyecto de big data funcione de forma estable y rápida. La optimización del almacenamiento es como cambiar los neumáticos de un coche de carreras: no hay que esperar a que se pinche una rueda para pensar en el mantenimiento.