Cómo procesar por lotes un conjunto de datos: Pandas chunking para cargar archivos grandes

No dejes que los archivos grandes atasquen tu ordenador

Python procesamiento de datos de hierro viejo debe haber encontrado esta situación: acaba de obtener una docena de archivos CSV G, la necesidad de utilizar pandas.read_csv () de carga, los resultados de la memoria directamente se elevó a 90% +, la tarjeta de programa pro madre no lo sé. Esta vez no se apresure a romper el teclado.bombardeo de trozosSalvará la vida de su perro.

Por citar un caso real: el mes pasado, un amigo del comercio electrónico quería analizar los datos de comportamiento de los usuarios, archivos de registro de 20 G con métodos ordinarios para cargarlos directamente en la memoria de 16 G del ordenador de huelga. Más tarde, pasó al procesamiento por trozos conGrupo de IP proxy para ipipgoHacer una recogida distribuida no sólo duplica la velocidad de procesamiento, sino que también evita el bloqueo de IP por parte de la plataforma debido a peticiones frecuentes.

Carga de trozos

Pandas viene con el parámetro chunksize es un regalo del cielo para el manejo de archivos de gran tamaño, la operación específica es más simple que hacer fideos instantáneos:

importar pandas como pd
chunk_size = 50000 Ajustar según situación de memoria
for chunk in pd.read_csv('archivo_sobredimensionado.csv', chunksize=chunk_size):
     Escribe aquí tu lógica de procesamiento
    procesar(trozo)

Fíjese en tres puntos clave:
1. la memoria es como la paciencia de una novia, serguardar. Se recomienda calcular primero el número de chunks dividiendo el número total de líneas del fichero por 10
2. Después de procesar cada trozo, recuerde desvincular a tiempo las variables no utilizadas.
3. Cuando necesites hacer cálculos entre trozos (por ejemplo, para sumar totales), debes hacer un buen trabajo de acumulación como si estuvieras ahorrando tu propio dinero.

Cuando la carga de trozos se encuentra con la IP proxy

Si los datos deben rastrearse y actualizarse en tiempo real, he aquí una operación de mal gusto: integrar servicios de IP proxy en el flujo de tratamiento de datos. Por ejemplo, utiliceAPI para ipipgoAdquisición dinámica de proxies con multi-threading para manejar diferentes trozos de datos.

La prueba real en el rastreo de datos de una plataforma de comercio electrónico, después de usar la función de IP rotativa de ipipgo, la tasa de éxito de la colección de 48% directamente tirar a 92%, la clave es que su velocidad de respuesta de la API es lo suficientemente rápido, no se convertirá en un cuello de botella en el proceso de procesamiento.

Directrices sobre desminado de problemas comunes

P: ¿Cómo fusionar los datos tras la fragmentación?
R: Se recomienda utilizar el modo to_csv append para guardar los resultados intermedios, y finalmente fusionarlos de forma unificada. Si no dispone de memoria suficiente, puede fusionarlos por lotes. Recuerde añadir protección IP proxy, para no perder los datos procesados en duro durante la transmisión.

P: ¿Cómo configurar la IP proxy en pandas?
R: Si está obteniendo datos a través de una petición web, puede configurarlo así en la biblioteca de peticiones:

proxies = {"http": "http://user:pass@ipipgo-proxy:port"}
response = requests.get(url, proxies=proxies)

P: ¿Y si el tiempo de tramitación es demasiado largo?
A: tres direcciones de optimización: ① en multihilo / multiprocesamiento ② actualizar el paquete de negocios de ipipgo para obtener IP más rápido ③ adelantar el paso de preprocesamiento de datos a la etapa de adquisición.

¿Por qué ipipgo?

Una maldita lección aprendida del uso de siete u ocho agencias proveedoras de servicios:
1. Se dice que algunas IP proxy son de alta velocidad, pero en realidad son más lentas que una bicicleta.
2. Las IP extranjeras suelen desaparecer
3. La respuesta del servicio de atención al cliente es comparable a la de un perezoso
Y el de ipipgoCircuitos encriptados de nivel militar+Asistencia técnica 7×24 horasque es tan estable como un perro viejo cuando se trata de procesar millones de datos. Especialmente su función de enrutamiento inteligente que selecciona automáticamente los nodos más rápidos es tan importante para escenarios que requieren procesamiento de datos en tiempo real.

Por último, un consejo: el procesamiento de big data es como el salteado, el fuego (tamaño del chunk) y el condimento (IP proxy) con una buena, con el fin de hacer una buena comida. ¡La próxima vez que se encuentre con un archivo de gran tamaño no sólo duro, pruebe la combinación de carga de trozos + ipipgo, garantizado para hacer su proceso de procesamiento de datos suave como la seda para volar hasta ~!