Comment traiter un ensemble de données par lots : Pandas chunking pour charger de gros fichiers

Ne laissez pas les gros fichiers encombrer votre ordinateur

Python traitement des données vieux fer devrait avoir rencontré cette situation : juste obtenir une douzaine de G fichiers CSV, l'envie d'utiliser pandas.read_csv () charger, les résultats de la mémoire directement monté en flèche à 90% +, la carte de programme pro mère ne sait pas. Cette fois-ci, ne vous précipitez pas pour écraser le clavier.blitz de chargement de morceauxIl sauvera la vie de votre chien !

Pour citer un cas réel : le mois dernier, un ami commerçant en ligne souhaitait analyser les données relatives au comportement des utilisateurs, des fichiers journaux de 20G avec des méthodes ordinaires à charger directement dans la mémoire de 16G de l'ordinateur de frappe. Plus tard, il est passé au traitement par morceaux avecPool d'IP proxy pour ipipgoLa collecte distribuée permet non seulement de doubler la vitesse de traitement, mais aussi d'éviter le blocage des adresses IP par la plateforme en raison de requêtes fréquentes.

Pratique du chargement de morceaux

Pandas dispose d'un paramètre "chunksize" qui est une aubaine pour gérer les gros fichiers, et l'opération spécifique est plus simple que de faire des nouilles instantanées :

import pandas as pd
chunk_size = 50000   根据内存情况调整
for chunk in pd.read_csv('超大文件.csv', chunksize=chunk_size):
     这里写你的处理逻辑
    process(chunk)

Il convient de noter trois points essentiels :
1. la mémoire est comme la patience d'une petite amie, pour êtresauver. Il est recommandé d'estimer d'abord le nombre de morceaux en divisant le nombre total de lignes du fichier par 10
2) Après avoir traité chaque morceau, n'oubliez pas de dissocier les variables inutilisées en temps voulu.
3) Lorsque vous devez effectuer des calculs sur des ensembles (par exemple, des totaux), vous devez faire un bon travail d'accumulation comme si vous stockiez de l'argent privé.

Quand le chargement de morceaux rencontre le proxy IP

Si les données doivent être explorées et mises à jour en temps réel, voici une opération peu glorieuse : intégrer des services de proxy IP dans le flux de traitement des données. Par exemple, utilisezAPI pour ipipgoAcquisition dynamique de mandataires avec multithreading pour traiter différents blocs de données.

Après avoir utilisé la fonction IP rotative d'ipipgo, le taux de réussite de la collecte est passé de 48% à 92%. L'essentiel est que la vitesse de réponse de l'API soit suffisamment rapide pour ne pas devenir un goulot d'étranglement dans le processus de traitement.

Lignes directrices sur le déminage des problèmes courants

Q : Comment fusionner les données après le découpage ?
R : Il est recommandé d'utiliser le mode d'ajout to_csv pour enregistrer les résultats intermédiaires, puis de les fusionner de manière unifiée. Si vous manquez de mémoire, vous pouvez les fusionner par lots. N'oubliez pas d'ajouter la protection IP du proxy, afin de ne pas perdre les données traitées en dur lors de la transmission.

Q : Comment configurer l'IP proxy dans pandas ?
R : Si vous obtenez des données par le biais d'une requête web, vous pouvez le configurer comme suit dans la bibliothèque des requêtes :

proxies = {"http": "http://user:pass@ipipgo-proxy:port"}
response = requests.get(url, proxies=proxies)

Q : Que se passe-t-il si le délai de traitement est trop long ?
A : trois directions d'optimisation : ① on multi-threading / multi-processing ② upgrade ipipgo's business package to get faster IP ③ data pre-processing step forward to the collection stage

Pourquoi ipipgo ?

Une leçon sanglante tirée de l'utilisation de sept ou huit agences prestataires de services :
1) Certains proxy IP sont réputés être à grande vitesse, mais ils sont en réalité plus lents qu'une bicyclette.
2. les PI d'outre-mer sont souvent portés disparus
3. la réponse du service clientèle est comparable à celle d'un paresseux
Et celle d'ipipgo加密线路+Assistance technique 7×24 heuresqui est aussi stable qu'un vieux chien lorsqu'il s'agit de traiter des millions de données. La fonction de routage intelligent, qui sélectionne automatiquement les nœuds les plus rapides, est particulièrement importante pour les scénarios nécessitant un traitement des données en temps réel.

Enfin, un conseil : le traitement des données volumineuses est comme un sauté, le feu (taille des morceaux) et l'assaisonnement (proxy IP) avec un bon, afin de faire de la bonne nourriture. La prochaine fois que vous rencontrerez un fichier volumineux, ne vous contentez pas de vous acharner, essayez la combinaison chunk loading + ipipgo, qui vous garantira un processus de traitement des données soyeux et fluide, et vous permettra de voler jusqu'à ~ !