Optimierung der Datenspeicherung: Parquet Columnar Storage in Aktion

Wenn der Proxy-IP auf die großen Datenspeicher, dieser Trick, um Ihnen zu helfen, sparen 80% Festplattenspeicher

Dry Proxy IP diese Linie von Brüdern zu verstehen, jeden Tag mit der massiven Anfrage Protokolle können in einen Berg aufgetürmt werden umzugehen. Letzte Woche beschwerte sich ein alter Kunde, dass sie IP-Qualitätsdaten gesammelt, um die Server-Festplatte platzen, fragte mich, ob es eine schwarze Technologie. Heute werden wir Ihnen eine praktische Fähigkeiten - Parkett säulenförmige Lagerung mit Datenkompression zu spielen, mit unserem ipipgo Proxy-Service, die Aufsicht über Ihre Speicherkosten direkt geschnitten.

Warum wird Ihre Protokolldatei immer größer, je mehr Sie sie speichern?

Die herkömmliche Speicherung von Protokollen ist so, als würde man Kleidung in einen Koffer stopfen, und die Datensätze im CSV-Format müssen für jedes Feld wiederholt werden. Zum Beispiel, 1 Million Proxy-IP-Erkennung Datensätze, "Carrier" dieses Feld kann Handy, Unicom, Telecom drei Werte, aber CSV wird ehrlich 1 Million Mal gespeichert werden. Diesmal kamen die Vorteile der spaltenweisen Speicherung zum Tragen - dieselben Daten werden nur einmal gespeichert, aber auch durch Spaltenkompression.

Das ist der springende Punkt:

Der dynamische IP-Pool von ipipgo generiert täglich Millionen von Anfragen, und nach der Speicherung im Parquet-Format sinkt die Dateigröße von 230 GB auf 37 GB. Insbesondere bei IP-Zugehörigkeit und AS-Nummer, die eine hohe Wiederholungsrate aufweisen, ist der Komprimierungseffekt mit einer Vakuumverpackung vergleichbar.

Praktische Konfiguration von Proxy-Datenspeichern

Hier ist eine reale Fallkonfiguration (beachten Sie die Ersetzung Ihrer eigenen Parameter):

Denken Sie daran, der Schreibsitzung einen Konverter hinzuzufügen, wenn Sie Daten mit der API von ipipgo abrufen. python-Parteien können dies tun:

 Tun Sie so, als wäre es ein Code-Block hier
importiere pyarrow.parquet als pq
ip_data = get_ipipgo_apidata() ipipgo-Schnittstelle aufrufen
Tabelle = pa.Table.from_pandas(ip_data)
pq.write_table(table, 'ip_logs.parquet'.
              compression='snappy',
              version='2.6')

Drei Techniken zur Steigerung der Effizienz

1. die dynamische Zonierung hat ihren Platz
Zweischichtige Partitionierung nach "Datum/IP-Standort", so dass irrelevante Partitionen bei der Abfrage direkt übersprungen werden können. Wenn Sie z. B. die anormale IP in Shanghai prüfen, filtert das System automatisch die Datenblöcke anderer Regionen.

2. zu spielende Säulenschnitte 6
Die Abfrage liest nur die Spalten, die benötigt werden. Sie möchten den Prozentsatz der IPs der Mobilfunkbetreiber zählen? Das System scannt die Datendatei nur in der Spalte "Betreiber".

3. die Trennung von heißen und kalten Daten
Die aktuellen Daten der letzten drei Tage werden auf einer SSD gespeichert, und die historischen Daten werden auf eine mechanische Platte übertragen. ipipgo-Benutzer haben getestet, dass die Abfrage-Antwortzeit von 8 Sekunden auf 1,2 Sekunden reduziert wurde.

Häufig gestellte Fragen QA

F: Ist Parquet für die Speicherung von Echtzeitdaten geeignet?
A: Es wird empfohlen, mit der Echtzeitschnittstelle von ipipgo eine Mikrostapelverarbeitung auf Minutenebene durchzuführen, um die Aktualität der Daten zu gewährleisten, ohne die Speichereffizienz zu beeinträchtigen.

F: Wie wählt man den Komprimierungsalgorithmus aus?
A: Die GZIP-Komprimierungsrate ist hoch, aber CPU-lastig, daher ist SNAPPY vorzuziehen. Wenn Sie historische Archivdaten speichern, können Sie ZSTD in Betracht ziehen.

F: Wie kann ich die vorhandenen CSV-Daten migrieren?
A: Batch-Konvertierung mit Spark oder Pandas, denken Sie daran, die schmutzigen Daten zuerst zu bereinigen. ipipgo hat fertige Migrationsskripte in seiner technischen Dokumentation.

Sparen ist Geld verdienen

Seit ich diese Lösung bei meinem Kunden eingesetzt habe, haben sie ihre Servererneuerungsgebühr halbiert. Jetzt mit ipipgo's hochwertigen Proxy-Pool, mit säulenförmigen Speicherlösungen, die durchschnittliche tägliche Verarbeitung 200 Millionen Anfragen ohne Druck. Einige Brüder können fragen: so in der Abfrage beschäftigt wird nicht langsam werden? Sagen wir es so, das letzte Mal, wenn ihre CTO sah die zweite Antwort Bericht, fast dachte, dass die falsche Datenbank.

Der letzte wichtige Punkt: Die Wahl des richtigen Proxy-Dienstanbieters ist die Grundlage, die hochreinen IP-Ressourcen von ipipgo in Verbindung mit vernünftigen Datenspeicherlösungen, um das Big-Data-Projekt stabil und schnell laufen zu lassen. Speicheroptimierung ist wie der Reifenwechsel bei einem Rennwagen: Warten Sie nicht, bis Sie einen platten Reifen haben, bevor Sie an die Wartung denken.