In den letzten Jahren beschäftigen sich immer mehr JMP-Anwender mit sogenannten Big Data, etwa sekündlich von Sensoren erfassten Daten, Fertigungsdaten mit vielen Parametern und Genomdaten.
Wenn die Daten groß sind, wird die Dateigröße größer und es wird mehr Speicherplatz benötigt.
JMP verfügte ursprünglich über eine Funktion, die Dateien beim Speichern von Datentabellen komprimierte, aber die neueste Version, JMP 18, fügte eine Funktion hinzu, die Zeichentypspalten komprimiert . Durch die Verwendung dieser Funktion können Sie davon ausgehen, dass die Dateigröße reduziert und Speicherplatz gespart wird.
In diesem Blog erklären wir, wie man Spalten in JMP 18 komprimiert, erläutern den internen Komprimierungsmechanismus und vergleichen Dateigrößen beim Komprimieren verschiedener Datentypen.
Kompakte Zeichentypspalten
Bei der Erörterung dieser Funktion ist es wichtig zu beachten, dass Spalten vom Typ „Zeichen“ komprimiert werden können. Numerische Spalten können nicht komprimiert werden.
Die unten gezeigten Daten* erfassen Immobilienpreise in Tokio und bestehen aus etwa 400.000 Zeilen und 38 Spalten. Komprimieren wir hier die Spalte „Region“, die die Region angibt.
Operationen, die Spalten bestimmter Zeichentypen komprimieren
- Wählen Sie die Spalte „Region“ aus und wählen Sie „Spalten“ > „Spalteninformationen“.
- Wenn der Datentyp in JMP 18 „Zeichen“ ist, können Sie einen Untertyp angeben. Der Standardwert ist [Normal], ändern Sie ihn jedoch in [Kompakt] .
Zusätzlich zu „Region“ umfassen diese Daten verschiedene Zeichenfolgen wie „Typ“ und „Präfektur“. Wenn Sie all dies auf einmal komprimieren möchten, können Sie den Spaltenmanager verwenden, der ebenfalls eine neue Funktion in JMP 18 ist.
So komprimieren Sie mehrere Zeichenfolgen gleichzeitig mit dem Spaltenmanager
- Wählen Sie „Spalten“ > „Spaltenmanager“ (oder klicken Sie auf das Symbol im Spaltenbereich).
- Klicken Sie oben im Spaltenmanager auf das Element „Typ“, um nach Typ (Buchstaben, Zahlen) zu sortieren.
- Wählen Sie alle Spalten aus, deren Typ Buchstabe ist (geschrieben als „ABC“), halten Sie die Strg-Taste gedrückt, klicken Sie auf das Element rechts neben „Typ“ und wählen Sie [Kompakt] aus.
Bei Spalten vom Typ „Komprimierter Text“ wird rechts neben dem Spaltennamen im Bedienfeld „Spalten“ ein Symbol hinzugefügt, wie unten dargestellt.
Speichern Sie die mit den oben genannten Schritten komprimierte Datentabelle und vergleichen Sie die Dateigröße vor und nach der Komprimierung.
Durch die Komprimierung der 130 MB großen Daten wurde die Größe auf 67,1 MB reduziert, also etwa auf die Hälfte. Gute Nachrichten für diejenigen, die sich Sorgen um den Speicherplatz machen!
Bitte beachten Sie, dass Datentabellen mit komprimierten Zeichenfolgen in JMP 17 oder früheren Versionen nicht geöffnet werden können. Dies ist nur eine Datentabelle, die in JMP 18 verwendet werden kann.
So werden Spalten komprimiert
Wie wird die Zeichenfolge komprimiert?
Nach der Komprimierung wird es intern in zwei Datenstrukturen gespeichert: String-Speicher und Zeilenspeicher.
Beispielsweise gibt es in den oben genannten Tokio-Daten eine Zeichenfolge mit dem Namen „Gemeinde“, die den Bezirk oder die Stadt angibt, in der sich das Grundstück befindet, aber jede einzelne Zeichenfolge wird im Zeichenfolgenspeicher und ihr Index im Zeilenspeicher gespeichert.
Daher ist zu erwarten, dass die Dateigröße durch das Komprimieren von Spalten mit langen Zeichen oder doppelten Datenwerten reduziert wird.
Umgekehrt ist das Komprimieren von Zeichenfolgen, die Daten identifizieren, indem jeder Zeile eine eindeutige ID-Nummer zugewiesen wird, möglicherweise nicht effektiv. Wenn beispielsweise in 100 Zeilen mit Patientendaten eine ID-Spalte mit Werten wie (P1, P2, ..., P100) zur Identifizierung des Patienten vorhanden ist, weist diese eindeutige Werte ohne Duplikate auf es wird kompakt sein. Sie werden keine Vorteile erhalten.
Im Folgenden werden die Ergebnisse der Komprimierung von Zeichenfolgen für einige JMP-Beispieldaten angezeigt.
Einige der Dateien sind kleiner geworden, während andere, wie zum Beispiel „Probe.jmp“, nicht von der Komprimierung profitiert haben.
Selbst wenn Sie eine Datei mit mehreren MB komprimieren und die Dateigröße kleiner wird, wird in der Realität kein Speicherplatz gespart, und Sie werden keine Leistungsverbesserung aufgrund der Einsparungen bei der Speichergröße feststellen.
Der Vorteil besteht darin, dass Sie Daten komprimieren, die mehrere zehn Megabyte oder mehr umfassen.
Wenn Sie über große Datenmengen mit vielen Zeichenfolgen verfügen, komprimieren Sie diese und prüfen Sie, ob die Dateigröße kleiner wird.
So öffnen Sie Zeichentypspalten immer als kompakte Spalten
Bisher haben wir vorgestellt, wie man Zeichenfolgen durch Öffnen einer JMP-Datentabelle komprimiert. Es gibt jedoch auch eine Einstellung, die Zeichenfolgen automatisch komprimiert, wenn Sie Daten in JMP öffnen.
Öffnen Sie in der JMP-Menüleiste [Datei] > [Einstellungen] und aktivieren Sie in der Kategorie „Allgemein“ die Option „Zeichentypspalten als kompakte Spalten öffnen“ .
Mit dieser Einstellung werden nicht nur JMP-Datentabellen, sondern auch Dateien wie Excel, CSV, TXT usw. beim Öffnen in JMP komprimiert.
*Datenquelle: Kaggle, Immobilienpreise in Japan
Immobilienpreise in Japan (kaggle.com)
*Zugehöriges Video (Japanisch)
„JMP 18“ Neue, nützliche Funktionen für Unternehmen ~Datentabellen, Berichtsausgabe (Japanisch)~ – JMP User Community
von Naoyu Masukawa (JMP Japan)
Naohiro Masukawa – JMP-Benutzergemeinschaft
