Tipps, wie Sie eine große Datentabelle kleiner/leichter/schneller machen<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hat jemand Tipps, wie man einen Tisch schneller fertigen kann?Ich arbeite mit etwa 300 Millionen Zeilen und frage mich nur, ob es irgendwelche Tipps gibt, damit es nicht so hart arbeiten muss.
Ich habe zum Beispiel versucht, einige Bedingungsspalten (mit den Werten 1, 2, 3, 4, ...) von Zeichen in Zahlen umzuwandeln, wobei ich dachte, dass Ints kleiner als Zeichen wären und die Tabelle dadurch tatsächlich langsamer und größer würde.Sind einige Daten-/Modellierungstypen von Natur aus kleiner als andere?Oder wirklich alles, was irgendjemand gefunden hat, was die Arbeit mit diesem Ding erleichtern könnte.
Ich versuche derzeit, meine Datenspalten mit int-Werten von 0 bis 255 zu unterteilen und nur eine Häufigkeitsspalte zu haben.Aber wenn ich die Daten in voller Auflösung benötige, kann ich dann irgendetwas tun?
Betreff: Tipps, um eine große Datentabelle kleiner/leichter/schneller zu machenNate & Vince,
Ich habe das zuvor an einer großen Datentabelle ausprobiert. Abgesehen davon, dass eine Datentabelle unsichtbar gemacht wird, kann man auch versuchen, die Datentabelle zur weiteren Optimierung privat zu machen (auch hier kann es zu Kompromissen kommen).
1. Unsichtbar
2. Privat
Dasselbe zeigt auch der folgende Webcast von Brady (ein kleiner Teil davon).
JMP-Skriptsprache für erfahrene JSL-Benutzer – Teil 1 | JMP
Betreff: Tipps, um eine große Datentabelle kleiner/leichter/schneller zu machenVince,
Ich werde die Tatsache ausnutzen, dass ich einige Beiträge gesehen habe, in denen Sie Skripte erstellen.Wenn Sie bereits mit den vorhandenen Datentypen vertraut sind und einige Vorstellungen davon haben, welche Berichte/Analysen Sie für den größeren Datensatz durchführen möchten, warum probieren Sie nicht die Option „Unsichtbar“ beim Öffnen aus?Wenn Sie eine Datentabelle unsichtbar öffnen (und unsichtbar halten), werden die E/A-Vorgänge in der Anzeige gespeichert.
Community-Diskussion:
https://community.jmp.com/thread/59784
Begleitdokument:
http://www.jmp.com/support/help/Basic_Data_Table_Scripting.shtml#Invisible
Skript-Anleitung:
Grüße,
Nate
Betreff: Tipps, um eine große Datentabelle kleiner/leichter/schneller zu machenNun, das macht alles einfach.Danke
Betreff: Tipps, um eine große Datentabelle kleiner/leichter/schneller zu machenjeff.perkinson ist die richtige Strategie. Der Schlüssel liegt darin, die richtige Bytegröße zu ermitteln – was „Ausgewählte Spalten komprimieren“ für Sie erledigt.Sie können die Dateigröße auf der Festplatte auch reduzieren, indem Sie die Funktion „Datei beim Speichern komprimieren“ unter dem roten Dreieck ganz oben links im Skriptbereich der Datentabelle verwenden.Eine dritte Option, die mir für die Arbeit mit textbasierten Kategorien gefällt, ist dieses Add-in: https://community.jmp.com/docs/DOC-6111
am besten,
M
Betreff: Tipps, um eine große Datentabelle kleiner/leichter/schneller zu machenVersuchen Spalten->Dienstprogramme->Ausgewählte Spalten komprimieren . Es prüft die in den ausgewählten Spalten gespeicherten Daten und prüft, ob es ein kompakteres Format zum Speichern gibt.
Aus JMP-Tabellen- und Spaltenkomprimierung :
Folgendes bewirkt „Ausgewählte Spalten komprimieren“:
- Es fügt der Zeichenspalte eine Listenprüfung (Standardreihenfolge) hinzu, wenn die Spalte vorhanden ist hat weniger als 255 unterschiedliche Werte.
- Ändern Sie numerische Spalten in die kleinste 1-Byte-, 2-Byte- oder 4-Byte-Ganzzahl, wenn alle Werte in der Spalte gespeichert werden können . Es werden nur Spalten mit ganzzahligen Werten überprüft.
- Für 1-Byte-Ganzzahlen liegt der Zahlenbereich, den Sie speichern können, zwischen -126 und 127.
- Für 2-Byte-Ganzzahlen liegt der Zahlenbereich, den Sie speichern können, zwischen -32.766 und 32.767.
- Für 4-Byte-Ganzzahlen liegt der Zahlenbereich, den Sie speichern können, zwischen -2.147.483.646 und 2.147.483.647.
- Die Spalten werden nicht geändert, wenn sie bereits über eine Listenprüfung verfügen.
