Verwalten großer DatenmengenBei einigen Datensätzen, die wir im Laufe der Zeit erfassen, nimmt die Dateigröße weiter zu und die Dinge können sich möglicherweise etwas verlangsamen. Manchmal ist das Aufteilen in mehrere Dateien eine Lösung, aber dann möchten Sie möglicherweise Teile mehrerer Dateien für einen Vergleich, der unpraktisch sein kann.
Ich habe über Virtual Join gelesen, es aber nicht genutzt. Ist dies ein geeigneter Ansatz für diese Situation? Gibt es gute Beispiele für die Implementierung einer JMP-Lösung für diese Art von Problem?
Betreff: Verwalten großer DatenmengenWenn Ihre Datei aufgrund von Verknüpfungen mit anderen Datentabellen größer wird, dann virtuelle Verknüpfungen kann helfen, da die Daten nicht zeilenübergreifend dupliziert werden.
Wenn die Datentabelle jedoch größer wird, wenn mehr Daten angehängt oder verkettet werden, helfen virtuelle Joins nicht wirklich.
Wie wachsen Ihre Datentabellen?
Welche Größe haben Sie am Ende, sowohl in Zeilen als auch in Spalten, aber auch in der Größe auf der Festplatte, wenn Sie als .jmp-Datei gespeichert werden?
Betreff: Verwalten großer DatenmengenEs handelt sich normalerweise um eine verkettete Datei, da im Laufe der Zeit mehr Daten gesammelt werden.
In einer aktuellen Situation, die relativ überschaubar ist, handelt es sich um eine Datei mit einer Größe von 200 KB mit etwa 250 KB Zeilen und 100 Spalten. Ich hatte einige Szenarien mit >> 1 Million Zeilen und 100-300 Spalten.
In diesen extremeren Szenarien können sich die Dinge selbst bei einfachen Grafiken sehr verlangsamen. Ich bin mir nicht sicher, ob es bestimmte Grenzwerte gibt, die wir in Bezug auf Dateigrößen oder Strategien zur Abschwächung der Auswirkungen so vieler Daten vermeiden sollten - wenn ja, würde ich sie gerne hören!Betreff: Verwalten großer DatenmengenDas einzige, was JMP beschleunigt, ist die Verwendung des Befehls Columns zum Komprimieren von Spalten:
Spalten -> Dienstprogramme -> Ausgewählte Spalten komprimieren.
- Bei numerischen Daten sehen Sie keinen Unterschied. Was hinter den Kulissen passiert, ist, dass JMP alle nicht verwendeten Bits entfernt (wir benötigen selten alle 64-Bits zum Speichern von Daten).
- Für kategoriale Daten wird daraus ein Listenprüfung Daher kann die zukünftige Dateneingabe schwieriger sein. Dies reduziert auch den gesamten Platzbedarf der Daten erheblich.
Durch das Komprimieren von Spalten kann die Dateigröße um eine Größe oder mehr verringert werden! Und es beschleunigt die Berechnung in JMP absolut.
Sie können mehr darüber in der lesen JMP-Dokumentation .
