Verwalten großer DatenmengenBei manchen Datensätzen, die wir im Laufe der Zeit sammeln, nimmt die Dateigröße immer weiter zu und irgendwann kann es etwas langsamer werden. Manchmal ist die Aufteilung in mehrere Dateien eine Lösung, aber dann benötigen Sie möglicherweise Teile mehrerer Dateien für einen Vergleich, was unpraktisch sein könnte.
Ich habe von Virtual Join gelesen, es aber noch nicht genutzt. Ist dies ein angemessener Ansatz für diese Situation? Gibt es gute Beispiele für die Implementierung einer JMP-Lösung für diese Art von Problem?
Betreff: Verwaltung großer DatenmengenDas Einzige, was JMP beschleunigt, ist die Verwendung des Columns-Befehls zum Komprimieren von Spalten:
Spalten -> Dienstprogramme -> Ausgewählte Spalten komprimieren.
- Bei numerischen Daten werden Sie keinen Unterschied feststellen. Was hinter den Kulissen passiert, ist, dass JMP alle nicht verwendeten Bits entfernt (wir benötigen selten alle 64 Bit zum Speichern von Daten).
- Bei kategorialen Daten wird daraus ein Listenprüfung Daher kann die zukünftige Dateneingabe schwieriger sein. Außerdem wird dadurch der Gesamt-Footprint der Daten erheblich reduziert.
Das Komprimieren von Spalten kann die Dateigröße um ein Vielfaches oder mehr reduzieren! Und es beschleunigt die Berechnungen in JMP absolut.
Mehr dazu können Sie im lesen JMP-Dokumentation .
Betreff: Verwaltung großer DatenmengenNormalerweise handelt es sich um eine verkettete Datei, da im Laufe der Zeit immer mehr Daten erfasst werden.
In einer aktuellen Situation, die ich habe, ist das relativ überschaubar, es handelt sich um eine 200 KB große Datei mit etwa 250 KB Zeilen und 100 Spalten. Ich hatte einige Szenarien mit >>1 Million Zeilen und 100–300 Spalten.
In diesen extremeren Szenarien kann es sogar bei der Erstellung einfacher Diagramme zu erheblichen Verzögerungen kommen. Ich bin mir nicht sicher, ob es bestimmte Beschränkungen gibt, die wir in Bezug auf Dateigrößen oder Strategien zur Abmilderung der Auswirkungen so vieler Daten vermeiden sollten – wenn ja, würde ich sie gerne hören!Betreff: Verwaltung großer DatenmengenWenn Ihre Datei aufgrund von Verknüpfungen mit anderen Datentabellen größer wird, dann virtuelle Verbindungen kann hilfreich sein, da die Daten nicht zeilenübergreifend dupliziert werden.
Wenn die Datentabelle jedoch größer wird, je mehr Daten angehängt oder verkettet werden, helfen virtuelle Verknüpfungen nicht wirklich.
Wie wachsen Ihre Datentabellen?
Welche Größe haben Sie am Ende, sowohl in Zeilen und Spalten als auch in der Größe auf der Festplatte, wenn sie als .jmp-Datei gespeichert werden?
