Lange Zeit für Big DataHallo,
Ich verwende JMP für größere Datensätze, 1000 Variablen und 500 Probanden. Die Ausführung eines einfachen Anpassungsmodells dauert lange, etwa ein paar Minuten. Ich habe einen guten Laptop mit 64 GB RAM, 4 GB GPU usw. Wenn JMP ausgeführt wird, erreicht nichts auch nur annähernd 30 % Auslastung, dennoch dauert es ewig, bis JMP etwas tut. Ich habe JMP Realtime Priorität gegeben.
Irgendwelche Vorschläge?
Am besten
Kamil
Erweiterte statistische ModellierungDatenexploration und -visualisierungBetreff: Lange Zeit für Big DataHallo Kamil,
Der Engpass ist die Implementierung von „Modell anpassen“ > „Standard-Kleinste-Quadrate“. Auch bei separater Anpassung wird versucht, 1000 Modellergebnisse in einem einzigen Bericht zusammenzufassen. Und das ist erst der Anfang. Ich vermute, dass dies in linearer Zeit geschieht (eins nach dem anderen), sodass ein Prozessor/Thread zum Generieren des Berichts verwendet wird. Aber ich rate nur.
Ich bin mir nicht sicher, ob Sie angeben können, wie Computerressourcen von JMP verwendet werden (außer, um Multithreading in einigen Plattformdialogen für jede Plattform zu deaktivieren). Viele der Plattformen sind bereits multithreaded (ich denke, Response Screening könnte eine davon sein). Ich bin mir bei „Modell anpassen“ > „Standard-Kleinste-Quadrate“ nicht sicher. Ich vermute auch, dass die Berichtserstellung Single-Threaded ist. Aber ich bräuchte einen Entwickler, der mir sagt, wie diese Situation hinter den Kulissen funktioniert. Einige Funktionen können nicht multithreaded ausgeführt werden, sodass eine maximale Auslastung der CPU-Kapazität möglicherweise nicht möglich ist. Beim Gedächtnis ist es ähnlich. Sie können Ihren gesamten Speicher verbrauchen, indem Sie einfach große Datensätze (1000 mal 1000 in einem bidirektionalen hierarchischen Cluster) gruppieren. Dies dient hauptsächlich der Speicherung der Informationen zur Generierung der grafischen Ausgabe.
Ich hoffe, dass dies einen Eindruck davon vermittelt, was JMP im Hintergrund tut. Es versucht, sofern möglich, alle für diese Funktion/Fähigkeit/Plattform verfügbaren Ressourcen zu nutzen.
Übrigens verbessern wir JMP Pro weiterhin, um große Datensätze wie Ihren zu unterstützen. „Modell anpassen“ > „Gemischte Modelle“ ist ein Beispiel, bei dem wir über die Option „Rotes Dreieck“ verfügen, um Berichte zu verwerfen und nur Tabellen anzuzeigen. Dies ermöglicht die schnelle Anpassung eines gemischten Modells an Tausende von Antworten, liefert jedoch keinen grafisch basierten Bericht.
Betreff: Lange Zeit für Big DataHallo Chris,
Ich habe JMP 17 Pro. Danke für den Tipp. Das macht die Sache schneller. Gibt es dennoch eine Möglichkeit/Einstellung, die es JMP ermöglicht, mehr von meiner Computerkapazität zu nutzen? Ich versuche zu verstehen, was ein Engpass ist.
Am besten
Kamil
Betreff: Lange Zeit für Big DataHallo @Kamil ,
Welche JMP-Version verwenden Sie? Haben Sie das Response Screening Personality in Fit-Modell ausprobiert? Wenn Sie über JMP Pro verfügen, ist diese Persönlichkeit vorhanden. Wenn nur JMP, finden Sie das Antwort-Screening unter Analysieren > Screening > Antwort-Screening (mit dieser Methode kann jeweils nur ein Modelleffekt getestet werden). Response Screening wurde speziell dafür entwickelt und ist sehr schnell.
Betreff: Lange Zeit für Big DataHallo P_Bartell und alle,
Danke für Ihre Antwort. Das sind also metabolische Daten. 1000 kontinuierliche Variablen als Spalten, gemessen in 500 Probanden (Zeilen). Das Anpassungsmodell, das ich ausführen wollte, ist lediglich ein T-Test für den Genotypeffekt (nur zwei kategoriale Gruppen) mit Kovariaten. Also alle meine Metaboliten in Y und mein Genotyp, BMI, Geschlecht und Alter als Modelleffekte. Separat montieren.
Ich versuche zu verstehen, warum mein Computer während dieser Vorgänge nicht voll ausgelastet ist. Meine CPU ist bei 30 % und mein RAM möglicherweise bei 10 %. Was ist hier der Engpass? Kann ich JMP so einrichten, dass mehr von meinem Computer genutzt wird?
Danke
Kamil
Betreff: Lange Zeit für Big DataHandelt es sich außerdem um numerische Daten oder Zeichenfolgen? Wenn Strings, wie viele Variablen enthalten Strings und was ist die Natur eines Strings?
Betreff: Lange Zeit für Big DataUm etwas hinzuzufügen @peng_liu Denken Sie, es könnte uns helfen, Orientierung zu geben, wenn Sie uns etwas mehr über Ihre Daten erzählen, wie zum Beispiel die Art der „Variablen“ ... alle sind es alle x und/oder wie viele y? Bitte unterscheiden/erklären Sie eine „Variable“ und ein „Thema“. Auf einigen Plattformen kann auch der Datentyp eine Rolle bei der Verarbeitungszeit spielen. Und das „Simple-Fit-Modell“ verrät uns nicht, für welche Persönlichkeit Sie sich tatsächlich entschieden haben. Einige können auch länger dauern als andere. Für jeden Plattformdialog ist ein Modell erforderlich. Können Sie uns sagen, wie Ihre Modellstruktur aussieht? Zum Schluss noch mehr über Ihre Modellierungsziele? Wenn Ihr Modellierungsziel die Identifizierung von Variablen ist, ist „...1000 Variablen...“ wahrscheinlich die letzte Plattform, die ich mir ansehen würde, wenn ich das Modell und die darin enthaltenen Persönlichkeiten anpassen möchte.
Betreff: Lange Zeit für Big DataWenn Sie 30 % Auslastung sagten, ist das CPU? Ich vermute, dass Sie nicht über die Speichergröße sprechen. Ich denke, Sie sprechen von einem bestimmten Modellierungstyp. Angesichts der Größe (oder Komplexität) Ihrer Daten ist die Leistung langsam. Beispielsweise sollten bei der Methode der kleinsten Quadrate solche Probleme nicht auftreten, bei anderen Methoden jedoch möglicherweise.
Betreff: Lange Zeit für Big DataWenn Sie dies in Skripten tun, stellen Sie sicher, dass Sie Datentabellen im privaten Modus öffnen, um Zeit für die Speicheradressierung zu sparen.
Schließen Sie alle anderen Anwendungen, damit Sie so viel RAM wie möglich zur Verfügung haben und ein Austauschen vermieden wird.
