ビッグデータには長い時間がかかるこんにちは、
私は、1000 個の変数、500 個の被験者という大規模なデータセットに JMP を使用しています。 単純な近似モデルの実行には数分などの長い時間がかかります。 私は 64G RAM、4g GPU などを搭載した優れたラップトップを持っています。 JMP を実行すると、使用率が 30% 近くになることはありませんが、それでも、JMP が何かを行うには永遠に時間がかかります。 JMPリアルタイムを優先しました。
助言がありますか？
最高
カミル
高度な統計モデリングデータの探索と視覚化Re: ビッグデータには長い時間がかかりましたこんにちは、カミルさん
ボトルネックは、モデルの適合>標準最小二乗法の実装です。 個別に当てはめても、1000 個のモデルの結果を 1 つのレポートにまとめようとしています。 そしてそれはほんの始まりにすぎません。 私の推測では、これは線形時間で (一度に 1 つずつ) 実行されるため、レポートの生成には 1 つのプロセッサ/スレッドが使用されていると考えられます。 しかし、私は推測しているだけです。
JMP によるコンピュータ リソースの使用方法を指定できるかどうかはわかりません (一部のプラットフォーム ダイアログでプラットフォームごとにマルチスレッドをオフにすることを除く)。 プラットフォームの多くはすでにマルチスレッド化されています (Response Screening もその 1 つであると思います)。 Fit Model > Standard Least Squares についてはよくわかりません。 また、レポート生成はシングルスレッドであると推測しています。 しかし、この状況が舞台裏でどのように機能しているのかを開発者に教えてもらう必要があります。 一部の機能はマルチスレッド化できないため、CPU 容量を最大限に活用できない可能性があります。 記憶も同様です。 大規模なデータ セット (双方向階層クラスターで数千単位) をクラスタリングするだけで、すべてのメモリを消費する可能性があります。 これは主に、グラフィック出力を生成するための情報を保存するためです。
これで JMP がバックグラウンドで何をしているのかが少しでも分かると思います。 可能であれば、その機能/機能/プラットフォームで利用可能なリソースを使用しようとします。
ちなみに、私たちはあなたのような幅広いデータセットに対応できるように JMP Pro の機能強化を続けています。 [モデルの適合] > [混合モデル] は、レポートを破棄してテーブルのみを表示する赤い三角オプションがある一例です。 これにより、数千の応答に混合モデルを迅速に適合させることができますが、グラフィックベースのレポートは提供されません。
Re: ビッグデータには長い時間がかかりましたこんにちは、クリスさん
私はJMP 17 Proを持っています。 ヒントをありがとう。 これにより処理が高速化されます。 それでも、JMP がコンピュータの容量をより多く使用できるようにする方法/設定はありますか? 何がボトルネックなのかを理解しようとします。
最高
カミル
Re: ビッグデータには長い時間がかかりましたこんにちは@カミル、
JMP のどのバージョンを使用していますか? 適合モデルの応答スクリーニング パーソナリティを試したことがありますか? JMP Pro をお持ちであれば、この個性が備わっています。 JMP のみの場合、応答スクリーニングは、[分析] > [スクリーニング] > [応答スクリーニング] にあります (この方法では、一度に 1 つのモデル効果のみをテストできます)。 Response Screening はこれを行うために特別に設計されており、非常に高速です。
Re: ビッグデータには長い時間がかかりましたこんにちは、P_Bartell さん、みなさん。
ご返答ありがとうございます。 これがメタボロミクスデータです。 500 人の被験者 (行) で測定された列としての 1000 の連続変数。 私が実行しようとしていた適合モデルは、共変量を使用した遺伝子型 (2 つのカテゴリ グループのみ) 効果の t 検定です。 つまり、Y のすべての代謝物と、モデル効果としての私の遺伝子型、BMI、性別、年齢です。 別々にフィットします。
これらの操作中にコンピューターが最大限の能力を発揮できない理由を理解しようとしています。 CPU は 30% で、RAM は 10% である可能性があります。 ここでのボトルネックは何でしょうか? コンピュータをさらに活用できるように JMP をセットアップできますか?
ありがとう
カミル
Re: ビッグデータには長い時間がかかりましたまた、それは数値データですか、それとも文字列ですか? 文字列の場合、文字列を含む変数はいくつありますか?また、文字列の性質は何ですか?
Re: ビッグデータには長い時間がかかりました少し付け加えると、 @peng_liuさんの考えですが、「変数」の性質など、データについてもう少し詳しく教えていただければ、ガイダンスを提供するのに役立つかもしれません...すべて x および/または y はいくつですか? 「変数」と「主題」を区別して説明してください。 一部のプラットフォームでは、データ型も処理時間に影響を与える可能性があります。 また、「単純適合モデル」では、実際にどの性格を選択したかはわかりません。 他のものよりも時間がかかるものもあります。 各プラットフォーム ダイアログにはモデルが必要です。 モデルの構造を教えていただけますか? 最後に、モデリングの目的について詳しく教えてください。 「...1000 個の変数...」は、モデリングの目的が変数の特定である場合、モデルとその中のパーソナリティのいずれかを適合させる場合に検討する最後のプラットフォームである可能性があります。
Re: ビッグデータには長い時間がかかりました使用率が 30% と言ったのは CPU ですか? メモリサイズについて話しているわけではないと思います。 データのサイズ (または複雑さ) の割にパフォーマンスが遅い、特定のモデリング タイプについて話していると思います。 たとえば、最小二乗法ではこのような問題は発生しないはずですが、他の方法では発生する可能性があります。
Re: ビッグデータには長い時間がかかりましたスクリプトで実行している場合は、メモリのアドレス指定時間を節約するために、データ テーブルをプライベート モードで開いていることを確認してください。
他のアプリケーションをすべて閉じて、できるだけ多くの RAM を使用できるようにし、スワップを排除します。
