非常に大きなデータ セットの場合、多数の「By」変数を持つモデルの適合ではパフォーマンスが制限されます。モデルの実行でメモリが不足しない限り、処理時間は非常に遅くなります。たとえば、X 座標と Y 座標をモデル効果として、Z 座標を Y 変数として 1000 個の異なる「By」変数に適合させる 5000 万行のデータ ファイルは、256 GB の RAM と複数のプロセッサを備えたシステムでは失敗します。(ここではメモリが問題ですが、無限の RAM があると仮定すると、シングル スレッドであるため、計算時間は非常に遅くなります)
希望としては、フィット モデル プラットフォームでモデル計算をより小さく管理しやすい「By」変数のバッチにまとめ、すべての「By」変数に応答が生成されるまで、マルチスレッドを使用して作業負荷を処理することです。私が作業している特定のケースでは、パーソナリティは「標準最小二乗法」、重点は「最小レポート」です。応答が生成されると、残差値と予測値がキャプチャされますが、これもデータ テーブルに更新するのに時間がかかります。
大規模なデータ セットに対して、Fit Model の作業負荷をより効率的に管理する機会はありますか?
ありがとう、
ライアン
