非常に大きなデータセットの場合、多くの「By」変数を持つFitModelのパフォーマンスは制限されます。モデルの実行でメモリが不足しないと仮定すると、処理時間は非常に遅くなります。例：モデル効果としてX座標とY座標を持ち、1000個の異なる「By」変数に適合するY変数としてZ座標を持つ5000万行のデータファイルは、256GBのRAMと複数のプロセッサを備えたシステムで失敗します。 （メモリはここでそれを殺すものですが、無限のRAMがあると仮定すると、シングルスレッドであるため、計算時間はまだ非常に遅いです）
Fit Model Platformが、モデル計算をより小さく、より管理しやすい「By」変数のバッチにバンドルし、マルチスレッドを利用して、すべての「By」変数が応答を生成するまで作業負荷を処理することを望んでいます。 私が取り組んでいる特定のケースでは、パーソナリティは「標準最小二乗法」であり、強調は「最小限のレポート」です。 応答が生成されたら、残差値と予測値をキャプチャします。これもデータテーブルの更新に時間がかかります。
大規模なデータセットに対して、Fit Modelの作業負荷をより効率的に管理する機会はありますか？
ありがとう、
ライアン
