Fit 模型平台中的多線程對於非常大的資料集，具有許多“By”變數的擬合模型的性能有限。假設模型執行沒有耗盡內存，處理時間會相當慢。例如：一個 5000 萬行資料文件，其中 X 和 Y 座標作為模型效果，Z 座標作為 Y 變量以適應 1000 個不同的“By”變量，在具有 256GB RAM 和多個處理器的系統上將失敗。 （內存是這裡的致命因素，但假設我們有無限的 RAM，計算時間仍然非常慢，因為它是單線程的）
希望擬合模型平台將模型計算捆綁到更小、更易於管理的「By」變數批次中，並利用多執行緒處理工作負載，直到所有「By」變數產生回應。在我正在處理的特定案例中，個性是“標準最小二乘法”，重點是“最小報告”。產生回應後，我將捕獲殘差值和預測值，這也需要時間來更新資料表。
是否有機會更有效地管理大型資料集的擬合模型工作負載？
謝謝你，
瑞安
內容組織資料混合與清理數據探索和視覺化大規模客製化品質和工藝工程
