擬合模型平台中的多線程對於非常大的數據集,具有許多“按”變量的擬合模型的性能有限。假設模型執行沒有耗盡內存,則處理時間很慢。例如:一個 5000 萬行數據文件,其中 X 和 Y 坐標作為模型效果,Z 坐標作為 Y 變量以適應 1000 個不同的“按”變量,在具有 256GB RAM 和多個處理器的系統上將失敗。 (內存是在這裡殺死它的原因,但假設我們有無限的 RAM,計算時間仍然很慢,因為它是單線程的)
希望擬合模型平台將模型計算捆綁成更小、更易於管理的“按”變量批次,並利用多線程處理工作負載,直到所有“按”變量都生成響應。 在我正在使用的特定情況下,個性是“標準最小二乘”,重點是“最小報告”。 生成響應後,我將捕獲殘差值和預測值,這也需要時間來更新到數據表。

是否有機會更有效地管理大型數據集的擬合模型工作負載?
謝謝,
瑞安
統計和分析