拟合模型平台中的多线程对于非常大的数据集，具有许多“按”变量的拟合模型的性能有限。假设模型执行没有耗尽内存，则处理时间非常慢。例如：一个 5000 万行数据文件，其中 X 和 Y 坐标作为模型效果，Z 坐标作为 Y 变量以适应 1000 个不同的“按”变量，在具有 256GB RAM 和多个处理器的系统上将失败。 （内存是在这里杀死它的原因，但假设我们有无限的 RAM，计算时间仍然很慢，因为它是单线程的）
希望拟合模型平台将模型计算捆绑成更小、更易于管理的“按”变量批次，并利用多线程处理工作负载，直到所有“按”变量都生成响应。 在我正在使用的特定情况下，个性是“标准最小二乘”，重点是“最小报告”。 生成响应后，我将捕获残差值和预测值，这也需要时间来更新到数据表。
是否有机会更有效地管理大型数据集的拟合模型工作负载？
谢谢，
瑞安
统计和分析
