Fit Model 平台中的多线程对于非常大的数据集，使用许多“By”变量的拟合模型性能有限。假设模型执行不会耗尽内存，处理时间会非常慢。例如：一个 5000 万行数据文件，其中 X 和 Y 坐标作为模型效果，Z 坐标作为 Y 变量，以 1000 个不同的“By”变量进行拟合，在具有 256GB RAM 和多个处理器的系统上会失败。（内存是这里的关键，但假设我们有无限的 RAM，计算时间仍然非常慢，因为它是单线程的）
希望 Fit Model 平台将模型计算打包成更小、更易于管理的“By”变量批次，并利用多线程处理工作负载，直到所有“By”变量都生成响应。在我处理的特定案例中，个性是“标准最小二乘法”，重点是“最小报告”。生成响应后，我将捕获残差值和预测值，这也需要时间才能更新到数据表中。
是否有机会更有效地管理大型数据集的拟合模型工作负载？
谢谢你，
瑞安
内容组织数据混合和清理数据探索与可视化大规模定制质量与工艺工程
