部署模型你好
致所有人。
在附加的2个jmp文件中。 一个名为Training-validation-test的训练用于建立具有以下结果的RF模型。
该文件包含一个数值响应和20个不同的预测变量，其中之一是分类的。预测变量是传感器值。
如您所见，偏差非常好，而方差略高（92-69 = 23％）。
然后，使用一个新的数据库，其中包含模型从未见过的示例，用于模拟算法在新数据上的部署。
出乎意料的是，结果的确很差，R2在预测响应与实际响应之间接近零。 我们无法理解这种行为。 毕竟，测试数据的R2 = 68％似乎还不错。 因此，我们期望确保获得的R2大于零。
请任何帮助/评论，欢迎。
费利斯吉安
分析工具回复：部署模型我同意@dale_lehman ，新数据有所不同。
我能够拟合类似的模型，但在处理新数据时也做得很差。
散点图矩阵显示了一些细节，例如X5使用很小的原始数据范围，与X11相同...
在两张图片中，都选择了新数据。 也许这可以帮助您找到差异的原因。
回复：部署模型嗨戴尔和乔治
感谢您的回复。
实际上，对我而言，每个预测变量的两种分布之间的差异似乎并没有太大差异（请参见附图中的直方图。 使用bls可以指示Training-Val-Test集合，并表示模型从未见过的集合）。 也许X20在以前从未见过的数据中显示了一个新的峰值。 但是剩余的分布只比以前的分布少。
如果训练集的预测变量的分布范围大于测试集的分布范围，则该模型应“访问”测试集的预测变量所占据的相空间。 正确的？ 那么，为什么要做出错误的预测呢？
无论如何，我通过随机选取2000个实例（而不是随机森林模型所见的最后2000个实例，并经过训练后能够正确预测响应）来确认（即使对我们来说这很奇怪）。 因此，如果在平均值/标准差方面的微小差异在预测性能方面产生了很大的差异，我们如何在信号连续变化的生产中使用这些模型呢？
Rgds。菲利斯/吉安
回复：部署模型现在，我更加仔细地看，我看到这是时间序列数据。从我的最初观点来看，该过程似乎并未发生重大变化。但是，我认为问题在于，训练验证测试范式实际上不适用于时间序列数据。我建议创建一个不同的时间段（例如，第一个数据集的最后一个月）作为验证集并重新估算模型。我的猜测是，如果以这种方式估算模型，则验证时模型性能以及从未见过的数据应该会更加相似。我仍然担心两个数据集中X变量之间的显着差异-它可能需要一些更复杂的时间序列建模（例如，对潜在的季节性进行建模）。
回复：部署模型同时，我认为我将无法为数据拟合有效/合理的模型。
我的第一种方法是生成由Xs表示的验证列。
来自的时间序列提示@dale_lehman很有用，所以我也按时间序列的方式查看了数据，
意识到随着时间的推移，Xes的组合会发生变化。 在这里，我再次觉得“新”是与众不同的。 是的，Xes覆盖相同的范围，但这还不够。 我认为，“ New”中的组合是不同的，也就是说，这是一种推断。 对于回归而言，这不是问题，但是对于RF这样的方法而言，这很重要（模型是多维的并且高度非线性，因此很难看清内部）。
另一方面，我无法使用任何其他方法（神经网络，Boosted Tree）来拟合合理的模型。 在我看来，我们在X列中没有适当的信息来建立实体模型。
因此，我将研究过程的物理原理或它的本质，
- Xes如何/可以改变Y，
- 可能是什么声音
- 是什么使事情随着时间而变化，并将其包含到数据集中。
- 而且我对数据结构也很好奇，有些参数的行有相同的日期和相同的值
令我惊讶的是，当我创建一个按时间分层的验证列时，我得到了相同的结果（第一部分的模型合理，没有包含新数据的模型）。
祝你好运，
回复：部署模型我有几点建议。首先，我将尝试先区分您的响应变量，然后再尝试随机森林。对我来说，这是最简单的时间序列数据处理方法-如果以这种方式查看数据，则数据表现可能会更好。我仍然会手动将验证集创建为最后一个时间段，而不是随机选择行。第二个想法是您注意到的东西-有时间分组，例如时间上紧密联系的多个观测值。您可以考虑通过汇总与时间密切相关的观测值来使时间序列统一。如果统一测量时间变量，则时间序列的表现会更好，这意味着您的数据将需要汇总为等间隔的时间间隔。正如您所建议的，现在该回头考虑一下要测量的内容以及如何进行测量了。
回复：部署模型嗨乔治和戴尔
非常感谢您的回答。 我看了看所有预测变量和响应的滞后图，而令我大吃一惊的是，我发现了很长的自相关性（参见附图）。
由于数据来自半导体晶圆厂，因此ACF中可见的值25与很多晶圆的数量有关。
相反，在滞后图中的轮廓线只是装在蛋白粉中的不同批次的第一批晶圆。 我认为自相关是由于我们机器中存在的内部反馈来保持工作点。 当然，这些调整隐藏在会议厅内，而不在我们的控制和理解之下。 回应也显示出明显的滞后，我无法解释。 但是在那里。
我尝试使用滞后，移动平均，平滑和其他预测因子功能进行工程设计，但结果仍然非常糟糕。
下一步，我想尝试Dale建议的区别。 您是否相信简单的差异X（t）-X（t-1）就足够了？
乔·菲利斯
回复：部署模型PACF图表明前两个滞后是相关的-到目前为止，第一个滞后是最重要的。因此，我认为尝试进行简单的一阶微分将是一件好事。机器学习模型之一（例如，RF，增强树，神经网络）可能会表现良好，所以我会尝试一下。但是，您还应该尝试一些更标准的时间序列模型（在这里您将不使用差分，因为时间序列模型是通过各种方式考虑自相关的）。从理论上讲，如果您使用一阶差分（并且这在很大程度上消除了时间结构），则可以为模型使用随机的训练验证测试集。至少，这就是我的想法-其他人可能更了解。
