如何跟踪模型性能?你好
我基于数百个实验室数据使用很少的工艺参数开发了一种产品的粘度模型。
现在模型已经构建,跟踪其性能随时间推移的最佳方法是什么? 控制图 ?
我们继续频繁地进行实验室分析,以便我们可以查看分析值与预测值。
预先感谢您的建议。
分析回复:如何跟踪模型性能?有趣...这是我最初的想法:
首先,如何构建模型(例如,GLM、逐步、PLS、神经)? 其次,您跟踪一段时间内绩效的目的是什么? 您是否打算使用它来对预测的偏差做出反应? 多少偏差会引起你的反应? 你会有什么反应? 将模型中的 X 绘制成图表(更具预测性)不是更好吗?
如果模型构建是基于观察数据,您是否尝试过实验来确认模型是因果关系还是相关关系?
您是想改进模型(例如,确定要包含在模型中的其他变量或高阶项)还是只是评估模型的一致性? 您想扩展推理空间以包含其他产品吗?我想你可以策划残差随着时间的推移(例如,X、MR 图表)。 你绘制什么以及如何绘制是你想要通过“跟踪”完成的功能。
出于好奇,您是否评估了测量系统? 这是使用控制图方法的好机会(并且可以更好地确定校准频率)。
回复:如何跟踪模型性能?明显的比较是实际值与预测值的散点图。 您可以添加 Y=X 行以供参考。@statman的建议涉及到预测的稳定性。 您还可以使用过程能力(预测是一个过程)来帮助评估适用性。