现有模型的评估大家好，
我创建了一个预测模型，最近我在 QC 的同事不得不更改他们的一种成分（模型中的众多变量之一），以继续对他们的产品进行批量处理。 我想评估现有模型而不是对其进行微调，因为还没有足够的数据，更改它会降低准确性。 他们使用新成分得到了新的测量响应，我可以用它来比较模型预测。 这是评估我的模型的一种方法。 但我想知道 JMP 是否已经有任何我可以使用的工具来做到这一点，或许还可以进行更深入的挖掘。 任何来自统计过程控制 (SPC) 图表？！
任何建议都将受到高度赞赏。
回复：现有模型的评估@statman非常感谢您的链接、这本书以及您再次抽出时间。
1、根据筛选因子和贡献因子栏来看显着。 新成分来自不同的供应商。 它仍然在同一类型的 ASTM 限制范围内。 是的，我可以实验。 我会在不久的将来这样做。
1. 是的，我知道这一点。 Boosted Tree 可能不会给我调整后的 R2。
2. 是的，显然对于达美航空来说。 我的意思是使用哪个增量。 但这似乎是基于我自己的决定...再次感谢。
回复：现有模型的评估请参见单变量等价有关此测试的信息，请参阅发行版。 看单向等价有关 Oneway 的信息。
回复：现有模型的评估后续讨论：
1. 先前模型中先前化学物质的重要性如何？ 新化学品有何不同？ 你能尝试一下这个变量来看看它的效果吗？
1. R^2 与模型的准确性无关。 R^2 是模型解释的数据集中的变化量。 R^2 不应单独计算。 您应该将 R^2 与调整后的 R^2 进行比较。 随着模型自由度的增加（模型中显然有很多 DF），R^2 总是会增加，但重点是模型中仅包含重要变量。 R^2 调整考虑了模型中不重要的项，因此您希望 R^2 和 R^2 调整之间的增量最小。
2. 要在先前模型（第 1 列）和新模型（第 2 列）之间创建一列增量，只需使用减去 2 列的公式创建一列。
要深入了解如何使用控制图，您应该阅读：
唐纳德·惠勒和大卫·钱伯斯 (1992)“了解统计过程控制” SPC 出版社 (ISBN 0-945320-13-2)
对于发行版： https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
回复：现有模型的评估@马克贝利非常感谢您的回答。 是否有任何页面可以让我查看示例以及如何在 JMP 中运行该示例？ 非常感激。
回复：现有模型的评估谢谢@statman和@马克贝利。 我继续回答您的问题，并希望我能得到您最终的最佳想法/解决方案。 我再次感谢您的时间和善意帮助：
1.我认为当前的模型（Boosted Tree）运行良好。 R2 为 92%，我用新测量的响应检查了它的预测，QC 非常高兴。 我所指的反应是来自相同30种成分的产品。 最近只有一种成分发生了变化，因为他们无法进口它，并且正在使用替代品。
2. 我想我在#1 中回答了这个问题。 因此，我创建的唯一模型使用了我们多年来一直在使用的 30 个变量。 其中一种最近必须更换，它是一种类似的类型，但化学成分略有不同。
3.哦，对不起。 模型中没有删除任何内容。 我想检查我创建的唯一模型是否仍能可接受地预测响应。
4. 我希望与之前的模型具有相同的精度。 92% R2 用于训练、验证和测试集。 这是一个很棒的模型。 如果我想使用先前的 29 个变量和新成分（总共 30 个）创建一个新模型，我将没有足够的数据集来训练一个好的模型。 所以我至少要等一年才能拿出足够的数据。关于增量，如何计算它以检查是否保持相同的精度？ 我可以使用菜单中的模型比较吗？
所以我认为你的最后一段非常有趣。 有没有关于如何在这些图表中应用预测公式的示例？
我是这些图表的新手。 另外，你所说的分布摘要是什么意思？ 抱歉我有点困惑。
回复：现有模型的评估添加到@statman ，你想证明等价成分改变后验证当前模型仍然准确。 这一目的推翻了零假设和替代假设。 您可以使用 Distribution 或 Oneway 平台执行等效性测试。 您需要说明结果被认为实际上相同的时间间隔。
回复：现有模型的评估一些想法和问题：
1. 如何出色地在成分改变之前，您的预测模型有效吗？
2. 当前的模型是否使用了完全不同的成分，或者从科学理论的角度来看它是否“相关”？
3.我不确定你所说的“微调”模型是什么意思？ 如果您从模型中删除了某个变量，则该模型在模型中其他项的 beta 系数方面可能会完全不同。 当从模型中删除该项时，模型对历史数据的精度会发生什么变化？
4. 我认为你的想法是，有一列包含当前预测值（来自你的公式），一列包含测量的响应变量，一列是 2 的增量，这将是一种简单的比较方法。 有多少差异对您来说很重要？
控制图是一种诊断。 它们的目的是比较不同的变化来源并确定最大的影响力在哪里。 他们通过首先评估比较基础的稳定性（范围图 - 评估子组内变异源作为以该频率变化的变量的函数的稳定性）来做到这一点。 然后比较这些来源对研究中其他来源的响应变异性的影响（x 条形图 - 它将子组内变异（控制限）与子组间变异源进行比较。
现在，您可以对成分更改之前的流程进行采样（如果您只是快速浏览而不是寻找诊断，您可以使用时间序列数据的 MR、X 图表）和流程更改成分后，看看反应是否有明显变化。 您还可以查看分布摘要以获得图形外观。
