最终屏幕设计 (DSD) 模型确认大家好，
我设计了一个包含以下信息的 DSD：
- 设计：7 个连续因素和 1 个分类因素，22 次运行
- 功效和相关性设计评价：非常好
- 通过 Fit Definitive Screening 拟合模型：非常好
- RMSE = 0.2803，RSq = 0.997，P值<0.001)
- 失拟：无（F 比 191，概率 > F = 0.0561）
- 残差和学生化残差都很好
- 模型结构：
- 包含 5 个主因子、4 个二次因子和 1 个交互因子
- 模型确认：尝试几次运行（点）以达到最大合意性
由于资源限制，我们可以运行 5 到 10 次确认运行。
请指教：
- 差异的潜在原因是欠拟合还是过拟合？
- 改进/优化模型的方法或程序
谢谢。
实验设计回复：最终屏幕设计（DSD）模型确认你好@P_Bartell ,
你的评论很有启发性。 我真的很感谢你指出DSD 首先是筛选设计。 是的，这是人们想要从中获得更多收益之前的主要目标。
耦合与@马克贝利关于仿真软件的确定，我要质疑准确预测模型的必要性，而我们现在从DSD知道了方向，可以从仿真软件中得到准确的答案。
谢谢你这么愉快的写作。 享受你的假期。
回复：最终屏幕设计（DSD）模型确认好吧……我无法抗拒。 我一直在旁观这个话题……但现在我情不自禁了。@禅车您在上一篇文章中提出的问题是本文的核心。 DSD 首先是筛选设计。 用于预测目的的 DOE 是完全不同的东西。 我对 DOE 从业者最讨厌的一个问题是，他们从一个实际问题开始，该问题从根本上说是一组响应的优化目标……然后以某种方式忘记了通过归纳推理进行顺序实验的可靠方法。 George Box 和其他人多年来一直在讨论这个问题。 这是进行的方式。 这是所有筛选设计与其他更擅长预测的设计之间差异的核心。
还给@statman之前关于“噪音”的观点。 系统未来运行中的噪声会以各种形式、形状和大小出现。 许多无法构建到设计的实验中。 例如，当我在工业界工作时，生产系统经常会因重大维护和资本升级而关闭。 经验法则是‘你永远不想在资本关闭后成为第一个使用涂层机的人。 根据已经发生的过程变化，你认为你理解的物理和化学的魔力现在可能不再适用。 在升级发生之前，您将如何将主要的资本系统升级构建到 DOE 中？ 不实用，做不到。
因此，如果基于 DOE 的模型的预测能力在未来分崩离析……为什么会有人感到惊讶？ 只是意味着需要做更多的工作才能完全理解这个过程。
吐槽完了 感谢您阅读到这里。
回复：最终屏幕设计（DSD）模型确认标记，
有很多因素可以影响我们要控制的响应。 我们想确定哪些是主要贡献者。 通过工程经验，我们能够将其缩小为八个因素。 DOE 的目的是进一步缩小范围并获得有关如何改善响应的实用指导。 为此，我认为 DSD 做得很好。
我尝试了两件事：
1) 在 DSD 平台内，我删除了一些不那么重要的术语，并将模型从 5 个 ME、4 个二次方程和 1 个交互项减少到 4 个 ME、1 个二次方程和 1 个交互项。 我能够得到更理想的确认结果。
2) 我只是将 5 次确认运行中的 4 次添加到原始 DSD 表，并使用 JMP 分析：拟合模型：标准最小二乘到与 1) 相同的设置（4 个 ME，1 个二次和 1 个交互）。 我还能够使用剩余的确认运行数据获得更理想的确认结果。
Question: 我可以说筛选有效因子和生成预测模型是两个东西，即后者可能是其他原因，比如没有足够的数据（runs）来拟合模型，但是筛选的结果仍然是合理和适用的？
你关于空间填充设计的观点非常有趣。 我会调查它并在几天后回来。
谢谢，节日快乐！
回复：最终屏幕设计（DSD）模型确认嗨斯塔特曼，
同意。 我曾经是田口的粉丝，羡慕和他有直接互动的朋友。 该方法对提高许多行业的质量有着深远的贡献。
感谢您的帮助。 请随时继续输入。
回复：最终屏幕设计（DSD）模型确认顺便说一句，我并不是在谴责田口博士的想法。 多年前，我有幸在东京与他一起教书。 我发现他关于应用统计方法的想法非常有趣，尤其是他关于创建适当响应变量的想法。 一个非常工程方法！
正如我已经评论过的，我仍然不确定我是否了解您的情况。 我知道拥有 99% 的 R 方几乎意味着你使用的模型解释了手头数据集中约 99% 的变化。 它与您的模型是否对预测有用没有关系。
回复：最终屏幕设计（DSD）模型确认嗨斯塔特曼，
对于每次运行，我们需要手动构建一个 CAD 模型，这需要时间才能运行模拟，这也需要时间。 一开始，如果运行 FF DOE 会占用太多资源。 第一次运行 DSD 有助于将其减少到 8 个项（5 个 ME、4 个二次方和 1 个交互项）。 也许我可以进一步削减它以在 4 个 ME 上运行 FF。
我对噪音的理解来自田口方法。 从现在开始我会接受你的。
我们确实在开始时花时间识别潜在的显着变量以确定因子水平。
DSD 旨在对功率和别名进行良好的评估。 然后我们研究了 DOE 的结果，并确定它确定了正确的效果显着性。
正如我提到的，我在 Fit Definitive Screening 之后直接运行模型并获得了“优秀”模型。 R 平方 = 99%。 但是确认运行不是很好。
我开始精简条款（比如使用 4 个 ME，以及 1 个 ME 的二次项和交互项）。 结果改善了很多。 在我看来，这个模型是过度拟合的。 我将研究您指出的改进方向。 如果效率不高，我可能会追求 4 个 ME（3 级 ^4 = 81 次运行？）的 FF。
非常感谢您的投入。
回复：最终屏幕设计（DSD）模型确认我了解到您的系统是计算机模拟。 你正在设计一个计算机实验，大概是为了适合一个代孕妈妈。 您的模拟不包含任何随机元素，因此相同的输入值会导致相同的输出。 你不是在筛选输入，而 DSD 正是为此而设计的。 您知道输入是因为您可以检查模拟。 我认为模拟是不切实际的（例如，计算需要很长时间才能获得平滑的图形）所以你想使用一个好的代理。
DSD 和其他几个设计平台用于响应包含随机分量的物理实验。 您应该尝试过空间填充设计。 它们旨在用于计算机实验。 此外，它们还支持拟合高斯过程模型，该模型通常比线性回归模型好得多。
所以我认为线性回归模型中的偏差（即缺乏确认）是因为响应中的非线性无法用多项式函数很好地建模。
如果将原始 DSD 结果与新的确认结果结合起来并再次拟合模型，拟合和预测的响应是否有所改善？
回复：最终屏幕设计（DSD）模型确认如果可以，我很乐意提供帮助，但您没有回答我的第一个问题？ 如果您正在运行模拟，为什么要分馏？ 除非计算时间太长？ 实验是用仿真软件运行的，确认运行也是用仿真软件运行的吗？
我不确定田口方法与这次讨论有什么关系？ 他当然不是第一个确定噪声在实验环境中的重要性的人（见 Fisher）。 如果您指向内部和外部数组，这种方法最早是在 1950 年代与 Cox 和叉积数组一起讨论的。 我不明白你的意思是“我们不需要担心噪音”？ 每个可能变化的变量都已经研究过了？
模型拟合有很多方法/方法。 有一种逐步执行的加法方法，还有一种开始饱和并删除项的减法方法。 针对不同的情况采取不同的方法。 有许多统计数据可以提供帮助，但没有一个统计数据可以给您明确的答案。 我的第一个建议是使用工程和科学来确定模型建议的因素水平是否有意义，有用的统计数据包括：RMSE、RSquare-RSquare Adjusted delta（一些使用预测的 RSquares）、系数、p 值、残差（许多地块）、VIF 等。
回复：最终屏幕设计（DSD）模型确认嗨斯塔特曼，
谢谢你的耐心。
我熟悉噪声概念。 我开始使用田口方法很多年了。 所以就我而言，我们不需要担心噪音。
简而言之，DOE 是基于运行仿真软件的结果，除了模型在某些确认数据下效果不佳外，一切看起来都不错。
为了找出可能导致不太好的确认的原因，我现在正在尝试做一些事情：
1) 我没有在 Fit Definitive Screening 之后直接使用 Run Model 生成的模型，而是使用 Stepwise Regression 来选择使用 AICc 和 BIC 标准的术语。 然后我用标准最小二乘法拟合选定的项。 我得到了一些改善。
2. 假设模型欠拟合，我还可以通过加法运行来拟合上述选定项。 问题：如何判断一个模型是欠拟合还是过拟合？ 过度拟合的解决方案是什么？
3. 我是否应该尝试非线性回归拟合？
谢谢。
回复：最终屏幕设计（DSD）模型确认不确定我能帮到你。 您是说在仿真软件中运行实验的结果在仿真软件中不可重复吗？ 或者你是说模拟软件中的实验结果在“现实生活”中没有重复？
我认为可能对噪音是什么感到困惑。 它有许多不同的名称：滋扰、背景等。阿尔。 示例包括：周围环境条件、材料和设备的磨损或退化、操作员技术、某些情况下的测量误差、材料的批次间差异等。这些变量通常不会在实验中被操纵，而是保持不变（坏主意）或在实验执行期间发生变化。 这些需要代表未来的“条件”，以便您的实验结果在未来适用（或让您的模型预测未来的响应变量）。
如果您使用的是仿真软件，则该算法已包含在软件中。 你不知道吗？ 我不知道你的模拟软件是如何“模拟”噪音的。
回复：最终屏幕设计（DSD）模型确认嗨斯塔特曼，
DOE 基于模拟软件结果。 我们发现一个因子水平 (-1,0,+1) 确实捕获了代表变量的全部范围，但物理上 (0, 0.5, 1) 或 (-1, -0.5, 0) 应该是目标的有效范围回复。因此，我们可以将此因子视为噪声因子，并在确认运行中使用相同的因子水平。
根据上面的附加信息，有什么建议吗？
谢谢。
回复：最终屏幕设计（DSD）模型确认这对我们来说很难提供帮助。 意识到你报告的统计数据与模型是否适用于未来无关。 推断是一种工程或科学推断，它在很大程度上取决于您的实验对未来条件的代表性。 最终筛选设计是一种处理设计因素而非噪音（您不愿控制或管理的因素）的策略。 你只字不提你是如何处理噪音的。 如果噪声因子保持不变，那么您的推理空间太小，您的模型可能只适用于手头的数据。 对于未来的实验，我的建议是花尽可能多的时间来考虑如何处理设计结构中未包含的因素（噪声）。
