回复:DSD 分析中的高 RMSE如果存在主动效应,为什么您会期望响应服从正态分布?
回复:DSD 分析中的高 RMSE我的意思是响应的分布。
回复:DSD 分析中的高 RMSE你的意思是残差的正态分布,对吧?
很高兴您找到了解决方案!
回复:DSD 分析中的高 RMSE只是告诉你我们最后是如何解决这个问题的。 我们尝试了不同的数据转换,因此我们可以获得更多的正态分布,在整个响应范围内具有更恒定的方差。 当我们分析变换后的响应时,我们可以检测到更多的影响(主效应和二阶效应)。
回复:DSD 分析中的高 RMSE我上一篇文章的一个更正:我的意思是我们将重复中央运行两次,而不是第二次运行(对于有点混乱,我深表歉意)。
无论如何,中央运行还应该涵盖您提到的所有要点(注意事项)。
由于我们将重复中央运行,我们希望中央运行的可变性将是整个设计可变性的最佳(我们可以重复的 17 次运行中的最佳)近似值。 此外,我们希望我们设计的 RMSE 也会下降,因为模型中会有更多的运行。 如果 RMSE 的下降大到足以检测到一些新的影响,我们就不必仅基于 3 个数据点来估计方差。
回复:DSD 分析中的高 RMSE这是一个开始。 关于这些重复运行的一些注意事项:您会假设可变性在设计空间内是恒定的(换句话说,运行 #2 代表所有其他实验条件)。 重复运行的可变性是否捕获了运行初始设计时遇到的所有可变性来源(操作员是否改变?仪器改变?设置改变?)。 您在仅基于 2 或 3 个数据点估计方差时感觉如何? 这基本上就是你在做什么。
回复:DSD 分析中的高 RMSE是的,我们知道测量也可能是问题所在。 每次我们对每个样本进行至少 3 次重复测量(显示出相对较低的方差系数)。 我们在激光衍射分析方面遇到了一些问题,这可能会提高某些响应中的 RMSE,但不包括激光衍射分析的响应中的 RMSE 也有点高,但没有那么高。
回复:DSD 分析中的高 RMSE谢谢你的好主意。 我们决定将第二次运行重复两次,因此我们将查看一次运行中的变异是否也很高,或者只是在整个模型中。 然后我们将新的运行添加到模型中并查看 RMSE 是否更低。
这对你有意义吗?
回复:DSD 分析中的高 RMSE最后的评论是一种不同的方法。 由于您的 RMSE 较高,您可能希望进行测量系统研究。 可能 RMSE 高是因为可能需要首先改进测量系统。 在添加更多实验运行之前,可能需要考虑这一点。
回复:DSD 分析中的高 RMSE我还想提醒您,如果可以执行更多运行,您可以使用定制设计来增强您的初始实验。 你之前提到你没有资源做更多事情,但我还是想提一下,以防以后有可能。 新运行将添加到您已有的 DSD 中。
回复:DSD 分析中的高 RMSE您的模型在给定此数据样本和模型选择的客观过程(拟合确定性筛选)的情况下是最好的。
您可以尝试重新运行其中一些条件,看看 RMSE 是否真的那么高。 也许相反,您拥有同一过程的一些历史数据,可以重新分析这些数据以确定 RMSE。 它可能真的很高,不一定是有偏见的模型的产物。
放弃 Fit Definitive Screening 分析的另一种选择是 Analyze > Fit Model > Loglinear Variance。 该分析迭代地拟合两个收敛模型:一个用于均值,另一个用于方差。 您可以使用此分析来查看是否是设计因素之一造成的。 不幸的是,DSD 的经济状况可能无法进行很好的分析,但值得一试。
请参阅帮助 > 书籍 > 拟合线性模型。 有一章专门分析这个问题。
回复:DSD 分析中的高 RMSE是的,你提出了一些很好的问题,基本上回答了我的问题。 我明白你的意思。
所以看起来,我的模型没有构建得尽可能好,因此 RMSE 很大。 我仍然可以检测到对模型影响最大的主要因素,但不幸的是我无法检测到任何第二个因素的交互作用。 当然,一种选择是,它们不存在,但另一种更可能是,它们太小而无法用如此高的 RMSE 检测到。
再次感谢你的帮助。
丹尼尔
回复:DSD 分析中的高 RMSE显然,如果您能够在分析中添加虚假因素,那么您就是“被允许的”。 “(你)得到的结果仍然是正确的和值得信赖的”,但它们是什么意思? fake-factor-turned-real-factor 代表什么? 您是否使用此设计列来设置因子水平? (没有。)这些因素水平是多少? 你为什么要把它包括在分析中?
您可以将任何列添加到模型矩阵并为其估计线性参数,只要该列不与用于估计模型中另一项的列混淆即可。 如果混淆了,那么这两列只是同一列的别名。 该组合在回归的投影矩阵中产生奇点。 这样的组合是不允许的。 JMP 尝试估计尽可能多的未混淆参数(直到模型矩阵的秩)并将其余参数归零。
结果不同的原因是,如果你在模型中明确包含一个假因子,那么它在分析中就不再是假因子,也不再像以前那样用于估计 RMSE。
回复:DSD 分析中的高 RMSE感谢您的回答和您的努力。
我只有一个答复,因为其他几点我现在已经很清楚了。
7. 是的,从数学上讲,这是有道理的。 我只是不知道是否允许我在 Fit Definitive Screening 中这样做(所以,我得到的结果仍然是正确和值得信赖的)。 我觉得很奇怪,结果是不同的,然后当我在我的选择中不包括假因素时,因为拟合最终筛选以两种方式从假因素计算初始 RMSE。
你对此有什么解释吗?
回复:DSD 分析中的高 RMSE我刚刚在单击“发布”时丢失了我的回复,我现在必须离开去旅行,但我会尝试快速重新获取我的回复。
- 您了解功效是显着性、方差、效应大小和样本大小的函数。 使用 RMSE 和系数的默认值不太可能为特定情况提供功效分析。
- 如果效应量很大且二阶效应很少,您的 DSD 应该能够找到多达六个具有高功率的主效应。 我之前的评论是笼统的。 它可能没有多大价值,因为它取决于很多属性。
- 您还可以将两种非水溶剂和水作为三个混合因子(成分)包括在内,并直接对它们进行建模。 我不知道使用蠕动泵是否是大 RMSE 的原因。
- 完全随机运行 - 检查!
- 不受控制的外部因素没有问题 - 检查!
- 较大的 RMSE 仍然无法解释 - 检查!
- 一般来说,向线性回归模型添加附加项会降低 RMSE,即使这些项并不显着。 否则,归因于每个新项的平方和将转到误差平方和。
回复:DSD 分析中的高 RMSE感谢您的全面回答和解释。 他们对我很有帮助。 我会尽力澄清任何不确定性并回答您提出的问题。 为了避免混淆,我会用数字标记答案。
1. 在“评估设计”部分中,我为统计显着性输入了 0.05,为预期系数输入了 1,为 RMSE 输入了 1。 我在实验之前输入了这些值,因为我没有得到关于我可以期望的 RMSE 或预期系数的信息。 我获得了 0.92 的幂(见下面的评估设计照片)。 我知道只有当 RMSE 真的在 1 左右时才会有这样的功效,我只是想证明设计在实验之前看起来不错。 当然,如果我输入我得到的 RMSE 值和预期系数,功效会低得多(见下面的照片评估设计 2)。
2. 我不确定,但我预计大约有四个主要影响是活跃的。 然而,Jones 先生和 Nachtsheim 先生在 2016 年的一篇文章中指出 (Bradley Jones & Christopher J. Nachtsheim (2016):Effective
最终筛选设计的基于设计的模型选择,技术计量学),在具有 6 个因素和 4 个额外运行的 DSD 分析中(使用 DSD 分析的新方法)所有 6 个主要因素都可以检测到 0.99 的幂。 如果我查看该数字,我不会在许多活跃的主效应中看到问题。 或者我错过了什么?
3. 是的,这个实验包含混合物成分。 其中一个因素是非溶剂体积与最终体积之比(在最终体积中我们有非溶剂和水)。 使用蠕动泵,我将溶液添加到非溶剂中。 你认为让这个比率保持不变会更好吗? 我认为这可能是 RMSE 较大的原因。 但是,我不能做更多的实验,所以如果可能的话,我需要缓和这个问题(如果是这样的话)。
4. 是的,这个实验是完全随机的。 我没有很难改变的因素,我在实验过程中对因素的控制也比较好。
5. 我知道还有其他因素会影响响应。 但是,我试图控制所有可能的因素,所以我在这里的实验中没有发现大问题。
6. 你是对的,产量最高的运行是离群值。 从学生化残差中也可以清楚地看出这一点(见下面的残差照片)。 然而,当我查看其他响应的残差分析时,异常值不存在,但 RMSE 仍然很大。 所以我认为,大 RMSE 需要有一个额外的原因。
7. 我还有一个新问题。 当我使用 Fit Definitive Screening 进行分析时,我注意到,如果我在分析中包含假因素,RMSE 会更低。 (请参阅下面带有虚假因素的照片分析。 左侧是我得到的估计值,右侧是响应和因子的选择)。我可以这样做吗?
谢谢。
丹尼尔
回复:DSD 分析中的高 RMSE感谢您对您的情况和问题的详细解释。 我们会根据您的解释尽力帮助您。
是的,教程示例和您的实验之间最大的区别是 RMSE。 这种差异意味着较低的功率。 这意味着吨用于测试参数估计值与零的比率对于等效估计值将小 9.6 倍,因此具有更高的p -价值观。 (这种减少吨比例或增加p -value 相当于较低的功率。)
您为统计显着性 (0.05)、RMSE (1) 和预期系数 (1) 输入了哪些值来确定功效? 那就是问,权力对什么结果有利? 你为你的设计获得的力量是什么?
RMSE 是对响应标准差的估计。 这是依赖于模型. 它假设
- 线性回归模型是正确的(无偏)
- 它仅包括响应的随机误差
- 响应的方差在整个响应范围内是恒定的。
如果您的模型不包含主动(非随机)效应的项,则对响应的贡献将与 RMSE 的估计值合并并使其膨胀。
请记住,正态分布的响应的均值和标准差通常是响应的独立属性。 也就是说,标准偏差 (RMSE) 不依赖于均值。 参数估计值用于均值响应模型,因此您不能根据参数估计值的大小期望任何 RMSE。
让我们回顾一下筛选的主要原则:
- 效果的稀疏性:有很多潜在因素(及其影响),但事实上,大多数是不活跃的(参数为零)。
- 效果层次:响应中的大部分变化是一阶,第二大影响是二阶,依此类推。
- 效应的遗传:任何高阶效应都由表现出低阶效应的相同因素表现出来。
- 设计投影:设计通过相关性限制了对所有潜在参数的估计,但随着从模型中移除非活动因素及其非活动影响,相关性减少或消除。
您预计六个因素中有多少是活跃的? 它不应超过两个或可能三个,否则任何筛选设计都会失败。
筛选设计主要用于支持一阶模型。 (筛选不是关于优化因素,而只是关于筛选极少数因素。 DSD 是特殊的,因为它减少了您可能必须扩充以支持优化所需的更复杂模型的可能性。)化学过程(如结晶)的响应可能会表现出二阶效应,如相互作用和非线性。 这些影响可能会使一阶模型中的参数估计产生偏差,尽管 DSD 是一种别名优化设计,可以最大限度地减少这种相关性。
几个结束的想法:
- 这项研究是否包括混合物成分? 我想知道一起使用的溶剂。 这种情况可能需要不同的设计(定制设计)。
- 这个实验是完全随机的吗? 这意味着您在每次运行前重置每个因素。 另一种问法是,你有难以改变的因素吗? 这种情况需要不同的设计(裂区设计)。如果你有难以改变的因素并且没有完全随机化实验,那么你将影响 RMSE。 反过来,它也会增加难以改变的因素测试的I类错误率和容易改变的因素测试的II类错误率。 这可以解释缺乏显着影响。
- 除了实验中变化的六个因素之外,还有其他因素吗? 在选择六个因素进行研究之前,您是否确定了每个响应的所有因素? 在运行期间如何控制这些外部因素? 不受控制和未考虑的影响要么会导致随机变化,要么如果它们与研究中的因素水平相关,或者会导致估计偏差。
- 您是否进行了任何残差分析? 是否有任何数据问题或违反线性回归模型假设的迹象? 与较大的数据集相比,经济设计的残差分析更困难,但仍然很有价值。 看来产量最高的运行可能是异常值。 此运行可能会对估计值产生异常高的影响。 它可以增加 RMSE。
这就是我目前能想到的。 希望其他专家能给出更多的想法。
为什么 DSD 分析中的 RMSE 如此高你好,
我是 DOE 和最终筛选设计的新手,这就是为什么我对 DSD 分析有一些疑问。 我正在使用 JMP 13。
我想找到球形结晶过程中的重要因素。 我在三个级别上使用 6 个因子进行了最终筛选设计,并进行了 4 次额外运行(2 个假因子)。 我正在测量几种不同的反应。 设计评估向我表明,我具有良好的统计能力。 然而,当我尝试使用 Fit Definitive Screening 分析结果时,我没有得到或最多得到一个显着的主效应。 因此,我也没有得到任何显着的二阶效应(参见下面添加的照片,右)。 我认为原因是 RMSE 非常高。 我正在学习如何根据 JMP 教程中显示的示例进行拟合最终筛选(文件提取 3,请参阅下面添加的照片,左侧)。 当我分析该示例时,我得到了与教程中所示相同的结果。 我还注意到,在分析提取 3 时,RMSE 低得多,尽管提取 3 中的响应和我的实验中的响应大小大致相同,因为这两个响应都是产量。
我不明白 RMSE 的差异怎么可能这么大。 如果您查看主效应图中的分布,您可以看到,我的实验中的分布与提取 3 中的分布相似,甚至更窄一些。 我还使用 Fit Y by X 工具计算了 RMSE,其中提取 3 中的 RMSE(大约 20)比我的实验中的 RMSE(大约 18)更大。 这就是为什么 Fit Definitive Screening 的分析看起来会有所不同。
我错过了什么吗?
在拟合最终筛选之前,我应该对我的数据进行一些预分析过程吗?
或者我真的有一个大 RMSE 的实验吗? 如果是这样,有可能解决这个问题吗?
谢谢。
丹尼尔
实验设计