预测筛选器与 DOE?只是好奇预测筛选器是否可以像 DOE 筛选那样用于识别重要变量 - 那么基本上可以让您直接进入优化?只是好奇人们是否/如何结合预测筛选器和 DOE - 如果有的话,或者人们有什么建议/最佳实践。
实验设计回复:预测筛选器与 DOE?我不确定我完全理解你的问题,但这是我的想法:
您可以回答哪些问题、数据揭示的信息、得出的结论、用于分析的工具、推断结果的信心、对数据的适当反应完全取决于数据的获取方式、代表性和全面性。数据集是.
话虽这么说,您没有指出您从哪里获取数据来进行预测因子筛选。如果是历史数据,您可能没有数据的正确上下文。你可以称之为数据挖掘。这没有错,但这样做是为了提出假设,然后在实验中进行测试(科学方法:是归纳/演绎的连续循环)。例如,您的历史数据可能具有未记录但在数据收集过程中发生变化的有影响的变量。您可能存在未估计的测量误差。太多的未知数。
希望能源部有良好的计划。您应该已经确定了要操纵的因素(以及为什么要操纵它们)以及您不会操纵的因素(噪音)。您可能已经想到了一些模型来通过您的实验进行评估。您已经研究了测量系统或计划将其嵌套在治疗中。
回复:预测筛选器与 DOE?嗨@mjz5448 ,
正如@statman所说,预测器筛选是一个很好的数据挖掘工具,可以根据历史数据探索可能的重要因素,但它不会取代使用 DoE 和明确目标进行的适当研究。
预测因子筛选是一种基于随机森林算法的方法,可帮助您识别历史数据中响应的重要变量(通过计算特征重要性来识别)。根据数据的代表性、实验空间的覆盖范围、缺失值、异常值的存在、因素之间的相互作用、相关性或多重共线性,该平台可能有一些捷径、许多未知因素,不应盲目信任。
- 例如,预测器筛选平台不会为您提供模型(与 JMP Pro 中提供的 Bootstrap Forest 不同),仅提供特征/因子重要性,因此您无法访问单个树木和树枝,这可以帮助识别树和树枝之间的相互作用因素。
- 此外,由于您不知道背后模型的质量(通过 R²、RMSE 或根据您的目标的其他相关指标),您不知道通过它解释了多少变异性(或模型的准确度),并且如果特征重要性的计算与您的主题相关/足够。
- 由于所有因素均已排序,因此重要因素和非重要因素之间的阈值/限制并非微不足道。为了帮助您,您可以添加一个随机因子(具有随机值)。这里显示了该技术的一个示例,其中使用来自 JMP 的钻石数据集,以价格作为响应,添加随机因子并省略克拉重量作为可能的输入(因为它是一个非常重要的预测变量,所以我想向您展示一个很难实现的示例)整理其他预测变量):

- 该平台不会向您提供有关因素之间可能存在的相关性或多重共线性的指示。您可以使用多元平台来探索输入、输出和输入输出之间的相关性。您还可以创建虚拟回归模型来计算因子之间的 VIF 分数,以便发现多重共线性。
- 高基数分类因素也可能使特征重要性计算产生偏差。基数(类的数量)越多,偏差就越高,因为数据将形成模型将尝试学习的大量小组/类。因此,它将无法概括或“理解逻辑”,从而增加过度拟合的机会,从而使该功能变得非常重要。这里的示例具有相同的数据集、相同的条件,但添加了 11 个级别(从 A 到 K)的随机分类因素。这种具有高基数的分类随机特征位于之前看到的随机数值变量之前:

DoE 比探索性数据分析/数据挖掘技术大得多,而且更像是一种端到端的方法/方法:从定义您的目标、响应和因素到创建信息最丰富的数据集(但也适应您的情况)实验预算),分析结果和完善模型,以便更好地了解下一步如何进行或实现您的目标。始终使用领域专业知识(如果您有历史数据,则使用其他工具和可视化)来指导能源部选择因素。
如果您有与您的研究相关的历史数据(就因素而言),我会鼓励您使用增强设计平台,因为您可以根据需要随时扩大/缩小因素的范围,并且您有很大的灵活性如何将最初的历史数据集扩充到更大的设计中。作为一种良好的做法(在将历史数据添加到 DoE 中时特别相关),请确保选中此平台中的“将新运行分组到单独的块中”选项。此选项可以帮助您在初始筛选部分节省一些实验预算,以便在优化部分分配保存的运行(通过在较窄的实验空间中使用空间填充方法第二次增强 DoE 或定义具有更高阶的更精确模型)仅针对相关因素的条款)。
我希望这个补充性答案能够帮助您理解差异,
回复:预测筛选器与 DOE?嗨@mjz5448 ,
对于实验中时间的处理,没有首选方案,它取决于您如何评估时间作为实验中的关键噪声因素以及“范围”/敏感度;例如,如果您预计时间每天都会发生变化,并且每天可以进行几次实验,那么一个阻塞因子可能就足够了。如果白天可能存在一些时间趋势(由于温度、湿度条件、亮度等变化),那么使用时间作为协变量可能有助于创建稳健的设计。
Peter GOOS 和 Bradley JONES 所著的《最佳实验设计:案例研究方法》(第 9 章:存在协变量时的实验设计)一书中解释了使用时间作为协变量来创建稳健的时间趋势设计的情况。
这里已经有一个处理时间协变量的主题: https://community.jmp.com/t5/Discussions/Covariates-in-defined-order-in-custom-design/mp/596777/highlight/true#M80044
Bradley Jones 还写了一篇关于使用时间/顺序作为协变量的博客文章:“ 如何创建一个对响应中的线性时间趋势具有稳健性的实验设计”
请参阅 JMP 帮助: https://www.jmp.com/support/help/en/17.2/index.shtml#page/jmp/design-with-a-linear-time-trend.shtml
希望这个答案能帮助你,
附言:您发起的所有讨论均未收到“已接受解决方案”。如果您帖子中的某些答案确实解决了您的问题,请将其标记为“已接受为解决方案”。这是对花时间回答您的人的认可,并帮助其他 JMP 用户更轻松地找到类似问题的解决方案。
回复:预测筛选器与 DOE?感谢你们的评论。
statman - 您说得对,我正在查看历史数据并试图查看是否有任何变量影响我的 1 个响应变量。
Victor_G - 感谢您关于随机变量的建议,我实际上确实包含了一个随机变量来确定截止点,可以说是重要因素与不重要因素。
我还有一个问题,但是我找不到相关文档,那就是是否可以将“日期”作为变量包含在预测因子筛选中?或者我应该将“日期”与预测因子筛选分开进行时间序列分析,还是将日期包含在预测因子筛选中有用?
再次感谢!
回复:预测筛选器与 DOE?从技术上讲,可以在预测器筛选平台中包含像日期这样的时间变量,并且可以使用随机森林进行时间序列分析。
但是,根据您提供的内容,我会考虑比较该平台使用和不使用时间变量的结果。
我担心你的实验变量可能对时间敏感,并且包括时间作为可能的预测因子可能会隐藏其他有趣的预测因子。
根据日期使用的格式和数据类型(连续、离散?),您还可以通过引入高基数预测器来偏向平台的结果。
最后,在实验环境中,时间并不是您可以在 DoE 中完全独立改变的因素(与其他因素不同)。您可以通过将时间添加为协变量(并通过主效应和二次效应在模型中添加)或作为阻断因子来创建时间稳健设计,但不能像其他因素一样随意更改它。
因此,我宁愿通过预测筛选平台分析响应和因素之间的关系,然后分析与时间相关的因素依赖性(通过可视化、时间序列分析和/或功能数据探索器),但可能不会像探索性分析中的其他因素一样直接包含时间。
回复:预测筛选器与 DOE?谢谢你 Victor_G。
对于如何在 DOE 中包含时间序列,您是否有偏好 - 是偏好包含协变量还是按时间阻止运行?似乎日期/时间在我的工厂工程师实验中总是扮演着重要的角色 - 但我发现尝试阻止时间因素很麻烦,因为我无法控制我们的生产计划,我以前做过,但我更倾向于将其用作协变量 - 但以前从未在我的 DOE 中使用过协变量。想知道您是否有任何经验?再次感谢您。
回复:预测筛选器与 DOE?由于数据中可能存在时间序列,您可能还会考虑将数据视为函数。我无法从描述和答案中判断这种方法是否有帮助,但您可以在此处了解更多信息。请注意,函数(简化为函数 PCA)可以像任何其他 X 或 Y 分析角色变量一样使用。