了解如何使用简单的统计技术帮助识别数据中的重要变量和交互,作为构建高性能预测模型和发现其他见解的先导。
请参阅如何:
- 了解开始识别重要变量之前要考虑的先决条件
- 使用列查看器清理和准备数据
- 使用“探索缺失值”、“探索异常值”和“探索模式”来识别并决定如何处理异常值和缺失数据
- 确保数据集是您计划研究的系统的最佳表示<
- 使用列标题和图形生成器中的分布来探索数据并可视化趋势
- 对 ID 进行多变量分析相关变量
- 使用响应筛选来识别影响响应的最重要变量
- 使用预测因子筛选(决策树方法)来测试预测响应的许多因素
- 使用多变量分析来识别具有高相关性的变量
- 聚类变量将相关变量分组在一起并识别最具代表性的单个变量
- 使用“拟合模型”>“响应筛选”和“逐步回归”,根据重要且独特的变量查找交互作用和高阶项
斯科特回答的问题@斯科特艾伦和@Byron_JMP 2023 年 6 月现场网络研讨会期间。
问:在图表生成器中如何“取消选择”?
答:单击图表中的空白区域,而不是标记。
问:您能否进一步详细说明您对 P 值及其排名的解释? 它的高点和低点意味着什么,当我们看到某些值或趋势时会发生什么,等等。
答:对于 p 值和大多数统计数据,请考虑 。此外,在 JMP 中,您需要有关统计数据(或显示的任何其他内容)的帮助。选择工具 > ?并单击您需要帮助的区域(在本例中为 p 值列标题)。另请参阅这解释。
问:预测因子筛选平台与随机森林模型有何不同?
答:在 JMP 中我们称之为随机森林引导森林(因为随机森林已注册商标)。 这是同一件事。 预测筛选不包括模型,仅包括排名。
问:由于预测器屏幕没有告诉您每个预测器的变异百分比,是否有其他平台可以做到这一点?
答:预测变量筛选报告显示了预测变量列表及其各自的贡献和排名。 贡献最高的预测因子可能对预测 Y 很重要。 贡献列显示每个预测变量对 Bootstrap Forest 模型的贡献。 报告中的“部分”列显示每个变量的贡献百分比。
问:多元分析可以使用绝对相关数而不是 -1 到 1 吗?
答:是的,也不是。 该表是一个相关系数矩阵,总结了每对响应 (Y) 变量之间的线性关系的强度。 看多变量方法。
问:如果有连续、二项式(是/否)和有序(低、中、高)自变量,您将如何选择最重要的变量?
答:是的,您可以使用所有这些方法:预测因子筛选和响应筛选。
问:您使用过逐步回归吗? JMP 是否提供所有可能的子集回归?
答: 参见逐步回归的详细信息。
问:我的很多数据包含多个响应,我发现它限制了我在 JMP 中可以执行的一些操作。 您是否对多重响应数据进行了特殊清理,或者按原样使用它? 我指的是“多重响应”列属性(多个数据点的列表)。 我假设将它们分成两个不同的列会更容易,但想看看是否有更好的方法。
答:是的,我们让您存储多重回应在一个单元格中作为一个,但要分析它们,将它们分成不同的列是正确的。
问:基于树的方法与 PLS 或 PCA 相比如何?
答:通过 PCA 或 PLS,我们试图用较少数量的潜在变量来表示所有数据。您正在尝试找到可以表示所有数据的更少的维度。 这与基于树的方法不同,基于树的方法可以帮助您确定实际解释某事物的内容。 树方法正在取代 PCA 和 PLS 以实现更好的构建。 基于树的方法非常适合数据建模,但对变化非常敏感,并且可能会过度拟合。 使用基于树的方法,每次创建新树时,您都会对行进行随机采样,并对列进行随机采样,这使得它对异常值非常鲁棒,并且能够对交互和二次方程进行建模或三次方(如果数据中存在)。 因此,您不必做出一堆假设。
问:我可以对数值型因变量使用预测筛选和响应筛选,而自变量是连续、二项式和有序的。
答:是的。
请参阅如何:
- 使用 JMP Partition 识别重要因素
- 准确自动的任何模型交互效果
Modeling Workflow with Factor Selection通过因素选择对工作流程进行建模
斯科特·艾伦@斯科特艾伦和拜伦·温格德@Byron_JMP演示后回答问题。
问:有异常值工具的教程视频吗?
答:这是一个很好的内容,涵盖了探索异常值JMP 中的工具。您还可以通过文档和示例。
问:为什么不先去掉相关变量呢?
答:相关变量的存在通常会影响建模方法。 例如,PLS 对相关 X 更稳健。 此外,顺序可以是偏好。 您可以采用两种方式进行操作:预测因子筛选然后聚类,反之亦然。请注意,当您有大量缺失值或未更改的列(如仪器设置)时,聚类可能会有点不准确。如果您想从集群开始,有时需要额外的数据清理和准备。
问:您将如何决定预测算法?
答:这是一个复杂的问题,答案取决于你的情况。 大多数时候,线性模型是最简单且信息丰富的。 其他方法可以解决数据或分析目标的特定问题。
问:为什么如此强烈推荐使用线性项?如果我的相关性是 Y=X^2,为什么 JMP 不断尝试添加 X 项?
答:这与效应遗传有关。 有时,您的高阶项很重要,但不是主要效果。 所以,你想保持主要效果。例如,如果您删除了主效应,那么在预测文件管理器中您将看不到斜率变化,您只会看到曲率并得到不太好的预测。
问:对于预测因子筛选,因子和响应的数据应该按相同顺序收集(配对)还是可以使用随机收集的数据(不配对)。
答:顺序并不重要,但对于多元分析,我们通常喜欢将 Y 放在一组中。将它们添加到 Y 的顺序就是它将在矩阵中显示的顺序。
问:x 因子(600 列)的多元线性回归分析是否有助于找出哪些 x 列对产量贡献更大?
答:如果您只对 600 列进行线性回归,那么您确实会稀释 Y 的解释。 像 Partition 这样的树方法非常适合尝试确定这 600 列中的哪一列可以帮助您实现目标。 当 Scott 展示 Predictor Screening 时,它会随机抽取行和列样本并构建一棵树,执行 100 次并对这 100 棵树取平均值,从而给出结果。通过分区,您可以强制事情发生,您可以强制决策在不同的地方发生,或者在分裂时跟踪某些事情。 然后您可以查看方差重要性报告,或者
分裂历史和 R 方变化。这个例子太大了,无法做到这一点,但它会让您了解如何使用分区。
问:如果 600 个单独的线性回归削弱了模型的解释力,这就是响应筛选在这些汇总统计数据中采用 FDR(错误发现率)校正(Scott 之前显示并缩短了升序)来尝试补偿这一点的原因吗?
答:偶然的机会你会发现真正好的东西,你想尝试并过滤它们。 我们不想独自偶然发现事物,因此 FDR 有助于纠正这一点。我强调“帮助”,因为没有一个模型是完美的。 同样,所有基于树的模型,在具有多重线性的情况下,最好首先尝试分离出方差并找到那些真正最重要的变量,而不是将所有内容都放入模型中。有时你可以使用 JMP Pro 构建集成模型。
问:是否还有其他方法可以使用 JMP Pro 执行此操作?
A;是的,包括使用XGBoost 插件。见下文。
你好@海伦娜G
感谢您的提问。 我认为预测筛选是一个很棒的工具,我很高兴您发现它很有帮助。 让我更详细地解释一下此分析中发生的情况,而不是回答您的个人问题。
预测器筛选分析运行 Bootstrap Forest 分区模型(默认有 100 个决策树),然后根据预测器对模型的贡献对预测器进行排名。 简而言之,Bootstrap Forest 分析将许多决策树平均在一起。 要创建一棵树,需要引导程序观察样本,并通过使用一组随机的预测变量进行分割来递归地拟合模型。 这一直持续到满足停止规则为止。 然后使用一组新的引导观测值和随机预测器分割创建另一棵树。 一旦创建了所有树木,它们就会平均形成树木的“森林”(因此得名)。
返回预测筛选输出,贡献列提供连续数值响应的平方和和分类响应的 G^2。 部分列是单个预测变量贡献除以所有贡献的总和。 这与每个预测变量解释的方差不同。
要了解有关这些平台的更多信息,我建议阅读分区模型和Boostrap森林文档中的概述。
-斯科特
关于我之前的帖子,我注意到斯科特·艾伦@斯科特艾伦和拜伦·温格德@Byron_JMP现在正在呈现这个主题。 因此,我想请您帮忙解答以上问题!
此致,
海伦娜·格兰吉亚
你好@尼克_谢尔顿,
由于您的演示,我一直在使用 Predictor 筛选,并且对结果非常满意。 关于这个平台,我现在询问您在以下方面的深厚专业知识:
1. JMP 结果中显示的用于预测因子筛选的部分是如何计算的? 我的意思是,就 Bootstrap Forest (BF) 而言,这部分意味着什么以及具体值是如何实现的? (我正在用它写一篇科学论文,我需要这个细节)。
2. 在解释方面,我理解该部分解释了由预测变量解释的响应(产量)的变异性百分比。 它是否正确?
3. 还是在预测因子筛选平台中,“贡献栏”是什么意思?BF算法是如何计算的?
提前谢谢你,尼克!
尼克·谢尔顿@尼克谢尔顿JMP SE 经理过去曾介绍过这个主题,我退役了旧视频。我借用了他对观众的评论@海伦娜G因为它可能与观看此视频和 JMP SE 斯科特·艾伦 (Scot Allen) 问答的任何人相关@斯科特艾伦和拜伦·温格德@Byron_JMP :
海伦娜问道:
我想更好地理解以下内容:与交互识别和评估(使用响应筛选和逐步回归工具)相关的所有步骤都基于线性假设 - 这是正确的吗? 如果是,是否有任何建议来检查非线性相互作用?
尼克写道:
时间最好通过领域专业知识和对所分析变量的已知科学/物理理解来识别相互作用。
当变量之间的相互作用不能很好地理解时,拟合模型中的“响应筛选”模型个性可以很好地量化各个交互项和响应变量之间的强度。
拟合模型中的“逐步回归”模型个性可以很好地识别用于潜在模型的最佳术语组合(例如:主效应、交互作用......)。
术语“线性”模型是指模型公式的结构方式,但拟合模型中的“响应筛选”和“逐步回归”模型个性也可用于探索非线性关系。
我们可以通过添加多项式项将非线性效应和相互作用纳入分析中。
在拟合模型中,您可以通过在模型效果框中添加相应项来探索任何多项式关系(非线性)(例如:二次关系 (x1*x1)、三次关系 (x1*x1*x1)、二次交互作用 (x1* x1*x2)...)
有关多项式及其如何帮助理解变量之间关系的更多信息,请观看下面的快速视频:
https://community.jmp.com/t5/Short-Videos/Fitting-Polynomial-Models/ta-p/271953