多重共线性是指用于估计因变量的假定独立变量之间存在如此高度的相关性，以至于无法确定每个独立变量对因变量变化的贡献。数据集中的高度多重共线性意味着您构建的任何模型几乎肯定会过度拟合，除非您使用技术来缓解此问题。有几种建模技术可用于通过限制多重共线性来提高构建良好预测模型的可能性。其中包括 JMP 中可用的主成分分析和偏最小二乘法，以及 JMP Pro 中作为拟合模型选项提供的广义回归。
查看如何：
- 执行主成分分析 (PCA)，通过限制可变性和减轻多重共线性，使用少量成分对一组数据建模
- 用于 PCA 分析的最佳数据集要么是高的，要么是宽的。 可能两者都是
- 不将变量解释为输入或输出 - 在单个矩阵中处理
- 提取变量的线性组合，以尽可能多地解释可变性
- 这一切都从第一主成分和算法一直持续到解释了 100% 的变异。 希望这是一个比你原来的变量集小得多的数字
- 每个连续的 PC 解释尽可能多的变化，并且与先前提取的加载向量正交
- 检查和解释汇总图和特征值
- 将主成分保存到数据表并使用 Graph>Profiler (提醒：选中展开中间值框）
- 使用偏最小二乘法拟合基于因素的线性模型，即解释变量（Xs）的线性组合
- 这些因子是通过尝试最大化 X 与一个或多个响应 (Y) 之间的协方差的方式获得的。
- PLS 利用 X 和 Y 之间的相关性来揭示潜在的潜在结构
- PLS 在使用普通最小二乘法 (OLS) 不能产生令人满意的结果的情况下表现良好，包括当 X 变量多于观测值时；高度相关的 X 变量；大量的 X 变量；以及几个 Y 变量和许多 X 变量。
- 当预测变量多于观测值时可以使用 PLS
- PLS 广泛应用于光谱学、化学计量学、基因组学、心理学、教育学、经济学、政治学和环境科学等领域的高维数据建模。
- 了解如何将 JMP PLS 用于两种可用的模型拟合算法：非线性迭代偏最小二乘法 (NIPALS) 和“PLS 的统计启发修改”(SIMPLS)
- 对于单个响应，两种方法都给出相同的模型；对于多个响应，存在细微差异
- PLS 使用 van der Voet T2 检验和交叉验证来帮助您选择要提取的最佳因子数。
- 解释均方根 PRESS（预测残差平方和）图，它显示具有最低 PRESS 值的因子数量，该模型是您将获得的数据更好模型中最少的
- 使用方差重要性图 (VIP) 定位要移除的因素
- 解释百分比变异图
- van der Voet T2 统计量检验以确定具有不同因子数的模型是否与具有最小 PRESS 值的模型存在显着差异
- 通常的做法是提取 van der Voet 显着性水平超过 0.10 的最少数量的因子
- 使用 JMP Pro 广义回归高级惩罚回归技术，特别适合高度相关和/或非正态分布的数据和变量选择
- 构建 LASSO 模型、解释结果并了解其一些局限性。
- 构建 Elastic Net 模型并解释高度相关的数据，并了解 LASSO 的一些优势
- 使用 JMP Pro 广义回归分析高维光谱数据
- 检查和解释 PCA 模型驱动的多元控制图、PCA 相关性摘要图和特征值
- 检查和解释 PLS 结果
- 解释弹性网络广义回归，包括广义 R 平方
- 使用 JMP Pro 广义回归获取非常广泛的数据并解释结果
注意：附加的 .jmpprj 文件包含用于运行演示中的分析的脚本。
Bill Worley 回答的问题@Bill_Worley和斯科特·艾伦@scott_allen在现场网络研讨会上：
Q：Pred Formula Y1 是否来自 PCA 回归？
A：是的，Y1和Y2的预测公式是通过主成分回归分析得出的。 当您使用这些预测公式构建刻画器时，您可以选中一个框，以便您查看单个效果而不是主成分。
问：您在 PCA 示例中消除变量的主要标准是什么？
答：有关一种方法，请参见下面的视频。
问：在 PLS 中，是否有必要指定相互作用或变量之间的关系是否包含在基础模型（例如 NIPALS）中？
答：对于 PLS，您必须指定要测试交互或其他项的模型效果。 在标准 JMP 中，您可以仅使用主效应运行 PLS 分析。 在 JMP Pro 中，您可以使用拟合模型中的 PLS 特性运行 PLS 和其他模型效应，例如交互作用或多项式。
问：面筋数据集是否也与很多多重共线性有关？
答：是的。 每个波长都依赖于下一个波长，因此波长与波长之间存在很多共线性。
问：是否可以说 PLS 或广义回归在处理高度自相关的数据时通常更优，还是仅依赖于数据集？ 我觉得 PLS 更好，但听起来不一定。
答：这取决于情况，这可能在某种程度上取决于数据。 两者都给出了彼此非常接近的好模型。
问：哪些建模选项最适合逆向预测？
答：对于宽数据，您可能难以获得正确的设置。 所有选项都可以用于逆向预测。
问：您能否介绍一下如何将 PCA 公式保存到表格中。 我只知道如何自己保存坐标。
A：从红色小三角，将公式保存到数据表。
问：如果我使用 PLS 模型和 Prediction Profiler 进行优化，优化是否会考虑变量之间的相关性，或者如果打开外推控制，那么是否会考虑变量之间的相关性？
A: 在 PLS 中，您可以进行变量选择，然后使用结果来构建具有重要变量的模型。 然后，使用带有 VIP 的 Make Model 并重新运行。 如果将这些模型保存到数据表中，它们会很大并且包含所有变量。
问：模型筛选有用吗？
答：是的。 这需要时间。 选择其他方法。请注意，通过选择它，它将通过 Elastic Net。 它还将通过 Ridge Regression，如果你有 K-folds 和 cross validation，这将需要时间。 而且，在广义回归和 PLS 模型筛选中，您可以添加 2 向交互作用，它会适合有和没有 2 向交互作用。
资源
