视频于2024年8月更新。
多重共线性是指用于估计因变量的所谓独立变量之间存在高度相关，以至于无法确定每个独立变量对因变量变化的贡献。数据集中存在高度多重共线性意味着您构建的任何模型几乎肯定会过度拟合，除非您使用技术来缓解此问题。有几种建模技术可用于通过限制多重共线性来提高构建良好预测模型的可能性。这些包括主成分分析和偏最小二乘法（这两者都在 JMP 中可用）和广义回归（在 JMP Pro 中作为拟合模型选项提供）。
了解如何：
- 执行主成分分析 (PCA)，使用少量成分通过限制变异性和减轻多重共线性来建模一组数据
- 使用偏最小二乘法来拟合基于因子的线性模型，即解释变量 (Xs) 的线性组合
- 获取这些因子的方式是试图最大化 X 和一个或多个响应 (Y) 之间的协方差。
- PLS 利用 X 和 Y 之间的相关性来揭示潜在的结构
- 当使用普通最小二乘法 (OLS) 无法产生满意结果时，PLS 可以发挥良好的作用，包括 X 变量多于观测值；X 变量高度相关；X 变量数量众多；以及 Y 变量数和 X 变量数较多。
- 当预测变量数量超过观测值时，可以使用 PLS
- PLS 广泛应用于光谱学、化学计量学、基因组学、心理学、教育学、经济学、政治学和环境科学等领域的高维数据建模。
- 了解如何使用 JMP PLS 实现两种可用的模型拟合算法：非线性迭代偏最小二乘 (NIPALS) 和“统计启发的 PLS 修改” (SIMPLS)
- 对于单个响应，两种方法都给出相同的模型；对于多个响应，略有不同
- PLS 使用 van der Voet T2 检验和交叉验证来帮助您选择要提取的最佳因子数量。
- 解释均方根 PRESS（预测残差平方和）图，该图显示了 PRESS 值最低的因子数，该模型是您能得到的针对数据的较好模型中最少的
- 使用方差重要性图 (VIP) 来定位要移除的因素
- 解释百分比变异图
- van der Voet T2 统计量检验确定具有不同数量因子的模型是否与具有最小 PRESS 值的模型存在显著差异
- 一种常见的做法是提取范德沃特显著性水平超过 0.10 的最小数量的因子
- 使用 JMP Pro 广义回归高级惩罚回归技术，该技术特别适用于高度相关和/或非正态分布的数据和变量选择
- 建立 LASSO 模型，解释结果并了解其一些局限性。
- 构建弹性网络模型并解释高度相关的数据，并了解其相对于 LASSO 的一些优势
- 使用 JMP Pro 广义回归分析高维光谱数据
- 检查并解释 PCA 模型驱动的多元控制图、相关性摘要图和特征值的 PCA
- 检查并解释 PLS 结果
- 解释弹性净广义回归（包括广义 R 平方）
- 使用 JMP Pro 广义回归分析非常广泛的数据并解释结果
注意：附加的 .jmpprj 文件包含从演示运行分析的脚本。
Bill Worley @Bill_Worley和 Scott Allen @scott_allen在现场网络研讨会上回答了问题：
问：他说 PCA 的首选数据是高而宽，这是什么意思？
答：您可以将“高”数据视为具有多行和少列的数据表；“宽”数据具有多列和少行（较少的观测值）。另一方面，当因子数量多于观测值数量时，通常使用 PLS。
问：如果您有高度相关的变量，并且其中一种算法建议使用一个变量而不是另一个变量，那么您如何选择保留哪个变量，或者不使用哪个变量？
答：方差膨胀因子 (VIF) 是一种查找哪些值高度相关的方法。VIF 只是向您表明它们与其他变量的实际相关程度。您可以找到高度相关的因素，当删除一个因素时，您将影响 VIF。然后使用多元分析进一步了解哪些变量高度相关。观看视频：
问：在广义回归中，使用 BIC 比 AIC 更好吗？
答：这取决于模型的目标。BIC 对参数较多的模型的惩罚比 AICc 要大。因此，它通常会导致模型参数较少。
问：除了 JMP 选定的模型之外，用户是否可以选择使用哪个模型？
答：您可以运行模型比较并检查最佳验证或测试结果。您还可以使用工具 - 删除 Elastic Net Alph，JMP 会通过三个选项向您展示三个模型中的最佳模型。如果您有大量数据，运行这些模型可能需要一段时间。
问：您将如何将这些技术用于时间序列数据？
答：使用 JMP 中的时间序列或 FDE 工具可以最好地分析时间序列数据。请参阅有关时间序列的信息和有关分析曲线数据的视频。
先前的网络研讨会就此主题回答过的问题：
问：Pred Formula Y1 是来自 PCA 回归吗？
答：是的，Y1 和 Y2 的预测公式是通过主成分的回归分析生成的。当您使用这些预测公式构建刻画器时，您可以勾选一个复选框，这样您就可以看到单个效应，而不是主成分。
问：在 PCA 示例中消除变量的主要标准是什么？
答：请观看下面的视频，了解一种方法。
问：在 PLS 中，是否需要指定相互作用，或者变量之间的关系是否包含在底层模型中（例如，NIPALS）？
答：对于 PLS，您必须指定要测试交互作用或其他项的模型效应。在标准 JMP 中，您只能使用主效应运行 PLS 分析。在 JMP Pro 中，您可以使用“拟合模型”中的 PLS 特性运行 PLS 和其他模型效应，例如交互作用或多项式。
问：麸质数据集是否也与大量多重共线性相关？
答：是的。每个波长都依赖于下一个波长，因此波长与波长之间存在很大的共线性。
问：能否说一下 PLS 或广义回归在高度自相关的数据中是否通常更胜一筹，还是仅仅依赖于数据集？我原本以为 PLS 更好，但听起来似乎不一定。
答：这取决于具体情况，可能在某种程度上取决于数据。两者都能提供非常接近的良好模型。
问：这些建模选项中哪一个最适合逆向预测？
答：对于宽数据，您可能很难获得正确的设置。所有选项对于逆向预测都适用。
问：您能解释一下如何将 PCA 公式保存到表中吗？我只知道如何保存坐标本身。
答：从红色三角形开始，将公式保存到数据表。
问：如果我使用 PLS 模型和预测分析器进行优化，优化是否会考虑变量之间的相关性？或者如果打开外推控制，是否会考虑变量之间的相关性？
答：在 PLS 中，您可以进行变量选择，然后使用结果构建包含重要变量的模型。然后，使用 VIP 制作模型并重新运行。如果您将这些模型保存到数据表中，它们会很大，其中包含每个变量。
问：模型筛选有用吗？
答：是的。这需要一些时间。选择“其他方法”。请注意，选择该方法后，它将通过 Elastic Net。它还将通过 Ridge 回归，如果您有 K 折和交叉验证，则需要一些时间。并且，在广义回归和 PLS 模型筛选中，您可以添加双向交互，无论有没有双向交互，它都会适合。
资源
