构建相关高维数据的预测模型
视频于2024年8月更新。
多重共线性是指用于估计因变量的看似独立的变量之间存在高度相关性，以至于无法确定每个自变量对因变量变异的贡献。如果数据集中存在高度多重共线性，除非使用一些技术来缓解这个问题，否则您构建的任何模型几乎都必然会过拟合。有几种建模技术可以通过限制多重共线性来提高构建良好预测模型的可能性。这些技术包括主成分分析和偏最小二乘法（JMP 中均提供），以及广义回归（JMP Pro 中作为“拟合模型”选项提供）。
看看如何：
- 执行主成分分析（PCA），利用少量成分对一组数据进行建模，从而限制变异性并减轻多重共线性。
- 使用偏最小二乘法拟合基于因子的线性模型，即解释变量（X）的线性组合。
- 这些因素的获取方式旨在最大化 X 与响应（Y）之间的协方差。
- PLS利用X和Y之间的相关性来揭示潜在的结构。
- 在普通最小二乘法 (OLS) 无法产生令人满意的结果的情况下，PLS 表现良好，包括 X 变量多于观测值；X 变量高度相关；X 变量数量众多；以及 Y 变量和 X 变量数量较多。
- 当预测变量的数量多于观测变量时，可以使用偏最小二乘法（PLS）。
- PLS 被广泛用于光谱学、化学计量学、基因组学、心理学、教育学、经济学、政治学和环境科学等领域的高维数据建模。
- 请参阅如何使用 JMP PLS，其中提供了两种模型拟合算法：非线性迭代偏最小二乘法 (NIPALS) 和“受统计启发的 PLS 改进法”(SIMPLS)。
- 对于单个响应变量，两种方法得到的模型相同；对于多个响应变量，则存在细微差异。
- PLS 使用 van der Voet T2 检验和交叉验证来帮助您选择要提取的最佳因子数。
- 解读均方根 PRESS（预测残差平方和）图，该图显示了 PRESS 值最低的因子数量，该模型是针对该数据所能得到的最优模型中性能最差的。
- 使用方差重要性图 (VIP) 来确定需要移除的因子。
- 解读百分比变化图
- van der Voet T2 统计量用于检验具有不同因子数的模型是否与 PRESS 值最小的模型存在显著差异。
- 一种常见的做法是提取范德沃特显著性水平大于 0.10 的最小因子数。
- 使用 JMP Pro 广义回归的高级惩罚回归技术，这些技术尤其适用于高度相关和/或非正态分布的数据以及变量选择。
- 构建 LASSO 模型，解释结果并了解其一些局限性。
- 构建弹性网络模型并解释其在高相关性数据下的应用，了解其相对于 LASSO 的一些优势。
- 使用 JMP Pro 的广义回归功能处理高维光谱数据
- 检查和解释基于主成分分析模型的多变量控制图、相关性主成分分析汇总图和特征值
- 检查并解释PLS结果
- 解释弹性网络广义回归，包括广义R平方
- 使用 JMP Pro 的广义回归功能处理非常大的数据集并解释结果
注意：附件中的 .jmpprj 文件包含用于运行演示分析的脚本。
在网络研讨会直播中，Bill Worley ( @Bill_Worley ) 和 Scott Allen (@scott_allen ) 回答了以下问题：
问：他说PCA的理想数据是又高又宽，这是什么意思？
答：你可以把“高”数据想象成行数多列数少的数据表；“宽”数据则指列数多行数少（观测值较少）的数据。而PLS则常用于因子数多于观测值数的情况。
问：如果变量之间高度相关，并且某个算法建议使用其中一个变量而不是另一个，那么如何选择保留哪个变量或不使用哪个变量？
答：方差膨胀因子 (VIF) 是一种用于查找高度相关变量的方法。VIF 可以指示变量与其他变量之间的相关性程度。您可以找到高度相关的变量，移除其中一个变量会影响 VIF 值。然后，您可以使用多元分析来进一步了解哪些变量高度相关。
问：在广义回归中，使用BIC是否比AIC更好？
答：这取决于你的模型目标。BIC 对参数较多的模型惩罚力度比 AICc 更大，因此通常会得到参数较少的模型。
问：除了 JMP 选择的模型之外，用户是否可以选择使用其他模型？
答：您可以运行模型比较，并查看最佳的验证或测试结果。您还可以使用一些工具，例如“移除 Elastic Net Alpha”，JMP 会提供三种选项，并向您展示三个模型中的最佳模型。如果您有大量数据，运行这些工具可能需要一些时间。
问：您会如何将这些技术应用于时间序列数据？
答：时间序列数据最好使用 JMP 中的时间序列工具或 FDE 工具进行分析。请参阅相关信息。 时间序列 以及一段分析视频 曲线数据。
之前关于此主题的网络研讨会中解答的问题：
问：Pred Formula Y1 是否来自 PCA 回归？
答：是的，Y1 和 Y2 的预测公式是通过主成分回归分析生成的。当您使用这些预测公式构建分析器时，您可以勾选一个复选框，以便查看各个因素的影响，而不是主成分的影响。
问：在PLS中，是否需要指定交互作用，还是变量之间的关系已包含在底层模型中（例如，NIPALS）？
答：对于偏最小二乘法 (PLS) 分析，您必须指定要检验的模型效应，例如交互作用或其他项。在标准版 JMP 中，您只能运行包含主效应的 PLS 分析。在 JMP Pro 中，您可以使用“拟合模型”中的 PLS 功能，运行包含其他模型效应（例如交互作用或多项式）的 PLS 分析。
问：麸质数据集是否也存在大量多重共线性问题？
答：是的。每个波长都依赖于下一个波长，因此波长之间存在大量的共线性。
问：对于高度自相关的数据，PLS 和广义回归哪个通常更优？还是说这取决于具体的数据集？我之前觉得 PLS 更好，但现在看来并非如此。
答：这取决于具体情况，而具体情况又在一定程度上取决于数据。两者给出的模型都很好，而且非常接近。
问：哪种建模方法最适合反向预测？
答：如果数据量很大，可能很难找到合适的设置。所有选项对于反向预测都是可以接受的。
问：您能否详细说明一下如何将PCA公式保存到表格中？我只知道如何保存坐标本身。
A：点击红色三角形，将公式保存到数据表。
问：如果我使用 PLS 模型和 Prediction Profiler 进行优化，优化过程是否会考虑变量之间的相关性？或者，如果启用外推控制，变量之间的相关性是否会被处理？
答：在偏最小二乘法（PLS）中，您可以进行变量选择，然后使用选择结果构建包含重要变量的模型。之后，使用“使用重要变量构建模型”并重新运行。如果您将这些模型保存到数据表中，它们会非常大，并且包含所有变量。
问：模型筛选有用吗？
答：是的，这需要一些时间。请选择“其他方法”。请注意，选择此选项后，模型将使用弹性网络进行分析。此外，如果使用 K 折交叉验证，模型还会使用岭回归，这将耗费更多时间。另外，在广义回归和 PLS 模型筛选中，您可以添加双向交互项，模型将分别在包含和不包含双向交互项的情况下进行拟合。
gail_massari_1-1731005860636.jpeg
资源
