欢迎回到我的结构方程模型系列。 我的第一篇文章介绍了结构方程模型，并简要说明了它过去的应用领域，以及未来可以应用到的领域。 在第二篇文章中，我旨在解释 SEM 中使用的主要基础概念之一、典型的替代方案以及为什么我们采用我们在 SEM 中所做的概念。 这篇文章中涵盖的基本概念是降维技术及其在 SEM 中的应用方式以及这些方法的优势。 我假设读者对降维有一些先验知识，所以这篇文章的主要重点将放在这些技术有何不同以及是什么让某些技术更适合 SEM。
降维
那么，什么是降维，我们为什么要使用它呢？ 降维是数据科学中采用的一种技术，用于将数据从高维空间减少到低维空间。 换句话说，我们试图找到一种方法来用较少数量的变量来表示我们的数据，同时仍然保留来自较大数据集的有意义的信息。
执行降维以制作更简单的数据模型。 通常，在系统中，已测量的变量与其他潜在原因相关，并且通常可以将模型简化为这些潜在原因。 降维主要有两种方法：主成分分析（PCA）和因子分析（FA）。 这两种方法很相似，但有一些独特的区别，我将在本文中探讨这些区别。
下图显示了如何对数据集使用降维的一个示例。 假设数据聚集在绿色圆圈内，最初位于 X、Y 和 Z 三个维度。 为了减少数据集，我们可以尝试删除一些不太重要的数据维度，例如 Z 轴，这会产生仍然包含我们所有数据点的 XY 图。 这种方法的另一种方法是形成 ZY 图，但通过这种方式减小模型的维度，我们会丢失大量有价值的数据。 从这个例子可以看出，找到最佳的降维技术对于保留数据集中的重要信息至关重要，并且总是会丢失一些数据。
案例研究背景
为了帮助解释这个复杂的想法，我将使用一个案例研究来帮助理解我们正在做什么，使用一个真实的数据集。 在本案例研究中，我们查看了 78 种不同的溶剂和每种溶剂的各种测量特性数据。 每种溶剂都有四个测量变量：熔点、沸点、亲油性和 H 2个O 溶解度。 前五种溶剂及其测量值报告如下：
本案例研究的目的是降低我们数据的维度，让化学家更轻松地选择溶剂。 为此，我们的目标是将四个电流测量值减少为两个主要成分或因素。 下面探讨主成分和因子的概念。
主成分分析
主成分是一个新变量，它被构造为初始变量的线性组合或混合。 PCA 的目的是派生出少量这些成分，以尽可能多地捕获数据中的原始可变性。 最终目标是找到仍然保留重要信息的系统的最简化形式。 当系统中的原始变量之间已经存在很强的相关性时，PCA 尤其有用，因为这意味着可能存在相关变量的潜在原因。
主成分分析是典型的工程降维方法。 主要原因是在工程中进行的测量几乎总是有相关的测量误差。 通过执行 PCA，可以找到用于定义系统的主要组件，其中包括测量误差以及来自其他来源的变化。
PCA可以在主成分分析平台中进行JMP和JMP临. 在我们的案例研究中，通过使用我们每种溶剂的变量来展示这个平台。 要设置 PCA，必须选择四个变量，然后将其添加到平台，然后只需按“确定”。 然后，JMP 会自动计算系统的主成分并给出每个成分的特征值以及显示原始变量如何与主成分相关的载荷图。
从特征值中，我们可以看到主成分 1 对数据中的大部分变化负责，主成分 2 占较小但仍然很重要的部分。 其他分量的特征值小于 1，每个分量的变化都小于每个原始变量。 右侧的载荷图显示了原始变量如何与主成分 1 和 2（分别为水平轴和垂直轴）对齐。 这意味着与每个主成分轴对齐的变量通过主成分相互关联。
例如，在本案例研究中，我们看到沸点和熔点沿主成分 2 轴聚集在一起；这意味着这两个变量高度相关。 从化学的角度来看，我们假设是这种情况，因为化学物质的熔点和沸点通常与分子之间的力相关。 这意味着主成分2很可能是分子间的分子间引力。
以相同的方式查看主成分 1 轴向我们表明亲脂性和 H 2个O 溶解度与主成分 1 高度相关，但彼此呈负相关，因为它们位于轴的两侧。 因此，图中直角处的变量没有相关性。 在化学背景下，我们可以假设主成分 1 可能是分子的极性。 这是因为分子极性会影响分子是否可以溶解在极性或非极性溶剂中；因为这就是H 2个O 溶解度和亲脂性是衡量指标，它们与该主要成分高度相关也就不足为奇了。 我们还知道，无论分子大小如何，分子都可以溶解，这意味着这两个测量值不应与我们在载荷图中看到的沸点或熔点相关。
因子分析
因子分析与 PCA 非常相似，但有一些重要的区别。 与 PCA 相比，此方法的主要区别在于因子与主成分的不同定义。
主成分是观察变量的简化形式，旨在捕获尽可能多的数据变化。 这意味着主成分不一定是“真实”变量，因为它包含观察变量的测量误差。 然而，FA 中的因素略有不同。 因子也称为潜在变量，这是 SEM 中的一个重要概念。 潜在变量可以被认为是系统中观察到的变量的根本原因（或因素）。
请注意，SEM 中使用的观察变量的另一个词是显变量，因此从现在开始我将如何引用这些变量。 这样，在 FA 中，显性变量可以被认为是“真实”潜在变量的测量结果，这在系统中是不可测量的。
可以通过 JMP Pro 中的因子分析平台执行 FA。 这是以几乎与 PCA 平台相同的方式完成的，因此我们使用相同的四个因素执行相同的分析。 这个平台唯一的区别是有更多与因子分析相关的定制选项；为了简单起见，这些选项都将保留为默认值。
从平台上，我们发现主要有两个因素。 这些因素绘制在上面的载荷图上，以显示每个因素所占的变异百分比。 虽然这个图和从 PCA 平台上找到的图看起来很相似，但它们并不相同。
主要区别在于每个因素或主要成分所占的方差量；这是在每个轴上报告的。 另一个区别是我们的每个变量都绘制在两个图表上的确切点；这表明它们与因素和主要成分的相关性不同。 如上所述，这些差异是由于我们定义因子和主成分的方式存在内在差异所致。 这方面的主要例子是沸点变量的位置。 在 PCA 分析中，它几乎与熔点完全相关。 在 FA 分析中，沸点和熔点的相关性不大。 这进一步说明factor 2和principal component 2是两个不同的思路。
简单地把它放在化学环境中，主成分 1 是所有分子间相互作用的量度，这就是为什么沸点和熔点在该加载图上几乎相同的原因。 另一方面，在因子分析加载图上，我们看到熔点和沸点现在不一样了。 这可能是因为在 FA 中发现的因素只是范德华力，这是分子间力中最大的力贡献。 由于各种化学原因，这意味着该因素对物质的熔点起着更大的作用，但当谈到沸点时，其他分子间作用力就会发挥作用。 由于通过 PCA 捕获的测量误差，这些其他力未在因子 1 中考虑，但在主成分 1 中。
作为对这个想法的结论，我们在每个因素的轴上看到每个因素所占的变异比主成分少。 这是意料之中的，因为用于构建模型的数据是经验性的，因此包含测量误差。 因此，主成分（包含测量误差）将解释原始数据中更多的变化是有道理的。
SEM 降维
尽管 PCA 和 FA 都是复杂的概念，它们本身就值得书本来彻底理解它们，但我们可以从对这些主题的探索中得到的是，FA 产生的潜变量不包含错误，而 PCA 产生的主成分包括其他错误的来源。 第二个重要的注意事项是，在 FA 中，潜在变量产生显变量，而在 PCA 中，主成分是“简化”显变量的结果。
图片 - 劳拉·卡斯特罗-斯基洛结构方程建模基础知识 (2021-EU-45MP-752) - JMP 用户社区
这两点都在上图中可视化，显示了 PCA 和 FA 之间的差异。 在了解底层系统方面，FA 是更好的方法。 这是因为 PCA 中发现的主要成分不是影响系统的“真实”变量。 它们只是模型拟合参数。 这意味着 PCA 仍然有用，但在预测建模等其他领域有更好的应用，因为这可能会产生更好的拟合模型。 因此，在 SEM 中，我们采用 FA，因为它允许更全面地了解系统中显变量的根本原因。 这样，通过使用 SEM，我们可以通过对显变量的回归来量化潜在变量。 事实上，这个想法构成了路径图的基础，这是 SEM 中的一个关键概念，我将在下一篇文章中介绍。
我希望这能让您深入了解降维技术，以及为什么这些技术在 SEM 中使用和不使用。 SEM 中的一个有趣想法是验证性因素分析 (CFA) 中的 SEM 特例，我将在以后的博文中进行探讨，它本质上只是一种采用因素分析的方法，同时还设置了 SEM。 稍后会详细介绍。
@Bill_Worley感谢您的关注比尔！ 当然，我会上传数据集。 数据文件中有一个脚本可以执行本文中执行的 PCA 和 FA。
很不错， @乔丹沃尔特斯. 很好地解释了 PCA 和 FA 的不同之处。
@乔丹沃尔特斯感谢您对 PCA 和 FA 的精彩文章和解释。期待您的下一期。
可以分享一下你这里用的数据表吗？
谢谢你，
账单
