@jordanwalters感谢您对 PCA 和 FA 的精彩文章和解释。期待你的下一期。
可以分享您在这里使用的数据表吗？
谢谢，
账单
欢迎回到我的结构方程建模系列。 我的第一篇文章介绍了结构方程建模，并简要说明了它过去曾在哪里使用，以及将来可以在哪里使用。 在第二篇文章中，我的目标是解释 SEM 中使用的主要基本概念之一、典型的替代方案以及我们为什么使用我们在 SEM 中所做的概念。 这篇文章中涵盖的基本概念是降维技术以及它们如何在 SEM 中应用以及这些方法的优点。 我假设读者对降维有一些先验知识，所以这篇文章的主要焦点将是这些技术的不同之处以及是什么让某些技术更适合 SEM。
降维
那么，什么是降维，我们为什么要使用它？ 降维是数据科学中采用的一种技术，用于将数据从高维空间减少到低维空间。 换句话说，我们试图找到一种方法来用更少的变量来表示我们的数据，同时仍然从更大的数据集中保留有意义的信息。
执行降维以制作更简单的数据模型。 通常，在系统中，已测量的变量与其他根本原因相关，通常可以将模型简化为这些根本原因。 有两种主要的降维方法：主成分分析（PCA）和因子分析（FA）。 这两种方法相似，但有一些独特的区别，我将在这篇文章中探讨。
下图显示了如何对数据集使用降维的一个示例。 假设数据聚集在绿色圆圈内，最初位于 X、Y 和 Z 三个维度中。 为了减少数据集，我们可以尝试删除数据中一些不太重要的维度，例如 Z 轴，这会产生仍然包含我们所有数据点的 XY 图。 这种方法的一种替代方法是形成一个 ZY 图，但是通过这种方式减少模型的维度，我们会丢失很多价值数据。 从这个例子可以看出，找到最优的降维技术对于保留数据集中的重要信息至关重要，而一些数据总是会丢失。
案例研究背景
为了帮助解释这个复杂的想法，我将使用一个案例研究来帮助理解我们正在做什么，使用一个真实的数据集。 在本案例研究中，我们查看了 78 种不同的溶剂以及每种溶剂的各种测量特性数据。 每种溶剂都有四个测量变量：熔点、沸点、亲脂性和 H 2 O 溶解度。 前五种溶剂及其测量值报告如下：
本案例研究的目的是降低我们数据的维数，使化学家更容易选择溶剂。 为此，我们的目标是将四个电流测量值减少为两个主要成分或因素。 下面探讨主成分和因子的概念。
主成分分析
主成分是一个新变量，它被构造为初始变量的线性组合或混合。 PCA 的目的是推导出这些组件中的一小部分，以尽可能多地捕获数据中的原始可变性。 最终目标是找到仍然保留重要信息的系统的最简化形式。 当系统中的原始变量之间已经存在很强的相关性时，PCA 特别有用，因为这意味着可能存在与变量相关的潜在原因。
主成分分析是工程中应用降维的典型方法。 其主要原因是工程中进行的测量几乎总是有相关的测量误差。 通过执行 PCA，可以找到用于定义系统的主要组件，其中包括测量误差以及来自其他来源的变化。
PCA可以在主成分分析平台中进行JMP和JMP 专业版. 该平台通过在我们的案例研究中使用每种溶剂的变量来演示。 要设置 PCA，必须选择四个变量，然后将其添加到平台，然后您只需按“确定”。 然后，JMP 会自动计算系统的主成分，并给出每个成分的特征值以及显示原始变量如何与主成分相关的负载图。
从特征值中，我们可以看到主成分 1 负责数据中的大部分变化，主成分 2 占较小但仍然重要的部分。 其他分量的特征值小于 1，每个分量的变化都小于每个原始变量。 右侧的加载图显示了原始变量如何与主成分 1 和 2（分别为水平轴和垂直轴）对齐。 这意味着与每个主成分轴对齐的变量通过主成分相互关联。
例如，在本案例研究中，我们看到沸点和熔点沿主成分 2 轴聚集在一起；这意味着这两个变量高度相关。 从化学的角度来看，我们假设是这种情况，因为化学物质的熔点和沸点通常与分子之间的力相关。 这意味着主成分 2 很可能是分子之间的分子间吸引力。
以同样的方式观察主成分 1 轴向我们展示了亲脂性和 H 2 O 溶解度与主成分 1 高度相关，但由于它们位于轴的任一侧，因此彼此呈负相关。 因此，图表上直角的变量没有相关性。 在化学背景下，我们可以假设主成分 1 可能是分子的极性。 这是因为分子极性会影响分子是否可以溶解在极性或非极性溶剂中；因为这就是H 2 O 溶解度和亲脂性是衡量标准，它们与该主要成分高度相关也就不足为奇了。 我们还知道，无论分子大小如何，分子都可以溶解，这意味着这两个测量值不应与我们在加载图中看到的沸点或熔点相关联。
因子分析
因子分析与 PCA 非常相似，但有一些重要的区别。 与 PCA 相比，该方法的主要区别在于与主成分相比，因子的定义不同。
主成分是观察变量的简化形式，旨在捕获尽可能多的数据变化。 这意味着主成分不一定是“真实”变量，因为它包含来自观察变量的测量误差。 然而，FA 中的因素略有不同。 因子也称为潜变量，是 SEM 中的一个重要概念。 潜在变量可以被认为是对系统中观察到的变量负责的根本原因（或因素）。
需要注意的是，SEM 中使用的观察变量的另一个词是明显变量，因此从现在开始我将使用这些变量来表示这些变量。 这样，在FA中，显变量可以被认为是“真实”潜变量的测量结果，在系统中是不可测量的。
FA可以通过JMP Pro中的因子分析平台进行。 这以与 PCA 平台中几乎相同的方式完成，因此我们使用相同的四个因素执行相同的分析。 这个平台唯一的区别是有更多与因子分析相关的定制选项；为简单起见，这些选项都将保留为默认值。
从平台上，我们发现主要有两个因素。 这些因子绘制在上面的加载图上，以显示每个因子所占的变异百分比。 虽然这个情节和从 PCA 平台上找到的情节看起来很相似，但它们并不相同。
关键差异可以从每个因素或主成分所占的方差量中看出；这是在每个轴上报告的。 另一个区别是我们的每个变量都绘制在两个图表上的确切点。这表明它们与因子和主成分的相关性不同。 如上所述，这些差异是由于我们定义因子和主成分的方式存在固有差异。 这方面的主要例子是沸点变量的位置。 在 PCA 分析中，它几乎与熔点完全相关。 在 FA 分析中，沸点和熔点相关性不大。 这进一步证明了因子 2 和主成分 2 是两个不同的概念。
简单地说，在化学背景下，主成分 1 是所有分子间相互作用的量度，这就是为什么在该加载图上沸点和熔点几乎相同的原因。 另一方面，在因子分析加载图上，我们看到熔点和沸点现在不一样了。 这可能是因为在 FA 中发现的因素只是范德华力，这是分子间力中最大的力贡献。 由于各种化学原因，这意味着该因素在物质的熔点中起着更大的作用，但当涉及到沸点时，其他分子间作用力就会发挥作用。 由于通过 PCA 捕获的测量误差，这些其他力未在因子 1 中考虑，但在主成分 1 中。
作为对这一想法的结论，我们在每个因子的轴上看到，每个因子对变异的影响小于主成分。 这是意料之中的，因为用于构建模型的数据是经验数据，因此包含测量误差。 因此，主成分（包含测量误差）将解释更多原始数据的变化是有道理的。
SEM中的降维
虽然 PCA 和 FA 都是复杂的概念，值得通过书籍来彻底理解它们，但我们可以从探索这些主题中得出的结论是，FA 产生不包含错误的潜在变量，而 PCA 产生的主成分包括其他错误的来源。 第二个重要的注意事项是，在 FA 中，潜在变量产生了清单变量，而在 PCA 中，主成分是“简化”清单变量的结果。
这两点都在上图中可视化，显示了 PCA 和 FA 之间的差异。 就理解底层系统而言，FA 是更好的方法。 这是因为在 PCA 中发现的主要成分不是影响系统的“真实”变量。 它们只是模型拟合参数。 这意味着 PCA 仍然有用，但在预测建模等其他领域有更好的应用，因为这可能会导致更好的拟合模型。 因此，在 SEM 中，我们采用 FA，因为它可以更全面地了解系统中显式变量的根本原因。 这样，通过使用 SEM，我们可以通过对显性变量进行回归来量化潜在变量。 事实上，这个想法构成了路径图的基础，这是 SEM 中的一个关键概念，我将在下一篇文章中介绍。
我希望这能让您深入了解降维技术以及为什么这些技术在 SEM 中使用和未使用。 我将在以后的博客文章中探讨的 SEM 中的一个有趣想法是 SEM 中的验证性因子分析 (CFA) 的特殊情况，它本质上只是一种在设置 SEM 的同时采用因子分析的方法。 稍后再谈。
@Bill_Worley感谢您对比尔的关注！ 当然，我会上传数据集。 数据文件中有一个脚本，它执行本文中执行的 PCA 和 FA。
