本次演讲中，我们将探讨这些挑战，并探索专为处理此类数据而设计的先进方法。具体而言，我们将深入研究三种强大的技术：主成分分析 (PCA)、偏最小二乘法 (PLS) 和函数型数据分析 (FDA)。通过比较这些方法，我们将重点介绍它们的优势、局限性和实际应用，并就如何选择分析高度相关光谱数据的最佳方法提供见解。我们将向您展示如何将您的数据转化为充满活力的成功之作，即使您对彩虹的看法从此改变。
感谢您前来参观我们关于“解码彩虹”的海报，我们将介绍分析光谱数据的最佳且最清晰易懂的方法。本海报重点介绍一篇研究论文，该论文利用近红外反射光谱法分析了北极土壤。我们将详细介绍三种不同的光谱数据分析技术：主成分分析、偏最小二乘法和函数数据分析。之后，我们将比较这些技术和结果，并与您分享每种技术的表现。
在主页上，我们展示了光谱图、三种不同的分析方法以及最终结论。首先，我们来看一下光谱图。在这里，您可以看到分析光谱数据面临的一些挑战。观察我们的多元相关性颜色图，我们发现数据之间存在高度相关性。这使得一些常用的数据分析方法无法使用。因此，我们需要采用一种能够有效处理高度相关数据的方法。
在这里，我们来看一下近红外区域的光谱情况。您可以看到哪些波长与我们正在研究的两种不同响应（SOM，即固体有机物或麦角甾醇）高度相关、相关性较低，甚至呈负相关。您可以看到不同波长之间的相关性程度不同。我们首先要研究的技术是主成分分析。托马斯。
谢谢你，彼得。好的，让我带你了解一下这些光谱的主成分分析。PCA 是一种探索性方法，非常适合分析高度相关、高度复杂且高度多元的数据，而光谱数据恰恰就是如此。它通常是你首先会尝试的方法，因为它非常简单。你实际上是在探索数据，这意味着你可以发现趋势、发现异常值，还可以深入光谱区域，找出哪些部分真正影响了模型结果中显示的目标部分。
在主成分分析 (PCA) 中，您实际上是将原始数据分解成多个主成分。这些主成分是基于一种称为正交性的数学原理提取的。正交性意味着它并非化学衍生的，因此有时得分和载荷可能难以解释。但是，您可以非常直观地看到得分和载荷，正如您在幻灯片上看到的三个图表所示。如果我们看一下上面的两个图表，左侧是前两个主成分的散点图。右侧是第三个和第四个主成分。
在主成分分析（PCA）中，这些成分是基于变异性提取的。你可以看到，它们在解释原始数据方差方面实际上有所下降。第一成分解释了近 87% 的变异。这在光谱数据中非常常见，因为光谱的形状大体相同，只有一些微小的差异，而这些差异实际上包含了所有的化学信息。如果我们根据固体有机物含量对左侧的第一个得分图进行着色，我们可以看到得分图中存在一个梯度，这意味着我们确实在光谱的某个位置捕捉到了这种固体有机物。
我们对组分 3 和组分 4 也可以进行同样的分析。但我们可以看到，此时麦角甾醇的含量似乎介于组分 3 和组分 4 之间，呈现出一定的梯度。然而，这并不能真正解释它们之间的差异。为此，我们需要查看载荷图。在这里，我们可以看到，如果将这些值绘制在波长轴上，绝对值越高或越低，则这些区域对于描述样本在相应得分图中的差异就越重要。
利用主成分分析 (PCA)，如果数据存在分组或聚类，就能获得非常好的概览。例如，虽然很难直接识别异常值，但我们清晰地看到了梯度。这意味着我们相信光谱中确实包含化学信息。这一点非常重要，因为我们通常希望利用数据做更多的事情，而不仅仅是探索数据本身。我们还希望构建预测模型，就像接下来的两种技术将要介绍的那样。
那么，PCA 就是一个非常好的首选方法，可以用来判断这些预测模型是会成功还是会失败。简单提一下 PCA 的优缺点。PCA 是一种非常强大的光谱数据处理技术，它很容易理解，而且我们可以获得非常好的可视化结果。
缺点在于，我们实际上是基于方差提取所有信息。如果方差与化学无关，我们就很难了解光谱内部究竟发生了什么。但在这个例子中，你可以看到方差实际上与化学有关。接下来，我们深入探讨下一种方法，这种方法会更加精准。比尔。
谢谢你，托马斯。接下来我们要讨论的技术是偏最小二乘分析（PLS）。偏最小二乘分析是分析光谱数据的常用方法。结合主成分分析（PCA），你将深入了解光谱中发生的化学反应，并确定哪些波长对分析所有样本的光谱数据最为重要，从而在分析过程中不断学习。如果你看一下左侧的输出结果，你会发现你需要比较一个叫做范德比尔特T平方（Vanderbilt's T squared）的指标，也就是Q平方值。然后，你可以查看累积R平方（acculual R square）和累积Q平方（acculual Q square），以确定最佳的潜在因子数量。
在这种情况下，我们构建的最佳模型包含 14 个潜在因子，但即使只有 6 个潜在因子也能得到非常好的模型，这可以从图中那条偏离 x 轴的黑线看出。我们想将此模型与论文中部分平方项所用的数据进行比较。我们感觉 JMP 在光谱数据分析方面总体表现非常出色。再次强调，您需要使用类似……的方法来确定最佳潜在因子的数量。我所说的潜在因子，可以理解为主成分分析。主成分分析用于确定高度相关因子的最佳拟合。
然后，在右侧，您可以看到我们得到的结果。最上方的第一张图是回归系数向量曲线，它显示了每种材料最重要的波长位置。如果您观察图中隐藏的蓝线，那就是模型或原始光谱线，也就是来自原始光谱的数据。然后，如果您观察绿线和红线，它们分别是针对SOM和麦角甾醇的每种光谱系数确定的光谱系数变化。
右下角是我们得到的数据对比，即实际数据与预测数据的对比。从中可以看出，JMP 在麦角甾醇和 SOM 指标上的整体表现都非常出色。PLS 的优点在于它能构建非常好的预测模型，而且与 PCA 不同，它不会返回任何关于整体 y 的信息，因此它更像是一种无监督方法。
这种PLS方法更像是一种监督学习方法，你会从中获得一些理解。你会明白为什么会这样，或者说你试图预测的是什么。它能构建良好的预测模型，应用广泛，尤其擅长分析光谱数据。模型本身的计算量可能非常大。事实上，用PLS构建模型时，你会用到所有数据，但你可以在某个阶段进行一些变量降维。最后，需要指出的是，最终的模型，在这种情况下，可能会非常庞大。接下来，我将把话题交给Pete，让他来谈谈FDA。
谢谢，比尔。好的。我们最后学习的技术是函数型数据分析。它与我们之前学习的两种技术类似。函数型数据分析的基本思想是确定平均值，在本例中是频谱形状，您可以在这张图中看到，它就是图中下方显示的红线。
这就是所有光谱数据的平均形状，然后我们观察数据与该平均形状的差异，并将这些差异提取出来，形成我们称之为形状函数的东西。你可以把这些形状函数理解为功能性主成分。就像托马斯解释的变异定义主成分一样，这本质上是一样的，只不过我们解释的是形状的变异，而不是数据的变异。
您可以看到，在这个模型中，我们有一个均值形状，然后是四个形状，分别解释了与该均值的差异。就像 Thomas 的模型一样，第一个主成分解释了近 87% 的差异，然后依次递减。这些数据与我们在 PCA 中看到的结果非常相似。Bill 也提到过，功能数据分析 (FDA) 的一个优势在于，它使我们能够找到响应，找到我们试图弄清楚的原因。这就是我们所说的监督学习。
这里可以看到我们的两个响应值，以及每个响应值在不同水平下的光谱图。下方是我们的模型结果，它提取了形状成分，并建立了一个模型来确定我们的两个响应值，即SOM和麦角甾醇。这项技术的优点在于我们能够创建一个预测性很强的模型，虽然在本例中不如PLS，但它提供了清晰的可视化效果，使这项技术非常易于理解。
你可以看到我预期在不同响应水平下频谱的形状。缺点之一是这种技术不如其他技术那样广泛应用。PLS 和 PCA 等技术应用广泛，而 PCA 的文档较少，理解也较少。需要一些解释才能理解其原理，而且它需要一个代理模型，该模型作为中间模型来生成形状分量。实际上，需要使用类似小波或 AP 样条之类的方法来拟合数据并提取这些形状分量。
这些模型计算量很大，而且中间的替代模型也很难理解。我想回到我们开头的幻灯片，展示一下我们的结果。正如比尔提到的，论文使用了偏最小二乘法（PLS），我们在这里得到了均方根误差和R平方值。他们构建的模型相当不错，但我想你们可以看到，即使使用主成分分析（PCA），我们也能得到类似的结果。在这种情况下，PLS似乎效果最好。函数型数据分析的结果介于两者之间，但它具有良好的可解释性。
谢谢。托马斯、比尔，还有什么要补充的吗？
不是我给的。谢谢你，彼得。
不，谢谢你们，彼得和比尔。
谢谢你，托马斯。
