在本次演講中，我們將探討這些挑戰，並探索專為處理此類數據而設計的先進方法。具體而言，我們將深入研究三種強大的技術：主成分分析 (PCA)、偏最小二乘法 (PLS) 和函數型資料分析 (FDA)。透過比較這些方法，我們將重點介紹它們的優勢、局限性和實際應用，從而幫助您選擇分析高度相關光譜資料的最佳方法。我們將向您展示如何將數據轉化為充滿活力的成功之作，即使您對彩虹的看法從此改變。
感謝您前來參觀我們關於「解碼彩虹」的海報，我們將介紹分析光譜資料的最佳且最清晰易懂的方法。本海報重點介紹一篇研究論文，該論文利用近紅外線反射光譜分析了北極土壤。我們將詳細介紹三種不同的光譜資料分析技術：主成分分析、偏最小平方法和函數資料分析。之後，我們將比較這些技術和結果，並與您分享每種技術的表現。
在主頁上，我們展示了光譜圖、三種不同的分析方法以及最終結論。首先，我們來看看光譜圖。在這裡，您可以看到分析光譜資料面臨的一些挑戰。觀察我們的多元相關性顏色圖，我們發現數據之間存在高度相關性。這使得一些常用的數據分析方法無法使用。因此，我們需要採用一種能夠有效處理高度相關資料的方法。
在這裡，我們來看看近紅外線區域的光譜情況。您可以看到哪些波長與我們正在研究的兩種不同反應（SOM，即固體有機物或麥角甾醇）高度相關、相關性較低，甚至呈負相關。您可以看到不同波長之間的相關性程度不同。我們首先要研究的技術是主成分分析。托馬斯。
謝謝你，彼得。好的，讓我帶你來了解這些光譜的主成分分析。 PCA 是一種探索性方法，非常適合分析高度相關、高度複雜且高度多元的數據，而光譜數據正是如此。它通常是你首先會嘗試的方法，因為它非常簡單。你實際上是在探索數據，這意味著你可以發現趨勢、發現異常值，還可以深入光譜區域，找出哪些部分真正影響了模型結果中顯示的目標部分。
在主成分分析 (PCA) 中，您實際上是將原始資料分解成多個主成分。這些主成分是基於一種稱為正交性的數學原理提取的。正交性意味著它並非化學衍生的，因此有時得分和負荷可能難以解釋。但是，您可以非常直觀地看到得分和負荷，正如您在投影片上看到的三個圖表所示。如果我們看一下上面的兩個圖表，左側是前兩個主成分的散佈圖。右邊是第三個和第四個主成分。
在主成分分析（PCA）中，這些成分是基於變異性提取的。你可以看到，它們在解釋原始資料變異數方面實際上有所下降。第一成分解釋了近 87% 的變異。這在光譜數據中非常常見，因為光譜的形狀大致相同，只有一些微小的差異，而這些差異實際上包含了所有的化學資訊。如果我們根據固體有機物含量對左側的第一個得分圖進行著色，我們可以看到得分圖中存在一個梯度，這意味著我們確實在光譜的某個位置捕捉到了這種固體有機物。
我們對組分 3 和組分 4 也可以進行同樣的分析。但我們可以看到，此時麥角固醇的含量似乎介於組成 3 和組成 4 之間，呈現出一定的梯度。然而，這並不能真正解釋它們之間的差異。為此，我們需要查看載重圖。在這裡，我們可以看到，如果將這些值繪製在波長軸上，絕對值越高或越低，則這些區域對於描述樣本在相應得分圖中的差異就越重要。
利用主成分分析 (PCA)，如果資料存在分組或聚類，就能獲得非常好的概覽。例如，雖然很難直接識別異常值，但我們清楚地看到了梯度。這意味著我們相信光譜中確實包含化學資訊。這一點非常重要，因為我們通常希望利用數據做更多的事情，而不僅僅是探索數據本身。我們也希望建立預測模型，就像接下來的兩種技術將要介紹的那樣。
那麼，PCA 就是一個非常好的首選方法，可以用來判斷這些預測模型是會成功還是會失敗。簡單提一下 PCA 的優缺點。 PCA 是一種非常強大的光譜資料處理技術，它很容易理解，而且我們可以獲得非常好的視覺化結果。
缺點在於，我們實際上是基於方差提取所有資訊。如果方差與化學無關，我們就很難了解光譜內部究竟發生了什麼事。但在這個例子中，你可以看到變異數實際上與化學有關。接下來，我們深入探討下一種方法，這種方法會更加精準。比爾。
謝謝你，托馬斯。接下來我們要討論的技術是偏最小平方法分析（PLS）。偏最小平方法分析是分析光譜資料的常用方法。結合主成分分析（PCA），你將深入了解光譜中發生的化學反應，並確定哪些波長對分析所有樣本的光譜數據最為重要，從而在分析過程中不斷學習。如果你看一下左側的輸出結果，你會發現你需要比較一個叫做范德比爾特T平方（Vanderbilt's T squared）的指標，也就是Q平方值。然後，你可以查看累積R平方（acculual R square）和累積Q平方（acculual Q square），以確定最佳的潛在因子數量。
在這種情況下，我們建立的最佳模型包含 14 個潛在因子，但即使只有 6 個潛在因子也能得到非常好的模型，這可以從圖中那條偏離 x 軸的黑線看出。我們想將此模型與論文中部分平方項所使用的資料進行比較。我們感覺 JMP 在光譜資料分析方面整體表現非常出色。再次強調，您需要使用類似…的方法來確定最佳潛在因子的數量。我所說的潛在因子，可以理解為主成分分析。主成分分析用於確定高度相關因子的最佳擬合。
然後，在右側，您可以看到我們得到的結果。最上方的第一張圖是迴歸係數向量曲線，它顯示了每種材料最重要的波長位置。如果您觀察圖中隱藏的藍線，那就是模型或原始光譜線，也就是來自原始光譜的資料。然後，如果您觀察綠線和紅線，它們分別是針對SOM和麥角甾醇的每種光譜係數確定的光譜係數變化。
右下角是我們得到的數據對比，即實際數據與預測數據的對比。從中可以看出，JMP 在麥角固醇和 SOM 指標上的整體表現都非常出色。 PLS 的優點在於它能建立非常好的預測模型，而且與 PCA 不同，它不會傳回任何關於整體 y 的訊息，因此它更像是一種無監督方法。
這種PLS方法更像是一種監督式學習方法，你會從中獲得一些理解。你會明白為什麼會這樣，或是說你試圖預測的是什麼。它能建構良好的預測模型，應用廣泛，尤其擅長分析光譜數據。模型本身的計算量可能非常大。事實上，用PLS建立模型時，你會用到所有數據，但你可以在某個階段進行一些變數降維。最後，需要指出的是，最終的模型，在這種情況下，可能會非常龐大。接下來，我將把話題交給Pete，讓他來談談FDA。
謝謝，比爾。好的。我們最後學習的技術是函數型資料分析。它與我們之前學習的兩種技術類似。函數型資料分析的基本概念是確定平均值，在本例中是頻譜形狀，您可以在這張圖中看到，它就是圖中下方顯示的紅線。
這就是所有光譜數據的平均形狀，然後我們觀察數據與該平均形狀的差異，並將這些差異提取出來，形成我們稱為形狀函數的東西。你可以把這些形狀函數理解為功能性主成分。就像托馬斯解釋的變異定義主成分一樣，這本質上是一樣的，只不過我們解釋的是形狀的變異，而不是數據的變異。
您可以看到，在這個模型中，我們有一個平均值形狀，然後是四個形狀，分別解釋了與該平均值的差異。就像 Thomas 的模型一樣，第一個主成分解釋了近 87% 的差異，然後依序遞減。這些數據與我們在 PCA 中看到的結果非常相似。 Bill 也提到過，功能數據分析 (FDA) 的一個優勢在於，它讓我們能夠找到回應，找到我們試圖弄清楚的原因。這就是我們所說的監督學習。
這裡可以看到我們的兩個響應值，以及每個響應值不同水準下的光譜圖。以下是我們的模型結果，它提取了形狀成分，並建立了一個模型來確定我們的兩個反應值，即SOM和麥角甾醇。這項技術的優點在於我們能夠創建一個預測性很強的模型，雖然在這種情況下不如PLS模型，但它提供了清晰的視覺化效果，使這項技術非常易於理解。
你可以看到我預期在不同反應等級下頻譜的形狀。缺點之一是這種技術不如其他技術廣泛應用。 PLS 和 PCA 等技術應用廣泛，而 PCA 的文檔較少，理解也較少。需要一些解釋才能理解其原理，而且它需要一個代理模型，該模型作為中間模型來產生形狀分量。實際上，需要使用類似小波或 AP 樣條之類的方法來擬合資料並提取這些形狀分量。
這些模型計算量很大，而且中間的替代模型也很難理解。我想回到我們開頭的幻燈片，展示我們的結果。正如比爾所提到的，論文使用了偏最小二乘法（PLS），我們在這裡得到了均方根誤差和R平方值。他們建立的模型相當不錯，但我想你們可以看到，即使使用主成分分析（PCA），我們也能得到類似的結果。在這種情況下，PLS似乎效果最好。函數型資料分析的結果介於兩者之間，但它具有良好的可解釋性。
謝謝。湯瑪斯、比爾，還有什麼要補充的嗎？
不是我給的。謝謝你，彼得。
不，謝謝你們，彼得和比爾。
謝謝你，托馬斯。
