快速提醒我們上次離開的地方本系列有關光譜資料的第 1 部分：我們正在分析 Martens 等人的一個流行的光譜資料集。 」透過擴展乘法訊號校正分離光散射和光吸光度。 在粉末混合物近紅外線透射分析的應用」分析化學2003 年 2 月 1 日；75(3)：394-404。 一些簡單的預處理步驟使我們能夠顯著提高資料的訊號雜訊比。
在這篇文章中，我們使用相同的數據來展示多元平台的實用性聯合管理計劃。 在譜分析中，多元統計被廣泛使用，因為人們反覆嘗試不同的預處理步驟並評估對數據的影響。 首先，我們專注於無監督學習或探索性資料分析。 然後我們示範如何使用功能資料瀏覽器（FDE）來建立多元校準模型。 最後，我們介紹了一種更先進的預處理方法——擴展乘性訊號校正——並展示了它如何進一步改進我們的多元校準模型。
多元方法
主成分分析
我們示範的第一個探索性方法是主成分分析（PCA）。 有趣的是，當對原始光譜進行 PCA 時，可以在分數圖中識別已知子組，而無需任何預處理（圖 1）。請記住第 1 部分中的樣本是麩質和澱粉的混合物，顏色表示麩質分數。 雖然組別之間有很好的分離，但具有相同麵筋分數的光譜仍然存在相當大的變化，這將為以後的多變量校準帶來問題。 在我們找到最佳的預處理工作流程後，這個錯誤在本文結束時得到了顯著改善。
圖1。 PCA 模型的得分和載重圖。 如預期的那樣，負載圖顯示不同波長之間存在高度相關性。 顏色表示每個樣本中存在的麩質分數，從 0（藍色）到 1（紅色）。 特徵值表示該資料集中的變化可以用 2 個主成分來解釋。
模型驅動的多元控製圖
通常，執行某種類型的異常值分析來識別並從模型中刪除有影響的異常值。 JMP 在 PCA 平台內提供異常值分析工具。 然而，JMP 15 推出了模型驅動多元控制圖 (MDMCC)，它是一種功能更全面的異常值分析工具，可以更深入地調查根本原因分析並比較差異譜。
圖 2.模型驅動多元控製圖根據以下公式將兩個譜（13 和 14）識別為異常值：時間2和 SPE 圖。 平均貢獻比例圖顯示了對失控訊號貢獻最大的波長。
對於此分析中的光譜，MDMCC 根據 PCA 導出的 T 確定兩個光譜（13 和 14）作為異常值2和 SPE 圖（圖 2）。的T 2圖表示這些點遠離模型平面內的數據，而SPE圖表示這些點遠離模型平面。 概念化這一點的另一種方法是，這些光譜 1) 與平均光譜相距甚遠，2) 在 PCA 模型中擬合不佳。 由於這兩個條件都滿足，因此這些點是潛在有影響力的異常值，這意味著當模型擬合時，它們可能會將 PCA 模型平面拉向它們。 如果這些資料確實是錯誤的，則 PCA 模型可能會很差。 請注意，除了 13 和 14 之外，還有其他點是 T 中的異常值2圖表，但不在 SPE 圖表中。 由於這些點遠離平均光譜，但仍然符合 PCA 模型，因此它們不太可能是有影響力的異常值。 看一個很好的插圖來區分T 2和 SPE 異常值，請參閱圖 4這張紙。
為了更好地理解為什麼點 13 和 14 是異常值，我們建立了 T 的平均貢獻比例長條圖2和 SPE 圖（圖 3）。這些顯示了兩個圖表中對異常值狀態貢獻最大的波長。 您也可以將滑鼠懸停在各個條上以查看特定波長的單變量控製圖。
對於此範例，在圖形產生器中繪製光譜有助於更好地了解觀察結果為何異常（圖 3）。 一個值得注意的異常現像是，這兩個光譜在較長波長下具有異常大的吸光度。
如果我們確定這些異常值是可疑的，則可以輕鬆地重新擬合模型並刪除異常值。 為此，請在 MDMCC 報告中開啟“自動重新計算”，在 T2 或 SPE 控製圖中選擇離群值觀測值，然後使用右鍵單擊 >> 行 >> 行排除。
圖 3. 透過動態連結在 MDMCC 中選擇的光譜 13 和 14 的圖形生成器視圖。 該圖顯示了與其餘數據直接比較時，兩個選定的光譜如何被視為異常值。
MDMCC 得分圖也可用於比較亞組（圖 4）。 A 組是頂部的「紅色」子組，B 組是底部的「藍色」子組。 相對分數貢獻圖顯示兩個亞組之間按波長有顯著差異的地方。
圖 4. 0% 和 100% 麩質光譜之間的組別比較。 長條圖中絕對貢獻最大的波長顯示組間最大差異。
功能數據瀏覽器
JMP 中的 PCA 平台是一個很好的通用工具，但不是為具有函數形式（如光譜）的資料而設計的。 幸運的是，在JMP專業版，有一個專門針對函數資料設計的工具。 JMP Pro 中的功能資料瀏覽器 (FDE) 平台可用於對光譜資料進行更深入的研究。 FDE 用於分析某個連續光譜上的曲線數據，對於 NIR 光譜，連續光譜是波長。 由於所有光譜都是在相同的等間距網格上測量的，因此我們可以擬合直接函數 PCA 模型，該模型無需擬合基底函數即可執行函數 PCA（圖 5）。 請注意，我們沒有從 FDE 模型中排除在上一節（13 和 14）中確定的異常值。 雖然人們可能會選擇排除這些異常值，但我們將它們包含在擬合中，因為在後面的部分中，我們將與適合預處理資料的FDE 模型進行比較，其中這些觀測值不再是異常值（見圖14）。
在圖 5 中，與功能主成分 (fPC) 對應的特徵值顯示了每個 fPC 解釋了多少變化。 就該數據而言，變化由前兩個 fPC 表徵，與 PCA 的情況一樣。 您也可以看到與 fPC 相關的平均曲線。 如果您的資料精確追蹤均值函數，則所有 fPC 都將為零。 如果 fPC 值為正，則函數的形狀與平均值的變化與對應特徵函數的形狀相似，而負 fPC 則表示相反的效果。 特徵函數與光譜資料 PCA 分析中使用的常見圖（稱為光譜載荷圖）相當，其中載荷按波長排序。
圖 5. 直接函數 PCA 模型擬合摘要。 兩個功能主成分解釋了數據中 100% 的變化。
將各個光譜擬合，所得得分圖如圖 6 所示。 功能主成分平台中的一個方便功能是能夠將滑鼠懸停在得分圖中的點上並查看相應光譜的圖譜。 這在本例中非常有用，因為分數圖將資料組織成相似光譜的子群組，然後懸停幫助顯示函數形式的差異。 這可用於發現子組之間的差異，而無需依賴任何更複雜的分析。
圖 6. FDE 模型擬合的得分圖。 可以透過將滑鼠懸停在得分圖中的點上來探索子組之間的差異，從而揭示光譜的函數形式。
fPC Profiler 可以更輕鬆地解釋各個 fPC 的分數維度（圖 7）。 移動其中一個 fPC 滑桿顯示了在其他 fPC 值固定的情況下沿著 fPC 方向之一移動對預測函數的影響。
圖 7. 用於 FDE 模型擬合的特徵函數 (A) 和 fPC 分析器 (BD)。 fPC 分析器，其中 fPC 設定為其平均值 (B)、fPC2 設定為其最小值 (C)、fPC2 設定為其最大值 (D)。 當fPC2值為正時，光譜的形狀與平均值的變化與對應特徵函數的形狀相似，而負fPC則表示相反的效果。
實驗功能設計（多變量校準）
由於這些數據來自設計的實驗，因此功能 DOE 分析是相關的（圖 8）。 FDOE Profiler 可以預測實驗數據中未觀察到的澱粉和麩質組分的光譜函數形式。 在光譜分析中，這稱為多元校準模型。 由於澱粉和麩質的混合比例總和為 1，因此我們在 Profiler 中應用混合約束。
通常需要建立該模型的逆模型，其中實驗因素（在本例中為成分比例）被預測為光譜的函數。 令人困惑的是，這也稱為多元校準。 為了清楚起見，我們採用 Brereton 的術語並將其稱為逆多元校準。 為了擬合這些類型的模型，可以輸出功能主成分並提供給 JMP 中的任何預測建模平台。 這使得人們能夠將靈活的模型（例如神經網路）適應函數摘要。 這些模型可能能夠比 PLS 更好地對非線性和依賴性進行建模。 我們將在下一篇文章中說明這種方法。
圖 8. 功能性 DOE 分析器。 對澱粉和麩質應用線性約束，使它們總和為 1。 光譜是根據原始數據中未觀察到的實驗因素組合進行預測的。
層次聚類
層次聚類是光譜分析中流行的另一種無監督機器學習工具。 層次聚類的目標是識別資料中的子組，其中簇內差異較小，簇間差異較大。 在前面的部分中，我們確定了子組，但是以主觀的方式進行的。 層次聚類為定義這些子組提供了客觀標準。
聚類樹狀圖顯示了從尖端（每個光譜都在自己的聚類中）到根（其中所有光譜都在一個聚類中）的聚類層次結構。 樹狀圖顯示了聚類演算法如何迭代合併聚類。 內部分支的長度與簇之間的差異成正比，其中簇之間的差異根據連結標準來定義。
JMP 中的層次聚類是一個豐富的平台，具有許多對譜分析有用的功能，但我們沒有時間在此介紹。 我們在隨附的日誌中提供了報告，以便您可以自己發現這些功能。 一些值得檢查的功能包括互動式選擇聚類數量、聚類分配的輸出、在樹狀圖中選擇和突出顯示聚類的能力以及為聚類啟動並行圖的能力。 另外值得注意的是，層次聚類對於大 n 和大 p 問題具有出色的效能。
圖 9. 原始光譜（左）和根據本系列第 1 部分預處理的光譜（右）的層次聚類。 原始資料顯示各個光譜的聚類更加分散，導致子分組效果較差，而預處理資料則顯示出更好定義的子分組。 如果需要，可以儲存各個簇名稱並將其用作建模過程的輸入。
進階預處理
擴展多元訊號校正
本節介紹一種有用的診斷圖（稱為散點效應圖）和一種強大的預處理方法（稱為擴展乘性散點校正 (EMSC)）。 在 JMP 中建立散點效應圖非常簡單，隨附的日誌中提供了一個範例。 EMSC 需要一些 JSL 知識才能重現。 我們介紹 EMSC 是因為它非常適合這些數據，而擬合模型平台是教授此方法的有用教學工具。 此外，我們打算在 JMP 的未來版本中提供許多預處理方法，例如 FDE 平台中的 EMSC，敬請期待。
圖 10 顯示了散點效應圖，這在選擇預處理方法時非常有用。 這些圖中的模式表示不同的雜訊來源，您可以使用此資訊來選擇適合您的資料的預處理方法。 在散點效應圖中，y 截距的變化表示恆定的基線變化或加性效應。 預處理方法如1英石導數 Savitzky Golay (SG) 濾波器——我們在上一篇部落格文章中介紹過——消除了這些影響。 當光譜僅在某些波長處有較大變化時，就會發生乘性散射效應。 這些在散點效應圖中顯示為斜率的變化或“扇形”。 一些可以消除乘性效應的預處理方法是乘性散點校正 (MSC) 和標準常態變數。 我們在上一篇文章中展示了標準常態變數。 在這篇文章中，我們介紹 MSC。 化學效應在這些圖中也顯示為獨特的模式。 有趣的是，這些顯示為循環！
圖 10. 原始光譜 (A) 和 1 的散點效應圖英石匯出 SG 過濾後的資料 (B)。 SG 濾波器消除加性效應後，乘性效應仍然存在。 對於這些數據，需要一種消除乘性效應的預處理方法。
原始資料的散點效應圖強烈顯示存在累加效應（圖 10A）。 也可能存在乘法效應，但很難說，因為加法效應占主導地位。 因此，我們首先透過應用 1 來消除加性效應英石正如我們在上一篇文章中所做的那樣，對資料進行 SG 過濾。 在上一篇文章中，我們在圖形產生器中繪製了預處理的光譜，並表明乘法效應仍然存在。 乘法效應在散佈效應圖中也很明顯 - 請注意相當大的扇形（圖 10B）。 因此，數據中既有加性效應，也有乘性效應。 EMSC 可以一步消除這兩種噪音源。
在他們的原始論文中，Martens 等人。介紹了 EMSC，並展示了該方法如何改進更簡單的預處理方法，例如我們先前文章中所示的方法。 我們正在建立 EMSC，但最簡單的方法是先從乘性散射校正 (MSC) 開始。 MSC 旨在透過讓資料看起來更像參考頻譜來修正資料中的各種雜訊來源。 由於通常沒有好的標準可用，因此經常使用平均頻譜。 對於每個頻譜，執行單獨的迴歸。 讓X = {x 1 ， …， X p } 是給定光譜的吸光度向量，且X * = {x * 1 ， …， X * p } 參考光譜。 模型是
並將頻譜校正如下：
MSC 的一個問題是它沒有考慮散射效應和波長之間存在的關係。 EMSC 透過將多項式關係合併到模型中來解決這個問題。 通常，假設波長存在二次關係。 MSC 的另一個問題是，透過在平均光譜上回歸每個光譜，可以消除感興趣的真實化學效應。 如果已知樣品是少量化學成分的混合物，並且每種成分都有純參考光譜，則可以透過將先前的化學成分資訊納入模型來進一步擴展 EMSC。 在 Marten 等人的數據中，有純麩質（ X G ）和純澱粉（ X s ) 數據中的樣本。 正如 Marten 等人所言。論文中，我們選擇樣品 1 和樣品 93 作為參考光譜。 EMSC模型將根據估計的化學成分修改參考光譜，從而更好地保留數據中的真實化學訊號。
米=（ X G + X s ）/2和k =（ X G - X s ） 和我= {l 1 , …, 我p } 是波長向量。這米和k模型項以這種方式表示以簡化校正方程式。 校正後的光譜計算如下：
要在 JMP 中執行 EMCC，我們首先需要為X G和X s參考光譜。 我們透過對資料表進行子集化來建立參考光譜表，然後將參考表連接回原始表來實現此目的。 我們透過以下步驟來做到這一點：
- 使用“行”>>“行選擇”>>“選擇位置”來選擇與參考光譜之一對應的所有行。
- 使用 Subset 建立僅包含參考光譜的表。
- 使用波長作為匹配列，將表連接回原始表。
接下來，我們創建k和米列，這可以使用對X G和X s列。 然後我們準備估計 EMSC 模型。 這可以使用圖 11 中所示的選項在擬合模型中完成。 為了執行 EMSC 校正，我們需要提取模型項係數並將其儲存到資料表中的列中。 為此，我們需要使用 jsl 腳本，但該腳本相當簡單。 最後，我們使用圖12所示的公式進行EMSC校正。
圖 11. 適合 EMSC 模式的模型啟動對話。
圖 12. EMSC 校正的列公式。
最終結果如圖 13 所示。 光譜明顯不受散射效應的影響，並且更準確地表示了真實的基礎光譜。
圖 13. 本部落格中應用的預處理步驟之前和之後的光譜。 （上）預處理前，（下）EMSC 校正後。
最終多元校準模型
現在，光譜已準備好用於 FDE 中的最終多變量校準模型。 我們使用 FDE 部分中描述的方法來執行功能 DOE。 由此產生的模型使我們能夠準確預測給定混合比例組合的光譜形式。 圖 14 顯示了此類預測的範例。
圖 14. EMSC 的功能 DOE 校正了預處理前後的光譜。 對澱粉和麩質應用線性約束，使它們總和為 1。 請注意預處理後光譜形狀的巨大變化。 由於散射效應已從光譜中消除，因此我們可以對數據中未觀察到的因子組合的預測光譜形狀進行更準確的估計。
結論和未來的帖子
我們在 JMP 中演示了多個多變量平台，它們對於識別光譜資料中的模式非常有用。 我們將重點放在譜分析中常見的子組分析和異常值分析。 當我們演示了眾多可用的探索性工具時，FDE 在分析光譜數據方面的實用性得到了充分展示。 重要的是，實驗的功能設計允許人們輕鬆建立多變量校準模型。 我們示範如何使用 JMP 中的擬合模型平台建立擴展的乘性訊號校正 (EMSC) 模型，可顯著消除資料中的雜訊。 透過在 Fit Model 中從頭開始建立 EMCC 模型，我們獲得了對模型建構過程的更多控制和更深入的了解。
在下一篇文章中，我們將介紹有監督的多元模型。 我們採用 Brereton 的術語並將其稱為逆多元校準模型。 這些將預測作為光譜函數的實驗因素。 我們將在偏最小二乘和廣義迴歸平台中建立模型。 我們還將展示如何從 FDE 輸出功能主成分並提供給 JMP 中的任何預測模型，從而能夠建立更複雜的校準模型
