快速提醒我們離開的地方本系列關於光譜數據的第 1 部分：我們正在分析 Martens 等人的流行光譜數據集。 "通過擴展的乘法信號校正分離光散射和光吸收。 在粉末混合物的近紅外透射分析中的應用"分析化學2003 年 2 月 1 日；75(3):394-404。 一些簡單的預處理步驟使我們能夠顯著提高數據中的信噪比。
在這篇文章中，我們使用相同的數據來展示多變量平台在JMP . 在光譜分析中，多元統計被廣泛使用，因為它迭代地嘗試不同的預處理步驟並評估對數據的影響。 首先，我們專注於無監督學習或探索性數據分析。 然後我們演示瞭如何使用功能數據瀏覽器 (FDE) 來構建多元校準模型。 最後，我們介紹了一種更先進的預處理方法——擴展的乘法信號校正——並展示了它如何進一步改進我們的多元校準模型。
多元方法
主成分分析
我們展示的第一個探索性方法是主成分分析 (PCA)。 有趣的是，當對原始光譜執行 PCA 時，可以在分數圖中識別已知的子組，而無需任何預處理（圖 1）。請記住第 1 部分中的樣品是麵筋和澱粉的混合物，顏色表示麵筋部分。 雖然組之間有很好的分離，但相同麵筋分數的光譜仍然存在相當大的變化，這會給以後的多變量校準帶來問題。 在我們找到最佳的預處理工作流程後，到本文結束時，此錯誤已大大改善。
圖1。 PCA 模型的得分和加載圖。 正如預期的那樣，加載圖表明跨波長的高度相關性。 顏色表示每個樣品中存在的麵筋分數，從 0（藍色）到 1（紅色）。 特徵值表明該數據集中的變化可以用 2 個主成分來解釋。
模型驅動的多元控製圖
通常，會執行某種類型的異常值分析來識別和刪除模型中的有影響的異常值。 JMP 在 PCA 平台內提供異常值分析工具。 然而，隨著 JMP 15 的出現，模型驅動的多元控製圖 (MDMCC) 是一種功能更全面的異常值分析工具，可以更深入地調查根本原因分析並比較光譜的差異。
圖 2。模型驅動的多元控製圖根據噸2和 SPE 圖表. 平均貢獻比例圖顯示了對失控信號貢獻最大的波長。
對於此分析中的光譜，MDMCC 將兩個光譜（13 和 14）識別為基於其 PCA 導出的 T 的異常值2和 SPE 圖表（圖 2）。T 2圖表表明這些點遠離模型平面內的數據，而 SPE 圖表表明這些點遠離模型平面。 另一種概念化的方法是這些光譜 1) 遠離平均光譜和 2) PCA 模型的擬合不佳。 由於這兩個條件都滿足，這些點可能是有影響的異常值，這意味著當模型擬合時它們可能會將 PCA 模型平面拉向它們。 如果這些確實是錯誤的數據，則可能存在較差的 PCA 模型。 請注意，除了 13 和 14 之外，還有其他點是 T 中的異常值2圖表，但不在 SPE 圖表中。 由於這些點遠離平均光譜，但仍符合 PCA 模型，因此它們不太可能成為有影響力的異常值。 看一個區分T的好插圖2和 SPE 異常值，參見圖 4這張紙.
為了更好地理解為什麼點 13 和 14 是異常值，我們構建了 T 的平均貢獻比例條形圖2和 SPE 圖表（圖 3）。這些顯示了在兩個圖表中對異常值狀態貢獻最大的波長。 您還可以將鼠標懸停在各個條形上以查看特定波長的單變量控製圖。
對於此示例，在 Graph Builder 中繪製光譜有助於更好地了解為什麼觀察值是異常值（圖 3）。 一個明顯的異常是這兩個光譜在較長波長處具有異常大的吸光度。
如果我們確定這些異常值是可疑的，則很容易在移除異常值的情況下重新擬合模型。 為此，請在 MDMCC 報告中打開 Automatic Recalc，在 T2 或 SPE 控製圖中選擇異常值觀察值，然後使用右鍵單擊 >> Rows >> Row Exclude。
圖 3。 通過動態鏈接在 MDMCC 中選擇的光譜 13 和 14 的圖形生成器視圖。 該圖顯示了當直接與其餘數據進行比較時，兩個選定的光譜如何被視為異常值。
MDMCC 的得分圖也可用於比較子組（圖 4）。 A 組是頂部的“紅色”子組，B 組是底部的“藍色”子組。 相對分數貢獻圖顯示了兩個子組之間按波長劃分的顯著差異。
圖 4。 具有 0% 和 100% 麵筋的光譜之間的組比較。 條形圖中絕對貢獻最大的波長顯示組間差異最大。
功能數據瀏覽器
JMP 中的 PCA 平台是一個很好的通用工具，但不是為具有像光譜這樣的函數形式的數據而設計的。 幸運的是，在JMP 專業版，有一個專門為功能數據設計的工具。 JMP Pro 中的功能數據瀏覽器 (FDE) 平台可用於更深入地研究光譜數據。 FDE 用於分析某些連續譜上的曲線數據，對於 NIR 光譜，連續譜是波長。 因為所有光譜都是在相同的等間距網格上測量的，所以我們可以擬合直接功能 PCA 模型，該模型執行功能 PCA 而不擬合基函數（圖 5）。 請注意，我們沒有從 FDE 模型中排除我們在上一節（13 和 14）中確定的異常值。 雖然人們可能會選擇排除這些異常值，但我們將它們包括在擬合中，因為在後面的部分中，我們將與 FDE 模型進行比較，該模型適用於這些觀察結果不再是異常值的預處理數據（參見圖 14）。
在圖 5 中，對應於功能主成分 (fPC) 的特徵值顯示了每個 fPC 解釋了多少變化。 在此數據的情況下，變化的特徵在於前兩個 fPC，就像 PCA 的情況一樣。 您還可以看到與 fPC 相關的平均曲線。 如果您的數據準確跟踪均值函數，則所有 fPC 都將為零。 如果 fPC 值為正，則函數的形狀不同於均值，形狀類似於相應的特徵函數，而負 fPC 表示相反的效果。 本徵函數與用於光譜數據的 PCA 分析中的常見圖相當，稱為光譜載荷圖，其中載荷按波長排序。
圖 5。 直接功能 PCA 模型擬合摘要。 兩個功能主成分解釋了數據中 100% 的變化。
單獨的光譜是擬合的，得到的分數圖如圖 6 所示。 功能主成分平台中的一個方便功能是能夠將鼠標懸停在分數圖中的點上並查看相應光譜的小圖。 這在本示例中非常有用，因為分數圖將數據組織成相似光譜的子組，然後懸停幫助顯示功能形式的差異。 這可用於發現子組之間的差異，而無需依賴任何更複雜的分析。
圖 6。 FDE 模型擬合的得分圖。 可以通過將鼠標懸停在分數圖中的點上來探索子組之間的差異，從而揭示光譜的功能形式。
fPC Profiler 可以更輕鬆地解釋各個 fPC 的分數維度（圖 7）。 移動 fPC 滑塊之一顯示沿 fPC 方向之一移動對預測函數的影響，而其他 fPC 值固定。
圖 7。 FDE 模型擬合的特徵函數 (A) 和 fPC Profiler (BD)。 fPC 分析器，fPC 設置為其平均值 (B)，fPC2 設置為其最小值 (C)，fPC2 設置為其最大值 (D)。 當 fPC2 值為正時，光譜的形狀與平均值不同，形狀類似於相應的特徵函數，而負 fPC 表示相反的效果。
實驗的功能設計（多變量校準）
由於這些數據來自設計的實驗，因此功能 DOE 分析是相關的（圖 8）。 FDOE Profiler 可以預測實驗數據中未觀察到的澱粉和麵筋部分光譜的功能形式。 在光譜分析中，這稱為多元校準模型。 由於澱粉和麵筋是總和為 1 的混合比例，我們在 Profiler 中應用混合約束。
通常需要建立這個模型的逆模型，其中實驗因素（在這種情況下是組成比例）被預測為光譜的函數。 令人困惑的是，這也稱為多變量校準。 為清楚起見，我們採用 Brereton 的術語並將其稱為逆多元校準。 為了擬合這些類型的模型，可以輸出功能主成分並將它們提供給 JMP 中的任何預測建模平台。 這使人們能夠將靈活的模型（例如神經網絡）擬合到函數摘要中。 這些模型可能能夠比 PLS 更好地模擬非線性和依賴關係。 我們將在下一篇文章中說明這種方法。
圖 8。 功能性 DOE 分析器。 對澱粉和麵筋應用了線性約束，因此它們的總和為 1。 在原始數據中未觀察到的實驗因素組合中預測光譜。
層次聚類
層次聚類是另一種在頻譜分析中流行的無監督機器學習工具。 層次聚類的目標是識別數據中的子組，其中集群內的差異很小，而集群之間的差異很大。 在前面的部分中，我們確定了亞組，但是以主觀方式進行的。 層次聚類為定義這些子組提供了客觀標準。
簇樹狀圖顯示了從尖端（每個光譜都在其自己的簇中）到根（其中所有光譜都在一個簇中）的聚類層次結構。 樹狀圖顯示了聚類算法如何迭代地合併聚類。 內部分支的長度與集群之間的差異成正比，其中集群之間的差異是根據鏈接標准定義的。
JMP 中的層次聚類是一個豐富的平台，具有許多對頻譜分析有用的功能，我們沒有時間在此介紹。 我們在隨附的期刊中提供報告，以便您自己發現這些功能。 一些值得一試的功能是集群數量的交互式選擇、集群分配的輸出、在樹狀圖中選擇和突出顯示集群的能力，以及為集群啟動並行繪圖的能力。 還值得注意的是，層次聚類對於大 n 和大 p 問題具有出色的性能。
圖 9。 原始光譜（左）和根據本系列第 1 部分（右）預處理的光譜的層次聚類。 原始數據顯示單個光譜更加分散的聚類導致不良子分組，而預處理數據顯示更好定義的子分組。 如果需要，可以保存單個集群名稱並將其用作建模過程的輸入。
高級預處理
擴展的多元信號校正
本節介紹了一個有用的診斷圖，稱為散射效應圖和一種強大的預處理方法，稱為擴展乘法散射校正 (EMSC)。 散點圖在 JMP 中很容易創建，附加期刊中提供了一個示例。 EMSC 需要一些 JSL 知識才能重現。 我們展示 EMSC 是因為它適用於這些數據，而擬合模型平台是教授該方法的有用的教學工具。 此外，我們打算在 JMP 的未來版本中提供許多預處理方法，如 FDE 平台中的 EMSC，敬請期待。
圖 10 顯示了散點圖，這在選擇預處理方法時很有用。 這些圖中的模式指示不同的噪聲源，您可以使用此信息來選擇適合您的數據的預處理方法。 在散點效應圖中，y 截距的變化表示恆定的基線變化或附加效應。 一種預處理方法，如 1英石我們在上一篇博文中介紹的衍生 Savitzky Golay (SG) 過濾器消除了這些影響。 當光譜僅在某些波長上有很大變化時，就會發生乘法散射效應。 這些在散點效應圖中顯示為斜率或“扇形”的變化。 一些可以消除乘法效應的預處理方法是乘法散射校正 (MSC) 和標準正態變量。 我們在上一篇文章中展示了標準正態變量。 在這篇文章中，我們介紹了 MSC。 在這些圖中，化學效應也顯示為一種獨特的模式。 有趣的是，這些顯示為循環！
圖 10。 原始光譜 (A) 和 1 的散射效應圖英石派生 SG 過濾數據 (B)。 在 SG 過濾器去除加法效應後，乘法效應仍然存在。 這些數據需要一種消除乘法效應的預處理方法。
原始數據的散點效應圖強烈表明存在加性效應（圖 10A）。 也可能有乘法效應，但很難說，因為加法效應占主導地位。 因此，我們首先通過應用 1 來消除加性效應英石就像我們在上一篇文章中所做的那樣，對數據派生 SG 過濾器。 在上一篇文章中，我們在 Graph Builder 中繪製了預處理光譜，並顯示乘法效應仍然存在。 乘法效應在散點效應圖中也很明顯——注意相當大的扇形（圖 10B）。 因此，數據中既有加法效應，也有乘法效應。 EMSC 可以一步消除兩種噪聲源。
在他們的原始論文中，馬滕斯等人。介紹了 EMSC，並展示了這種方法如何改進更簡單的預處理方法，例如我們之前的帖子中所示的方法。 我們正在建立 EMSC，但最簡單的方法是首先從乘法散射校正 (MSC) 開始。 MSC 旨在通過使數據看起來更像參考頻譜來糾正數據中的各種噪聲源。 由於通常沒有可用的良好標準，因此經常使用平均光譜。 對於每個光譜，執行單獨的回歸。 讓X = {x 1 ， …， X p } 是給定光譜的吸光度向量，並且X * = {x * 1 ， …， X * p } 參考光譜。 模型是
光譜校正如下：
MSC 的一個問題是它沒有考慮散射效應和波長之間存在的關係。 EMSC 通過將多項式關係合併到模型中來解決這個問題。 通常，假定波長為二次關係。 MSC 的另一個問題是，通過在平均光譜上回歸每個光譜，可以消除感興趣的真實化學效應。 如果已知樣品是少量化學成分的混合物——並且每種成分都有純參考光譜——則可以通過將先前的化學成分信息合併到模型中來進一步擴展 EMSC。 在 Marten 等人的數據中，有純麵筋（ X G ) 和純澱粉 ( X s ) 數據中的樣本。 就像在 Marten 等人中一樣。論文中，我們選擇樣品 1 和样品 93 作為參考光譜。 EMSC 模型將根據估計的化學成分修改參考光譜，從而更好地保留數據中的真實化學信號。
米= ( X G + X s ）/2和ķ = ( X G - X s ） 和l = {l 1 , …, 我p } 是波長的向量。這米和ķ以這種方式表示模型項以簡化校正方程。 校正後的光譜計算如下：
要在 JMP 中執行 EMSC，我們首先需要為X G和X s參考光譜。 我們通過子集數據表來創建參考光譜表，然後將參考表連接回原始表。 我們通過以下步驟做到這一點：
- 使用 Rows >> Row Selection >> Select Where 選擇與參考光譜之一相對應的所有行。
- 使用子集創建僅包含參考光譜的表。
- 將表連接回原始表，使用波長作為匹配列。
接下來，我們創建ķ和米列，這可以使用對X G和X s列。 然後我們準備估計 EMSC 模型。 這可以使用圖 11 中所示的選項在擬合模型中完成。 為了執行 EMSC 校正，我們需要提取模型項係數並將它們保存到數據表的列中。 為此，我們需要使用 jsl 腳本，但該腳本相當簡單。 最後，我們使用圖 12 所示的公式執行 EMSC 校正。
圖 11。 EMSC 模型的擬合模型啟動對話框。
圖 12。 EMSC 校正的列公式。
最終結果如圖 13 所示。 光譜明顯沒有散射效應，並且更準確地表示了真實的底層光譜。
圖 13。 在本博客中應用的預處理步驟之前和之後的光譜。 （上）預處理前，（下）EMSC 校正後。
最終多元校準模型
光譜現在已經為我們在 FDE 中的最終多元校準模型做好了準備。 我們使用 FDE 部分中描述的方法執行功能 DOE。 由此產生的模型使我們能夠準確地預測給定混合比例組合的光譜形式。 圖 14 顯示了此類預測的一個示例。
圖 14。 預處理前後 EMSC 校正光譜的功能 DOE。 對澱粉和麵筋應用了線性約束，因此它們的總和為 1。 注意預處理後光譜形狀的巨大變化。 由於已經從光譜中消除了散射效應，我們可以在數據中未觀察到的因子組合處獲得預測光譜形狀的更準確估計。
結論和未來的帖子
我們在 JMP 中演示了幾個多變量平台，這些平台可用於識別光譜數據中的模式。 我們專注於光譜分析中常見的亞組分析和異常值分析。 當我們展示了眾多可用的探索性工具時，FDE 用於分析光譜數據的實用性得到了充分展示。 重要的是，實驗的功能設計允許人們輕鬆構建多變量校準模型。 我們演示瞭如何使用 JMP 中的擬合模型平台來構建擴展的乘法信號校正 (EMSC) 模型，從而顯著清除數據中的噪聲。 通過在 Fit Model 中從頭開始構建 EMSC 模型，我們可以更好地控制和更深入地了解模型構建過程。
在下一篇文章中，我們將介紹有監督的多元模型。 我們採用 Brereton 的術語並將其稱為逆多元校準模型。 這些將預測實驗因素作為光譜的函數。 我們將在偏最小二乘和廣義回歸平台中構建模型。 我們還將展示如何從 FDE 輸出功能主成分並提供給 JMP 中的任何預測模型，從而構建更複雜的校準模型
