本文展示了利用機器學習技術對光譜資料進行分類，建構樣本辨識模型的實例。
下圖可視化了草莓果泥的中紅外光譜 (FT-IR) 數據。
左側的紅色光譜代表草莓果泥，而右側的藍色光譜代表非草莓果泥（由不含草莓的水果製成的果泥）。
紅色（草莓）和藍色（非草莓）光譜總體上呈現相似的形狀，但在某些波數區域觀察到吸光度（Y 軸值）的差異。
因此，我們將建立一個機器學習模型，以多個波數的吸光度數據作為輸入，輸出（標籤）“草莓”或“非草莓”，以區分兩者。
此外，我們將根據所獲得的模型，研究哪些波數範圍對於區分這些粒子是有用的。
數據詳情
這些數據包括從草莓泥（草莓）和非草莓果泥（非草莓）中獲得的中紅外線 (MIR) FT-IR 光譜數據（來源列於部落格末尾）。
在波數範圍為900–1800 cm⁻¹的範圍內測量每個樣品的吸光度，總共獲得了草莓和非草莓樣品的 983 個光譜數據。
下圖疊加顯示了草莓（紅色，N=351）和非草莓（N=632）的光譜數據。如前所述，光譜形狀本身相似，但在特定波數區域存在差異。
我們利用機器學習技術，透過捕捉光譜數據中多個波數的差異，來嘗試區分草莓和非草莓。
資料結構
用於分析的資料結構如下：
提供了一列名為“類別”的列，用於區分草莓和非草莓，這與分類模型中的標籤相對應。
其他欄位包含每個波數處的吸光度，該資料使用 235 個波數點的光譜資訊作為解釋變數。
以下說明將使用 JMP Pro 的功能。
此外，983 行數據被隨機分割，其中 75% 用作訓練數據，25% 用作驗證數據。
在 JMP Pro 中，透過進入[分析] > [預測模型] > [建立驗證列]並將「類別」指定為 [分層] 列，您可以建立一個「驗證」列，該列將資料劃分，使得每個類別層級的訓練資料和驗證資料的比例大致相等，如下圖所示。
利用函數主成分分析法對光譜資料進行降維
如本例所示，光譜數據是具有許多連續變數的多元數據，因此通常使用主成分分析 (PCA) 來降低其維度，並以視覺方式確認是否可以將各組分開。
然而，在這裡我們將使用函數主成分分析（FPCA）將整個光譜視為一個“函數”，並嘗試根據其形狀的差異對其進行分類。
JMP Pro 可讓您使用名為「函數資料瀏覽器」的平台執行此函數主成分分析。
為了進行功能主成分分析，我們首先將合適的小波函數擬合到每個頻譜，從而將頻譜表示為單一函數。然後，我們提取函數形狀的差異作為主成分。
下圖展示了將小波模型擬合到光譜數據並進行函數主成分分析而得到的報告。此處的「得分圖」輸出應被視為主成分分析圖的函數版本。函數的形狀被簡化為二維，並繪製了983個樣本中每個樣本的座標。
這意味著彼此靠近的樣品將具有相似的光譜形狀，而彼此遠離的樣品將具有不同的光譜形狀。
從得分圖中可以看出，草莓（紅色）集中在中心附近，而非草莓（藍色）則分佈得更廣泛。
雖然僅使用這兩個軸很難進行完全分類，但分佈中的偏差，特別是主成分在一個方向上的偏差，這表明光譜形狀的差異可能對分類產生多元影響。
利用機器學習技術建構分類模型
現在真正的工作開始了。機器學習中有很多分類模型的方法，但使用「模型篩選」平台可以將多個模型應用於同一組數據，並比較它們的性能。
對於此資料集，在「模型篩選」中，指定以下列：[Y，目標變數]、[X，解釋變數] 和 [驗證]。透過指定驗證列，您可以將模型擬合到訓練數據，然後使用驗證資料驗證其效能。
在左下角的“方法”部分，選擇您要套用的模型。在這裡，您可以選擇與分類模型相關的方法。
當應用所有使用這些設定檢查的模型後，每種方法在「驗證」資料集上的適合度統計量如下所示。預設情況下，它們按“熵 R 平方”降序排列。
結果表明，「神經增強」（透過增強來提高預測精度的神經網路）在所有擬合優度統計中都取得了最佳結果。
R平方值接近1，誤分類率為0.0041，小於1%。這表明，這235個光譜變數幾乎可以完美地區分草莓和非草莓。
注意：在「模型篩選」中，要估計的參數的最大數量限制為450 。
因此，對於具有更多波數點的光譜數據，請使用單獨的平台。
使用最佳模型評估關鍵變量
查看應用程式報告，找出最佳效能的「神經增強」方法。
該報告顯示了訓練資料和驗證資料的適合度統計量和混淆矩陣（雙向表，顯示觀察到的和預測的分離類別之間的對應關係）。
混淆矩陣顯示，訓練集和驗證集中都只有一個分類錯誤。
那麼，最終，哪種波頻率對於區分草莓和非草莓至關重要呢？
神經網路是一種優先考慮預測性能的方法，由於預測公式很複雜，因此很難直接解釋每個解釋變數的貢獻。
然而，JMP 提供了一個使用隨機數模擬來評估影響預測的因素的功能。
從“神經”報告中，查看“預測概況”，然後從預測概況中選擇“評估變數重要性”選項。
以下報告總結了變數重要性的評估，並展示了基於「總效應」進行顏色編碼的預測概況。從這些結果可以看出，波數 1802.564、899.327 和 1312.346 cm⁻¹ 對預測的貢獻最大，依序遞減。
*整體影響：當與其他相關因素結合時，此影響的整體重要性。
最後，我們利用「總結報告」中的數據，繪製了一個長條圖，橫軸為波數，縱軸為總效應。從圖中可以看出，存在多個總效應較大的波數區域。
這些區域對預測結果有很大貢獻，表明它們包含區分草莓和非草莓至關重要的光譜資訊。
這些結果表明，透過參考總體效應較大的波數區域，可以考慮從化學結構中獲得的有助於分類的資訊。
參考文獻和資料來源
Holland JK、Kemsley EK、Wilson RH (1998)。 《食品與農業科學雜誌》，76，263-269。
作者：Naohiro Masukawa（JMP 日本）
Naohiro Masukawa - JMP 使用者社區
