在我們之前的兩篇博文中，Jeremy Ash ( @JeremyAshJMP ) 我展示了JMP通過分析來自 Martens 等人的流行光譜數據集的光譜分析和可視化功能。 1我們展示了可視化光譜數據的不同方法和幾個預處理步驟這使我們能夠顯著提高數據中的信噪比，以便進一步分析和建模。
在博客系列的第三部分中，我們展示了在 JMP 中對光譜數據進行建模的幾種方法。偏最小二乘法 (PLS) 是分析光譜數據最常用的工具，PLS 可以通過 JMP 和JMP 專業版. JMP Pro 還提供 Elastic Net 懲罰回歸、神經網絡建模和 Bootstrap Forest 等高級決策樹方法。
Bootstrap Forest 和 Elastic Net 技術可以快速輕鬆地找到單個化合物的最重要波長以及定義混合物中成分的波長。 這些建模技術可用於原始數據或處理過的數據。 在這篇文章中，Jeremy 和我展示了對原始數據和預處理數據建模之間的差異，以展示預處理後預測能力的整體改進。 作為對方法整體比較的明確聲明，使用相同的兩級驗證列，其中 20% 的數據作為所有分析的驗證集。
建模方法
偏最小二乘法
偏最小二乘法是分析光譜的標準方法。 PLS 可以處理寬數據和高數據，尤其擅長處理高度相關的因素。 這種能力對光譜來說是個好兆頭，因為光譜數據通常具有高度相關的吸光度，這導致每個連續波長都依賴於緊接在其之前的一個波長。 由於這種依賴性，PLS 常用於分析原始光譜數據，結果非常好。 如上所述，預處理改進了生成的預測模型，足以保証投入時間和精力來預處理數據。 請記住，樣本數據是一組麵筋和澱粉的混合物，在 PLS 的情況下，它確實很好地開發了一個模型，該模型可以很好地預測任何未來樣本的麵筋和澱粉比率。
PLS 模型是用兩個潛在因素構建的，因為之前的主成分分析使用了兩個主成分。 還有，Q 2超過兩個因素並沒有太大改善，並且添加更多因素會使模型解釋更加困難。
圖1。 偏最小二乘模型的建立和輸出。
圖1。 偏最小二乘模型的建立和輸出。
圖 2。 帶有原始數據的偏最小二乘模型。
圖 3。 具有預處理數據的偏最小二乘模型。
下面是兩個 PLS 模型的實際預測圖的比較。 左邊是原始數據，右邊是使用預處理數據。 如您所見，使用預處理數據的模型有顯著改進。
圖 4。 偏最小二乘模型與原始數據和預處理數據的比較。
廣義回歸 (Gen Reg)
廣義回歸技術見於JMP 專業版. Gen Reg 為您提供了至少兩件您不會從普通最小二乘法中得到的東西。 一是使用 Gen Reg，您的數據不必呈正態分佈。 您可以選擇許多不同類型的分佈。 另一個區別是 Gen Reg 包含了懲罰回歸技術，它可以很好地處理高度相關的數據。 Gen Reg 提供 Ridge、Lasso 和 Elastic Net。 Elastic Net 是對光譜數據建模的一個很好的折衷方案，因為您可以通過拒絕對模型很重要的許多高度相關的因素來調整 Elastic Net Alpha (ENA) 懲罰，以防止模型欠擬合。 默認值 0.99 ENA 用於構建初始模型。 這個模型似乎相當稀疏並且可能欠擬合。 Gen Reg 中的一個高級選項用於掃描 alpha 值的範圍，以查看是否有更好的模型。 該掃描使用 0.55 的 ENA 值提供了更好的擬合。 您可以在下面的解決方案路徑中看到兩個 ENA 值的擬合差異。
圖 5 – 原始數據的 Elastic Net 解決方案路徑。
圖 6 - Gen Reg 與原始數據的擬合統計。
圖 7 - 預處理數據的彈性網絡解決方案路徑。
圖 8 - 使用預處理數據擬合 Gen Reg 的統計數據。
無需詳細說明，當 Elastic Net Alpha (ENA) 為 0.99 時，原始數據的擬合使用了 10 個波長，而 ENA 為 0.55 時使用了 37 個波長。
預處理數據具有顯著不同的結果。 再次使用 Elastic Net，使用 0.99 的 ENA 發現了 22 個重要波長，使用 0.55 的 ENA 發現了 53 個重要波長。 雖然 ENA 為 0.55 的重要波長有 37 個和 53 個，但兩個結果都大大低於 PLS 模型。 檢查兩組模型的擬合統計量顯示預處理數據具有更好的整體預測模型。 但是，如果您只使用原始數據，您仍然能夠提出一個相當好的預測模型。
圖 9 – Gen Reg 與原始數據和預處理數據的模型比較。
使用處理過的數據比較 PLS 和 ELN 模型表明 ELN 模型僅基於 R 略好2 .然而，ELN 模型更簡單，更容易解釋。
圖 10 – 處理數據的 PLS 和 ELN 建模技術的比較。
這是否意味著您應該使用 Elastic Net 模型進行所有頻譜分析？ 您應該將其視為可行的候選者，但這實際上取決於您有哪些可用的建模平台，以及除了預測性能之外，模型可解釋性是否是可取的。
更多建模選項
神經網絡模型
出於演示目的，您還可以使用神經網絡模型，在這種情況下，它顯示出非常好的擬合，但模型非常複雜。
然而，JMP 中的預測刻畫器使用戶能夠解釋最複雜的非線性模型。 當所有波長都用於預測時，Profiler 可能會變得不堪重負。 為了使神經網絡模型更簡單，您可以在模型對話框中提供使用 Gen Reg 選擇的波長。
圖 11 - 原始數據和預處理數據的神經網絡擬合比較。
在這兩種情況下，數據都適合一個隱藏層和三個具有雙曲正切激活函數的節點，使用固定的 20% 驗證列進行交叉驗證。
引導森林
使用 Bootstrap Forest 方法可以為給定的一組光譜提供最重要的波長。 這也清楚地表明預處理提供了更好的模型。 差異基於驗證 R 2對於每個數據集。 驗證 R 2原始數據為 0.805，處理後的數據為 Validation R 2為 0.987。 下面的模型使用固定的 20% 的數據作為驗證集進行擬合，以避免隨機選擇驗證集。
圖 12 – Bootstrap Forest 擬合原始數據和預處理數據的比較。
支持向量回歸
JMP Pro 中還提供支持向量回歸 (SVR) 建模，它是分析光譜數據的另一個不錯的選擇。 SVR 是一種強大且靈活的基於邊界的機器學習算法，用於構建預測模型以實現連續響應。 對於我們的數據集，SVR 在分析處理後的數據時也顯示出顯著的改進。
圖 13 - SVR 模型擬合原始數據和預處理數據的比較。
JMP 和 JMP Pro 中有更多建模技術可用於對光譜數據進行建模，因此，如果您沒有看到想要使用或曾經使用過的建模技術，請告訴我們，我們將確保在未來的博客文章。
1）“通過擴展的乘法信號校正分離光散射和光吸收。 在粉末混合物的近紅外透射分析中的應用"分析化學2003 年 2 月 1 日；75(3):394-404
