光譜數據的化學計量分析
概述
本案例研究將展示使用 JMP 和 JMP Pro 平台分析光譜數據的分析工作流程。使用光譜分析技術來表徵原材料、中間體和成品在所有化學領域都很普遍。從大學化學實驗室到研究與創新實驗室,以及生產環境。 光譜分析幾乎無處不在。光譜分析最難的部分不是光譜的收集,而是光譜附帶的數據分析。在過去幾年中,JMP 一直致力於開發內置的多變量光譜分析技術,也稱為化學計量分析。
化學計量學的維基定義:
“化學計量學是通過數據驅動的方式從化學系統中提取信息的科學。 化學計量學本質上是跨學科的,使用核心數據分析學科中常用的方法,例如多元統計,應用數學, 和計算機科學, 為了解決問題化學,生物化學,藥物,生物學和化學工程.
化學計量學用於解決實驗自然科學中的描述性和預測性問題,特別是在化學中。 在描述性應用中,化學系統的屬性被建模,目的是了解系統的潛在關係和結構(即模型理解和識別)。 在預測應用中,化學系統的屬性被建模以預測新的屬性或感興趣的行為。 在這兩種情況下,數據集可能很小,但通常非常大且高度複雜,涉及數百到數千個變量,以及數百到數千個案例或觀察結果。”
用於分析光譜數據的 JMP 分析工作流程
- 將光譜數據導入 JMP 是第一個挑戰。有一個用於拉入 *.csv 和 *.jdx 文件的插件。.jdx 文件必須為標準格式且未壓縮。也可以使用多個文件導入,但需要初始設置。
- 可以以堆疊格式和寬格式分析光譜數據。在第一次查看數據和進行一些初始預處理時,使用 Graph Builder 的堆疊格式(按行)。Graph Builder 中的並行圖適用於寬格式數據。
- 使用平行圖時,將波長數據拖動到 x 軸,然後單擊鼠標右鍵,將鼠標懸停在“組合比例”上,然後使用“平行合併”來了解基線偏移的差異。
- 可能需要對數據進行預處理。
- 第一步是使用堆疊波長數據計算標準正態變量 (SNV)。SNV 可以在加載項中找到。
- 另一個預處理選項是使用 Savitzy-Golay 平滑器/導數濾波器。您可以採用一階或二階導數。一階導數清除加法變化,二階導數清除加法和乘法數據。取導數會改變數據的結構,並且會使解釋變得更加困難。
- 有時您需要同時進行 Savitzy-Golay 和 SNV。先做 Savitzy-Golay,然後做 SNV。*很快您將能夠在 JMP Pro 17 的 FDE 平台內進行所有預處理。
- 包括 MDMVCC、PCA、多維縮放和聚類在內的許多多元技術的使用可以而且應該用於顯示多重共線性和子分組。
- 在常規 JMP 中建模:
- 常規 JMP 中的逐步回歸已被證明可以很好地處理近紅外數據,並且是查找重要波長(變量)的好方法
- 決策樹運行良好,但請注意,手動進行拆分可能比讓 JMP 進行所有拆分更好。
- 您可以使用保存的主成分在“擬合模型”平台中進行主成分回歸。以這種方式確定最重要的波長更加困難,但可以使用預測刻畫器評估變量重要性。
- 偏最小二乘法 (PLS) 是所有化學計量建模工具中最多產的。PLS 旨在處理與光譜和色譜數據相關的高度相關且通常非常廣泛的數據集。PLS 可用於變量選擇,以確定哪些變量可通過 PLS 歸因於整體最佳擬合。也就是說,如果數據通過預處理得到很好的調節,那麼通常不需要使用 PLS 進行變量選擇,除非您正在查看組件成分的混合物。
- 移至 JMP Pro 進行建模:
- 偏最小二乘法 (PLS) – 見上文, PLS 也可用於常規 JMP .
- 廣義回歸 (Gen Reg) – 懲罰回歸模型適用於變量選擇,因為每個光譜/色譜圖可能有數百甚至數千列 Elastic Net 可以很好地確定最重要的變量(波長/峰值)。還建議掃描 Elastic Net Alpha 可能性的範圍,以避免遺漏重要變量。例如,默認的 Elastic Net Alpha 為 0.99。如果您使用默認值,您可能會得到一個好的模型,但您也很可能會錯過一些非常重要的變量,這些變量將提高您的預測能力。如果您沒有時間掃描 Elastic Net Alpha 的範圍,您可以選擇中間範圍 (0.56) 中的某個值,看看是否給出了合理的模型。
- 功能數據瀏覽器 (FDE) – FDE 不一定是一個預測建模平台,因為它可以用來分析連續統一體上的數據,並確定哪些功能主成分以及多少個功能主成分與一組曲線的形狀相關。使用補充變量的功能 DOE 使 FDE 變得如此強大,您可以使用 FDOE 進行反向校準。
- 神經網絡、Bootstrap 森林、支持向量機、XG Boost 都可以用於分析化學計量數據。借助 JMP Pro,您可以使用模型篩選來確定最適合您數據的建模平台。