等級:中級
Peter Hersh,SAS JMP 系統工程師
什麼是「功能數據」以及我們究竟如何「探索」它?功能資料無所不在。它採用感測器數據、交易數據、化學光譜等形式——不勝枚舉。共同點在於分析起來可能頗具挑戰性。而且,我們一般不想直接分析功能數據;我們希望利用底層資訊——產生觀察數據的功能。功能數據瀏覽器 (FDE) 幫助我們做到這一點。它既可以作為探索性分析的工具,也可以作為降維的工具,幫助我們在其他建模技術中使用功能資訊。在本次演講中,Hersh 將透過工業、化學計量學和農業領域的幾個案例研究展示 JMP 可以使用 FDE 解決的新分析問題。在此過程中,他將展示 FDE 以及他學到的一些技巧和竅門,同時幫助客戶了解這個強大的新平台。
函數資料探索器是在 JMP Pro 版本 14 中引入的,並在版本 14.1 中增強。
本文介紹如何利用函數資料探索器在 JMP Pro 14.1 中執行函數資料分析。
圖 1. 函數資料探索器快照,使用 B 樣條模型擬合吸光度數據
歷史
「函數資料分析」這個術語最早由拉姆齊於 1982 年提出,但其歷史可以追溯到 1950 年的格林德。其理念是將數據視為連續體,而不是離散測量。這是透過創建一個函數來描述資料來實現的。
如何使用
啟動函數資料資源管理器
若要使用功能資料探索器,您必須擁有 JMP 14 Pro 或更新版本的 JMP Pro。功能資料探索器位於分析選單專門建模下。資料格式有 3 種選項:按行或按列堆疊。堆疊資料格式是指功能資料包含在單一列中並且具有單獨的 ID 列。行格式是指功能資料包含在許多不同的欄位中,每行代表一個單獨的 ID。列格式與行格式相反,其中每列包含跨多行的功能資料。建議使用堆疊格式,以便在資料處理和建模方面有更大的靈活性。
圖 2. 函數資料探索器啟動窗口
函數資料探索器中的資料處理
啟動功能資料瀏覽器後,將顯示資料處理窗口,您可以執行許多不同的程序來清理資料。在功能資料探索器中發現 3 種類型的資料處理;清理、轉換和調整。清理可讓您刪除那些無助於定義點的連續性的點,這些點可以是零、特定值或異常值。變換可讓您快速將反應 y 變數轉換為中心(將平均值設為 0)、標準化(將標準差設為 1)或穩定變異數。對齊可讓您對齊 x 變量,排列最小值、行、最大值,或使用動態時間扭曲對齊到參考函數。動態時間規則使用參考光譜並將原始光譜的 y 殘差減少到參考光譜。它透過將原始數據中的 x 值與具有最相似 y 值的參考光譜對齊來實現這一點。所有資料處理步驟均由資料處理步驟記錄,並可刪除。
圖 3. 資料處理窗口
處理完成後,可以透過前往紅色三角形並選擇儲存資料來儲存資料。這將允許您建立一個新的清理資料表。
模型擬合
一旦資料被清理乾淨,您現在就可以將模型擬合到資料中。模型擬合可以在紅色三角形和模型下找到。 JMP Pro 14.1 中有 3 個模型擬合選項:B 樣條、P 樣條和傅立葉基。 B 樣條曲線是一種分段多項式模型,其中可以定義分段數(結點)和多項式的次數(次數 = 0、1、2 或 3)。 P 樣條是 B 樣條的懲罰版本。傅立葉基模型是使用週期性增加的正弦和餘弦函數建構的。傅立葉基模型適用於週期性資料。當您執行模型時,JMP 將自動執行一組模型並使用指定的資訊準則(BIC、AICc 或 GCV)選擇最適合您的資料的模型。您可以調整結的數量和位置以及擬合的次數多項式。
圖 4. FDE 的模型選擇顯示,4 結三次擬合是依照 BIC 標準選定的最佳模型
在這個例子中,我們有 4 個結,這意味著我們有 5 個獨立的多項式模型(在本例中為三次)來擬合每個結之間的數據。一旦你的分段多項式模型完成,就會產生功能主成分(FPC)來定義該函數。 JMP 將產生定義至少 1% 整體變異數的所有 FPC。這些 FPC 定義了形狀與平均值的變化。每個批次的每個 FPC 都分配一個值。如果您的數據恰好追蹤平均函數,則所有 FPC 都將為 0。如果您有一個正值 FPC,則函數的形狀與平均值不同,形狀類似於對應的特徵函數(負 FPC 表示相反的效果)。
圖 5. 平均函數的範例以及稱為特徵函數的平均函數的變體。
儲存您的功能原理組件
一旦模型完成並適合您的數據,就會建立功能摘要表。這為您的每批資料提供了功能原理元件。您可以自訂您想要的摘要以及您想要產生多少 FPC。然後可以保存該表並用於數據分析。
範例 1 DoE 對銑削製程的響應
使用功能資料探索器取得 DoE 回應。在這個例子中,我們試圖讓銑削過程快速符合規格,並使製程保持符合規格而無需調整。
圖 6. 銑削輪廓和製程的快速視圖
範例 2 使用光譜數據識別脂肪含量
使用功能數據探索器檢查光譜數據。在這個例子中,我們使用近紅外線輻射來觀察牛肉中的脂肪含量。這取代了測定脂肪含量的破壞性技術
圖 7. 牛肉脂肪含量研究的光譜訊息
實施例3發酵過程的酵素產量
查看一組輸入變數的形狀以建立產量預測模型。確定每個輸入變數的理想形狀以實現產量最大化。
圖 8. 收益儀表板
概括
功能數據可以在不同領域和應用的許多不同地方找到。通常,我們並沒有透過匯總資料來充分利用功能資料。這會丟棄收集到的大量數據,並且不允許我們捕獲所有潛在資訊。 JMP 14 Pro 中的函數資料探索器可幫助我們透過使用函數主成分來捕捉函數資料的形狀,從而捕捉所有資訊。
參考
Ramsay JO. 1982. 當資料是函數時。 《心理測量學》47:379–396
Grenander U. 1950.隨機過程與統計推論。數學手冊 1:195–277