許多儀器和感測器都會產生連續的數據。分析和理解這種「曲線」數據並非易事，尤其是在試圖分析整個連續曲線的數據時。雖然化學計量學技術可以用於分析曲線數據，但它們本質上是逐點分析數據，而不是一次性分析整個曲線或一組曲線。
函數型資料分析是近年來興起的曲線資料分析方法。本次演講將透過色譜和光譜數據的案例研究，展示如何將連續數據與傳統的化學計量學方法結合進行分析。演講也將重點介紹 JMP Pro 18 函數型資料瀏覽器中的一些新型化學計量分析技術。
大家好，我是比爾·沃利。今天我們要討論的是功能數據分析（FDA），並透過一個案例研究來展示FDA的應用，包括它的使用方法、應用場景以及潛在的應用領域。首先，我要感謝很多人。感謝大家的貢獻，名單已經列出。我特別要感謝湯姆唐納利和克里斯戈特瓦爾特，還有皮特赫什，感謝他們為本次演講的順利進行所做的貢獻。
這裡也要簡單介紹一下背景：我們不只要研究功能資料分析，還要融入一種叫做過程分析技術（PAT）的技術。 PAT在製藥業被廣泛應用，作為其品質源自於設計（QbD）理念的一部分，他們利用PAT透過線上、線內和線外測量來縮短生產週期。整個過程就像一個連續的過程。
這一切都有助於防止次品和廢品，以及任何可能需要的返工。它還支援即時發布測試和流程分析技術 (PAT)，並結合功能數據分析，或流程分析技術，適用於任何行業。我認為這只是其中的一部分……隨著演示的進行，你會看到更多相關內容。但它是如何融入現有體系的，或者說它如何能夠融入現有體系的。
這是對函數型資料的另一種詮釋。我們希望探索曲線和形狀，並提取曲線特徵以進行進一步分析。這與逐點分析資料的方式截然不同。我們大量的資料是連續的，我們需要以某種數值形式捕捉複雜的曲線形狀。然後，我們希望分析曲線形狀與其他變數之間的關係。
我們從哪裡取得功能性資料？正如我之前所說，很多數據本質上就是功能性數據。例如，來自製造過程的時間序列資料、光譜資料以及在不同溫度下進行的測量資料。 JMP Pro 可以輕鬆解決許多此類功能性資料問題。
函數型資料分析利用函數型主成分分析（FPC）將資料分解為FPC得分和形狀成分。這是一種與經典主成分分析密切相關的降維方法。 LPC得分或權重是標量，用來解釋函數間的差異。形狀成分則解釋了縱向變化，例如時間、距離、波長等。我們使用FPC得分擬合模型並進行聚類，然後像繪製其他連續資料一樣繪製圖表。
對於功能性數據，我們將FPC得分擬合為DOE因子的函數，並使用FPC得分乘以形狀分量作為中間公式。然後，我們將建模的FPC得分乘以形狀分量作為最終預測公式。
我們如何處理函數型資料？之前已經解釋過了。但使用 JMP Pro，只需點擊幾下滑鼠，即可將一組離散點轉換為一組函數型主成分。
透過將樣條曲線、小波或直接模型擬合到每組函數數據，並用函數主成分 (FPC) 描述曲線，您可以快速獲得關於製程或產品的新見解和理解。好的，下面我們展示了一組曲線，以及用於擬合這些資料的模型。然後，這裡展示了函數資料及其按批次劃分的函數主成分。好的。在本例中，這是一個樣條擬合。
但今天演講的重點是討論如何使用函數數據分析來分析或重新分析三種醇混合物的核磁共振譜數據。這是原始資料來源的論文。我想對他們發表這篇文章表示感謝。然後我們就可以取得這些數據並進行重新分析。
原始資料中包含使用化學計量學方法對核磁共振譜圖進行的定量分析。然後，這裡疊加了三種醇混合物的核磁共振譜圖。我們有戊醇、丁醇和丙醇。我們希望透過分析將這三種醇分開，並預測由它們組成的任何混合物。
為了讓您更能理解譜建模方法，這裡介紹各種多元方法。降維非常重要，我們可以使用主成分分析來實現降維。此外，還可以使用多維尺度分析和函數資料瀏覽器。
聚類分析也始終非常重要。它有助於更好地理解資料分組情況。如果需要進行異常值分析，可以使用多元控製圖。但如果要基於這些資料建立預測模型，則需要使用偏最小平方法或懲罰迴歸等方法。此外，還有函數型資料分析、自助森林以及其他一些神經網路和支援向量機等方法。選擇非常多。
但我希望將其中幾種方法與上述結果進行直接比較。首先是主成分分析，如果你正在查看這些數據的話。如果你能看到圖表上的點，分別是第 8、20 和 18 個點。這些點分別代表我們實際的丙醇、丁醇和戊醇。
我們現在得到的是一個類似三元圖的結構，但需要很多主成分才能解釋至少 85% 的變異。我們目前用到了大約 18 個主成分。數據仍然高度相關。你可以把這些主成分存回資料表，然後再進行主成分迴歸。嗯，這確實有點繞彎子，但並非不可行。
然後，我們也可以考慮另一個非功能性平台——偏最小平方法。在這種情況下，我們實際上可以擬合一個非常好的模型，至少就丁醇、戊醇和丙醇而言是如此。此模型使用五個潛在因子，而不是十八個主成分。
主成分分析和潛在因子分析本質上是相同的，只是使用了部分平方項。我們至少可以解釋原因，或是了解原因的變異情況，而主成分分析則無法做到這一點。
這裡展示的是，我們來看看解釋的變異百分比。我們可以看到，在包含五個因子的較小模型中，我們只能解釋 X 變數大約 28% 的變異，但我們能夠很快地解釋大約 98% 的變異，或略高於 98% 的變異。這是在兩個潛在因子的情況下。
上面的這張圖展示了我們可以進行一些變數簡化的地方。圖中包含了丙醇、丁醇和戊醇，它們分別以不同的顏色標出，每個波長也都包含在內。但這條位於 0.8 的線就像一個經驗法則，一個截止點，你可以在這裡進行一些變數簡化，使模型變得更簡單。如果我們願意的話。但是再次強調，這只是一個非函數形式。你現在看到的是逐點數據。所有這些模型都會非常龐大，除此之外，還有其他因素。
但是，我們可以看看一種叫做小波函數資料分析的方法。使用小波模型，我們得到了非常好的擬合效果。最佳模型是AICc或BIC值最低的模型。可以看到，我們解釋了大約86%的變異，幾乎與主成分分析的結果相同，但我們只用了五個函數主成分就達到了相同的效果。
這已經是一個更簡單的模型了。如果我們看一下實際值與預測值的比較圖，就會發現小波函數很好地解釋了這裡發生的變化。現在，如果我們看一下得分圖的右側，就會看到一個類似三元圖的結構。這裡有戊醇、丁醇，還有，抱歉，是丙醇、丁醇和戊醇。
戊醇的情況比較難解釋。它的峰值與其他一些數據重疊，因此在得分圖中不容易與其他數據區分開來，但我們仍然從中得到了合理的結果。
另一種分析混合物的方法是多元曲線分辨。我們現在正在查看這裡的數據。總的來說，這是使用所有數據的多元曲線分辨。我們使用的驗證數據是戊醇（或丙醇、丁醇和戊醇的混合物）。其餘數據就是這三種醇的混合物。在本例中，我們將它們用作訓練數據，以預測純醇的數據。
我們做得還不錯，尤其是丙醇。另外兩種可能不太好，但我們知道在這種情況下哪些功能性主成分與哪些成分相關。
所以，功能主成分三是丙醇。功能主成分二是丁醇。功能主成分一是戊醇。我們這方面的結果相當不錯。但是，如果你看一下下面的診斷圖。是的。我的意思是，我們做得還可以。但是，由於我們用混合物本身來嘗試預測純物質的錯誤部分，我們看到的是一個三元圖，但上面沒有顯示其他三種成分。稍後我會向你展示反過來分析時的情況。
好的，綜上所述，我們想嘗試一種稱為功能性實驗設計（或稱功能性DOE）的方法。以醇類混合為例，功能性主成分3與丙醇的比例高度相關。這能提供一些解釋。就像我之前說的，功能性主成分1與戊醇高度相關，功能性主成分2與丁醇高度相關。當你觀察功能性主成分和因子時，並非總是能得到這種相關性。
但在這個例子中，我們雖然得到了一些結果，但我們並沒有混合FPC，而是混合了醇類。這才是我們想要關注的重點。這就是為什麼功能性DOE如此重要。我們將把這些分數擬合為事實或因素的函數。這樣，我們就可以輕鬆地與該模型交互，並以實際的方式使用它，最終預測成分或因素對光譜的影響。
如果您還記得，我們之前提到過，FPC 分數是權重，是標量，用於解釋函數之間的差異，而形狀成分則解釋縱向差異、時間差異等等。波長。
對於功能性DOE，我們將FPC分數擬合為DOE的函數。然後，我們重複之前討論過的數學運算。好了。總而言之，我們得到了一個叫做功能性DOE分析器的東西。在這裡，我們可以比較不同丁醇、丙醇和戊醇比例下的光譜特徵。
好的。我們會在演示中講到這一點，演示現在應該開始了。我先離開一下，把這個放到一邊。好的，我正在處理一個 JMP 專案。這是數據。我們有 23 個批次的核磁共振譜圖。對，這是它們的 ID。然後是丙醇、丁醇和戊醇的不同比例。接下來是一千列波長資料。
數據範圍非常廣，而且相關性非常高。我們在進行一些分析時，必須把所有這些因素都考慮進去。好的。首先，我們要回顧函數主成分分析，而不是常規主成分分析，不是函數主成分分析。
讓我把畫面放大一點，這樣你們就能看清楚這裡的狀況了。如果我們看一下這裡的得分圖和散佈圖，可以再次看到數據點的高度相關。再看看這裡的不同點，像是星形點、菱形點和星形點。這些點代表的是純物質。這讓我們意識到，我們仍然在觀察一個三元圖。我們這裡觀察的是混合物。
但是，如果我們再看一下這裡，我們需要將特徵值降到 80 或 18，才能解釋大約 86% 的變異。好的。這仍然有很多因素，我們需要再次將它們納入考慮，並在準備好後進行一些主成分回歸。一旦我們將這些結果保存回資料表。
如果我們還記得的話，我們討論過偏最小平方法。看看這個例子，它表明我們可以很好地解釋Y變數。它能夠用五個潛在因子預測戊醇、丁醇和丙醇的含量。現在，我們對X變數的解釋還不夠理想，但如果我們想提高解釋力，可以透過添加更多潛在因子來使其更接近其他主成分模型。但我認為，即使只使用這個模型，我們仍然節省了很多時間。
如果你看這裡的范德沃特T值，它告訴我們，我們其實不需要超過五個潛在因子，因為五個潛在因子時范德沃特T值正好是1。任何高於0.1的值都可以被認為是一個好的模型。我們實際上可以減少到兩個、三個甚至四個因子。但目前我們先用五個因子。
好的。如果我們看一下下面的均方根壓力圖，就會發現它再次顯示我們可以使用五個因子。這是最低的均方根壓力值，但看起來之後的所有值也很低。這可以讓你了解擬合情況。這非常好，因為數據在這些得分圖（z 得分圖）上非常集中。這進一步表明我們有一個相當不錯的模型。
我們在這裡解釋了98%的變異，幾乎99%的變異，而這只用了兩個潛在因子。當然，如果我們能達到100%，我們還可以使用更多因子。這很棒。最後，我們再次審視了VIP（變數選擇指標）。我們討論過如何利用它進行變數選擇。實際上，我們可以剔除大量數據，仍然能夠建立一個非常優秀的模型。
以上是兩種主成分分析方法。偏最小平方法是兩種分析非功能性平台資料的方法。如果我們切換到功能性資料瀏覽器，首先我想向大家展示的是原始資料格式，對吧？我們剛剛完成了分析，沒有進行任何數據處理。我們只是導入了數據，然後在這裡稍微擬合了一下模型。
這是未經約束的多變量曲線分辨率資料。在這種情況下，數據可能會出現負值，但就目前的情況來看，我們做得還不錯。讓我們看看這裡，看看我們的丙醇，或者說這個批次，這就是我們的丙醇。我們目前做得還不錯。雖然不是特別好，但還可以接受。我們沒有驗證集，也沒有訓練集。我們目前還沒有使用任何驗證集或訓練集，但我們認為，如果我們繼續觀察這些數據，結果應該沒問題。
如果你看一下實際值與預測值的關係圖，可能效果不明顯。這裡的資料分佈比較分散，尤其是在殘差與預測值的關係圖中。我們或許應該試著改進一下這個模型。即便如此，如果你繼續觀察這裡，我們仍然可以看到丙醇、丁醇和戊醇。這有點像是三元圖，雖然不完美，但如果你發揮一下想像力，它大致可以構成一個三角形。
我們正在研究這些資訊。我們做得相當不錯，分析結果很理想。然後我們像之前展示的那樣進行小波分析，效果也非常好。我的意思是，如果你想分析這類曲線數據，小波分析確實是一個很棒的方法。
小波轉換唯一的缺點就是它幾乎和主成分分析一模一樣。你必須先保存數據，然後進行某種廣義迴歸分析，特別是對於你即將處理的數據，例如我們下面看到的這些數據。
這裡有一些你可以得到的分數。如果你仔細查看這些數據，你會發現其中包含許多功能性主成分。但如果你再看得分圖，你會發現一個相當不錯的三角形，一個很好的三元圖。我們對數據分析的結果非常滿意。
然後是之前我展示過的功能數據瀏覽器，它現在已經啟動了。你可以看到，當我移動參數時，如果我把丙醇濃度設為 100%，其他兩個參數就會變成零。然後你就能看到曲線的形狀了。如果你只是想了解曲線的形狀或如何比較曲線，那麼使用小波函數或任何其他與功能性 DOE 分析器相關的函數也是比較這些曲線的好方法。好的。
最後，這裡是多元曲線解析度本身。它只允許正數據。如果我們再看看上面，它正好匹配了丙醇。我的意思是，它對丙醇的擬合效果幾乎完美。下面這兩個就沒那麼好了。我們用丁醇解釋了93%的變異，戊醇的解釋率約為83%。它們應該達到100%。模型還可以，但不完美。
當我們添加一些驗證功能後，如果我們現在查看驗證數據，當我們使用…這裡我們使用純原料來嘗試預測其他醇類的百分比。同樣，我們在這裡看到了一些差異。但如果我們再看看上面，我稍後會向您展示對比結果。但如果我們看這裡的數據，這是我們第一批的數據。結果相當不錯。預測值與實際值之間的比較。實際值非常接近。好的。
不管怎樣，先別管那些，記住我們現在看到的是實際值與預測值的對比圖，雖然還有很長的路要走，但目前為止做得相當不錯。還不錯。然後我們還有功能性的DOE分析器。我們也可以用它來做一些假設性實驗，並比較曲線。好的。
最後，我們用純材料作為訓練集。我們用這些數據來預測其他數據的情況。這部分我們也做得相當不錯。再看看第一行，這些百分比幾乎完全正確。我記得是0.8、0.1和0.1。不錯。好的。
我們回到PPT，繼續講解。我再解釋一遍。重點是，你有很多方法可以分析數據。函數式資料瀏覽器是一個非常強大的工具。就像我之前說的，當我們比較實際值和預測值時，如果我們看這裡，我們就能得到這個結果。我們看看能不能畫出來。你看這裡，我們做得很好。對吧？
就這個模型本身而言。現在還有其他的，甚至下面這個也相當不錯，整體來說，實際預測值與模型預測值吻合得很好。這個模型很好。我們需要在這方面稍作改進。但這真的很好。特別是如果你在線上或線下進行測量的話。你收集的數據越多，你的模型就會越好。好的。
重點：利用小波轉換進行函數資料分析可以與混合實驗設計結合。它能夠預測核磁共振譜圖以及幾乎任何你想要的譜圖，也能根據配方成分和比例預測色譜數據。你可以利用這些訊息，結合FDA和DOE模型，預測這些譜圖所傳遞的訊息。
然後，利用上述任何一種分析化學技術，以未知混合物為目標，並結合FDA-DOE混合物模型，可以最大限度地減少與目標值之間的積分誤差，從而預測配方成分的比例。我們在第二個例子中就做到了這一點。
就這樣。還有一個。我看看能不能把這個指針拿掉。因為，我們又多了一項要點。函數型資料分析將高度相關的縱向資料（例如光譜資料或任何曲線資料）分解成兩部分。我們已經討論過，形狀函數解釋了縱向變化，而 FPC 分數解釋了函數之間的變化。
你要把這些資訊和這些資訊結合起來。然後運用你的實驗設計方法以及你想要的任何機器學習方法，尤其是在這種情況下，可以使用函數式資料探索器或函數式資料分析。你可以利用原始感測器資料流（資料流、曲線或頻譜）中的這些資訊來提高你的預測能力。好的。
最後但同樣重要的是，您需要溝通和分享這些數據。在獲取流程數據、分析技術數據、測量數據和串流數據時，您需要能夠即時更新這些數據，並與其他人共享。這時，JMP Live 就派上用場了，它可以幫助您實現這一點。
最後，我想說謝謝，但請記住，有了 Functional Data Explorer 和流程分析技術數據，您就能朝著建立一個非常好的數據預測模型邁出重要一步，尤其適用於混合數據。好的，謝謝大家。
