349268_zh-TW

liliconcom

用於分析的預處理光譜數據（2021-EU-30MP-787）

級別：中級

 

SAS JMP高級全球支持工程師Bill Worley

 

預處理光譜數據是為任何數據分析工具準備要分析的數據的重要第一步。 我們將審查並演示使用JMP進行標準正態變異（SNV）和Savitsky-Golay（SG）平滑。 這些預處理工具在整個行業中都是相當標準的，並且是使用原始光譜數據構建預測模型的第一步。 特別感謝Ian Cox分享了他的SG加載項。

 

 

自動產生的筆錄...

 

揚聲器	成績單
比爾·沃利	大家好，我是JMP系統工程師Bill Worley。 我在JMP待了將近7年。 今天我們要談論的是
	預處理光譜數據以進行分析。 之所以稱其為前傳，是因為我已經講過在JMP中分析光譜數據的話題，但是預處理是重要的第一步，並將向您展示原因。 讓我們開始吧。
	因此，讓我們在這裡談談摘要。 預處理光譜數據確實是準備數據（任何數據）進行分析的重要第一步。
	我們可以與您談談...我們將回顧演示並演示JMP中的標準正態變量和Savitzky-Golay平滑工具。 這些是整個過程中相當標準的預處理工具
	化學界，化學工業以及實際上是任何從事光譜學和分析光譜數據的人。 他們會知道...
	有關標準正態變量Savitzky-Golay及其使用方式的更多信息。 因此，這再次是幫助您從原始光譜數據構建預測模型的重要第一步。
	因此，僅需很少的背景光譜數據就很混亂。 在構建這些預測模型或您可能要構建的任何預測模型之前，預處理可用於幫助平滑和過濾以及對基線進行校正。 Savitzky-Golay濾波和標準正態變量
	是具有...在JMP中使用的工具。 Savitzky-Golay是由Ian Cox開發的插件，因此...感謝Ian的幫助。 標準正態變量需要...
	某種公式，我們將向您展示如何將其構建到JMP中。 最後一行是... Graph Builder還是用於可視化光譜數據的寶貴工具，可以用作平滑數據的替代平台。
	但是，隨著我們深入討論，我們將再次討論這一點。
	我們為什麼這樣做。 您為什麼要進行任何預處理？ 好吧，如果您看一下，首先是那裡的最高光譜或光譜組，那是來自100個光譜的原始數據，您實際上無法分辨出
	您知道的是100％澱粉或100％麵筋的混合物。 您會看到一些差異，只是看不到...您無法分辨出什麼是什麼。 出色地，
	從那裡開始，我們對Savitzky-Golay進行平滑和濾波，然後取一階導數，這將為您提供更加清晰的光譜集，
	分組良好，但仍不完全符合您的意願。 然後，最後，在執行了標準正態變量平滑處理之後，光譜更加清晰，更容易看到峰的位置。
	您會看到差異在不同光譜組中的位置。 因此，這些紅線到灰線到藍線的每一個都有20個光譜，它絕對乾淨得多。 您可以看到不同混合物的峰在哪裡。
	好的，使用Savitzky-Golay濾波時，它是提供給光譜數據以進行平滑處理的數字濾波器。 這樣做的好處是它不會改變整體光譜本身，峰的位置以及類似的東西。 因此，這是一個不錯的工具。
	它使用卷積進行平滑，並且基於線性最小二乘法公式。
	一階和二階導數也...您還可以從平滑信號中馴服那些。
	並且也可以對光譜兩端的任何不重要的數據進行過濾。 如果您遇到的情況是一開始就有一些東西，那隻是不重要的，並且只會在前進時弄亂您，而在另一端則是一樣。
	借助Graph Builder，您甚至可以進行Savitzky-Golay無法完成的內部平滑或內部過濾。
	加入。 因此，可以將本地數據過濾器與“圖形生成器”一起使用，並進一步定義感興趣的區域。
	所以，
	我們繼續。 Savitzky-Golay
	分析是我們已經完成了...完成...如果我們進行分析，這是一組光譜。 這樣我們就順利了
	一階導數，現在擴展了一點。 然後我們將零線放到那裡。 借助一階導數，您可以
	根據零點是或零點的交叉點來確定峰的位置，這樣您就可以了解任何給定峰的位置
	一組光譜，一組光譜。 對於二階導數，現在有所不同。 它有助於平整基線，然後，如果峰重疊，則可以幫助您
	進一步發展或更好地了解那些重疊的位置，您會從正數變為負數，這表示峰重疊以及它們可能在哪裡。 好的，這就是您使用該工具的方式。
	標準正態變量本身還是關於各個光譜的數據標準化。 它可以單獨使用，也可以作為附加的平滑工具使用，今天我們將其用作附加的工具。
	用過...
	它用於基線偏移校正和全局強度變化的校正。 不錯的是，它消除了基線變化，而沒有改變光譜的形狀，對。
	數據就是這個問題，當我們這樣做時，您會看到，數據必須被堆疊，好了。
	好吧，這只是公式之一
	可能會用於設置標準正態變量公式，我將向您展示如何做到這一點。 有幾種不同的方法，但是涉及到一點點，我將向您展示如何做到這一點。 這裡重要的是
	我們在這里為標準化的色譜柱提供了標準公式，但必須確保我們按變量使用它，這就是光譜本身。 所以
	加上一點技巧。
	是的，因此，如果僅對原始數據執行標準正態變量，則結果將是這樣。
	我們可以看到分組，也可以看到事情的爆發方式，但是如果我們在執行一階導數之後執行了標準正態變量，那麼它將更加干淨。 您可以更好地了解光譜在哪里或在哪裡重疊，在哪裡知道，
	在這裡您可能需要做些...第二階導數將在其中起作用，在此處可能有重疊的峰，對，
	也許回到這裡 所以
	這就是真正幫助您更好地了解所見事物的地方。 零線再次表示，當您越過該零線時，零線表示峰值，在該峰值使用一階導數。
	好了，讓我們進入一個演示。
	好吧，滾出去。
	因此，讓我們先談談可視化數據...首先是數據。 請記住，每當獲得一組新數據時，最好的辦法就是將其引入並可視化。 您知道，對這些數據進行繪圖，可以更好地了解您所面對的情況。 讓我們下去這里拉起
	我們的麵筋原始數據。 是的，所以我們已經導入了數據。 現在我們需要對其進行一些可視化，讓我們來做...讓我們進入Graph Builder。
	對，我們要做的第一件事，
	將其向上移動一點，轉到原始數據。 對，現在我們要解決這個問題。
	這就是點數據，這就是我們……在進行任何平滑處理之前，進行任何其他操作之前所看到的內容。 那就是行數據，如果我可以將其更改為
	平行圖，對，這給了我光譜的線數據。 同樣，我們看不到那裡發生了很多事情，但是它使我們更好地了解了事情將要發生的地方。 我可以做到...
	我們可以在這裡做一些事情，叫做...如果需要的話，並且您將看到其他數據，這個並行合併。 但這並沒有改變任何東西。 它並沒有像您將看到其他一些數據那樣將所有數據組合在一起，所以我將關閉它。
	正確，當我在可視化數據時喜歡使用的其他一些工具是模型驅動的多元控製圖，讓我們首先進行操作。
	因此，我們去分析，質量和過程，以及模型驅動的多元控製圖。
	向上移動。
	是的，我沒有任何歷史數據，所以我說好。 這使我們能夠做的是，查看數據並說，好吧，
	我們可以看到光譜的分組，對。 在大多數情況下，這就是...只是要指出這一點，
	我們能夠解釋所看到的大多數變體，至少有兩個主要成分的變體高達85％，可以。 那就是用這個??? T平方
	我們在這裡獲得的信息。 而且這還告訴我們，對於給定的光譜，事情可能會失控。 為什麼與其他人不同？
	因此，如果我將鼠標懸停在這些要點之一上，就可以解決問題。 如果我將鼠標懸停在失控點之一上，請再次將其拔出，
	現在我們可以看到，哇，那些真的不同，你知道的。 您必須更好地了解此光譜，這與我們有所不同。 在這種情況下，我們已經有了更好的理解，因為我們知道它們是混合物，但是我們希望看到這一點。
	我們也把它拉出來。 好吧，那又是一回事。 因此，在這三個光譜之間，我們有各種各樣的混合物。 因此，我們有……三個小組中的三個，我們也可以將其他兩個小組放在那兒，看看。 但是，我們暫時將其保留。
	好的，這就是模型驅動的多元控製圖。 我喜歡使用的另一個工具是...它在多變量方法下，稱為多維縮放。
	我喜歡使用它的原因是，尤其是對於像這樣的系統，
	是我們有
	再次，我們的原始數據，我們需要...
	讓我先進行設置，我會告訴你。
	我們在這裡有兩個維度，對，這只是基於我們之前看到的內容，但是我喜歡使用的原因是，這使我們能夠對數據本身進行一些分組或可視化某些分組。 好吧，
	讓我們做到這一點。 這需要一秒鐘的時間。
	我們可以看到，我們有五個不同的光譜組，所以，每個光譜組都與一組澱粉和麵筋的混合物有關。 如果我在這裡突出顯示該分組，那是第一組，這就是全部100％澱粉。
	中間組是50/50混合，下面這組是100％麵筋。 是的，所以這樣做還可以突出顯示數據表中的數據，就像那裡顯示的那樣，以便
	互動性也很好。 這也向我們顯示，我們正在做的相當不錯……已經能夠突破不同群體的含義。 如果我們看一下謝潑德圖，
	我們有1的R平方
	直線，好的。 再次，這是一種可視化它的好方法，並且您可以使用它做更多的事情，但是我們將再等一遍。
	好的，到目前為止，
	我們已經將數據導入，我們將其可視化了，現在，我們需要進行一些預處理。
	而且我們要做的是，或多或少都有這些佔位符，所以我們將做一些Savitzky-Golay分析，並且至少在第一個例子中我們將做一些標準的正常變色派生的，好吧。
	好吧，讓我稍微整理一下。
	是的，關閉它。
	再一次，我們將獲取原始數據，並使用Savitzky-Golay加載項進行分析。 所以這對我來說是外接程序。
	而且這是一個免費的插件，因此您可以獲取它，我們將為您提供它。 這又是一次，我們將獲取原始數據，
	是的，如果您想了解更多有關Savitzky-Golay的內容，我們在這裡有Wikipedia鏈接，您可以使用它。 但是我們將使用它來幫助平滑每個波長的數據，然後取一階和二階導數。 我說，好的。
	到此為止，我們已經獲得了平滑的數據。
	而且，有一件事，您可以根據需要進行調整，但是我們想要做的就是接受這一點，
	擴大那個窗口一點點。
	Alrigh。
	做那個。
	您可以在這裡使用多項式，多項式擬合的順序。
	在這種情況下，使用八階多項式實際上並沒有多大區別。 第二個...第二個命令就可以了。 好吧，然後我們可以從一階導數中獲取數據。
	說正確的保存數據，我們可以將其保存回數據表中。 而且我已經做完了，所以我不必向您展示該過程，而只是知道然後將數據從那裡取回數據表即可。
	讓我們結束這一點。
	好吧，我們現在可以出發了，但是現在我們需要做最後一步，對。 因此，讓我們先看一下...在我們去那里之前，讓我們回頭看看
	我們的Savitzky-Golay數據。 因此，這是一階導數數據。 我再次想看看
	圖生成器，對。 看到的是……在那看起來並不十分有希望，但讓我們做平行繪圖，
	使它更好一點。 清理它，然後讓我們進行合併的比例並行合併，這會將數據帶入更多
	視覺...比以前更好的視覺效果，對。 我們可以進行...打法，然後再次在此處添加自己的零線，以更好地了解峰的交叉點。
	但這就是一階導數數據。 是...您可以看到這些組，但是它們並沒有完全分開，就好像您真的希望讓他們有一個更好的主意，好吧。
	所以我們就在那裡。 該數據返回到數據表中。 我將結束討論，然後記得我說過的，您必須為...堆疊數據以執行標準正態變量，因此我們需要這樣做。 讓我們首先在這裡子集一些數據。
	好啦
	所有這些子集。
	桌子。 子集。
	所有行。 選擇列，然後說好。 好了，現在我們可以去那裡了。
	正確的。
	好吧，至少，我們是……我們已經分離出了數據，對。 現在我們要做...正確地存儲數據。 同樣，這是為了能夠將過濾器放入公式所需的所有數據中。
	因此在表格下。 堆。
	這些是我們要堆疊的列。
	正確，並逐行堆疊。
	我將選擇我們要保留的列。
	最重要的是。 之後，
	抱歉...我只是單擊以獲取此設置，但是您會明白的。 我會花一秒鐘的時間讓大家看看到達那裡需要什麼。 所以我保存了這個。
	您知道的，現在看到無標題的12。 是的，這是我們的堆疊數據，現在我們可以執行該標準正態變量。 一種快速的方法是創建一個新列，
	右鍵點擊。
	我必須從此處通過公式編輯器構建此公式。 我將使用稱為
	專欄標準化，對。 如果我將鼠標懸停在此上，這將使您對您正在執行的操作有所了解。 標準化意味著什麼，對。 所以我們要...
	平均值為0，標準偏差為1，因此這就是我們要根據數據以及所有給定光譜獲得的結果。 所以我們需要獲取數據
	時不時地記得我說過我們必須添加該雙變量，在這種情況下，它將成為頻譜。 我要說好。
	好了，這給了我們一個數據集。 現在有一種更簡單的方法可以執行此操作，或者我認為這是一種更簡單的方法，但是也可以...
	有時會花費一些時間。 但是，如果我再次在此處右鍵單擊光譜，請記住我正在執行此操作，因為我們需要一個雙變量。 因此，我將轉到新的列信息並進行分組。
	我將使用數據列，然後右鍵單擊該列，然後創建一個新的公式列。
	我們將滑到發行版，並記住並標準化。 我們...所以我們想要那個
	均值為0;標準偏差為1。 選擇該內容，然後構建該新列。 這樣做的好處是數據匹配，因此我鬆了一口氣，以確保正確。
	是的，所以我知道了。 現在，這需要從這裡開始，我要單擊該列，
	我們獲取這些數據，將其拆分，然後將其放回常規數據表或初始數據表中。 我想向您展示的一件事是
	一旦將數據堆疊起來，就可以進行其他一些可視化處理。 因此，如果我...回到圖形生成器右側，我想獲取此數據
	進入
	是的，然後我要貼標籤，這是一種查看所有變化在哪裡的好方法。 這些都是
	您知道，箱形圖顯示的位置...您正在查看數據的變化，因此，這是一種非常直觀的可視化方式。
	使用Graph Builder的另一種有效方法是在這種情況下必須堆疊數據。 現在，您還可以做的是
	如果您輸入點數據，讓我們先將其刪除，然後將點數據放入其中，然後進行一些平滑處理。 現在這是一個個體平滑，因此這是每個數據的平均值。 我們想做的就是那樣做
	Savitzky-Golay平滑，所以我需要拉入
	疊加層，對。 這就是所有數據。 現在將很難看，但是我要這樣做，希望您能看到，如果我選擇更平滑，我們將切換到Savitzky-Golay。
	是的，我認為您...希望，您看到的是現在就適合那條線，那條平滑線就在那兒。
	這是使用Savitzky-Golay平滑數據的另一種方法。 然後可以將其更改為二次方，可以在此處進行一些局部修整，然後最終可以將其保存回數據表中。
	我現在暫時不討論它。
	沒關係，請記住，我們必須拆分這些數據，然後將其保存回數據表。 我將放棄拆分步驟，然後僅返回數據...原始數據表。
	我不需要那個
	對，然後當我
	在“圖表生成器”下再次查看數據，
	我可以參加這個標準的正態變量組，
	把它放進去。 再次，看起來不太有希望，但是我們將進行平行繪圖，然後單擊鼠標右鍵。
	合併那些秤。
	基本上，這就是我們完成的平滑。 這樣我們就完成了所有設置。 同樣，我們可以在此處添加零線，
	如果需要的話。 讓我們繼續添加。
	零，我們將其變為綠色，
	就是這樣，添加它。
	說好，然後再次使用它來幫助您確定峰的位置。
	基於我越過該零點時的最大峰值，好吧。
	就是這樣。 讓我們回到我們的
	微軟幻燈片軟件。
	因此，總而言之，預處理...我們需要預處理數據...預處理數據以使其更乾淨，更容易使用。
	還有JMP ...
	JMP正在做這個...
	我們正在努力使這一過程變得更加容易。 插件和內置功能將支持JMP 16中的預處理。
	我們期待JMP 17進行預處理，在Functional Data Explorer中將提供更複雜的光譜和基線平滑選項以及一些峰值檢測和選擇功能。
	為了分析光譜數據，請...我在2020年為發現號做了一次演講
	慕尼黑。 那是一次虛擬的演講，但這將使您對如何使用JMP分析光譜數據有個好主意。
	藉此，我要說聲謝謝，希望大家都發現...發現這很有用。 請告訴我。

最佳峰會爆發數據訪問與操作預測建模