揚聲器
|
成績單
|
| 比爾·沃利 |
大家好，我是 Bill Worley，JMP 系統工程師。 我在 JMP 工作已近七年了。 今天我們要講的是 |
| |
預處理光譜數據以進行分析。 我將其稱為前傳，因為我已經就在 JMP 中分析光譜數據進行了演講，但預處理是重要的第一步，將向您展示原因。 讓我們開始吧。 |
| |
那麼讓我們在這裡談談摘要。 預處理光譜數據確實是準備數據（任何數據）進行分析的重要的第一步。 |
| |
您知道，我們可以與您討論...我們將查看演示並演示 JMP 中的標準正態變量和 Savitzky-Golay 平滑工具。 這些是整個過程中相當標準的預處理工具 |
| |
化學世界、化學工業以及任何從事光譜學和分析光譜數據的人。 他們會知道... |
| |
有關標準正態變量 Savitzky-Golay 及其使用方式的更多信息。 因此，這又是幫助您根據原始光譜數據構建預測模型的重要第一步。 |
| |
因此，有一點背景光譜數據可能會非常混亂。 預處理用於在構建這些預測模型或您可能想要構建的任何預測模型之前幫助平滑、過濾和校正基線。 Savitzky-Golay 過濾和標準正態變量 |
| |
是在 JMP 中使用的工具。 Savitzky-Golay 是由 Ian Cox 開發的插件，因此……感謝 Ian。 標準正態變量需要... |
| |
某種公式，我們將向您展示如何將其構建到 JMP 中。 最後一行是...圖形生成器也是可視化光譜數據的寶貴工具，並且可以用作平滑數據的替代平台。 |
| |
但當我們進一步討論時，我們會再次討論這個問題。 |
| |
為什麼我們這樣做。 為什麼要進行任何類型的預處理？ 好吧，如果你首先看一下頂部光譜或光譜組，那就是來自 100 個光譜的原始數據，你無法真正區分它們之間的任何區別 |
| |
你知道，100% 澱粉或 100% 麩質的混合物。 你可以看到一些差異，但你看不到......你無法分辨什麼是什麼。 出色地， |
| |
接下來我們要做的就是進行 Savitzky-Golay 平滑和過濾，然後採用一階導數，這將為您提供一組更清晰的光譜， |
| |
很好地分組，但仍然沒有完全達到您想要的位置。 最後，在進行標準正態變量平滑之後，光譜變得更清晰，更容易看到峰值在哪裡。 |
| |
您可以看到不同光譜分組中的差異。 因此，這些紅線、灰線和藍線中的每一條都有 20 個光譜，而且它絕對乾淨得多。 您可以看到不同混合物的峰在哪裡。 |
| |
好的，Savitzky-Golay 濾波是一個數字濾波器，提供給您的光譜數據以進行平滑處理。 它的好處是它不會改變整體光譜本身、峰值的位置等等。 所以這是一個很好的工具。 |
| |
它使用卷積進行平滑，並且基於線性最小二乘公式。 |
| |
一階和二階導數也是......您還可以從平滑信號中馴服它們。 |
| |
並且還可以過濾光譜兩端的任何不重要數據。 如果你遇到這樣的情況，你知道，你一開始就有一些東西，那隻是不重要的，它只會讓你在你前進時陷入困境，而在另一端也是同樣的事情。 |
| |
圖形生成器甚至允許您執行一些 Savitzky-Golay 無法執行的內部平滑或內部過濾操作。 |
| |
加入。 因此，您可以將本地數據過濾器與圖形生成器結合使用，並進一步定義感興趣的區域。 |
| |
所以， |
| |
我們繼續。 薩維茨基-戈萊 |
| |
分析是我們已經得到了……我們已經完成了……如果我們進行該分析，這是一組光譜。 這樣我們就得到了光滑的， |
| |
一階導數，現在延伸了一點。 我們把零線放在那裡。 通過一階導數，您可以 |
| |
根據零點或零點交叉告訴峰值在哪裡，對吧，這樣您就可以了解任何給定的峰值在哪裡 |
| |
一組光譜，一組光譜。 對於二階導數，現在有點不同了。 它有助於展平基線，然後，如果您有重疊的峰值，它可以幫助您 |
| |
進一步發展或更好地查看這些重疊的位置，然後從正值變為負值，這表明重疊的峰值以及它們可能在哪裡。 好的，這就是您使用該工具的方式。 |
| |
標準正態變量本身又是關於各個光譜的數據的標準化。 它可以單獨使用，也可以作為附加平滑工具使用，我們今天將其用作附加工具。 |
| |
是用... |
| |
它用於基線偏移校正和全局強度變化校正。 好處是，它消除了基線變化而不改變光譜的形狀，對吧。 |
| |
數據，關於這個的事情是，當我們這樣做時你會看到這一點，數據必須堆疊，好吧。 |
| |
好吧，這只是公式之一 |
| |
可以用於設置標準正態變量公式，我將向您展示如何做到這一點。 有幾種不同的方法，但它有點複雜，我將向您展示如何做到這一點。 這裡重要的部分是 |
| |
我們這裡有標準化列的標準公式，但我們必須確保我們使用它作為變量，這就是光譜本身。 所以 |
| |
添加它有一點技巧。 |
| |
是的，如果它只對原始數據進行標準正態變量，那麼它就會是這樣的。 |
| |
我們可以看到分組，我們可以看到事情是如何爆發的，但是如果我們在進行一階導數之後再進行標準正態變量，那就乾淨多了。 你可以更好地了解光譜的位置或它們重疊的位置，你知道， |
| |
你可能需要做一點...二階導數會發揮作用，你可能在這裡有重疊的峰值，對吧， |
| |
也許回到這裡。 所以 |
| |
這就是真正有助於建立您所看到的更好願景的地方。 零線再次表明，當你穿過零線時，零線是峰值的指示，峰值使用一階導數。 |
| |
好吧，讓我們開始演示吧。 |
| |
好吧，離開那裡。 |
| |
那麼讓我們來談談數據可視化……首先是數據。 請記住，每當您獲得一組新數據時，最好的辦法就是將其拉入並可視化。 你知道，繪製這些數據，更好地了解你所面臨的情況。 讓我們從這裡下去然後拉上來 |
| |
我們的麵筋原始數據。 好的，我們已經導入了數據。 現在我們需要對其進行一些可視化，讓我們...讓我們轉到圖形生成器。 |
| |
是的，我們要做的第一件事， |
| |
將其向上移動一點，轉到原始數據。 好的，現在我們要把它拉進去。 |
| |
這是點數據，所以這就是我們......在我們進行任何平滑之前、在我們做任何其他事情之前所看到的。 這就是該行數據，如果我可以將其更改為 |
| |
右側的平行圖，為我提供了光譜的線數據。 同樣，我們看不到那裡發生的很多事情，但它讓我們更好地了解事情出問題的地方。 我可以做到... |
| |
我們可以在這裡做一些事情，一些叫做...如果我們需要的話，你會看到它與其他數據，這個並行合併。 但這並沒有改變任何事情。 它沒有像您將看到的其他一些數據那樣將任何數據組合在一起，所以我將關閉它。 |
| |
是的，我在可視化數據時喜歡使用的其他一些工具是模型驅動的多元控製圖，讓我們首先這樣做。 |
| |
因此，我們將討論分析、質量和流程以及模型驅動的多元控製圖。 |
| |
把這個往上移。 |
| |
是的，我沒有任何歷史數據，所以我說好吧。 這讓我們可以做的是，查看數據並說，好吧， |
| |
我們可以看到光譜分組，對吧。 在大多數情況下，這是......只是想指出這一點， |
| |
我們能夠解釋我們看到的大部分變異，至少 85% 的變異有兩個主成分，好吧。 那就是用這個？？？ T 平方 |
| |
我們在這裡得到的信息。 這也告訴我們對於給定的光譜，哪些地方可能會失控，對吧。 為什麼它與小組中的其他人不同？ |
| |
因此，如果我將鼠標懸停在其中一點上，我就可以將其拉出來，對吧。 如果我將鼠標懸停在某個失控點上，再次將其拉出， |
| |
現在我們可以看到，哇，這些確實不同，你知道。 你知道，這個光譜有一些不同之處，我們必須更好地理解。 在這種情況下，我們已經有了更好的理解，因為我們知道它們是混合物，但我們希望看到這一點。 |
| |
我們也把這個拿出來。 好吧，那又是一篇。 因此，在這三個光譜之間，我們得到了各種各樣的混合物。 所以我們有三組……三組，我們也可以把另外兩組放在那裡，只是為了看看。 但我們暫時就這樣吧。 |
| |
好的，這就是模型驅動的多元控製圖。 我喜歡使用的另一個工具是……它採用多元方法，稱為多維縮放。 |
| |
我喜歡使用它的原因是，特別是對於這樣的系統， |
| |
是我們有 |
| |
再次我們的原始數據，對吧，我們需要...... |
| |
讓我先設置一下，然後我會告訴你。 |
| |
我們這裡有兩個維度，對吧，這只是基於我們之前看到的，但我喜歡使用的原因是這允許我們進行一些分組或可視化數據本身的一些分組。 好吧， |
| |
讓我們這樣做吧。 這需要一秒鐘才能出現。 |
| |
我們可以看到，我們有五組不同的光譜，對吧，所以每一組都與一組澱粉和麩質的混合物有關。 如果我在這裡強調這一組，那就是第一組，也就是 100% 澱粉。 |
| |
中間的組是 50/50 的混合物，下面的組是 100% 麩質。 是的，它的作用是突出顯示數據表中的數據，就像所示的那樣，這樣 |
| |
互動性也不錯。 這也向我們表明，我們已經做得相當不錯了……已經能夠區分出不同的群體。 如果我們看一下謝潑德圖， |
| |
我們有 R 平方為 1 且 |
| |
直線，好吧。 再說一遍，這是一種可視化它的好方法，而且您還可以用它做更多事情，但我們將在下次討論。 |
| |
好吧，到目前為止， |
| |
我們已經引入了數據，我們將其可視化，對吧，現在我們需要做一些預處理。 |
| |
我們要做的，我已經有了這些，或多或少，這裡有佔位符，所以我們要做一些 Savitzky-Golay 分析，我們要做一些標準的正態變量，至少在第一個衍生品，好吧。 |
| |
好吧，讓我稍微清理一下。 |
| |
對了，關閉它。 |
| |
我們將再次獲取原始數據，並使用 Savitzky-Golay 插件進行分析。 所以這對我來說是在加載項下。 |
| |
這是一個免費的插件，因此您可以獲得它，我們會為您提供。 所以這又是，我們將獲取原始數據， |
| |
是的，如果您想了解有關 Savitzky-Golay 的更多信息，我們這裡有一個維基百科鏈接，您可以使用它。 但我們將使用它來幫助平滑每個波長的數據，然後獲取一階和二階導數。 我說，好吧。 |
| |
就這樣，我們已經得到了平滑的數據。 |
| |
有一點，你知道，你可以根據需要調整它，但我們想做的是採取這個， |
| |
把那個窗口擴大一點。 |
| |
好吧。 |
| |
做那個吧。 |
| |
您可以在這裡使用多項式，即多項式擬合的階數。 |
| |
在這種情況下，使用八階多項式實際上並沒有多大區別。 第二個……第二個訂單就很好了。 好吧，然後我們可以從一階導數中獲取該數據。 |
| |
說保存平滑數據，對吧，我們可以將其保存回數據表。 我已經這樣做了，所以我不必向您展示該過程，只需知道數據然後從那裡取回到數據表即可。 |
| |
讓我們結束吧。 |
| |
好吧，我們現在就可以開始了，但現在我們需要做最後一步，對吧。 所以讓我們看看...在我們去那里之前，讓我們回去看看 |
| |
我們的 Savitzky-Golay 數據。 這是一階導數數據。 我想再次看看這個 |
| |
圖形生成器，對。 看看那......只是看起來不太有希望，但讓我們做平行情節， |
| |
讓它好一點。 清理它，然後讓我們進行這種組合規模並行合併，這使數據更加豐富 |
| |
視覺效果……比以前更好的視覺效果，對吧。 我們可以玩這個……遊戲，我們可以在這裡添加我們自己的零線，以更好地了解峰交叉的位置。 |
| |
但這是一階導數數據。 這是......你可以看到這些組，但他們不是，你知道，他們並沒有完全分開，就像你真的想讓他們得到更好的想法，好吧。 |
| |
所以我們就在那裡。 該數據返回到數據表中。 我要結束它，然後記住我說過，你必須堆疊數據......才能執行標準正態變量，所以我們需要這樣做。 讓我們首先在這裡提取一些數據。 |
| |
好吧，那麼 |
| |
將所有這些子集取出。 |
| |
桌子。 子集。 |
| |
所有行。 選好欄目，說好。 好的，現在我們可以去那裡了。 |
| |
正確的。 |
| |
好吧，至少，我們……我們已經將數據分離出來了，對吧。 現在我們必須做...堆疊數據，對吧。 再說一遍，這是為了能夠將過濾器過濾到公式所需的所有數據。 |
| |
所以在表格下。 堆。 |
| |
這些是我們正在堆疊的列。 |
| |
對了，按行堆疊。 |
| |
我將選擇我們想要保留的列。 |
| |
最重要的是。 之後， |
| |
抱歉...我只是點擊一下以獲得此設置，但您會明白的。 我將把這個問題擱置一會，讓人們看看如何才能到達那裡。 所以我保存了這個。 |
| |
你知道，現在看看無標題12。 這就是我們的堆疊數據，對吧，現在我們可以執行該標準正態變量。 一個快速的方法是創建一個新專欄， |
| |
右鍵點擊。 |
| |
我必須從這裡，從公式編輯器構建這個公式。 我將使用這個名為的統計工具 |
| |
列標準化，對。 如果我將鼠標懸停在此處，這會讓您知道您正在用它做什麼。 標準化是什麼意思，對吧。 所以我們要... |
| |
平均值為 0，標準差為 1，這就是我們試圖通過數據和所有給定光譜得到的結果。 所以我們需要獲取數據 |
| |
時不時地，請記住我說過我們必須添加雙變量，在本例中，這將是光譜。 我會說好吧。 |
| |
好的，這給了我們一個數據集。 現在有一種更簡單的方法可以做到這一點，或者我認為是一種更簡單的方法，但它也可以...... |
| |
有時會比較耗時。 但是，如果我右鍵單擊此處的光譜，請記住我這樣做是因為我們需要一個雙變量。 因此，我將轉到新的列信息並進行分組。 |
| |
我將選擇我的數據列，然後右鍵單擊它，然後創建一個新的公式列。 |
| |
我們將轉向分佈式，記住，標準化。 我們...所以我們想要那個 |
| |
均值為 0；標準差為 1。 選擇它，然後構建該新列。 這樣做的好處是數據匹配，所以我可以鬆一口氣，因為我做對了。 |
| |
是的，所以我已經明白了。 現在，這需要從這裡開始，我將單擊該列， |
| |
我們獲取這些數據，將其拆分，然後將其放回到常規數據表或初始數據表中。 我想向你們展示的一件事是 |
| |
一旦你堆積了數據，你就可以做一些其他的可視化，對吧。 因此，如果我回到...回到圖形生成器，我想獲取這些數據 |
| |
進入 |
| |
是的，然後我要把標籤拉過來，這是查看所有變化在哪裡的很酷的方法。 所以這些都是， |
| |
你知道，箱形圖顯示了你在哪裡看到數據的變化，所以這是一種非常好的方式來可視化正在發生的事情。 |
| |
使用圖形生成器的另一種強大方法，在這種情況下必須堆疊數據才能做到這一點。 現在，你還可以做的是 |
| |
如果你拉入點數據，讓我們把它去掉，把點數據放在那裡，然後我們可以做一些平滑處理。 現在這是一個單獨的平滑，所以這是每個數據的平均值。 我們想做的是這樣做 |
| |
Savitzky-Golay 平滑，所以我需要拉入 |
| |
覆蓋層，對。 這就是所有數據。 現在很難看到，但我將這樣做，希望你能看到這一點，如果我選擇更平滑，我們將切換到 Savitzky-Golay。 |
| |
是的，我想你……希望你看到現在適合那條線，那條平滑線就在那裡。 |
| |
這是平滑數據的另一種方法，對吧，使用 Savitzky-Golay。 然後你可以將其更改為二次，你可以在這裡進行一些局部修剪，然後最終，你可以將其保存回數據表。 |
| |
我暫時就這樣吧。 |
| |
對了，記住，我們必須分割這些數據，將其保存回數據表。 我將放棄分割步驟，然後返回數據......原始數據表。 |
| |
我不需要那個。 |
| |
對，然後當我 |
| |
再次查看圖形生成器下的數據， |
| |
我可以採用這個標準正態變量組， |
| |
把它放進去。 同樣，看起來不太有希望，但我們將繪製平行圖，然後右鍵單擊。 |
| |
結合這些尺度。 |
| |
這基本上就是我們完成的平滑處理了，好吧。 所以我們已經把一切都設置好了。 我們可以再次在這裡添加零線， |
| |
如果需要的話。 讓我們繼續添加它。 |
| |
零，我們會把它變成某種綠色， |
| |
就是這個，補充一下 |
| |
說“好吧”，然後再說一次，您將使用它來幫助您找出峰值在哪裡。 |
| |
基於我越過零點時的峰值，好吧。 |
| |
差不多了，就是這樣。 讓我們回到我們的 |
| |
微軟幻燈片軟件。 |
| |
所以總而言之，預處理...我們需要預處理數據...預處理數據以使其更清晰，讓其更易於使用。 |
| |
哪裡還有 JMP... |
| |
JMP 正在使這個... |
| |
我們正在努力使這個過程變得更加容易。 JMP 16 中的預處理將由插件和內置功能支持。 |
| |
我們期待 JMP 17 的預處理，功能數據瀏覽器將提供更複雜的光譜和基線平滑選項，以及一些峰值檢測和選擇。 |
| |
對於分析光譜數據，請...我在 2020 年為 Discovery 做過一次演講 |
| |
慕尼黑。 這是一次虛擬演講，但這將使您很好地了解如何使用 JMP 分析光譜數據。 |
| |
說到這裡，我要說聲謝謝，並希望你們都發現......發現這很有用。 請告訴我。 |
