756786_zh-TW

liliconcom

使用函數資料探索器中的直接函數主成分分析 (2021-US-30MP-913) 分析函數數據

Ryan Parker，JMP 資深研究統計開發師

JMP Pro 16 中的函數資料探索器 (FDE) 新增了直接函數主成分分析 (DFPCA) 建模選項，無需先擬合基底函數模型即可進行函數主成分分析。這種方法不僅使大型函數資料更易於處理，而且還提供了一種更自動化的函數資料分析方法。本示範詳細介紹了 DFPCA 的工作原理，並透過範例重點介紹如何以及何時使用 DFPCA 分析函數資料。

自動產生的成績單...

揚聲器	抄本
布倫丹·利裡	你說得對。
Ryan Parker，JMP	你是。
	這裡。
	我很好。
	你聽得到我說話。
布倫丹·利裡	我聽得到你的聲音，好的，你聽得到我的聲音，好的。
	是的，很好，你的音頻很好，很高興見到你。
	顯然，這樣做，你是為克里斯工作。
	我真棒。
Ryan Parker，JMP	首席資料科學家對，所以我有這個權利。
布倫丹·利裡	這是一個很大的標題。
	就在那裡。
	是的。
布倫丹·利裡	您是一位高級研究統計員，我環顧四周，我想我曾經見過您，但我還沒有機會見到您，所以很高興見到您。
Ryan Parker，JMP	那你在哪裡？
布倫丹·利裡	我將以新澤西為基地，帶你前往紐約和新澤西的計畫。
	驚人的。
布倫丹·利裡	我在這個領域玩得很開心，而且我可以展示你們建造的所有好東西。
	我認為你很完美。
	因此，當我們開始時，我只想說幾件事。
	讓我們先看看，如果您的所有手機電腦通知都關閉了，您的麥克風看起來不錯。
Ryan Parker，JMP	喜歡。
	請勿打擾，是的，讓我再檢查一下電腦。
	是的，不要打擾一切。
布倫丹·利裡	好的，我沒有聽到任何關於您是否有風扇或任何東西的消息。
Ryan Parker，JMP	是的，但是你聽不見。
	不。
布倫丹·利裡	你有任何寵物甚至都被帶走了，所以不行。
Ryan Parker，JMP	那就只是。
	只是小孩子，但他們不會在身邊。
布倫丹·利裡	發生了一起與狗有關的事件，這是我最後一次發生這樣的事件，我只能說這些。
	好的，好的，讓我們看看你的顯示器，嗯，你使用的是 Windows 還是 MAC。
	MAC，您知道您的顯示設定是什麼嗎？如果是在 MAC 上，那麼可能沒問題，通常他們要求 1920 x 10。
Ryan Parker，JMP	這。
布倫丹·利裡	只是為了解決，但我想這很好。
Ryan Parker，JMP	是的，應該可以，好的，我。
布倫丹·利裡	想要展示您將要使用它來記錄 JMP 日誌，還是也使用 PowerPoint。
Ryan Parker，JMP	所以我只會共用桌面，這是最好的方法。
布倫丹·利裡	是的。
Ryan Parker，JMP	或者你喜歡分享。
	一次一個地隱藏縮放可能是最簡單的方法。
	那麼讓我們從這個開始看看它是什麼樣子的。
布倫丹·利裡	偉大的。
Ryan Parker，JMP	好的，快速拍攝這張投影片只是為了確保沒有出現任何奇怪的事情。
布倫丹·利裡	你知道時髦的動畫很棒。
Ryan Parker，JMP	是的，沒有奇怪的動畫，然後我只需轉到 JMP 和設定的開放狀態。
	並從那裡發射。
布倫丹·利裡	完美，好的，我看起來我覺得我們很好，我說，我提出的唯一另一件事是，在你進入並開始之前，我們要詳細記錄它，你知道的。
	所以如果你犯了錯誤，或者你想重新開始。
	但在開始之前，請花幾秒鐘在腦海中從三或五開始倒數。
	好的，開頭和結尾處有一點空白，這樣你就可以翻轉它。
Ryan Parker，JMP	好的，當然可以。
布倫丹·利裡	這就是我所得到的全部，所以我要繼續並靜音，最後，我在 JMPs 工作，我認為我不必這樣做，但為了安全起見，我還是要讀一下。
	您了解該錄音將供 JMP 發現夏季會議使用，並將在 JMP 用戶社群中公開發布，您是否允許我們使用該錄音。
Ryan Parker，JMP	我確實喜歡，請分享。
布倫丹·利裡	廣泛報道，以防萬一隻是珀金森不能生我的氣，我問道。
Ryan Parker，JMP	是的，你知道某些配偶會問你做了什麼。
布倫丹·利裡	你知道我知道我知道。
	很酷，瑞安，謝謝你，我將在你的腦海中進行靜音倒數計時，當你準備好時，就開始吧。
Ryan Parker，JMP	好的，我想你知道，這個時間大約是 20 分鐘。
	因為我認為總共是 30 個，然後他們想給一些。
	加時賽。
布倫丹·利裡	是的，簡潔是完美的，嗯，你給了 Q amp a 時間，這聽起來很理想。
Ryan Parker，JMP	好的，太好了。
	聽起來很棒。
	好的，謝謝你今天來。我叫瑞安·帕克。我是一名
	直接函數PCA。
	這是一種分析函數資料的新方法。我想感謝我們的首席資料科學家 Chris Gotwalt 不僅在 FDE 的開發中發揮了重要作用，而且
	還有這個新工具，以及我們的 Rajneesh 測試團隊，他們的工作通常不被注意，但卻是我們今天所取得成就的重要原因。
	因此我不會假設您使用過 FDE 或您甚至不知道什麼是函數資料。
	所以，我們先從頭開始，確保大家的理解一致。函數資料…實際上，我們把它看作任何有輸入X的東西，在這個例子中，我們有一些溫度資料。我們的輸入是周數，所以這些數據是測量的
	一年中的每一周。我們的輸出 Y 就是這個溫度。
	所以，你知道，你可以進行採樣來找到解決方案，也許是每天，或者每小時，但一般的想法是你還沒有完全採樣，你知道，
	整個函數。你有一些方法來處理它的一些樣本。實際上在所有情況下
	我們關心的是，雖然你可以使用一個函數，但我們也希望考慮多個函數。所以我們有多個氣象站，每週都會記錄溫度。
	因此，儘管我們每週都在這裡填寫，但我們不一定需要具有 FDE 的功能，因為您可以擁有某些月份的樣本點，或者沒有......它們可以在不同的時間位置進行採樣。
	但你知道，你的輸入不一定是傳統意義上的時間。也許是溫度，然後你就能得到清晰的測量結果作為輸出。
	你知道，所以我們支持這一點。
	這其實是一種映射：有輸入就有輸出。或者，假設你處於光譜環境中，輸入是波長，輸出是強度。
	我將用一個例子來說明直接函數式 PCA，我們有多個資料流、多個函數，所以我們不僅有，你知道，
	不同的……不同的函數，但我們有不同的輸出。你知道，我們有電荷、活塞力、電壓和真空，我們想把所有這些結合在一起。
	並對其進行分析。
	因此，這些類型的數據有助於推動功能性數據探索器的開發。
	我們主要有兩個問題…
	我們通常用它來回答。第一種是在功能性實驗設計中。在這種情況下，我們有一些因素，我們想嘗試關聯它們
	到我們的響應函數。所以在這個例子中，我們真正感興趣的是如何讓這個反應函數以某種方式成形。
	因此，我們可以將這些因素與功能聯繫起來，在這種情況下，我們希望......我們的功能盡可能長時間地保持在綠色規範區域，而透過 FDE，我們可以......我們可以幫助做到這一點。
	另一個常見情況是我們所謂的功能性機器學習，在這種情況下，我們希望更多地將我們的功能視為
	輸入到某物。所以在我們的過程中，我們可能會得到最終結果，或是最終產量，像是這個發酵過程的數據。
	因此，我們想總結一下這些函數的形狀。將它們作為預測模型的輸入，以幫助找出能夠帶來最佳結果的方法。
	因此，實際上，您要嘗試玩的這個大遊戲是功能性 PCA，而功能性 PCA 所做的就是總結我們的數據。
	所以我這裡有一個非常簡單的例子，從中可以很容易看出它們都有不同的配對斜率。
	每個人的平均數可能略有不同，可能比較難看出。所以我們的目標是試著總結一下。
	使用一個簡單的案例來說明如何將其擴展到更複雜的情況。
	因此，當我們進行???組合時，我們將得到正交的特徵函數，這些函數將盡可能解釋函數之間的變化。
	一旦我們有了這些，我們就可以用它們從所有這些函數中提取摘要，
	可以用於預測建模。所以我們取一些非常複雜的形狀，在這個例子中，它不是超級複雜，但我們會從我們現有的大約10個數據點中，將其概括為幾個數據點。
	這就是……特徵函數的樣子
	這些數據。所以我們提取了兩個。第一個解釋了大約 77% 的變異，並且它對最開始和最結束的時間段賦予了最大的權重。第二個
	正如你所料，它總結了這些數據的斜率。而第二個特徵函數對整個輸入賦予了相同的權重，這就是量化平均值的差異。
	現在我們要轉換這些特徵函數，將它們用於我們的數據，並得到一個簡短的總結，以便解釋這些函數之間的差異。所以
	以函數2為例，我們將函數乘以第一個特徵函數。我們會得到一個包含大量負數的函數。
	因此，如果你想想，你知道，對這個數進行積分，就是把所有的負數加起來，你就會得到一個相當大的負數。
	所以，我們可以看到第一個分量是如何真正捕捉差異的。所以，數字 10，對，是一個很大的正數，所以我們可以…我們可以在數據中看到，它也有一個很大的正斜率。
	對於第二個組成部分，也有類似的想法，即我們有較高和較低的總體平均值。
	一旦我們有了這兩樣東西，我們就可以回到我們原來的功能。
	加上總體平均值，我們只需取第一個函數主成分得分，看函數 1。我們將其乘以第一個特徵函數
	然後我們加上第二個函數主成分得分，乘以第二個特徵函數，然後
	這將重新建立第一個。在類似的過程中，使用第二個函數的分數可以讓我們
	重建或近似這些函數。所以你可以看到，如果我們能夠為這些 FPC 分數建立模型，
	我們可以了解 DOE 因素如何改變它們，在這種情況下，這會改變我們的 alpha 函數的形狀以及我們所研究的第一個場景。
	那麼，我們來探討為什麼要使用直接函數式 PCA？這樣做的動機是什麼？如果你以前用過 FDE，
	我們現有的建模選項被認為是基底函數模型。在這種情況下，它們實際上…它們首先會平滑數據，所以我們要擬合模型，得到一個可以操作的平滑函數。但問題的一部分在於，我們可能有很多
	有很多東西需要我們調整。所以對於B樣條函數，我們必須選擇最佳的，
	你知道，樣條曲線中要用到的多項式的次數，或者說我們應該有多少節點？我們提供了一些預設值，但也允許你更改這些節點的位置。這很棒，在很多情況下都有效。
	但是當你獲得更大的樣本量或更複雜的函數時，這可能需要花費大量的時間，並且可能需要真正調整這些結的所有位置。
	但是 FDE 現在的工作方式是，我們先擬合模型，然後對這些模型的係數執行 FPCA，這樣兩者之間就會存在良好的關係，
	你知道，現在我們的特徵函數和資料模型的形式一致了。所以它帶來了很多好處，但無論是計算成本高昂，還是模型本身表現不佳，我們都需要另一種方法。
	所以
	之前的方法是先對資料進行平滑處理，現在我們考慮的是，好吧，我們就直接採用資料本身，直接對其進行操作。
	然後，讓我們對得到的特徵函數進行平滑處理。這並非公平的比較，但用 B 樣條函數與直接 FPCA 進行比較，你會注意到
	使用直接FPCA得到的特徵函數會更平滑一些，這正是我們想要的，你知道的。這個小工具真的那麼重要嗎？
	FPCA 的答案是，也許不是。我認為它實際上體現在最後一個特徵函數上，它並沒有解釋太多的變異。我們在這裡遇到了一些奇怪的問題。
	你知道，專家也許應該分析一下並說，不，這實際上是真實的，但最有可能的是，我們不應該給予這個特徵函數太多的權重。
	可能沒用過。
	因此，我們用來擬合直接函數型 PCA 模型的演算法，本質上與 Rice 和 Silverman 的方法類似，主要是因為它是一個迭代過程。所以我們做的是…
	首先我要說的是，資料需要放在規則網格上。所以，如果您的資料不在規則網格上，我們會直接為您進行插值。我們也提供一些選項…資料處理步驟選項稱為“reduce”，您可以
	適用於精細控制我們操作的網格。
	但在我們的程式中，我們將採用一個特徵函數。
	我們只需要求第一個第一組件。
	擬合一個非常平滑的模型，然後請求下一個。
	一旦我們平滑了下一個，我們就需要做一些調整，以便我們了解我們想要的正交屬性。
	但這裡的想法是，我們…我們遇到了一個問題，我們試圖平滑許多不同的函數，以便首先讓模型能夠工作，現在我們要
	我們真正專注於逐一平滑這些特徵函數。而且我們的特徵函數數量要少得多，因此這項技術在處理大型資料集時比 JMP 現有的解決方案更快。
	我要舉的例子是製造過程中的一個例子，只是為了讓你了解加速的概念，
	如果您在最佳情況下知道要用於這些資料的精確 P 樣條模型，那麼與開箱即用的直接 FPCA 解決方案相比，擬合這些模型所需的時間將是其三倍。
	不同之處在於，您不一定知道這些模型會是什麼樣子，所以您必須花時間適應多個模型，所以相對於直接 FPCA 所要做的事情，您現在確實花費了很多時間。
	但是，這個例子
	具體來說，我們將玻璃黏合到晶圓上。
	你知道，這個過程就像周圍有一個真空，有一些工具，都放在這個卡盤上，
	這個過程運行，不幸的是，其中大約 10% 被銷毀，但這只是在過程中，你直到幾週後才會知道
	它們被銷毀了。所以我們的目標是…我們有感測器在這個過程中收集數據，我們想嘗試利用這些數據來識別哪些晶圓可以丟棄。
	儘早。也許有一些子集我們可以擺脫，這樣我們就不會在它們身上花更多錢，所以我們的目標是嘗試使用我們的感測器流數據來識別它們。
	所以現在我要去 JMP。
	我有一本期刊，所以所有這些來源都可以在社群頁面上找到，但我將打開這個資料集
	我將啟動
	從分析專門建模選單中選擇功能資料探索器。
	讓我們逐一查看這些列。我們有晶圓ID，所以這只是我們的…
	將我們的不同功能分組。
	情況是好是壞？所以我們想
	保留它，我們想稍後使用它，所以我們將它作為補充變量，這告訴 FDE，你知道，當我們將來保存東西時，繼續將它帶走。
	電荷、流量、活塞力、真空和電壓
	作為這一過程的一部分。
	為了推出 FDE，
	我們只是滾動瀏覽，看看我之前展示的這些，這些都是我們擁有的不同類型的數據，
	必然……也許並非所有模型都適用，你知道。適合這個的模型可能不適合，你知道…適合電荷的模型可能不適合流量。
	但直接 FPCA 會逐一查看它們，並為我們處理這些問題。在我講解之前，我想先展示一下我之前提到的這個 reduce 選項。預設情況下…
	這裡有三個標籤。你可以直接把它放在等距網格上，也可以把它分成觀察值，或者你可以把所有
	第n個變數來填滿它。這些資料不在網格上。我們實際上不需要做任何事情，但我們可以說，好吧，讓我們這樣做，預設情況下，它會給你原始資料集的一半。
	現在你已經把它取下來了，形狀仍然基本上相同。在這種情況下，我們不需要這樣做，它仍然很快，但如果你的數據
	即使網格中還沒有數據，或者數據量很大，使用 Reduce 仍然可以捕捉關鍵特徵。這確實值得探索。
	因此，由於我們有多個???，我將轉到此 FDE 群組選項
	並啟動直接功能PCA。
	因此，這只花了幾秒鐘，但每個人都適合一個模型。
	充電。因此，我們能夠安裝，運作良好，並且有可用的診斷程序。
	我們提供了一個模型選擇選項，讓您可以更改 FPC 分數的數量。我們已確定四個 FPC 分數最適合此特定情況，而大多數其他情況實際上只需選擇一個。
	但如果你以前用過FDE，你會看到這些熟悉的功能摘要，但什麼都沒有…我們沒有其他東西。沒有先前的模型。這有點像…
	函數式 PCA 是模型，我們完全專注於此，而不是之前必須調整的其他東西
	在我的得分圖和分析器上。滾動瀏覽這些，我們可以看到，我們似乎已經很好地擬合了它們。
	活塞力……我說了，你知道，很多最後都會選一個。我的意思是，這幾乎可以解釋所有情況下的變化。
	好的。
	很好。再次，電壓，最後一個。
	所以如果我們回到這個組選項，我們可以保存所有這些函數的摘要。現在我們已經有效地、相當快速地使用了 FDE 來
	載入我們的數據並採用所有這些功能，並將它們總結為每個功能的幾個摘要。
	但主要的是
	最感興趣的，主要是因為他們只是總結形狀的變化，或這些 FPC 分數。
	但是，在 FDE 出現之前，人們會怎麼做呢？取平均值，或查看標準差或其他匯總數據，這些東西仍然有價值，所以我認為這很好，我們默認會把這些東西帶進來。
	我們有一些腳本。所以，你原始資料表裡的所有腳本都會被帶進來，但我們也會加入一些分析器腳本，這樣你就可以啟動它們，看看我修改了 FPC 分數，這代表什麼？
	並幫助對此建立一些見解。
	所以我們現在要做的就是預測這種情況，無論好壞。所以我會用廣義回歸，因為我覺得它真的是一個很好的
	方法不僅可以擬合這些模型，還可以解釋它們。
	但你真的可以用任何東西。你可以建立一個神經網絡，也可以做任何其他事情。一旦你…一旦你儲存了這個表，你就可以自由地使用 JMP 的其他功能了。
	看看你覺得怎麼才能更好地建模。所以我會把所有這些總結起來，然後做一個階乘 TP 二次函數。
	因此，我們嘗試預測最終狀況，並使用驗證資料集。
	我們的目標是，它到底好不好？
	所以，實際上，這可能是本教學中最耗時的計算部分。我們將預設使用此驗證列進行套索運算。我的意思是，它需要…
	想想看，大約5-10秒。
	如果你願意，你可以隨時提前停止，但你知道我們正在給它一套相當不錯的功能，並觀察它們之間的相互作用，試圖找出答案，
	你知道，這是嘗試預測這種情況的最佳方法。
	這...
	快完成了。
	現在只是建立報告，一旦你獲得這個模型，你還會看到感覺沒有映射的東西。
	因此，我個人喜歡以中心和比例為基礎來查看參數，以幫助更好地理解量級差異。
	但其中一些，你知道，例如這個 FPC 分數，我認為，你知道，它真的沒有什麼資訊量，而 FPC 2 和 3 代表的是費用
	更有幫助，所以你可以把它們分類看看。就像我之前說的，
	平均值、最小值或標準差的簡單總結，它們提供了信息，但是，我們也看到總結中肯定包含了很多信息...
	使用這些 FPC 分數來計算這些函數的形狀。所以我要從另一個角度來看，雖然這個流量標準差似乎非常重要，但我認為，
	我喜歡這個的另一個原因是，如果你負責這個過程，並且你可以控制流量標準差，
	這可以幫助你，你知道，也許你不需要知道第一步是什麼，好吧，嘿，也許我們實際上可以
	在建立模型之前進行改進，比如說，好吧，現在我們把這些丟棄掉。假設我們已經完成了，這就是我們的模型，我們想嘗試建立一個啟發式方法
	好或壞。我什麼時候該直接捨棄它？所以，讓我們保存預測公式的列，這些列會被存回那個總表。 GenReg 會給出壞機率、好機率和最可能的情況。
	所以我們可以…我們可以就此打住，然後說，好吧，如果它高於0.5，我們再仔細看看，或者如果它高於，我不知道，0.75，感覺不錯。我們……也許它不值得，只是因為
	其餘流程的成本。你知道，你可能根據現實世界的影響來選擇這個機率。
	或者我們可以用分割模型來解決這個問題，所以我們現在要用這個機率作為一個因子。我們只是說，好吧，
	我可以手動查看一下，然後讓模型幫我嘗試弄清楚，它該如何將這些條件分組。這樣，我們就可以維護我們的驗證資料集，避免重複使用。
	所以現在我們所有的藍色都是壞的，紅色都是好的，所以幸運的是，總的來說，它們大多數都是好的。
	但是我們來拆分一下。如果這個壞的機率小於 0.1，那麼很可能就是好的。大多數壞的機率都大於 0.1。這說得通。再拆分一下。現在我們真正要看的是……很多壞的機率確實在這個範圍內。
	是機率超過 0.25 的機率。我們再分一次，
	至少對於訓練資料來說，情況相當吻合，嘿，所有高於 0.6 的，都是很差的。你知道，你真的不希望發生這種情況
	實際上，這種訓練或驗證 R 平方確實強調了這一點，你知道，像大多數模型一樣，你在訓練集上的表現會比在驗證資料集上的表現更好。
	但它現在給我們的是，你知道，我覺得 .75 不錯，但實際上這意味著，也許我們真的需要關注 .6 或更高的價值。
	所以，你知道，這有點...
	我想現在，我們已經到了這樣的地步，你知道，這些都是類比數據。在現實世界中，這非常有幫助，例如解釋，你知道，我們能不能改進我們的流程，這也很有幫助，不僅在這個資料集上，而且在我們擁有的其他樣本資料集上也是如此。
	讓我們回到幻燈片。
	好的，我大致介紹並總結了什麼是功能性 PCA，是什麼促使了這種新的直接 FPCA 方法的出現，並向您展示瞭如何在一個示例中使用它，在這個示例中，我們試圖在製造過程的早期丟棄一些東西。
	所以最後我想說的是，快速計算使得它非常適合處理大型資料集。從某種程度上來說，你可以從這裡開始。
	然後說，好吧，直接 FPCA 是什麼？它速度太快了，我不用擺弄模型控制。從某種程度上來說，如果你有大量數據，它是一個很好的起點。
	但它並不完美，你知道的。我展示了一些診斷程序，你可以看看它是否擬合得不好。就像任何模型一樣，速度快並不意味著它好。所以，確保你
	辨識可能的問題，也許你需要不同的方法。我的意思是，我們還有其他的基底函數模型，我們正在
	針對非常特殊類型的數據，您知道，即使這種方法也不一定能像這些非常具體的模型那樣有效。
	你知道…其中一部分是資料必須放在網格上，並嘗試使用 Reduce 來幫助你控制網格，如果看起來事情太慢或沒有意義，也許我們預設做的事情對你的資料來說並不好
	就像你自己能做的事情一樣。
	非常感謝您的到來，如果有人有任何問題，我會回答。

進階統計建模基礎資料分析與建模消費者與市場研究實驗設計預測模型和機器學習品質與工藝工程