揚聲器 | 成績單 |
| 喬丹·希勒 | 出去。 |
| 菲爾·凱 | 好的，好的，謝謝你加入我們。 我是菲爾·凱。 我是 JMP 的學習經理，我將通過一個交互式 SVEM 示例開始本次演示，該示例是自我驗證的集成建模。 |
| 我將介紹什麼是 SVEM 及其工作機制，然後 Pete 和 Trent 將分享示例， |
| 案例研究和模擬，它們真正解釋了您為什麼要這樣做。 我只是要在一個 |
| 非常簡單的案例研究，所以最初可能看起來不是為什麼......你為什麼要這樣做似乎不太清楚，但希望你在我解釋完之後會理解這個機制。 |
| 好的，所以我現在要停止我的視頻，只關注這裡的軟件演示。 |
| 我們在這裡有一份 JMP 期刊，我們正在與您分享，因此您可以通過 Community.JMP.com 上 JMP 社區的帖子訪問該期刊。 |
| 我們將使用的示例是一個經典的 DOE 示例。 這是反彈數據，您可以從 JMP 的幫助文件中獲取。 |
| 所以它是三個因素，15 次運行。 這是一個 Box-Behnken 設計，我們在那裡得到了回應，這是伸展性的，非常簡單，標準， |
| 傳統的老式 DOE。 |
| 對這些數據進行建模並沒有真正的挑戰，我們看看我們是否擬合了一個響應面模型，該模型表明這種曲線行為、這種二次效應以及因素之間的相互作用也很重要。 |
| 因此，讓我們看看如何使用 SVEM 方法對此進行建模。 |
| 因此，如果我們要使用 SVEM 對此進行建模，您首先會注意到我們有 30 行數據，因此我們實際上複製了每一行數據，這可能看起來有點瘋狂。 這可能看起來像作弊。 這是 SVEM 方法中的一個關鍵技巧。 |
| 你會看到我們在這裡有一些額外的列，關鍵是這個驗證權重。 因此，讓我們繪製它，以便您了解它的含義。 |
| 所以你可以看到，對於我們的每一行數據，我們的每一次運行，我們實際上都有成對的運行，所以運行第一，你可以在這裡看到。 |
| 我們實際上將這些運行中的每一個加權到訓練集（為零）或驗證集（為零）中。 你可以看到每一對 |
| 這些權重成反比。 因此，例如，在這裡運行第 7 次，您可以看到它在訓練中的權重很高，驗證集為零，並且在驗證集中相應地權重較低。 |
| 現在這些已被隨機分配，我們可以...... |
| 通過點擊這裡，我們可以重繪那些，所以我們可以重新分配權重。 同樣，如果某行在訓練集中的權重很大，例如，這裡的第 6 行在訓練集中的權重很大，那麼它在驗證集中的權重也相應較低。 |
| 所以我們將這裡的數據行加倍。 |
| 我們將使用它進行自我驗證。 所以我們實際上可以做的是，我們可以使用一個變體來阻止驗證，其中 |
| 我們要做的不是將一行數據完全保留到驗證集中，而是保留每行數據的一部分，這樣每一行實際上都可以在訓練集和驗證集中，重要的是，我們可以重新分配這些權重 |
| 重複，這在集成建模時會起作用。 |
| 好的，總結一下我們已經……我們基本上對每一行數據進行了重複，我們正在為這些數據分配權重，這樣一些行在訓練中會更多，而有些行在訓練中會更多驗證集。 |
| 所以現在我們可以使用驗證來擬合模型。 |
| 所以我們在這裡使用 GenReg，您可以看到我們正在使用驗證集（並且忽略那裡的錯誤消息）。 |
| 我們使用 Lasso，我們使用驗證作為模型選擇。 而且，在這種情況下，它實際上並未在模型中選擇任何活動效果。 所以它適合響應面模型，我們使用驗證作為選擇方法，使用套索， |
| 並且我們已經確定實際上沒有任何影響是活躍的，所以我們有一個實際上沒有積極影響的模型。 |
| 然後我們可以做的是再次重新繪製這些權重，這樣我們就可以重新加權我們的列。 |
| 我們可以看到，這次我們得到了一個不同的模型。 所以實際上一些效應現在變得活躍，所以二氧化矽在二氧化矽和硫之間的這種相互作用中是活躍的。 |
| 讓我們保存那個模型。 |
| 所以現在，隨著我們的 |
| 數據表，你可以看到我們在那裡有一個保存的模型公式列。 |
| 讓我們再次重繪這些權重。 因此，我們再次重繪它們，使得一些行在訓練中更加重要，其中一些在驗證中更加重要。 |
| 我們又得到了一個不同的模型，現在讓我們保存它。 所以我們現在有 |
| 兩行...兩列保存了預測公式。 |
| 我們可以再次這樣做。 所以我要重新繪製權重並保存預測公式。 我剛剛有一個腳本可以為我們做這件事。 然後實際上創建了這個模型平均值，所以我們實際上已經平均了我們三個保存的模型。 |
| 因此，每個單獨的模型使用不同的驗證權重。 |
| 每個模型都不同，有些比其他模型更好。 關鍵是，當我們對這些進行平均時， |
| 這些的平均值是迄今為止最好的模型。 所以你可以看到這實際上看起來非常接近我們使用標準方法擬合的原始模型...... |
| 原始數據集。 |
| 我們可以繼續這樣做。 我們可以重複此操作 10 次，因此我們將重複此操作。 你可以看到重繪權重；每次我們得到一個略有不同的模型。 |
| 我們可以保存每個不同的模型。 |
| 最終得到一個可能是最好的模型的平均值。 |
| 而且，事實上，如果我們將其與從這些數據的標準分析中看到的原始模型進行比較， |
| 你可以看到這兩個模型實際上非常接近。 |
| 所以在這種情況下，使用這個自我驗證的集成建模確實達到了與我們使用標準模型相同的模型 |
| 線性回歸。 |
| 所以我想回顧一下你在那裡看到的關鍵點。 正如我所說，我們將繼續請教皮特和特倫特，他們將解釋想要使用這種新穎建模技術的動機。 |
| 我們所做的是複制原始數據行。 |
| 那麼這意味著，我們可以應用隨機加權來說明每行對中有多少在訓練與驗證中。 |
| 這使我們能夠使用驗證。 對於這麼小的數據集，我們將無法使用它。 完全保留一行數據是沒有意義的，但是我們可以用這個重複的集合做什麼 |
| 是進行加權驗證。 因此，在這種情況下，我們使用套索選擇來擬合模型，並且套索選擇使用了這個加權驗證列。 |
| 然後我們重新繪製這些權重。 我們再次為這些行對隨機分配不同的權重，然後重新擬合模型。 而且，在我們的例子中，我們重複了 10-15 次，但在實踐中，為了獲得一個良好的自我驗證的集成模型，我們希望重複這個過程 100 次或更多次。 |
| 每個模型都是它自己......迭代過程的每個步驟中的每個單獨的模型並不是特別有用，但是模型平均值或集成是，正如我們在最終模型中看到的那樣，我們作為所有這些迭代的平均值實現. |
| 所以，現在我想把它交給皮特，他現在將通過一個案例研究來討論，這實際上說明了為什麼你會想要使用這種不尋常的方法來對這樣的數據進行建模。 |
| 彼得·赫什 | 非常感謝，菲爾。 我要繼續在這里分享我的屏幕。 |
| 讓我們通過一個例子來說明我們什麼時候可以 |
| 使用這種方法。 所以我來了 |
| 首先查看結果，因此我們正在查看一些 DOE 非常小的設計，即 6 次運行、8 次運行和 10 次運行 DOE，具有三個因子。 |
| 這些是本質上從超飽和到飽和的響應面設計，它們都是優化設計，所以這些運行次數非常少 |
| 在這裡完成我們的目標。 所以這就是我們要去的地方。 所以讓我們回頭談談設計，然後我們是如何走到這一步的。 |
| 所以。 |
| 這是一個案例研究，我們試圖通過調整不同的營養組合來最大化微生物的生長速度。 就像我之前提到的，我們正在使用超飽和 I 優化設計，我們正在調整運行次數。 |
| 這是模擬數據，其中所有主效應以及所有二次項都處於活動狀態。 |
| 那麼這是如何設置的，我們從三個因素開始。 我設計了我的模型。 如果您之前沒有在 JMP 中設計過飽和或超飽和設計， |
| 做到這一點的方法是盡可能地處理那些不是主要效應的效應，這樣您就可以擁有更少的運行次數或與模型效果相同的運行次數。 然後我在那裡生成了我的設計。 |
| 並經歷了這個過程，菲爾在那裡非常漂亮地描述了重新採樣數據，得到那些倒數……反比例的權重，這是這個過程的關鍵。 |
| 我們已經進行了幾次會談，我只有這些 QR 碼。 |
| 這種技術是由 Chris Gotwalt 和 Phil Ramsey 開發的，他們在之前的幾次演講中介紹了這種技術。 而這最後 |
| QR 碼是在舊版 JMP 中設置此驗證列的插件。 從 JMP 16 開始，您可以在軟件中本地執行此操作，但如果您有 JMP 15，則需要使用此插件設置。 |
| 就像菲爾說的，所以一個 |
| 個別模型可能不太適合數據，有些適合，有些沒有任何條款。 |
| 但這只是瀏覽此處的示例，您可以在其中看到每個單獨的模型。 有些只是一個截距，有些非常不適合，偶爾的模型做得很好。 |
| 所以這就像菲爾描述的那樣，每個都有不同的重新計算權重。 所以我們得到了一個稍微不同的模型，我們將繼續並保存它們。 所以這是第一步。 |
| 然後下一步是我們對這些模型進行平均。 正如你所看到的，隨著你對這些模型的平均，越來越多的模型，模型擬合變得越來越好。 所以個別模型不是很好，但整體平均模型給了我們很好的擬合。 |
| 我想談論的最後一步是這些模型天生就有偏見。 正如您在 Phil 製作的第一個模型中看到的那樣，那裡沒有主動效果。 所以 |
| 當您對模型進行一些模型或變量選擇技術時，您偶爾會得到一個沒有輸入該特定變量的模型。 |
| 所以，如果我們看看這些分佈，你會看到 |
| 所有這些都是主動效應，它們的分佈在 5 左右，這是效應大小，但它們也有一個 0。 |
| 所以我們不會經常高估效果，因為我們得到 0 來抵消它，所以這會偏向一個較低的值，所以我們要做一個 |
| 消除這些模型偏差的小技巧，我們在那裡 |
| 將此模型視為最小二乘模型中的預測器，這將消除這些偏差，我將通過此過程向您展示這是如何完成的。 |
| 但最終我們得到了非常好的結果，我在很少的運行中分享了這個結果。 所以這就是為什麼你使用 SVEM 的動機是能夠預測和製作一個體面的模型，運行次數比不使用這種技術時少。 |
| 好的，讓我們在這裡跳到 JMP |
| 和 |
| 走過那個過程。 |
| 好的，這是我展示的那個例子的六次運行 DOE，我們有我們的三個因素和我們的增長率。 這是在我們建立模型之後。 |
| 這就是它的樣子，我們現在已經經歷並運行了。 所以我們有六次運行和我們的六個結果。 我們的下一步是創建該驗證列並在 JMP 內部執行此操作，我們將只去分析預測建模， |
| 創建驗證列，然後我們將創建一個自動驗證表，而不是驗證列。 |
| 好的，這就是我這樣做的方式。 我已經完成並完成了，所以我不會重複這個過程。 |
| 但這裡的數據及其重新採樣的數據和負相關的權重，就像菲爾展示的那樣。 你有一個高權重加上一個低權重的重複運行。 在我們完成之後，我們通過並製作我們的模型。 |
| 在本例中，我使用了 GenReg 模型並且您想要選擇其中一種變量選擇技術。 所以如果我繼續運行這個，我想做一些像前向選擇套索這樣的事情 |
| 或或其中一種選擇技術。 Trent 將更詳細地介紹這些選擇技術以及他們調查過的技術。 |
| 因此，在我運行模型後，您會看到 JMP 已通過並選擇了一些活動的效果。 它抓住了一些，但你可以在這裡看到 |
| 我們看到的偏差，這兩個主要效應都應該是活躍的，但它們的結果是 0。 所以當我把它保存到數據表時， |
| 我會像 Phil 展示的那樣創建一個新列，然後我會重新計算權重並一遍又一遍地計算。 這是一個簡單的腳本，可以執行 100 次，並且 |
| 我們很樂意分享這一點。 這非常容易，只需將您的腳本、模型腳本複制並粘貼到此處，就可以重現我們在此處所做的工作。 |
| 好的，這是最終結果，我們已經完成了我們的 DOE，我們的結果，然後我們有 |
| 我保存的 100 個模型 |
| 並隱藏在這裡。 然後是最終的模型，即 |
| 所有 100 個模型的平均值。 我們想要做的最後一步是去偏步驟。 所以我們要做的就是對待這個 |
| 平均模型作為增長率的預測指標。 |
| 所以在這裡，你可以看到我們擁有的原始模型 |
| 有一個更陡峭的坡度，所以它有一個不錯的 R 平方，但它沒有我們希望的那麼好。 我的意思是，即使有六次跑步……六次跑步也很合適，但是 |
| 如果我們能消除這種偏見，也許我們可以做得更好一點。 如此簡單的設置。 我們只取增長率。 我們的回應是我們的 Y。 我們添加 |
| 集成模型在這裡，所有這些的平均 |
| 單個模型，作為我們的預測器。 我們運行它，我們得到了一個結果，你可以看到它是一個更好的預測圖。 如果我們在那裡進行比較，您會發現消除這種偏見對積極的影響很大。 |
| 是的，所以在我把它交還給特倫特之前，我想再展示一個 |
| 幻燈片在這裡，這基本上只是一個總結 |
| 我們... （在那裡丟失了我的任務欄）......我們強烈鼓勵你們使用 |
| 並查看此技術，但它並不是一種在任何情況下都有效的神奇技術。 但是當你在篩選設計和諸如此類的事情中檢查這一點時，這可能是一個非常好的技術 |
| 幫助您完成使用標準建模技術可能無法完成的事情。 有了這個，我將把它傳遞給特倫特 |
| 關於如何做到這一點的更多細節以及 |
| 那裡的信息。 所以特倫特，你想把它拿走嗎？ |
| 特倫特·萊姆庫斯 | 是的，謝謝你，彼得。 我很感激。 |
| 所以 |
| 我正在分享我的 |
| PDF。 我只是想確保這實際上是共享的，並且每個人都可以看到。 |
| 彼得·赫什 | 是的。 |
| 特倫特·萊姆庫斯 | 好吧太棒了。 所以 |
| 正如 Phil 和 Peter 介紹的那樣，他們展示了案例研究，我認為這些案例是非凡的軼事，它們展示了 SVEM 的力量以及何時以及為何使用 SVEM。 |
| 我們為目前正在同行評審過程中的研究論文所做的是，我們進行了大量的模擬研究，以展示......以經驗方式查看 SVEM 在預測環境中的表現。 所以 |
| 下一個……我有一系列幻燈片要展示。 我知道它可能會讓人覺得有點無聊和枯燥，但我認為討論細節是必要的 |
| 在我進入更有趣的事情之前，這是我們如何使用的一個例子...... |
| 我們如何使用 JMP、JSL 以及我如何運行模擬作為示例並向您展示一些輸出的樣子以及結果。 |
| 因此，首先，我們模擬研究的大綱和目標主要是 |
| 我們想創建真實世界的模擬架構。 因此，我們希望我們的模擬能夠盡可能接近人類模擬真實世界的工業 DOE。 |
| 其次，我們想了解當代模型構建或當代模型選擇技術以及 SVEM 在主要關注純預測時的表現， |
| 乾淨利落。 所以我們想看看當我們將模型擬合到設計中時，它如何預測事實或一組數據，或者原諒我的口音，數據。 |
| 因此，如果我們可以在計算上可行的情況下盡可能多地模擬這些獨特的運行，我們希望使真實世界的推理......我們希望......盡可能接近真實世界的結果，以便我們能夠 |
| 規定設置以及在何處以及如何使用 SVEM，因為 SVEM 還處於起步階段。 |
| 那麼，首先，我們在模擬中使用了哪些設計？ 我們使用了明確的篩選設計 |
| 我們使用了 Box-Behnken 設計，其中我們設計中潛在的真實生成模型是完全二次模型，或者更通俗地稱為二階模型。 我們選擇這些設計的原因是因為 A) 對於最終篩選設計， |
| 您擁有的主效應越多，模型變得越飽和，然後越飽和，這意味著主效應越高，您的自由度就越小。 而對於您的 Box-Behnken 設計和我們使用的主要效果， |
| 你不會遇到這種情況。 所以我們有一個......我們有兩個場景之間的並列，一方面我們有 |
| 在應用模型選擇技術時，我們的 Box-Behnken 設計有足夠的自由度來估計我們的係數，在確定的篩選設計案例中，我們幾乎有 |
| 在我們的大多數情況下，我們的設計都是超飽和的，所以我們的自由度不夠。 所以換句話說，簡單地說， |
| 我們無法估計使用當代模型構建技術時的所有影響，比如你的前向選擇，比如你的套索，你的 Dantzig 選擇器等等， |
| 這引導我們了解我們用於模擬的實際模型算法。 因此，對於 SVEM 模型，請記住，如果您... |
| 如果您對什麼是 SVEM 沒有很好的理解，那麼回到 Peter 之前提到的一些演示文稿中是非常重要的。 |
| 但是我們必須將 SVEM 與基礎模型構建技術一起使用，例如前向選擇、前向剪枝和套索，這是我們用於模擬研究的方法。 |
| 在我們的非 SVEM 模型案例中，我們使用相同的模型構建算法，但我們也結合了 DOE 中非常流行的 Dantzig Selector， |
| 以及適合的最終篩選設計，這與最終篩選密切相關；它不用於其他設計。 |
| 此外，我們使用稱為 AICc 或修正 AIC 的信息標準，這在 DOE 中非常常見，實際上因選擇非常簡約的模型而臭名昭著。 |
| 所以，正如你所看到的，我們正在嘗試結合在工業 DOE 使用中非常流行的當代技術，它堅持核心......我在最初的幻燈片中展示的核心點，即 |
| 我們希望通過我們的模擬研究盡可能接近人類地模擬現實世界，因此我們可以使這些經驗... |
| 因此，我們可以憑經驗評估這些不同的模型構建算法如何進行預測。 希望我們可以證明 SVEM 在經驗上的表現或優於其競爭對手。 |
| 因此，對於實際的仿真結構，我們為每個模型構建算法運行了 1,000 次仿真。 例如，如果我們使用 AICc 擬合前向模型， |
| 在這 1,000 次運行中的每一次運行中，我們都會生成一個真實的模型，真相，然後我們會向其中添加噪聲或。 |
| 高斯噪聲（這在學術界和...進行研究時很常見）， |
| 從而創建一個訓練集（如果你願意的話）和一個真相集，這樣，一旦我們擬合了一個模型，我們就可以看到該模型如何預測真相。 我們隨機重新運行和重新生成這些數據集 1,000 次。 |
| SVEM 超參數，我不會詳細介紹它是什麼，我們使用了 200 的 nBoot。 簡而言之，我們基本上擬合了 200 個模型，然後對這些模型進行平均以生成最終的 SVEM 模型。 |
| 這些設計還迭代了幾個功能。 所以主效應的數量 |
| 對於明確的篩選設計，我們有四個主效應和八個主效應。 對於 Box-Behnken 設計，我們有 |
| 三個主效應和五個主效應。 這意味著，舉個例子，對於我們的 DSD，例如，K 是 8，你有 8 個主效應。 如果你有一個完整的二次模型， |
