具有重複運行的 Svem 分析 DOE在上屆 DOE 討論論壇中,針對具有相關運作的 DOE 討論了 Svem 分析。建議對重複運行的結果進行平均。如果重複之間有顯著差異怎麼辦?使用額外的「重複運行變數」來運行 Svem 來估計重複內的變異不是更好嗎?如果重複變異很重要,Svem 會選擇它;在下一個混合模型分析中,重複變數可以被分配為隨機變量,與 Svem 認為重要的固定效應分開。
實驗設計回覆:具有重複運行的 Svem 分析 DOE很抱歉我沒有參加 DOE 俱樂部會議,也不熟悉 SVEM 分析(我確實下載了該文件並將審查)。實驗分析是個人選擇。有很多方法可以做到這一點。在我發表評論之前,我想確保你的意思是複製而不是重複。也就是說,重複被認為是相同處理組合的獨立運行,每次運行都有一個獨立的實驗單元作為輸出。
以下是我不知情的評論:
1. 當你總結數據時,你總是會丟棄資訊。如果要進行平均,您還應該考慮作為回應的平均資料的變化。恕我直言,如果你對重複資料進行平均,你就會丟棄資訊(和 DF)。現在,如果您正在進行重複,這是一個好主意,並且還要考慮變更對模型的反應。
2. 如果這些確實是重複,那麼您似乎想了解重複之間的變化。如果您可以識別並指定哪些因素(雜訊)在重複之間發生變化,您就可以了解大量有關因素效應的穩健性。這是同時增加推理空間和提高設計精度的絕佳策略。
「阻止你能阻止的,隨機化你不能阻止的」。 GEP盒
將您可以識別和分配的內容與區塊混淆。對於您未能識別的因素,隨機化是策略。
回覆:具有重複運行的 Svem 分析 DOE嗨@frankderuyck ,
SVEM 分析在兩種情況下效果很好:
- 透過堆疊在略有不同的資料(訓練和驗證的不同權重)上訓練和驗證的不同單獨模型,使用非常有限的資料建立預測模型。
- 透過模型堆疊,以機器學習的方式評估實際意義並提高獨特個體實驗(無重複)的效果估計精度。
無論情況如何,重要的是要記住 SVEM 技術是在什麼背景下引入的:在存在小資料集的情況下提供驗證技術/框架,而無需任何其他可能的驗證技術。
講座與演講: 重新思考實驗的設計與分析? (2021-EU-30MP-776) - JMP 使用者社區
SVEM:實驗設計與分析的典範轉移 (2021-EU-45MP-779) - JMP 使用者社群
因此,僅從概念上講,我對將SVEM 和重複相結合的想法有著複雜的感覺,因為這看起來像是兩種不同的模型構建方法的合併,這兩種模型構建方法依賴於不同的概念、目標和驗證方法:基於統計顯著性和誤差/雜訊估計的篩選對於涉及重複和統計建模的設計與基於預測準確性和引導/模型堆疊的預測建模。
在存在重複的情況下,我擔心使用SVEM 進行模型構建時可能會發生資料外洩:由於每個實驗都會隨機(並以反相關的方式)訓練和驗證權重,因此重複運行可能對訓練和驗證有不同的重視,即使他們代表的是同樣的待遇!因此,模型構建可能會略有偏差(因為它通過不同權重的重複獲得有關訓練和驗證集的信息),並可能導致“過度自信”和術語估計的標準差大幅下降:

當增加同一範例的重複之間的變異性時(添加了重複的Reactor 20 自訂JMP 資料集與原始Reactor 20 自訂資料集相比,運行最多30 次),您可以看到使用SVEM 進行重複設計和使用SVEM 的兩種情況沒有重複的情況在估計和標準誤差方面非常相似:

再說一次,我不明白合併這兩種技術有什麼好處,因為您正在合併兩種(非常)不同的驗證技術,這不是創建 SVEM 的原因。
我也對使用SVEM 來估計重複變異持懷疑態度,因為如果您透過標準分析進行重複,您就已經可以獲得此信息,並且使用SVEM 可能會減少標準偏差的估計,例如引導:請參閱出色的交互式可視化bootstrapping : 看見理論 - 頻率推理
對於其他對此討論感興趣的人,以下是 DoE Club Q4 的錄音: Recordings DOE Club Q4 2024
希望回覆有意義並對其他成員的意見感興趣,
回覆:具有重複運行的 Svem 分析 DOE您好,Victor,當重複之間的差異較小時,增加 #replicates 時預計不會產生太大影響。但是,如果重複之間存在相當高的變異性,那麼為每個重複引入阻斷因子並將這種阻斷效應包含在 Svem 中並不有趣,該怎麼辦?
回覆:具有重複運行的 Svem 分析 DOE嗨弗蘭克,
我仍然認為這可能不是一個好主意,因為 SVEM 方法似乎是“與設計無關的”,因此它不會考慮任何分組、阻塞結構或重複的存在,可能導致“過度自信”/數據洩漏/ 阻塞效應項估計的標準差的減少。
此外,由於它是一種特定類型的引導,因此可能會導致標準差估計值的減小,如先前的互動式視覺化所示。
編輯:有關 SVEM 的更多資訊:
自驗證整合模型概述
Lemkus, T.、Gotwalt, C.、Ramsey, P. 與 Weese, M. (2021)。 “用於實驗設計的自我驗證整合模型。”化學計量學和智慧實驗室系統219:104439。
回覆:具有重複運行的 Svem 分析 DOE我同意,如果重複之間的差異不太大,則可以使用平均結果進行建模。當存在顯著的重複變異時,情況會有所不同;在附件中發現一項研究,由於過程噪音,重複之間存在顯著差異。以複製作為隨機效應的混合模型和具有複製因子的 SVEM 顯示相似的結果。然而,當重複結果平均時,通用 AICC 和 SVEM 模型也相似且更好,但結果與 Mixed 和 SVEM+replicate 不同:在使用重複平均的後 2 種分析中,更多效果是顯著的!這一案例表明,對具有顯著差異的重複進行平均時需要小心; SVEM+replicate 也很好地獲得了隨機複製效果。
回覆:具有重複運行的 Svem 分析 DOE下面分析截圖
1.混合模型&SVEM+複製效果

2. 平均重複結果:廣義前向選擇 AICC & SVEM

回覆:具有重複運行的 Svem 分析 DOE有趣的案例研究,感謝分享@frankderuyck 。
比較術語估計值及其標準差,我們可以看到使用 SVEM 和重複項確實會對標準差產生影響。在我的具有中等重複變異性的示例中,SVEM 顯著降低了與項估計相關的標準偏差,因為訓練和驗證權重中的資料洩漏帶來了模型構建期間有關項估計的資訊。
在您的情況下,由於重複之間的變異性非常高,資料外洩不會在模型的訓練和驗證之間帶來資訊(事實上,由於這種大的重複變異性,模型可能會更加「遺失」),所以您'項估計的標準差高於其他方法。將 SVEM 與平均值或 REML 模型結合使用會帶來非常相似的信息,並且平均值的廣義回歸前向回歸可能會提供過於樂觀的標準差估計:

因此,我認為一般建議可能是不要對涉及重複的原始資料使用 SVEM(由於模型擬合的偏差會導致資料外洩)。要么使用帶有平均值的 SVEM 進行處理(但您會丟失有關處理內部變異性的信息),要么使用其他方法處理帶有重複的原始數據(REML/擬合模型方法)。
有興趣了解@philramsey 、 @chris_gotwalt1和社區中任何其他好奇成員的觀點,
回覆:具有重複運行的 Svem 分析 DOE我建議採用兩步驟方法:(1)使用 SVEM + 複製因子過濾掉最強的影響,(2)使用後者建立隨機複製的混合模型。
回覆:具有重複運行的 Svem 分析 DOE當 SVEM 中的重複效應權重較低時,可以使用具有重複平均值的常規 Genreg/OLS。