為什麼要在實驗設計中加入重複試驗? (設計對比)你好,
我理解設計重複實驗的作用(幫助)。執行重複實驗有助於了解一般的實驗誤差(雜訊?)。
但是,當您比較使用和不使用重複項產生的自訂設計(保持相同的總運行次數)時,您會發現,在大多數情況下(如果不是所有情況),不使用重複項的設計比使用重複項的設計表現更好。
我創作了兩款設計:
- 設計 1(重複實驗)
- #3 因子、二階交互作用和二次函數
- 總共跑了13分
- 2 鮞粒
- Design 2 (No Replicates)
- #3 因子、二階交互作用和二次函數
- 總共跑了13分
- 0 雷皮卡特斯
比較各設計方案後,評估結果顯示:
- 功效分析:方案 2 > 方案 1
- 設計空間佔比:設計 2 > 設計 1
- 相關性:設計 2 > 設計 1
- 當限制運行次數時,選擇有重複試驗的設計而不是沒有重複試驗的設計,是否有可量化的理由?
顯然,運行次數增加(設計 2 + 重複)會得到改進的設計,但如果是這樣的話,為什麼我不讓 JMP 在運行次數增加的情況下再次優化出最佳設計(不進行重複)呢?
2. 包含複製品的概念是否是傳統設計的產物,而較新的客製化設計平台通常可以透過演算法提供更好的設計?



實驗設計視窗回覆:為什麼要在實驗設計中加入重複試驗? (設計比較)你好@MetaLizard62080 ,
我對你所展示的情況和對比並不感到意外。接下來,我們來解釋一下原因:
首先,區分「副本」和「重複運行」非常重要。在 JMP 中,有兩種選擇:
- 在“經典設計”中,JMP 會顯示“重複次數”,這裡指的是每次運行的執行次數(即除了原始運行/設計之外,執行整個設計的次數)。您也可以在「增強」平台中使用此選項: 複製設計
- 在“自訂設計”中,JMP 會顯示“重複運行次數”,這裡指的是要重複運行的次數。您在帖子中就使用了此選項。
根據您的設置,您的設計包含 3 個因子,並假設採用響應曲面模型(包含所有主效應、交互效應和二次效應)。對於 3 個因子,這意味著您需要估計 10 個項目:1 個截距、3 個主效應、3 個雙因子交互作用和 3 個二次效應。因此,最小運行次數設計至少應包含 10 次運行。
利用這額外的 3 次機會,確實有兩種選擇:
- 將這些運行用作重複運行,以改善對某些效應的估計,並有可能進行適合度檢定。
- 讓自訂設計從 27 種可能的獨特組合中選擇要在設計中添加的其他單元;由於您假設一個完整的 RSM 模型,每個因子都可以在 3 個水平上看到,因此獨特的因子組合數量為 3^3 = 27。
選項 1 可以比不使用重複試驗更準確地估計某些效應。在您的設計中,第 2 次和第 5 次試驗以及第 6 次和第 11 次試驗是重複試驗。如果您查看設計比較報告,您可以看到此設計選項 1 可以略微降低交互效應估計的相對標準誤差(因此這些效應的相對估計效率略高於 1)。此外,由於您使用了重複試驗,因此可以使用失擬檢驗,這有助於評估模型的適用性(以及其他視覺化工具,例如實際值與預測值比較和殘差分析/視覺化)。
選項 2 可讓您測試模型效應估計絕對必需的 10 個因子組合之外的其他因子組合。這有助於降低項之間的相關性,並更好地涵蓋設計空間,從而降低項目之間的相關性( 請參閱相關性顏色圖),並整體降低平均變異數預測值。
關於您的問題,沒有標準答案,因為這取決於您的需求(和習慣):
- 您或許會更有信心透過重複試驗來執行適合度檢驗,從而評估模型的適用性;或透過重複試驗來更精確地估計特定效應項。請注意,對於最後一點,A-最優設計可能更合適,因為它可以透過A-最優參數權重來定義您希望比其他效應更精確估計的效應。更多信息,請參閱“為什麼二次因子在實驗設計中的功效如此之低” 。
- 為了確保對這些效果進行相對無偏的估計,您可能希望盡可能減少效果之間的相關性,因此讓自訂設計從所有可能的組合中選擇最相關的組合是有意義的。
關於你的第二個問題,我認為這取決於你的研究領域。有些領域總是會進行重複實驗,甚至多次重複實驗,因為這些領域的系統變異性非常高(例如生物系統)。所以,這取決於你預期得到的信噪比。在某些行業,重複實驗是研究的強烈建議或強制要求。
但從總體上看,自訂設計將提供與您的參數相關的最佳設計,因此,如果您沒有強烈的動機使用重複運行,我建議讓演算法選擇資訊量最大的運行。
希望這個回答對您有幫助。
回覆:為什麼要在實驗設計中加入重複試驗? (設計比較)我有幾點建議,您可以忽略。首先,要謹慎對待設計評估統計數據。這些數據都是基於先驗假設,而實際情況可能未知。其次,重複實驗的方法不只一種。如果您使用隨機區組設計(RCBD)或基於個體的實驗設計(BIB),則可以在提高設計精度的同時擴大推斷空間。
回覆:為什麼要在實驗設計中加入重複試驗? (設計比較)感謝@Victor_G 的回复,
我在製藥製程開發領域工作。我成功運用過兩種設計方法(模型能夠提供有意義的結果,從而改進製程)。正因如此,我不太確定哪種方法「最佳」。我個人認為,如果我們可以信任 JMP 設計評估,那麼我傾向於選擇方案二。 @statman指出(他的觀點是正確的),這確實是一個假設。
總的來說,我的許多同事完全不認同「無需重複實驗即可得出統計結論」這種觀點。我認為這源自於重複實驗本身所提供的直覺性,以及他們對JMP自訂設計器所使用的抽象概念的理解困難。需要說明的是,我們都不是統計學家,我們對統計方法的理解程度也各不相同(從濃厚的興趣和廣泛應用,到對統計學普遍抱有恐懼或不信任)。
出於好奇,您在陳述的最後提到,選項 2 是更好的選擇。為什麼您的直覺/習慣會傾向於這個選項?
回覆:為什麼要在實驗設計中加入重複試驗? (設計比較)你好@MetaLizard62080 ,
我完全理解你的處境,實際上我也感同身受(就背景而言,我是一名化學配方工程師)。
我的一些同事在為實驗室創建和推薦設計方案時,也更傾向於推薦帶有重複實驗的設計方案;這樣,就可以用簡單直觀的方式來評估實驗的純誤差/可重複性。
我理解他們的觀點,但我對這種情況並非完全放心。即使我們解釋了重複實驗背後的原理,有些人為了節省時間,也會選擇重複測量而不是重複運行,因為他們認為重複實驗是浪費時間和材料。因此,最終我們能夠觀察/分析的並非實驗裝置的純粹誤差/完全可重複性(包括實驗誤差和測量誤差),而僅僅是測量誤差,這會導致對純粹誤差的評估過於樂觀。
對於沒有重複試驗的設計(例如您案例中的設計 2),使用其他組合運行作為額外運行可以探索設計空間中的更多組合,提高統計功效,降低大部分設計空間中的預測方差。如果實驗預算足以支持主題且模型不太複雜,這些額外運行將有助於估算誤差/變異數。關於模型評估,不使用重複試驗或重複運行將無法進行適合度檢驗,但有足夠的工具和視覺化方法可以評估設計的充分性。此外,在某些設計情況下(例如確定性篩選設計),不能添加重複運行,因為這可能會導致項之間產生相關性(例如主效應和交互作用),並且由於設計結構發生變化,某些分析方法將無法使用(例如確定性篩選擬合) 。
因此,最終這更取決於假設和習慣,以及對實驗裝置和測量系統的了解程度。我傾向於推薦一種循序漸進的方法,先進行範圍界定設計(初步測試),以評估裝置的變異性、曲率和可重複性,然後再推荐一個全面探索該主題的設計(在實驗預算允許的範圍內)。
這個問題沒有「完美」答案,但我希望我的回答能幫助你確定最適合你使用場景的方案。