為什麼我的混料設計的功效如此之低,即使效應大小為 20 個標準差?大家好,
我會很感激任何建議。我正在幫助我公司的一位科學家設計一個包含 5 種成分的混合實驗。我們希望測量主效應和一階相互作用。
我要求科學家提供成分濃度的最小值和最大值、測試精度標準偏差,並估計主要成分的影響大小。我依靠 Power 來決定需要運行多少次。主要成分的影響大小約為 20 個標準差。我發現運行 30 次,這種成分的功效只有 0.168。對於 60 次運行,它是 0.33。
20 個標準差的效應量顯然非常大,所以我不明白為什麼這種情況下的 Power 如此之低。
我通過使用適當的係數和標準差對 5 個響應變量實例的結果進行了進一步研究,在所有 5 個實例中,具有大效應量的成分均具有統計學意義(p < 0.001)。
我能做些什麼?我不確定我是否相信這種情況下的功率計算。我是否遇到了功率計算的限制?我如何提供有關所需運行次數的指導?
這位科學家的設計目標是完全合理的,我感到很沮喪,因為我不能給他他需要的指導。
非常感謝!如果您願意看一下,我附上了帶有模擬響應的模型的功率、.jmp 設計和文本輸出的屏幕截圖。

美國能源部回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?在確定混合設計的大小時,您可能希望按照 Brad 的建議進行操作,並以與優化響應的響應曲面設計相同的方式看待它們。 在這種情況下,請考慮使用設計空間的一部分(FDS) 圖檢查您的實驗已經足夠大,使您能夠準確地預測您的平均響應,就像您對 RSM 設計所做的那樣。
混合模型中的配方成分或成分之間的相互作用實際上是混合:兩種成分、成分的兩部分混合、三種成分、三部分混合,等等。 組件之間的這些交互或混合會導致響應出現曲率,這就是為什麼您在舍夫模型。 當您包括混合時,您通常會嘗試構建一個模型來尋找最佳配方,就像您可能會尋找從涉及過程因子的響應面實驗中得出的最佳配方一樣。 因此,使用 FDS 圖來評估混料設計的能力,就像設置響應面一樣。 由於所有好人在此線程上提到的所有充分理由(例如,多重共線性和飆升的 VIF),功效計算不僅不適合響應面目標,而且也不適合混合設計。
回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?您應該將混合實驗視為響應面實驗,而不是篩選實驗。 由於由於混合約束,主效應和主效應之間的內在相關性與二因子交互作用,係數估計實際上是沒有意義的。 因此,混合實驗很難進行模型選擇。 一種可能性是考慮將所有雙因素交互作為一個組來考慮。 如果回歸平方和沒有顯著下降,則可以消除所有這些影響。 一般來說,消除個體效應的效用值得懷疑。
然而,實驗區域內新響應的預測方差通常非常低,尤其是在誤差方差不大的情況下。 因此,您可以依靠預測並根據您想要的響應選擇新的操作設置。
回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?馬克和丹的建議真的很棒! 關於混合設計(或任何優化設計策略)的關鍵點是,理論上,您已經篩選出不重要的變量(可能通過多次迭代,從粗體級別設置開始)並且您現在正在嘗試優化一個(或可能更多)響應變量。 統計意義(和相關統計數據)不再那麼重要。 通常,將係數相互比較以確定相對重要性,但是在混合實驗中,項的順序會影響相對重要性。還X 1 X 2不被解釋為交互,而是非線性的混合關係(我認為它是對線性的背離)。

回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?偽分量編碼會使范圍盡可能大,但仍然可能不是很大。 你只能為狹窄的範圍做這麼多。 建模很可能無法區分純線性模型(對於兩個分量:Y=B1*X1 + B2*X2)和純二次模型(Y=B11*X1*X2)。 您無法確定模型中的哪些效應是真實的,因為它們是相互關聯的,並且看起來非常相似,尤其是在所選範圍內。 因此,低功率。
回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?感謝大家對我的問題的關注!
JMP 通過減去最小值將變量編碼為偽分量。 我認為這將解決與受限範圍相關的問題。回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?馬克的所有好建議還有幾點要補充。 配方中的低功率通常是由狹窄的因子範圍引起的,在這種情況下確實如此。 此外,混合實驗中的功率概念很難思考。 功效是檢測到真實效果的概率。 如果 X3 有影響,那麼其他因素(至少組合起來)是否有意義,因為它們必須相對於 X3 發生變化? 人們常常認為權力好像這些因素是獨立的,但實際上並非如此。
最後,請記住,雙向項是 Scheffe 混合模型中的二次項,並描述了沿實驗窗口邊緣的曲率。 沿著該邊緣,在不受約束的情況下,您可能具有如下所示的形狀:

這確實是一個很大的影響。 但是,因為您將範圍限制為(大致)0 到 0.1,所以您實際上是在估計這個形狀:

即使放大,它看起來也好不了多少:

看起來很大的影響,由於與其他因素的相互作用和範圍的限制,可能沒有你想像的那麼大。 換句話說,該模型將很難區分純線性模型或純二次模型——它們在這個狹窄的範圍內無法區分。 僅複製並不能充分解決此類問題。
所以,功率是一件好事,但在許多混合實驗中,重點更多地放在預測響應上。 正如 Mark 所說,即使在低功耗的情況下,您也可以獲得非常好的預測模型。
回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?通常,但並非總是如此,我們進行混合實驗以優化某種配方,而不是篩選組件。 我們對權力沒那麼感興趣。 相反,我們對候選設計可能的模型預測性能感興趣。 即便如此,在不受約束或獨立因素的情況下,這種性能也不會像我們習慣的那樣好。
你的情況沒有什麼新鮮事。 您之前只是不知道該問題或其根源。 儘管存在相關性以找到最佳混合物,但我們已成功使用此類設計數十年。
我建議 ”配方開發策略:使用 JMP 的分步指南” 由 Ronald Snee 和 Roger Hoerl 作為參考,以防您需要。 這個建議不是背書,因為還有其他關於混合實驗的優秀教科書,但這個是嚴謹和實用的。
回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?非常感謝馬克的詳細回复。 得到一些指導是一種解脫。
我對成分 3 使用了係數“200”來進行功率計算和模擬(RMSE 為 1)。 因為成分 3 在設計中的範圍從大約 0 到大約 0.1,所以我判斷這會產生大約 20 個標準差 (200 * 0.1) 的效應大小。
從我幼稚的觀點來看,我以一致的方式設置了功率計算和模擬。 當我擬合模擬數據時,模型的 RMSE 約為 1,響應範圍約為 0 - 20,因此它似乎仍然不穩定。 這種想法有錯誤嗎?
回到根本問題...您已經看到變量之間存在很多相關性,這會誇大估計值的方差。 這是否意味著即使運行 60 次也無法估計具有 5 個成分、主效應和一階交互作用的混合設計?
我有一個備用計劃,僅使用具有主要影響的模型來估計功率,一旦收集到數據,就可以將任何交互作用的估計視為“獎勵”。 你怎麼看待這件事? 是不是太失敗主義了?
非常感謝。 我非常感謝您的洞察力。回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?這是使用具有 30 次運行的設計所產生的相關性的顏色圖。

這種相關性誇大了估計的方差,如估計效率大綱所示:

您的模擬使用 400 個標準差的相對效應,而不是 20 個。 我使用 10 的係數來對應大小為 20 的效果。 JMP Pro 提供了一個內置功能,可以非常輕鬆地模擬數據,並為每個重新採樣快速生成結果,例如擬合最小二乘法中參數估計值大綱中的估計值列。 這是從 2500 次模擬中估算出的成分 5 的結果。

我附上了模擬中的表格,以便您可以自己探索它。
要記住的混料設計和建模的另一個方面是 JMP 針對參數為 0 的原假設進行檢驗。 該測試在線性模型的通常上下文中是有意義的,而預測變量之間沒有約束。 它不僅僅是一個沒有截距項的模型。 截距是線性效應估計值的一部分。 因此,線性參數的檢驗應該針對參數是平均響應的零假設。
回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?謝謝回复! 我了解多重共線性如何降低設計功效,但這難道不應該影響我的模擬數據模型中的回歸係數嗎? 為什麼多重共線性對冪的破壞性如此之大,但對回歸係數卻沒有?
回复:為什麼我的混料設計的功效如此之低,即使效果大小為 20 個標準差?混合分量總和為 1 的約束引入了參數估計之間的相關性。 這種相關性誇大了參數估計的標準誤差,從而降低了功效。 如果你...
- 使用總和 < 1,
- 用下限 > 0 或上限 < 1 限制組件範圍,
- 包括對組件的線性約束,
- 在模型中包含高階項,
相關性越高,效果越明顯。
檢查設計評估大綱中相關性的顏色圖。