我應該考慮 DOE 中的功率分析嗎?有人告訴我,在評估 DOE 時,我們需要保持功率 >=80%,但為什麼使用 PB 設計時功率如此低? 例如,如果我用 11 個因子進行 12 次實驗,功效約為 0.27。 我可以相信這種低功耗的設計嗎? 謝謝。
實驗設計回复:我應該考慮 DOE 中的功率分析嗎?@Victor_G的答案真的很好。
關於問題 2,我想補充一點,你不能僅根據 alpha = 0.5 和 RMSE = 1 來計算功效。 正如我在之前的回復中所說,您還需要估計需要檢測的信號大小。
我還要補充一點,在 Excel 中計算冪並不容易。 我不建議嘗試這個。
如果您真的想了解功率,我建議您運行一些模擬。
1. 創建您的實驗設計
2. 確定一個模型來計算每次運行的響應,其中包含每個“活躍”因子效應的參數(在 JMP 中,這些是“預期係數”)
3. 向每個響應值添加隨機噪聲(例如,標準差為 1,平均值為 0)
4. 分析模擬數據以確定主動效應在您確定的 alpha 水平上是否顯著(最常用的是 0.05,0.5 將是一個奇怪的選擇!)
5. 使用新的隨機噪聲重複步驟 3 和 4 多次。
6. 計算每個有效效果被宣布顯著的次數
您應該發現主動效應被聲明顯著的次數比例與 JMP 計算的功效相匹配。
這種模擬是在 JMP Pro 中非常容易做到。 事實上,它用於以下情況先驗功率估計是不可能的。 例如,響應是二進制的。 我曾經用它來幫助營銷公司確定實驗的力量,以了解影響對其促銷活動的響應(響應/不響應)的因素!
在 JMP 中進行此類模擬會花費更多精力,並且需要編寫一些腳本。 但我仍然認為這比嘗試在 Excel 中計算冪更能有效利用時間。
回复:我應該考慮 DOE 中的功率分析嗎?添加到@Victor_G的解釋中,“宏觀”觀點具體是用方差分析表中的F-ratio來回答的。 原假設是只有截距參數不為零。 另一種假設是不僅截距不為零。 “微觀”視圖是效果測試提供的術語級別測試或參數估計提供的參數級別。 效果測試針對整個術語,而參數估計測試針對各個參數。 除非您有超過兩個水平的分類因素,否則它們是相同的。 效果測試可能在模型選擇中更有用,因為通常您刪除一個項,而不是一個參數。 效果檢驗基於 F 比,參數估計基於 t 比。 t 比率是(估計值 - 假設估計值)/估計值的標準誤差。 他們假設這些測試的值為零(沒有效果)。
回复:我應該考慮 DOE 中的功率分析嗎?你好@lazzybug ,
我會盡力回答您的問題:
1. 在 DoE 中,您可以在“宏觀”視圖(模型本身)和“詳細”視圖(每個參數的重要性)中實現假設檢驗。 這可以在 DoE 響應建模的“擬合最小二乘”報告中看到,其中為一般模型給出了 p 值(在“實際與預測”可視化下),讓您了解模型的重要性與“效果匯總表”中每個因素的值和 p 值的平均值的比較。
- 在“宏觀”觀點(整個模型)下,零假設是:響應的變化與因子的變化不相關(或者因子的估計值接近於 0)。 另一種假設是響應的變化與至少一個因素相關(或者至少一個因素的估計值與 0 顯著不同)。
- 在“詳細視圖”下(對於每個因素),原假設為:該因素對最終結果沒有影響(水平(-1)=水平(+1))。 備擇假設:該因素對最終結果有影響(級別(-1)!=級別(+1))。
該主題的有趣資源:多變量分析實驗設計的基礎知識 - JMP 用戶社區
2. 不確定在哪里和/或如何找到它,但您可以在這裡找到答案:
功率計算 (jmp.com)
預期樣本量和功效 (jmp.com)
您還可以在示例數據索引中查看不同的計算器和模擬:幫助 -> 示例數據 -> 教學資源,或者在統計索引中然後搜索“power”。
@菲爾_凱和其他 JMP 技術專家將能夠完成或更正我的答案:)
我希望這能幫到您,
回复:我應該考慮 DOE 中的功率分析嗎?嗨,維克多,非常感謝您提供的材料。 我會把DSD引入到我們組以後的優化工作中。
您能解釋一下我關於能源部的問題嗎?
1. 我知道統計中的 I 類和 II 類錯誤,以及我們如何將它們應用到 DoE 中。 例如,I 型錯誤(alpha):H0 為真,我們拒絕它的機會。 II型錯誤(beta):Ha為真,我們接受H0的機會。 對於特定的 DoE,H0 和 Ha 是多少?假設我們有 6 個因素,我們是否應該有 6 個零假設,每個假設都像 H0:級別 (-1) = 級別 (+1),Ha:級別 (-1)!=級別 (+1)?
2. 您是否有一個示例來解釋我如何根據 alpha = 0.5、RMSE =1(如 JMP DoE 中所示)手動計算主效應、交互作用和二次項的功效? 我想用Excel手動計算功率。
再次非常感謝您的幫助。
回复:我應該考慮 DOE 中的功率分析嗎?你好@lazzybug ,
由於您的目標是從大量因素中檢測出哪些因素是重要的,因此您肯定會使用篩選設計。
根據我的閱讀,有兩種主要設計可能非常適合您的情況,具體取決於因素的類型和數量:
- D-最優定制設計(通過“定制設計”平台,指定您的因素和範圍,JMP將為您的實驗空間找到最佳設計)。 一個非常方便的設計平台,為因素類型提供了很大的靈活性,可以限制隨機化(當你有難以改變的因素時),並且可以添加協變量、塊因素......
- 明確篩選設計,當您想要以非常有效的方式篩選大量因素(對於 5 個以上因素有用),但這種類型的設計有限制:只能是連續或 2 級分類因素,並且無法添加分塊因子(例如,如果每次設備運行只能測量 10 次實驗,則可以為每次運行添加 10 次測量的分塊因子,以考慮不同設備運行之間的差異)。 但是,如果重要因素數量較少,您也許可以使用此設計來篩選交互作用和二次效應,這使其非常高效。 值得注意的是,主要效應彼此不相關(正交),並且與雙因素相互作用和二次效應也不相關(正交)。
您還可以嘗試更經典的方法(例如 Plackett-Burmann 篩選設計),但這些經典設計有時可能很難適應特定問題。
最後,設計的選擇將是您在實驗設置(因素的數量和類型、約束、最大實驗數量……)和設計規範/特性之間可以找到的最佳折衷方案。 我強烈建議嘗試不同的設計和運行次數,並使用“比較設計”平台(DoE -> 設計診斷 -> 比較設計)對每個設計的優點和缺點有一個很好的概述,以確定哪種設計和設置將針對您的特定主題做出最佳妥協。
無論您選擇哪種設計,一旦完成篩選並確定重要因素/主效應,您就可以增強您的設計,以創建完全自定義的響應面來優化這些因素。
有關最終篩選設計的一些資源:
明確篩選設計:簡單定義、何時使用 - 統計方法
明確篩選設計 - JMP 用戶社區
對確定性篩選設計的強大分析:利用其特殊性... - JMP 用戶社區
希望對你有幫助,
回复:我應該考慮 DOE 中的功率分析嗎?@Victor_G和@菲爾_凱,非常感謝您的解釋。 了解功率和 RMSE 對我來說非常有用。 我還有一個問題。 對於我的實驗,我只想通過篩選設計來檢測許多因素中哪些因素對我的響應很重要,然後我將使用響應面來優化這些選定的因素。 在實驗之前,我不知道什麼是RMSE,以及功率分析中要設置什麼係數。 您能詳細解釋一下我應該如何設計我的實驗嗎? 再次感謝你。
我剛剛注意到這是一個提問的好地方。 我希望我早點認識這個社區。
回复:我應該考慮 DOE 中的功率分析嗎?我同意一切@Victor_G說。 我只是想重申,只有在以下情況下,這種力量才有意義:
- 您知道需要檢測的信號大小並且...
- 您對實驗和響應測量噪聲 (RMSE) 有良好的估計
(您還需要決定顯著性水平)
缺少其中一項或兩項是很常見的。 在這些情況下,功率仍然有用,但只能作為比較替代設計的一種方式。
如果您只是使用 JMP 中的默認信號和噪聲估計值,那麼擔心功效是否低於 80% 是沒有多大意義的。
我附上了一些我創建的幻燈片,用於解釋 JMP DOE 中電力的工作原理。
我希望這有幫助,
菲爾
回复:我應該考慮 DOE 中的功率分析嗎?你好@lazzybug ,
功效是指檢測有效存在的顯著效果的能力。
這 80% 是評估您的篩選設計是否能夠有效檢測主效應的實用經驗法則,但請記住,功效計算不僅取決於設計(及其樣本量),還取決於顯著性水平(通常為 0.05)、要檢測的差異大小以及響應的預期信噪比(或 RMSE)。
因此,如果您的預期 RMSE 較低(響應測量更精確且方差較低)和/或您想要檢測的差異大小較高,您可能會期望效果具有較高功效。
在優化設計(混合設計、空間填充設計...)的情況下,考慮功率可能不是很有趣,因為它們的主要重點是響應預測精度,而不是估計計算精度。 但在篩選設計的情況下,權力是最重要的,就像你的情況一樣。
很難判斷我們是否可以相信您的設計包含這些信息,因為它不僅取決於設計本身及其期望(RMSE、顯著性水平、要檢測的差異大小……),還取決於您想要篩選的因素,您期望看到哪些顯著的、預期的差異來檢測...... = 領域專業知識。
也許您的一種解決方案是嘗試計算不同的設計,以便比較不同篩選設計的優點和缺點。
查看自定義設計,如果我對 11 個連續因子進行 12 個實驗(所需的最少運行次數),我發現主效應的功效也接近 0.21(因此,如果存在顯著效應,則有 21% 的機會看到顯著效應)。 但如果將游程數增加到 16(JMP 建議的“默認”設置),主效應功效將上升到 0.84。 如果實驗成本不是太多,增加樣本量可能會幫助您對自己的篩選能力更有信心。
希望對你有幫助,