當我在線性模型中學習第一門課程時實驗設計我的教授告訴全班同學，他在統計諮詢中遇到的最常見的問題是，“我需要多少樣本[因為我的結果具有統計學意義]？”這個問題來自於希望從中獲得有用的結果。不浪費時間或資源的研究。
雖然上述問題很簡單，但答案卻並非如此。這是因為答案取決於顧問還不知道的幾個數量的值。更糟糕的是，客戶通常也不知道這些價值。
這些有問題的數量是多少？
最簡單和最不重要的數量是客戶計劃使用的假設檢驗的顯著性水平。從歷史上看，0.05已成為標準顯著性水平。我可以設想一篇關於這一個選擇的博客文章，但讓我們繼續前進。
信號是最重要的數量。這是一個足夠大的實際重要的最小影響。您希望以高概率檢測到這種效果，並且該概率是功率測試。根據我的經驗，讓科學家或工程師承擔最小的實際重要影響的價值是令人驚訝的困難。
噪音是另一條必需的信息。在這種情況下的噪聲是實驗誤差的標準偏差。工程團隊可能會合理地詢問他們在進行實驗估算之前應該如何知道這個值。
統計功效計算取決於上述三個量以及關於響應分佈的假設。標准假設是響應根據正態分佈獨立分佈，並且方差對於所有可能的因子組合是恆定的。
鑑於顯著性水平，信號和噪聲以及上述假設，統計學家（或統計軟件 ）可以告訴你實驗計劃的力量。
研究人員可以做些什麼來增加實驗的力量？
以下是您可以採取的措施來增強實驗的力量：
1）增加信號的大小
2）降低噪音
3）做更多的運行
4）使用更大的顯著性水平 - 比如0.1而不是0.05
你如何增加信號的大小？
顯然，一個因素的影響取決於性質。但是，您可以決定使最小的實際重要影響更大。這可能聽起來像是作弊，但經過反思，你可以決定只要你能發現比你最初指定的效果大兩到三倍的效果，你就可以真正滿意。
你如何降低噪音？
實驗誤差是從試驗到運行的實驗條件隨機變化的結果。減少這種變化的最佳方法是確定隨機變異的來源，並將它們作為阻塞因素包括在實驗中。例如，如果存在日常變化並且實驗需要運行五天，那麼您可以通過使Day成為阻塞因子來從錯誤差異中刪除此變體。
更多的實驗運行是昂貴的。一些運行會產生多大的差異？
在篩選實驗中，通常幾乎與實驗運行一樣多的因素。在飽和設計的極端情況下，存在與運行一樣多的未知數。在這種情況下，您無法估計完整模型的誤差方差，因此您甚至無法執行顯著性檢驗。
飽和設計的一個例子是八次運行中的主效應模型的七因子實驗。您有八次運行，並且您正在估計總體平均值（或截距項）和七因子效應，因此沒有剩餘信息來估計誤差方差。
如果我們添加一個運行並對其中一個主效應執行t檢驗，則信號必須是噪聲的12倍以上才能拒絕原假設。下表顯示了t檢驗中信噪比的大小，以便拒絕零假設。顯然，你做不到檢測除非你拒絕沒有效果的假設，否則就會產生影響。因此，通過一次額外的運行，檢測的障礙非常高。一個好的經驗法則是比未知參數有四到五個實驗運行。
隨著額外運行次數的增加，t檢驗所需的信噪比如何下降。
將顯著性水平從0.05提高到0.1是多少？
當您的顯著性水平為0.05時，您將平均每20次測試中檢測到一次實際上是虛假的效果。將電平提高到0.1會將雜散檢測增加到10次測試中的一次。
下一步是什麼？
在我的下一篇文章中，我將展示用於功率計算的新界面 JMP 10。所以，這篇文章基本上是下週的動機。
我想提醒您，在運行實驗之前，您不會知道錯誤標準偏差。因此，功率計算基於對該數字的猜測。雖然統計軟件將功率報告為小數點後三位，但您應該將這些數字用於大量的鹽。
布拉德利瓊斯中寫道：
雖然編寫一個腳本來模擬邏輯回歸分析的功能並非易事，但JMP絕對可以做到。事實上，我經常將分析結果與此類模擬的輸出進行比較。
安德魯埃克斯特羅姆中寫道：
我一直在努力解決這個問題。對於系統來說，我需要確定'n'在不同功率下的多重邏輯回歸，其響應率可能高達5％，可能接近0.10％。我已經四處詢問，並且被告知我需要運行模擬。JMP是否有能力進行這些類型的模擬？
謝謝。
傑伊李中寫道：
除了改變顯著性水平之外，研究還可以測試特定（定向）假設，使得α不是雙尾檢驗。
JMP 10中設計實驗的定制設計中的功率分析中寫道：
[...]我以前的帖子，我談到了影響設計實驗能力的基本數量[...]
布拉德利瓊斯中寫道：
如果沒有數據，查看您已有的數據或進行小型試點研究肯定有一些價值。但是，您已經擁有的數據可能具有可變性，您可以通過阻止或更仔細地控制實驗條件來避免實驗。因此，使用當前數據獲得的誤差標準偏差可能會不必要地大，並導致您認為您的實驗沒有足夠的功率。反過來，這可能會導致您進行超過必要的運行，從而增加成本。
史蒂夫菲加德中寫道：
感謝您對這個重要主題進行非常清晰，簡潔的討論！我期待進一步的分期付款。
邁克爾安德森中寫道：
我想提醒您，在運行實驗之前，您不會知道錯誤標準偏差。因此，功率計算基於對該數字的猜測。
除非你正在研究今天早上剛剛發現（或製造）的一些現象，否則肯定會有一些潛伏在某處的描述性統計數據。所以挖掘它們吧。如果確實沒有，你需要在實驗性大事件之前將試驗研究壓縮到你的計劃中，這樣你就可以得到這個討厭的標準差的估計值（有置信區間）。
如果每個基本統計學教師都將“試點，然後實驗”這個想法帶入他們的學生，我們就會從無法定義的，動力不足的實驗和調查中拯救無數的研究生。只花了我10年的教學才弄明白......
