功率模擬器工具（使用現有精密研究 CV 確定測定的功率）大家好，
我們對檢測進行精密度研究的內部實踐將為不同的方差成分（例如，每日、稱量等）產生多個 CV。 因此，問題是“我們可以使用這些 CV 來確定未來實驗設計中的統計功效嗎？”經常出現。
答案：
然而，這並不容易。 Marianne (MTOF) 開發了一個工作流程來接受實驗設計，將設計與測定的 CV 集成，並模擬運行實驗 1,000 次。 由此，我們確定每個固定效應被確定為具有統計顯著性的次數，以便計算該效應的功效。
不幸的是，手動執行此過程相當耗時（並且很容易出錯）。 因此，我一直致力於將其自動化。
我附加的插件仍然是一個原型，但 MTOF 和我已經嘗試過它並相信它應該準備好進行測試。
那麼它是怎樣工作的？
假設我對一項新檢測進行了精密研究。 在此測定中，我們確定日常 CV 為 4%，採樣間 CV 為 3%，測量間 CV 為 2%。
一段時間後，購買了第二台機器。 我們想要設計一項快速、小型的研究，看看原始機器和新機器是否會產生相似的結果。
我們創建以下簡單的實驗設計，並想知道它是否“足夠好”：
（“一天內測試兩個樣本，每台機器上每個樣本進行 2 次測量”）
現在讓我們開始吧：
- 啟動加載項
- 將出現一個窗口，顯示所有當前打開的數據表：
- 如果感興趣的實驗設計當前已打開，請從菜單中選擇它並單擊“確定”。
- 如果文件未打開，請選擇“導入新文件”，然後單擊“確定”。 使用資源管理器選擇感興趣的文件。
- 主界面將啟動，允許您定義應使用的模型：
-
- 對於上面所示的演示表，唯一的固定效果是“Machine”，所以我將其添加到模型中
-
- 我的隨機效應是日、採樣和測量。 首先，我添加日期和採樣效果：
-
- 由於我的表的設置方式，“日”和“採樣”都需要正確設置嵌套：
-
- 現在使用“切換選擇為隨機”按鈕將日期和採樣設置為隨機效果：
-
- “定義隨機效應 CV”側欄中將出現兩個框，允許您為這些隨機效應設置 CV。 我將為日投入 4%，為採樣投入 3%：
- 現在，我們還需要擔心“測量到測量”CV，並且該列未添加到輸入數據表中。 由於測量是最低水平的隨機效應，因此它會與殘差混淆。 因此，我們可以使用“Create New Residual Column”創建一個測量誤差列，並將其CV設置為2%：
-
- 接下來，選擇哪一列是響應列（“結果”），然後單擊“確定”
-
- 將根據輸入的數據表創建一個新的數據表，並將“_PowerSim#”修改為文件名末尾。 因此，不會對您的原始文件造成任何損害。
- “運行模擬”腳本將嵌入到新文件中。 單擊該圖標開始評估。
-
- 首先，選擇您想要檢測差異的固定效應。 對於這個設計，我們只有一個選擇（Machine）：
-
- “檢測差異”側欄中將出現一個框。 默認情況下，所有內容都將設置為 100，這對應於平均值。
- 假設我想知道我的實驗設計是否能夠檢測到機器與機器之間 5% 的水平差異。 為此，我將新機器的值更改為 105：
-
- 默認情況下，臨界 alpha 值設置為 5%。 如果需要，可以在“臨界值”框中更改此值。 我對 5% 很滿意，所以我會點擊“確定”。
- 現在我們等待模型全部運行。 將來，我們會嘗試加快這一步驟，但目前需要一分鐘左右的時間才能運行。
- 完成後，將出現一個彈出窗口，其中包含結果：
-
- 結果，由於“機器”的影響，在 0.05 的 alpha 下檢測到 5% 的響應差異的功效為 23.6%。 所以，這不是一個偉大的設計。 您可以返回並調整差異以檢測和/或使用的 alpha 值，但最好進行更穩健的設計。
- 這是一個非常簡單的例子。 當然可以使用更複雜的模型和檢查：
-
有某些功能尚未實現（嵌套固定效果、標稱*連續以外的交互），以及可以採取的工作來提高速度（例如，轉移到迭代系統，而不是預先打印數據表中的所有數據） ）。
如果您有任何疑問，請告知瑪麗安和我。
編輯：可以找到版本 3 的註釋這裡
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）我已將此加載項的版本 3 附加到第一篇文章中。
除了典型的錯誤修復之外，功能上還有兩個顯著的變化。
首先，該工具不再將實驗設計重複一千次（導致數據表大小為 1000×[設計行數] 行）。 這樣做對錯誤測試很有幫助，但我們已經切換到一種迭代方法，不再一次運行 1000 個模型，而是現在運行一個模型，記錄結果，重新配置隨機貢獻列，然後運行下一個模型。
這並沒有真正提供太多加速過程的方法，但它的作用是防止使用非常大的實驗設計時遇到的掛起/凍結。
其次，該工具現在可以選擇定義“錯誤處理”：
“正態誤差”處理使用與以前版本相同的正態分佈誤差。 選擇“微生物板誤差”的作用略有不同：(1) 誤差貢獻列將具有對數正態分佈而不是正態分佈，(2) 響應將進行Log10 變換（因此無需在“對數變換響應”中選擇“對數變換響應”） “選擇響應列”輪廓框），(3) 需要根據標準差而不是 CV 來定義方差，(4) 用戶在運行新模擬時需要指定響應級別：
引入此功能是為了更好地考慮微生物平板數據。 此方法背後的方法仍在積極開發中，並且該工具的實現已經過檢查但尚未完全驗證，因此對使用此錯誤處理的任何結果持保留態度。 如果有任何擔心，我建議像以前一樣繼續使用“正常錯誤”以及對板數據的日誌轉換響應。
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）>一位導師甚至告訴我們，實驗的隨機區組設計最初是專門為植物科學而設計的，目的是為了幫助處理田間試驗中不同水平的土壤質量、水可用性等的許多問題（“區組”）是田間農作物的實際物理方形小地塊）。 但不確定這有多少真相
您認為分割圖這樣的術語是從哪裡來的？ 
費舍爾設計了農田試驗實驗並提出了方差分析。 我們絕對鼓勵我們的合作者沿著“相似”的領域塊安排隨機塊設計。所以我相信你明智的導師。
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）但這些仍然只是一般性考慮 - 如果您想知道哪種設置最具成本效益並提供最佳功率，請使用 Adams 詳細計算描述或插件:)
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）@jsdejmp
如果您不保持較低級別的重複次數相同，但在您的示例中保持相同的總數（只要設置如前所述嵌套），則在較高級別添加更多重複實際上也更有效。
我可以肯定地說，無論 CV 是什麼，10x5 都比 5x10 好！ 如果是嵌套的，當您計算總數時，10x5 會給出 10 次試驗和 50 個圖，而 5x10 會給出 10 次試驗和 50 個圖。 因此，在這兩種情況下，圖間變異都減少了 50 倍，而試驗間變異則減少了 10 倍或 5 倍。
如果它不是嵌套的，即試驗在同一個地方運行5 次，那麼您一遍又一遍地重複使用相同的10 個圖，那麼這是一種不同的情況，但我不認為這就是您運行field 的方式考驗？
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）啊，這更有意義——我猜他說的是正確的，但我只是記錯了:)
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）@ABI
我認為你的老師指的是裂區設計——它是為農學田間試驗而開發的——這就是這個名字的由來。
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）很樂意盡我所能提供幫助。
請注意，我們對板數據使用對數變換，因為誤差從來不是正態分佈的，並且需要進行變換才能近似正態分佈。
順便說一句，我絕對能感受到您在現場試驗問題上的痛苦。 我的本科生和研究生工作都是關於植物基因組學的，所以我已經打了這場仗（只要等到有人要求你將溫室結果與田間試驗結果結合起來——就說不！）。 一位講師甚至告訴我們，實驗的隨機區組設計最初是專門為植物科學而設計的，目的是為了幫助處理田間試驗中不同水平的土壤質量、水可用性等的許多問題（“區組”是田間作物的字面物理方形小地塊）。 但不確定這有多少真相：）
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）@ABI ，感謝您對如何設計實驗提供的精心整理的解釋和指南。 我絕對認為我可以將該系統應用於我們的實驗方法。 我們一直在努力對我們的簡歷進行良好的估計，但正如您所說，我們首先需要了解各種隨機效應如何相互作用。 我認為我們需要進行額外的建模來捕獲其中一些信息。
（順便說一句，感謝您提到為什麼對數變換在捕獲 CV 時很有幫助；我剛剛在 QC SOP 上與 MSQM 討論了這一點，但我不確定為什麼會這樣）。
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）你好@MTOF ,
回复#1 - 只有當我們將重複次數保持在較低水平時，在較高水平上添加更多才會更有效。 考慮到預算限制，問題更接近於“我們應該進行 5 次試驗 x 10 次重複還是 10 次試驗 x 5 次重複”。 除了這個實際問題之外，還有一個更抽象且備受爭議的問題：單個試驗是否構成整個實驗或僅構成單個數據點？因為沒有人應該畫畫任何治療結論來自一項試驗，但顯然，這項試驗的設計和運營成本相當大，其數據應該具有適當的權重。 （兔子洞還更深，因為不同的作物有不同的田間敏感性，因此有不同的CV，因此有不同的最佳試驗次數和代表次數；我們目前還感興趣的是，執行試驗的不同分包商是否也有不同水平的管理領域和衡量響應的能力。 更不用說同一地點的天氣和同比差異。 當大自然輕易地阻礙我們的努力工作時，我們很容易養成投降的態度。）
回复 #2 - 感謝您對此進行更多澄清。我不確定我是否可以這樣處理它。
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）嗨賈米爾
Adams 對您的問題的答复“是否有一種快速方法來確定設計的哪個方面需要更多樣本”：
1. 在“較高”級別添加重複項始終比在較低級別添加重複項更有效（但通常也更昂貴）。
這是因為上層的重複也給出了所有下層的重複。 至少使用分層/嵌套設置，因為我們為此工具製作了這個工具，我也假設您在現場試驗中也有這樣的設置。 例如，如果當前我們的設置是2 天x 2 次稱重x 3 個板（總共2 天，4 次稱重和12 個板），添加1 天則總共3 天，6 次稱重，18 個板。
2. CV 之間的關係告訴您哪裡最“需要”添加重複。
如果您的試驗間 CV 遠大於試驗內 CV，則有必要添加更多試驗（在每個試驗中添加更多重複的貢獻很小）。 如果試驗間 CV 比試驗內 CV 小得多，那麼添加更多試驗仍然有效，因為您還會獲得更多重複（土地或植物或任何重複），但可能在試驗中添加重複項要便宜得多且同樣有效。
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）嗨賈米爾，
是的，您可以做到這一點（甚至可能不需要這個特定的工具）。如果您有測定的隨機效應方差分量（來自 JMP 或其他），這些分量值可以估計特定測定質量設置的 CV。
CV 組成部分（即效果）如何相互作用可能比它們的百分比值更重要。 對於您的示例，更多位置可能比更多代表更重要。 事實上，位置內代表可能根本不是真正的複制，並且它們比實際複製的測量更接近樣本重複（因此不太有用 - 但是，在不了解更多關於您的實驗的情況下，我真的無法談論這個）。
讓我們來看看我經常處理的一個例子：微孔板檢測。假設我們有三個 CV 組成部分：日常變化的隨機效應、稱重之間的變化以及電鍍之間的變化。
在我們的檢測設計中，我們擁有這三個具有以下嵌套的 CV 組件：
因此，每天的電鍍都會進行 X 次稱重（二次採樣），每次稱重都會獲得 Y 份板材。
接下來，在執行研究以確定精度後，您將從 REML 表中獲取方差分量值及其相應的 CV（即，如果響應經過對數轉換，則方差分量的 CV 等於“平方方差分量”） REML表中的字段。 如果未進行轉換，則它等於 REML 表中的 sqrt 方差分量/擬合摘要表中的響應平均值）。
假設我們的日常 CV 為 5%（無功分量為 0.0025），稱重間的 CV 為 10%（無功補償為 0.01），電鍍間的 CV 為 8 %（0.0064 的變量分量）。
如果我們將所有三個分量相加，我們得到的總方差分量值為 0.0189，如果僅製作一天、一次稱重和一塊板，則該值轉化為 13.7% (sqrt[0.0189]) 的 CV。
由於上述嵌套策略，計算本測定中質量設置的預測群體 CV 將遵循以下計算：
然後，在 Excel 中，只需將其製作為公式並填寫以嘗試不同的組合，或者在 JMP 中通過創建公式列來完成此操作。
例子：
上面我們有三種設計，每種設計總共只有 5 個板。 您可以看到，5 天×1 稱重×1 板設置導致的 CV 比 1 天×1 稱重×5 板設計低得多，儘管每日變化具有最低的組分 CV。
然後您可以嘗試其他設計，找出實際上最好的設計：
這裡有三種設計，每種都有 20 個板並且 CV 值相當接近。然後就變成了關於哪種設置最可行/成本最合適的對話。 如果需要進行大量猜測和檢查，您還可以使用 Excel 中的求解器工具以及一些規則來幫助您。
無論如何，您將能夠評估更多位置或某個位置內的更多代表是否有價值，以及大約有多少價值（即，添加另一個位置或在每個已添加的位置中再添加10 個代表之間CV 的變化是什麼）現有位置？）。
現在，這個特殊的工具被構建，因為微孔板測定總是不精確，並且許多微觀研究的預期目標是聲明“X 和 Y 之間沒有差異”（即， X 型瓊脂和 Y 型瓊脂沒有區別）。 然而，如果實驗缺乏足夠的能力來實際發現統計學上的顯著差異，我們最終可能會得出這樣的結論：對測定的改變（切換瓊脂類型) 實際上沒有任何效果。 這是一件非常糟糕的事情。
但是，如果假陰性對您的實驗不是那麼重要，那麼您可能不需要這個特定的工具。 如果您確實認為需要它，請告訴我 - 它需要一些優化，以便不會導致 JMP 掛在非常大的數據集上，因此，如果您正在使用大型數據集，我將優先考慮此類型首先是優化: )
-亞當
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）@ABI , @MTOF ，使用您在示例和工具中提供的值，是否有一種快速方法來確定設計的哪個方面需要更多樣本？ 例如，在給出的第一個示例中，在更多天內添加更多測量值是否會比在一天內添加測量值更能提高功效（因為 CV 為 4% 與 3%）？ CV 較高的效果是否表明您應該加載更多測量值？
對於農藝田間試驗，我們可能進行 10 次試驗，試驗中每種處理重複 5 次，我們可以使用一組數據的總體誤差來計算總體功效。對於 JMP 式功效分析，附加數據（無論來自何處、更多位置或更多次數）都會得到同等對待。 然而，現實情況是，站點間變異性和站點內（代表）變異性存在差異。我們可以有更多的地點 ($$) 或在一個地點內有更多的代表 ($)。 我個人喜歡更多的地點，因為在某一領域有更多的代表只會讓我們對該領域更有信心；更多地點使我們能夠“更確定”觀察到的治療差異不會被任何一個地方過度衡量。 你的工具能幫我解決這個問題嗎？
我正在想像為實驗設計創建更智能的算法，權衡位置與位置之間的差異以及位置內的差異，並在特定預算內對其進行優化。例如，“我們有 X 美元用於在玉米上運行 Jumpstart...分配地點和代表數量的最佳方式是什麼？”
回复：功率模擬器工具（使用現有精密研究 CV 確定測定的功率）大家好，
我修復了一個錯誤，該錯誤會導致在非常大的實驗設計中加載時崩潰，並將其附加到第一篇文章中。 請注意，當前採用的方法尚未針對速度進行優化，並且在大型設計上運行 1000 次模擬將花費很長時間（如果設計足夠大，有時甚至會導致 JMP 掛起/凍結）。 我對如何加快該工具的速度有一些想法，但 MTOF 和我對如何提高用於隨機效應的分佈的適用性以及對 Novozymes 如何處理基於板的數據的總體檢修有一些想法（其中是該工具存在的主要驅動力）。 因此，在不久的將來，功能改進將優先於速度。
謝謝！
