我們今天來聊聊我在柏林JMP高峰會的演講，題目是《一年學習實踐：如何利用過往/失敗經驗設計和分析實驗》。之所以取這個名字，是因為它實際上是對你去年在曼徹斯特的演講的回應，唐，你那次演講的題目也是《如何利用過往失敗經驗設計和分析實驗》。我反覆觀看了你那次演講的錄像，真心希望有人能像我當初發現你的演講一樣，發現我的這次演講的錄像。
為了讓大家更了解這個設計，我先說明一下，它其實是用管封機製作的。我知道大多數人可能不知道管封機是什麼。其實，它就是個科學版的直髮器。我們用的是灌注過疫苗的矽膠管，然後用直髮器把它封起來。因為這是藥品生產，所以我們的操作會更科學一些。但原理很簡單，就是兩個加熱的零件壓在管子上，形成密封。
現在的問題是，我們正在考慮購買新的熱封機來封口我們的聚合物管，而確保封口密封牢固至關重要，因為活性成分會通過這些管子輸送。如果密封破損，產品就會灑出來。這會帶來各種各樣的問題。雖然不會對患者造成任何風險，但我們卻面臨損失一批疫苗的風險，這當然是我們不希望看到的。
在將這些新型封口機投入生產之前，我們萌生了進行這項設計實驗的想法。首先，如何定義「成功」？我們何時才能真正完成管子的密封？目前，我們採用目視檢查的方式，他們會觀察工具。您可以在我之前的幻燈片中看到一些密封效果的圖片。他們會目視評估這些管子，並判定其是否合格。實際上，這就是全部內容。
我當時真的想問，我們能不能做點別的？能不能做個持續測試？不行，但我們可以用另一種合格/不合格的判斷標準，那就是壓力。我們給管子施加了壓力，然後把它浸入水中。如果冒出氣泡，那就表示密封性不好，有點像測試自行車輪胎那樣。
我真的很努力想找到一個連續的回應，因為那樣容易得多，但後來我想起了我在曼徹斯特聽的那場演講，那場演講的主題正是這個。然後我們開始著手設計。我做這個實驗設計是因為我知道更換試管和進行新的測試相對容易。我真的很想嘗試……嗯，首先，要注意操作人員的時間，不要設計或進行不必要的實驗。
我當時確實想做那種循序漸進的實驗設計（DOE）。我的想法是先從盡可能小的規模開始，然後如果需要，可以逐步增加實驗規模，最終得到一個能夠解釋或解答我問題的DOE。我的問題在於，如何確定一個涵蓋眾多因素的製程範圍，在這個範圍內，每次都能成功密封，或至少失敗的機率非常非常低。實際上，統計學家都知道，失敗的機率永遠不會為零，但我們希望它能接近零。
在設計這個實驗方案時，我真的很想把所有關於這種密封劑的知識都融入這個實驗設計中，因為我意識到有很多操作人員和專家比我懂得多。需要說明的是，我以前從未接觸過密封劑，現在也還沒有。
我需要有人在場告訴我，我說的這些話是否合理，因為有可能並不合理。我真心想把這些知識融入能源部（DOE）的方案中，我們稍後再詳細討論我是如何做到的，以及將這些知識融入我的設計究竟意味著什麼。
在設計階段，我們遇到了一些問題，某些因素的組合無法實現。在 JMP 中，截取設計空間的一部分其實相當容易。這裡可以看到，我設定了冷卻溫度和冷卻類型兩個變量，一個是連續變量，另一個是兩級分類變量。
當我們使用那種科學的直髮器或管子密封器時，可以加裝外部冷卻裝置。它本身帶有內部冷卻系統，但正如您所料，如果使用外部壓縮機，冷卻效果會比內建壓縮機好得多，因為外部壓縮機體積相對較小。使用外部壓縮機後，我們可以降低冷卻溫度。管子密封後，為了保持密封狀態，密封處必須冷卻，因此會啟動冷卻過程。
最後，還有一個額外的好處是，我們最終發現，使用外部冷卻系統實際上可以顯著減少天花板溫度。這是我們之前完全沒有考慮到的，但我們突然意識到應該一直使用外部冷卻，因為它真的非常棒。而使用內部冷卻時，溫度就不能低於 65 度。
設定起來比你想像的要容易，我特地製作了一個 YouTube 影片來講解具體步驟。如果你正在觀看這個視頻，可以掃描視頻中的二維碼，了解如何創建這種設計空間。
最終設計方案，共24種組合，每種組合重複3次，總共72個焊點。我稍後會感謝大家，現在我們先來看看。這個設計方案其實是分三步驟完成的。我最初有一個實驗設計（DOE）。然後我們進行了第一次擴展，增加了12個焊點；接著我們進行了第三次擴展，增加了6個或8個焊點。接下來我們會詳細解釋我們這樣做的原因以及從中獲得的經驗教訓。
這是最初的設計，只是為了向您展示24次運行，您可以看到這裡有3次失敗。總共有3次失敗，然後是目測失敗和壓力測試失敗的次數。對於這次運行，您可以看到它的所有設定。它有三次運行沒有目測失敗或壓力測試失敗。那麼，為什麼我最終做了24次運行呢？我忘了告訴您，這個實驗設計（DOE）有五六個兩水平的分類因子，四個連續變量因子，以及一個三水平的分類因子，所以這裡涉及的因子非常多，而我最終只做了24次運行。我是怎麼得出這個結果的呢？
讓我來解釋一下這是怎麼回事。這回到了我之前提到的「注入我的實驗設計」的想法，因為我做了一些事情，我可以取消這個操作。看看我是否還保留著它。這裡你可以看到我所有的因子。這是一個相當不錯的因子列表。這是在自訂實驗設計中完成的。如果我點擊響應曲面模型，我將獲得所有因子的單獨效應，例如主效應。我將獲得所有連續因子及其曲率效應，所以如果可能的話，我也會將這四個因子也做成曲線。然後我還有它們之間的所有交互作用。
至少，我需要跑 82 次才能完成這個設計。我可不想跑 82 次，每次重複 3 次，那樣我就成了笑柄，例如 200 次，或 246 次？算了，就到此為止吧。後來，我們把清單上的內容都過了一遍，這花了不少時間，他們每次都說，你知道嗎，產品和密封時間，不，我們不需要那個。我們一直這樣做，直到我們得到了這個模型，也就是最終模型，你需要…我需要向後按壓。
你可以看到我們大幅減少了互動次數，因為他們能夠說，你知道嗎，所有這些互動（聽不清楚 00:09:59）實際上不太可能發生。我仍然設置了設計，以便我們以後可以通過添加運行來識別它們。我們最終只想要主要效應，以及其他一些效應，這樣就把交互次數控制在了最少的 24 次。
我當時很大膽，覺得我們還是會堅持只用最少的次數，因為我知道之後還可以增加次數。這就是我最終選擇24這個數字的原因。接下來，我拿到了這些數據，我想用科學的方法來分析它們，於是就在Generate平台上建立了一個模型。我對這個模型非常滿意，我這就給你們展示它有多棒。
這是跟著Tom的影片做的，然後我一邊看影片一邊照他的步驟。我們現在看到的是一個封口機頭，我有一個舊的封口機頭，或一個新的。 Gammel是舊的，新的就是新的。新的就是新的。然後我們可以添加兩種不同的介質。有兩種不同的管材。一種是Avantaflex，另一種是C-Flex。
然後我們還要考慮切割溫度和尺寸。我真正想讓你們專注的是管材，也就是C-Flex和Avantaflex之間的差異。因為即使在目前的設定下，你們可以看到溫度為165度，上限時間為100秒（總時長），這已經是正常設定了。對於C-Flex來說，失敗機率為0.00，但實際上…它的失敗機率可能高達0.04。
但對於 Avantaflex 來說，你可以看到它的不確定性要高得多。你也可以看到，當我換成 Avantaflex 時，其他不確定性範圍的變化非常明顯，幾乎是爆炸性增長。如果我使用 Avantaflex，而我搭配的是舊的封口機頭，那麼結果幾乎完全不受控制。
我首先意識到的是，有些自訂組合我們並不確定具體發生了什麼。例如，我們並不確定我們是否完全理解這裡發生了什麼事。但我確實看到了，看看這種不確定性在高階下是多麼美妙，所以為什麼我們不把這種不確定性提升到180度，一切就都好了呢？
你可以看到所有這些數據現在都完全平坦了，這也是我最初的結論。劇透一下，我錯了，但這確實是我僅憑分析器得出的初步結論。我想我可能犯了數據分析的第一個錯誤：我沒有充分地視覺化這些數據。現在讓我來解釋一下這意味著什麼。
我回去跟他們說：「你們知道嗎？只要把這個數值調到180，就沒問題了。」他們說：「好的，克里斯蒂安，聽起來不錯。我們想測試一下。」這是第一次DOE測試的結果。我當時有點得意忘形，說180就沒問題了。讓我們看看會發生什麼。讓我們看看實際發生了什麼。這就是我給他們看的圖表。這裡顯示的是最高溫度和最高時間。
正如我所說，我們真正想要的是一個密封良好的範圍。藍點表示三次重複試驗全部成功。如果其中一次試驗失敗，它就會變成紅色。我們真正想要的是一個只有藍色的區域。我把這張圖帶到會議上，興奮地說，不如我們一起定義這個新的流程範圍。
我們真的不想把溫度設在攝氏 140 度。把它去掉吧。這樣看起來好多了。 200 攝氏度太高了。有些情況下沒問題，但有些情況是紅色警戒線，所以我們把溫度調低一些。這樣就只剩下一個紅色警戒點了，而且它的上限時間低得離譜。所以，如果我們不去管它，我們就會說，嗯，實際上我沒有足夠的數據來證明這個範圍是合理的。我們相信模型的預測，所以我們接下來的做法是，在這個範圍內，我們放大來看，看起來不錯。我們在這個範圍內沒有任何數據，但它看起來很有希望。這就是下一個設計方案。
我們來看看。現在你可以看到，我這裡有最初的杜威分類號，還有另外12個。如果我們看之前看到的那個圖，不，不是那個。是這個，我們可以看到這裡有12個點，其中一個是紅色的。我當時真希望所有點都是藍色的。如果是紅色也沒關係，因為這是一個樂觀的設計空間，但我們想要的是，如果能做到紅色，那就太酷了。結果只有一個點是紅色的。
在那次會議上，我們試用了圖表產生器，並製作了這張圖。這張圖顯示，實際上，大部分……我們仍然在觀察溫度和時間，但我將其細分為材料和尺寸。您可以看到 C-Flex 和 Avantaflex，以及管材尺寸：半英吋、3 到 3 x 5 英吋和 3 x 9 x 16 英吋。
我們當時的情況是，等等，這套組合以前從來沒成功過嗎？但是，克里斯蒂安，你說過180以上一切正常。我說，是的，我說過。但實際上，我們看到的情況是，我甚至不能說我的預測是正確的。我們以前從未見過這種情況。這就是當時發生的事。
我有點自豪的一點是，如果我們看一下失敗預測，看看這裡所有的新結果，你會發現結果非常清晰，幾乎所有結果都是0.00，只有兩個例外。如果非要我指出其中一個，我會選擇這個。我知道它只顯示13%的失敗機率，但這畢竟是一個相對較小的數據集。
我準確地指出了問題所在，而且我也確實這麼做了。我說，如果一定要選一個場地，那肯定就是這個。結果就是這個場地失敗了。這說明我的預測並非完全錯誤。
第三次數據增強。這是第三次資料增強，或者說是第三次運行，但實際上是第二次資料增強，然後添加了這個新資料集。現在我有了原始資料集、增強 1 資料集和增強 2 個資料集。如果我們再觀察同一個空間，就會發現一件有趣的事情，我不知道你是否注意到了。我完全放棄了建造模型，只是觀察這個圖表，如果我們看到藍色的塵埃，那就說明這看起來不錯。
我真應該回去做個模型，但它太直覺了。看著最初的24個數據點，也就是24個點，我們可以看到，如果我先畫出這張圖，我就會發現，嗯，我不能說180以上都是好的。我之前沒注意到這一點。例如，這兩個點都超過了180，但它們都是失敗的。但後來我們加上了這一點，這時我們才恍然大悟。你看，除了一個紅色的點之外，其他的都是藍色的。
然後我們添加了第三個，它正好在他們（指生產商）所說的範圍內。我認為這一點正是他們所說的最佳溫度，然後我們就只剩下藍色了。我們說的是罐裝。這五種都比較容易密封。如果我們不使用極低的溫度，實際上除了極短的時間外，我們只需要兩個點。如果你這樣做，所有這些，都會有很多組合，很多重複，但最終都會得到好的結果。
唯一一個不太合適的組合就是這個。關鍵是，我們能不能別用這個？因為大家都說它很難用。如果能用這個就最好了，雖然我們還沒做到，但這就是我的想法……我把麥克風交給你了，唐，這就是我們當時的設計思路。我們把原本純粹的視覺檢查轉化成了數據，然後能夠基於這些數據進行視覺化，從而做出資料庫決策。好了，我不多說了，交給你。
謝謝，克里斯蒂安。我打算稍微換個話題。我想談談……讓我確認一下。我先檢查一下。我假設我們現在看到的是我的螢幕，我的日誌。太好了。我們稍微換個話題。我們要談談我如何從一開始就設定好類似的系統，以確保我能夠進行足夠的運行、實驗運行和試驗，從而判斷我認為的哪些結果具有實際意義或實際重要性，或者說是否具有顯著意義。
我們的目標是設計一個實驗。再次強調，我希望實驗規模夠大，運行次數夠多，試驗次數夠多，以便能夠判斷是否存在具有實際意義的結果。
好的，在開始之前，我要先定義幾個概念。我這裡要分別解釋兩個定義：試驗和運行。當我提到處理條件或運行時，我實際上指的是實驗設計資料表中的一行，它代表一組獨特的處理組合或因子設置，我將要運行這組組合。
試驗可以理解為重複實驗。我之所以不稱它為重複實驗，是因為它在數學處理上略有不同。在進行分析時，它只出現在一行中。通常情況下，當我處理重複實驗時，它們會在我的數據表中單獨列出。我不僅需要知道重複實驗的次數（即試驗次數），還需要知道處理組合的數量（即實驗運行次數）。我們需要將這兩者區分開來。
如何設計出能夠滿足我目標的方案？首先，你應該已經很熟悉了。你需要從一個好的設計開始，就像克里斯蒂安的例子一樣。他召集了相關領域的專家，討論了需要考慮多少個因素，哪些因素比較重要，需要包含多少個雙因素交互作用，以及二次效應等等。這始終是第一步，所以和處理連續反應變數時的方法並無二致。
好了，現在情況有點不同了。你想知道，根據你的設計，根據 JMP 在自訂設計器中創建的內容，你是否有足夠的試驗次數來判斷你的治療條件是否能夠與基線區分開來。你想問的是：“我能否判斷我的基線值與目標值在統計上是否存在差異？”
為了實現這一點，我需要計算一個基線。我需要知道在基準狀態下我的故障率或事件發生率是多少，我也想能夠計算或確定什麼是重要的變化。例如，我的基準可能是 75% 的故障率，但對我來說，區分故障率是降至 50% 還是 20% 才有意義，所以你需要預先確定這一點。
一旦你掌握了這兩項信息，並且已經在 JMP 中設計好了實驗，那麼你就擁有了所有必要的工具來調整實驗規模。接下來，你需要使用模擬來提出這樣一個問題：“我能否從當前位置（基線）到達我想要到達的位置（目標）？”
好的，現在我們來談談我的做法。同樣，首先要從實驗設計（DOE）開始，我這裡有一個和Christian創建的類似的實驗設計。在這個例子中，我有10個因子，其中6個是分類因子。它們都以CA開頭。這6個分類因子中有5個是兩水平的，1個是三水平的。我還有4個連續因子。
當我們查看模型時，會考慮所有主效應、一部分雙因素交互作用以及一部分二次效應。這與 Christian 的設計類似。首先，你需要與相關領域的專家討論，確定你的設計目標。在設計評估過程中，可以使用許多相同的工具。設計實驗時，你可以參考顏色圖，例如：“我希望各個效應之間的相關性盡可能小。”
但是，你不能這麼做。這不是正確的功效分析。我們要討論的是…我會向你展示如何設定正確的功效分析，而對於合格/不合格實驗來說，唯一的方法就是進行模擬。
現在我的設計已經設定完畢，假設我對目前的成果很滿意，那麼在產生表格之前，我還要做一件事。我要進入「熱點」選單，啟用「模擬回應」功能。這是你可能之前沒注意到的隱藏工具，它可以幫助你進行模擬。
這個功能已經開啟了。接下來我會產生我的設計表格，你會看到我會看到兩樣東西。首先是一個可以讓我設定效果大小的框框，然後就是我的設計表格。
在開始之前，我會先做幾件事。我向右滾動頁面，向您展示這裡發生了什麼。我要把係數重設為零。然後，我向下捲動到「分佈」部分，點擊「二項分佈」。
我決定先做個模擬。同樣，我會和 Christian 的操作保持一致。假設我們進行 3 次試驗。我點擊「應用」按鈕，你會注意到，點擊「應用」後，它會產生兩列資料。其中一列是公式列，我們稍後會更深入地探討這個公式列，看看我是如何設定它來進行模擬的。另一個是固定列，它直接顯示試驗次數。
順便說一下，如果您因為任何原因（例如）關閉了此視窗或忘記打開它，在生成實驗設計 (DOE) 時，該按鈕始終位於「DOE 模擬」下方。只要您不刪除該表格腳本，即可隨時存取該按鈕。
好了，現在的問題是，我已經設計好了，也設定好了，每列都設定好了，還有我的二元變量，我該如何得到我的估計值？現在，為了簡化說明，我不會深入探討太多數學細節（這些內容我會留到我計劃與這些材料一起附上的文檔中），我創建了一個表格。
我們要做的就是指定我們認為的基準錯誤率和基準事件率，比如說，在這個例子中，我們不把它設為 0.9，而是設為 0.75。我的基準錯誤率是 0.75，假設我想要達成的目標是 0.2。這將給我一個基準值的估計，也會給我一個目標值的估計值。
接下來我要做的就是複製這個基線值，然後貼上過來。我再把這些值重設為0。我要把它貼為截距，所以基線值就是截距。我還要複製目標值。
唐，我可以問你一個很簡單的問題嗎？
當然。
簡單來說，就我了解，你目前的數值是75，如果降到0.2，你會認為這是一個很大的改變。
沒錯。我希望看到的改變就是這麼大。
低於這個金額，你不在乎。但要去——
沒錯，完全正確。
謝謝。
我已經複製了我的目標估計值。接下來我要開始操作了。我先從連續型反應變數開始。我會把它們貼進去。分類型反應變數我暫時先不處理，因為我需要更多控制。不過，在此之前，我想先說明一下我的假設。我假設，當我運行實驗設計（DOE）時，如果有一個基線條件，那麼連續型因子將位於設計的中心，而分類因子則處於一個指定的水平。
我可以把連續因子貼到這裡來取得這些數據，我們這就貼進來。這些是我的四個連續因子，與這些連續因子相關的二次效應，以及與這兩個連續因子相關的雙因子交互作用。我要點擊確認是否選擇了二項式，再次將二項式設為 3，然後點擊「應用」。我只是想確認 Y 軸模擬列的值發生了變化，它確實發生了變化。
現在我想進去修改一下這些分類因子。我想確定哪些水平可以作為這些分類因子的基準水平。我將打開 JMP 生成的公式。請注意，它產生了一個隨機二項變量，因此每次運行該公式都會得到不同的值。
不必糾結於所有細節。重要的是，這裡是我的因素效應。在這個例子中，這些是我的因子，我的分類因子 1 到 6。例如，我需要在分類因子 1 中指定我的基線在哪裡？我希望確保我的基準值為 0。假設我的基準位於…
接下來，我要做的就是貼我的效應量。假設向上是基線，我們就把它貼到向下。在這個例子中，CA3 有三個水平，所以我將 1 保留為基線，另外兩個水平將用於計算效應量，例如小和大，以此類推。我對所有分類因子都這樣做，選擇基線水平，以及任何涉及分類效應的雙因子交互作用。
同樣，這裡有三個級別，所以我選擇其中兩個級別，並將第三個級別作為基準。在離開之前，我要點擊“應用”按鈕，以確保函數（公式）被計算出來。現在一切就緒。我已經設定好設計應用程序，可以運行仿真了。我的想法是，先運行一次分析，然後使用 JMP Pro 的一鍵模擬工具進行模擬。
在“分析”選單下，選擇“擬合模型”。在去年的探索性演講中（Christian 也多次提到），我更詳細地講解瞭如何設定分析以及有哪些選項。我會在即將提供的文件中更詳細地講解，但現在先跳過這部分。我先來設定我的設計。在這種情況下，你需要刪除 JMP 預設設定的內容。你需要輸入兩列資料：模擬值和試驗次數。
我將選擇廣義迴歸，並使用二項分佈。我喜歡保持對話框打開，以便稍後返回。然後我將點擊運行。此時，我需要做出一些決定，預設情況下，JMP 會輸入我所有的效應。我們來做一些模型簡化。同樣，為了與 Christian 的做法保持一致，我們選擇 Lasso。有時，如果強制啟用遺傳效應，Lasso 可能會提前終止，所以我將關閉該選項，然後點擊運行。
你會發現，這只運行了一次迭代。如果我想運行一千次或一萬次，統計每種效應顯著的次數，並確定它正確識別出顯著效應的頻率，該怎麼辦？使用 JMP Pro，你可以透過將滑鼠懸停在機率列（即 P 值列）上來實現這一點。右鍵單擊，在底部附近，你會看到“模擬”選項。
你會看到公式列被高亮顯示。我不會運行 2500 次，因為那會花幾分鐘時間，所以我們把它減少到 250 次。我選擇了要運行的次數，2500 次或 10000 次，取決於你的時間安排，然後點擊「確定」。現在，JMP 會重新運行該公式，並重新進行分析，這次會關閉 Lasso 效應遺傳，並使用我選擇的所有設定。
現在，最棒的是，所有這些數據都匯總在一個數據表中。功效分析包含在嵌入到該表中的腳本中，我的功效分析結果如下。它進行的功效分析會說：“如果我選擇 α 值分別為 0.01、0.05 和 0.1，我的模擬功效會是多少？”
如果我們看一下 alpha 值為 0.05 的情況，會發現我的模擬功率在 33% 到 45% 之間，略偏低。如果我想把這些數據匯總到一個表格裡，也很容易。我右鍵單擊，選擇“建立合併資料表”，這樣就能把所有功率設定以及所有不同效果的模擬功率值匯總到一個表格裡。
我創建了一個小工作流程。如果您目前使用的不是 JMP 16 或 17 版本，您可以建立工作流程。我創建了這個工作流程，也會提供給您。我用它來清理表格，這樣我們只需要查看 Alpha 0.05 版本。您會注意到，我的冪函數看起來……總的來說，有一些冪函數處於中等水平，大約在 0.5 左右，但沒有特別出色的。沒有 0.8 或更高的。
再次強調，這是基於 2500 次運行的結果。實際上，我用幾種不同的條件重複了實驗，以便向你們展示我接下來要討論的內容，那就是哪些因素會影響我所能獲得的靈敏度。顯然，靈敏度越高越好。靈敏度是指我辨別真實效應的能力。
讓我先關掉這個視窗。讓我稍微清理一下桌面，然後去看看我的…我已經收集了結果。我寫了，這次我做了大約2500次模擬運行，這樣你就能有個概念了。這是我們的基線。這是我們觀察的內容。這是一次模擬運行的結果。如果我再做一次，結果會略有不同。我的實驗設計中有24次運行，3個試驗，就像Christian做的一樣，所有效果都顯著。我假設所有結果都顯著，我在這裡的比較是…我的基準是0.75，目標值是0.2。
你會注意到，截距項（通常你不太在乎它）是顯著的。我有一個效應值在 A 點附近，但其他所有效應值都較低。如果我把試驗次數從 3 次增加到 5 次呢？這會對我的結果產生什麼影響？你會注意到，從 3 次試驗增加到 5 次試驗確實提高了結果的顯著性。
如果我從一個完整的模型（假設所有效應都顯著）簡化為子集呢？是的，我會把所有這些因素納入我的設計中。我希望能夠估計這些效應，但假設只估計一個子集，在這個例子中，我選擇了兩個連續因子和一個分類因子，結果又有所改善。
這些都是你可以透過運行這些模擬來嘗試的假設情境。我們再試一次。假設我的初始設計，不是運行24次，而是運行36次，結果會更好。如果我想觀察差異呢？假設我的基準值不是0.75，而是0.90。順便說一下，這些星號是我在模型中指定的顯著效應。
再次強調，這些都是假設情景，你可以使用 JMP 進行模擬，從而判斷：「好的，看起來不錯。這樣的運行次數和試驗次數足夠了。」或者，也許我需要增加一些運行次數，或者需要增加試驗次數等等，因為我的統計功效太低，又或者，我目前的運行次數已經足夠了。
我們來回顧一下。哪些因素會影響統計功效？顯然，實驗次數越多，統計功效就越高。試驗次數越多，統計功效越高。基線值與實驗起始點之間的差異也會影響統計功效。顯然，基線值與實驗起始點之間的差異越大，就越容易區分；基線值越接近實驗的兩端，也越容易區分。隨著顯著效應的減少，統計功效也會提高。好的，以上就是影響統計功效的因素。
讓我再總結一下。你們已經有了領域專家，已經在考慮設計方案了。要讓這些設計方案規模合適，關鍵在於先設計出一個好的方案。從好的方案開始，確定你們想要專注的內容，盡量減少諸如效應之間的相關性之類的因素，因為這有助於提高統計功效。
第二步是確定你的基準值。確定基準值，確定你的目標值，以及對你而言實際意義顯著的變化幅度。輸入這些值，模擬你的反應，確保將分佈設為二項分佈，並設定公式以指定重要效應的大小，然後執行 JMP，執行一鍵模擬以估計效力。
如果結果不如預期，或效果不佳，可以調整運行次數、試驗次數、以及你認為可能產生顯著影響的因素等等。多做假設。妙處在於，你總是聽到「天下沒有白吃的午餐」。但實際上，這完全是免費的。這些實驗運行耗時極少，花費也少得多，而且完全免費，因為JMP已經包含了所有必要的工具。
好了，這就是我想說的。我要感謝 Christian 實際運行了其中一個設計。看到一個成功又失敗的實驗在實際應用上總是令人欣慰的。感謝大家的觀看，希望你們有所收穫。如果你們有任何問題，請在 Discovery Talk 的相應版塊或 JMP 社群發佈。我們很樂意與你們進一步交流並解答你們的問題。非常感謝。
謝謝你，唐。
