從錯誤中學習－第 3 部分：提出完整的問題
What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?計劃測試時我還應該考慮什麼？
對於我的第三部分「從錯誤中學習」部落格系列，我想總結一下我對計劃測試的準備工作的想法。 我們已經討論過 t 檢定的整體預期。 所以，我們現在知道我們需要建立一個置信水平，建立一個與當前條件相比的改進目標，並建立一個改進方向（大於或小於當前條件）。 現在讓我們討論一些其他測試注意事項，然後總結提出完整的問題。
測試計劃之前的其他考慮因素
回憶起原來的場景工程師決定從每個群體中抽取三個樣本，以確定新處理和對照組之間群體平均值是否有變化。 他為什麼選擇三個樣本？ 為什麼不是五個？ 還是10個？ 還是2？ 也許是因為「我們一直都是這樣做的」。也許還有其他尚未描述的考慮因素。
從純粹的統計/數學角度來看，選擇樣本量時總是越多越好。 畢竟，如果我們可以從總體中對所有部分進行取樣，那麼我們就不必對總體的平均值或變異數做出任何假設。 我們會知道的！
不幸的是，我們日常工作中有許多實際考慮因素會影響樣本量的選擇。 更不幸的是，我自己也因為沒有考慮執行給定測試的所有限制和影響而感到內疚。 在開始測試之前考慮這些因素會比匆忙浪費時間要明智得多。
下面我提供了一些可能會影響您如何規劃測試的事項：
- 這次測試的預算是多少？
- 我們什麼時候需要答案？
- 如果需要在本週末之前得到答案，但測試至少需要一個月才能完成，那麼我們需要重新考慮我們試圖回答的問題以及我們用來回答它的方法。
- 我們有能力建造多少測試樣本？
- 這可能涉及零件本身的成本，以及製造它們的時間和日程安排。 我們是否要關閉生產線來製造這些零件？
- 「批量」對我們來說重要嗎（假設零件是大量生產的）？
- 如果是這樣，請考慮跨多個批次進行抽樣。 當然，這會影響生產初始測試部件的時間以及獲得最終結果的時間。
- 我們可以實際測試多少樣本？
- 測試樣本的實驗室是否忙於其他事情？ 將樣品送到外部實驗室需要花錢嗎？
- 我們真的計劃以正確的方式測試正確的參數嗎？ 在我們的場景中，我們希望增加零件的「強度」。 測量強度的方法有很多（例如拉力測試、重複循環、衝擊測試）。 或者也許我們確實需要測量彈性模量、硬度或其他一些參數。 不要急於開始測量！
- 我們是否可以使用現有的測試設備來測量我們想要檢測的「重要差異」？
- 測量系統分析有助於了解您的儀表變化。 我將在下一篇文章中詳細介紹這一點，包括如果您的儀表不夠好該怎麼辦。
- 您知道控制部件中正常的部件間強度變化嗎？ 您期望新零件具有相同的變化嗎？ 預期變化是否呈常態分佈？
- 當我們計劃測試和分析結果時，這些問題發揮著重要作用。
- 除了提高零件的平均強度之外，保持現有的零件間差異對產品是否重要？ 變化是否也需要改進？ 反過來說，可以擴充嗎？
- 如果我們提高零件的平均強度，但增加零件的分佈（變化），我們實際上會產生更多的廢品嗎？
- 通常我們擔心流程失控和/或製造不良零件。 但是，如果我們有一個可控的流程來生產始終如一的優質零件，那麼我們要花多少錢來維持這種控制？我們能否容忍新處理部件的較大變化並在製程控制方面節省一些資金？
所有這些考慮因素都包含在為我們的假設選擇樣本大小時t檢驗。 （我相信您還可以想到在計劃測試之前需要討論的更多注意事項。）
所以，我將這個錯誤稱為：沒有充分考慮可能影響測試計劃的所有因素。
我們想要回答的完整問題是什麼？
您可以透過留出時間「提出完整的問題」來減少上述所有討論和錯誤。 （在這裡，我需要大聲疾呼比爾·卡佩爾，我的導師和朋友，他多年前就教我這個方法。）
「提出完整的問題」意味著完成上面的所有討論（以及第1 部分和第2 部分）並確保所有內容都已考慮在內，因此我們正在測量正確的數量，定義測試的限制，定義差異的重要程度對我們等
在我們的場景中，假設我們已經與所有感興趣的各方和利益相關者進行了交談，並且我們將問題重寫如下：
「在 95% 的置信度下，我們是否可以說，與當前工藝相比，處理 A 將零件的平均強度提高了 1 個單位以上，而不增加工藝的變化？”
接下來，我們將列出所有限制。 其中一些可能是：
- 我們有能力建構和測試總共 40 個部件（處理 A + 對照組的所有部件總數 <= 40）
- 我們可以忽略Batch的影響
- 我們需要在一個月內得到答案（剛好足夠完成這個部落格系列！）
確認我們已提出完整的問題
在我的職業生涯中，我見過工程師在實驗室花費大量時間和資源試圖弄清楚某些問題的真相，卻發現沒有人關心結果。 問題不在於最初的思考和測試計畫。 問題不在於測試執行。 問題在於工程師沒有提前檢查以確保正確/完整的問題得到了答案。
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?老闆同意你的計畫嗎？
因此，一旦我們完成了所有這些前瞻性思考和測試計劃，最好做最後一件事：詢問您的經理他/她是否同意這是需要回答的問題。 事實上，如果測試需要很長時間才能運行，那麼定期與管理層檢查以確保條件沒有改變是個好主意。 沒有人願意浪費時間進行無用的測試！
接下來
我計劃在討論過程中討論以下所有主題。 希望你能和我一起整個系列！
What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?計劃測試時我還應該考慮什麼？
您收到了老闆的分配任務，並且迫不及待地想要開始測試。 準備，開火，瞄準！ 您在仔細規劃測試之前就開始收集資料。 你曾經這樣做過嗎？ 您確定您已經考慮了測試的所有影響和限制嗎？ 您是否與各方核實過，以確保您的計劃是正確且有用的？ 如果沒有，請繼續閱讀以了解“提出完整的問題”。
回覆：從錯誤中學習－第 3 部分：提出完整的問題這是提出正確問題的一個非常好的方法。
1993年，我和Doug Montgomery同時設計了一本「能源部大師指南」。 他首先發表了論文（Technometrics，1993）。 從那時起我就一直在使用該指南。 它詢問與您相同的問題。
我的網站上有一份（ http://cawseandeffect.com/doe-master-guide/ ） 隨意看看。
回覆：從我的錯誤中學習－第 3 部分：提出完整的問題一點也不挑剔， @calking ！很高興收到評論。
是的，樣本大小確實需要權衡，並且您提出了一些很好的觀點。你並沒有搶我的風頭……只是激發了人們對選擇適當樣本的興趣。感謝您的想法與投入！
回覆：從錯誤中學習－第 3 部分：提出完整的問題嘿傑瑞，
喜歡你的系列！ 作為一個擁有行業經驗的人，我很高興看到有人涵蓋與我研究的相同主題（並克服一些相同的錯誤）。 迫不及待想看看接下來會發生什麼！
我確實有一個簡短的評論，希望它不是太挑剔:-/。 您提到從統計/數學角度來看，樣本越多越好。 在某種程度上，我當然同意。 這就是我開始考慮收益遞減的地方。 額外的樣本為回答我的問題提供了多少更多資訊？ 是否值得花費額外的時間和/或金錢來獲得額外的數據？
也許一個極端的例子可能有助於說明我的觀點。 假設我讓您在整個感興趣的人群和該人群的子集之間進行選擇。 如果我就這樣，你可能會毫不猶豫地選擇整個人口。 但是，如果我告訴你（用我最好的勞倫斯·菲什伯恩的聲音和很酷的太陽眼鏡）這個子集由人口中除一名成員之外的所有人組成，該怎麼辦？ 這時候，選擇恐怕會更加困難。 您可能會開始問「那麼，兩者之間到底有什麼不同？ 我真的需要一名額外的成員來回答我的完整問題嗎？” （您將使用上述部落格文章中的指導問題來確定：） ）。 也許你會，也許你不會。 但關鍵是，選擇不再那麼明確了。這讓我想起一個著名的悖論大約當你把沙粒一粒粒地移走時，一堆沙子就不再是一堆了。 如果你以相反的方式思考，添加更多的沙子（數據）會為我提供有價值的信息，還是只會給我一個比我已經擁有的沙堆稍大的堆？
現在，顯然，大多數人的情況都屬於擁有更多數據顯然意味著擁有更多資訊的範疇。 通常，在進入大樣本情況之前，您不需要擔心這一點。 但我認為，如果您曾經使用統計功效計算來幫助確定樣本大小，那麼您就隱含地使用了這種收益遞減的論點。 畢竟，功效計算只是告訴您實現統計目標所需的最小樣本量（假設使用得當），這意味著額外的數據只是錦上添花。
（希望我沒有從你即將發布的帖子中竊取任何風頭:-/。 或太挑剔了:-/。)
