篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或整個數據是否不好（顯著變化）？為了展示化學過程的穩健性，我們經常需要向監管機構展示所選參數（溫度、當量、時間和試劑比率）不會影響最終產品的質量（純度）。為了證明這一點，監管機構更喜歡進行篩選設計。通常，我們希望證明參數在研究的範圍內不會產生不利影響，因此該過程是穩健的。
我的問題是，如果實驗者以最高的精度執行，並且數據顯示沒有任何因素（或交互項）影響質量，那麼那很好。如果實驗者收集的數據不好，模型顯示沒有任何因素有影響，那麼如何判斷我們是否可以信任數據和模型？無論如何，特別是如果我們沒有重複運行來查看變化？
我看到最終篩選設計不一定包括重複實驗，那麼如何知道響應中是否存在顯著差異？
美國能源部回复：篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或整個數據是否不好（顯著變化）？我會談談一些想法。
第一：如果響應的變化淹沒了我腦海中可能隱藏在因子變化中的任何信號，則有以下三個原因之一：
1. 測量系統偏差過大。 在這種情況下，響應變化的主要原因主要是測量系統變化。 您是否為測量系統制定了持續的過程控制系統？ 您知道測量系統固有的“正常”變化嗎？ 否則，您將永遠不會知道您因因子變異而得出的“無影響”結論是真實的，還是僅僅是測量系統變異過大造成的幻覺。
2. 以增加響應變化的方式影響實驗過程的噪聲/干擾變量。 在實驗過程中對這些類型的影響保持警惕是很重要的。 這是一個棘手的問題，因為您永遠無法確定……但是，在實驗進行和計劃期間，可能由獨立第三方提供的密切關注可能會有所幫助。
3. 真的什麼都沒發生……
總的來說，你的問題是假設檢驗的核心，我們永遠不能“接受”一個零假設，即“這些因素沒有發生任何事情”……只是不能拒絕它。 在您所描述的情況下，您真正能說的是我們無法拒絕每個可估計效應都為零的原假設。
回复：篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或整個數據是否不好（顯著變化）？首先，歡迎來到社區。 我們會盡力為您提供一些想法，並隨時回復有關您情況的更多信息。
皮特提出了一些很好的觀點。 以下是我的補充想法：
1. 魯棒性對我來說意味著模型在不斷變化的噪聲下的一致性能（從數量上講，沒有模型間的噪聲相互作用）。 噪聲可能是環境條件、輸入化學品的純度、桶的清潔度、測量系統誤差、未特別控制的 X 的變化、控制水平內的 X 的變化等，或者按照我對噪聲的定義：您不願意管理/控制的因素）。
2. 您能否在記錄 X 值的同時收集響應變量的數據？ 使用此數據執行線性回歸。 您可能希望響應變量的變化相對較小，並且與 X 沒有關係。 這是因為 X 也可能變化不大（這就是為什麼即使實際上可能存在因果關係，也幾乎沒有證據表明存在因果關係）。
3. 他們真正要問的（我想）不是你做篩選設計，因為這樣做的目的是大膽地改變 X 並發現潛在的因果關係，而是更像是容差設計。 也許是語義，但他們想知道的是 X 的正常隨機變化是否會影響響應變量。 因此，選擇代表 x 的自然變異的極端值的水平，並運行某種因子設計。 我確實認為您應該採用一些策略來處理其他噪聲源（阻塞、重複、分裂圖等）。
4. 我不知道你說的“是什麼意思”如果實驗者收集的數據不好”。 這是否意味著測量系統是可疑的？ 在這種情況下，您應該研究測量系統，如果進行實驗，請採取重複測量來估計測量分量，並可能對其變化進行平均以提高設計的精度。
回复：篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或整個數據是否不好（顯著變化）？感謝你的回复。讓我澄清一些事情。
假設因素 A、B、C 有可能影響化學反應中產品的純度，但僅限於在極端情況下進行測試時。還有許多其他因素（讓我們稱它們為 X）對純度的影響很小。這些其他因素沒有包括在研究中，因為它們對純度的影響可以忽略不計，或者在工藝進入工廠時可以在設定點精確控制它們的高可信度。
現在這項研究的目標是在實驗室中進行實驗（在小規模上盡可能模仿大規模操作），系統地改變因子 A、B 和 C，同時保持所有其他噪聲因子不變。
在一個假設的情況下，運行這些反應的化學家沒有仔細地進行實驗，這意味著沒有將 A、B 和 C 因子保持在他們需要研究的點上，並且沒有將噪聲因子控制在指定值，然後有可能是噪聲因素的組合模糊了由因素 A、B 和 C 的系統變化產生的實際信號的情況。在這種情況下，結果可能表明這些因素不會影響測試範圍內的純度。
有沒有辦法說結果不可靠，因為實驗沒有按預期進行？特別是如果矩陣中沒有重複實驗？
回复：篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或整個數據是否不好（顯著變化）？謝謝statman，請看我對P_Bartell的回复。
請參閱我提供的其他詳細信息。
回复：篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或整個數據是否不好（顯著變化）？我能想到的唯一技術是您可能能夠用於您描述的場景，如果實驗試驗按規定運行，則檢查經驗結果是否符合預期。 顯然，預期的響應和觀察到的響應之間必須存在差異，差異大到足以引起懷疑……但這是我對您的唯一想法。
一種潛在有用的信息技術可能是使用包含您相信的模型的 JMP 預測刻畫器……然後對於“新”實驗的給定組合，詢問“實際響應與預測響應相距多遠？”.. .使用預測區間作為信息標準。
你描述的場景實際上發生在我身上，有一次在一個項目中，我和一群對 DOE 持懷疑態度的人在一起......我是團隊中的統計學家，團隊中的許多人都覺得 DOE 類似於黑魔法。 我們根據我們選擇的最佳 x 進行了確認試驗。 對於我們幾乎所有的反應，結果甚至都不接近。 所以團隊進入了我們最好的福爾摩斯模式，試圖找出“出了什麼問題？” 事實證明，操作員有意選擇了一個關鍵的 x 因素，作為“我們一直使用的……而不是寫在工作表上的這個荒謬的水平”。 為我們沒有讓操作員參與進來而感到羞恥……我們希望那個“荒謬的水平”來確認我們的過程知識。 因此，一旦我們發現了操作員實際選擇的內容，我就開始使用 JMP 預測刻畫器並為 x 因子輸入不合適的級別……瞧，刻畫器以驚人的準確度預測了我們觀察到的糟糕結果。 在那次會議結束時，甚至連能源部的懷疑者都被說服了。
回复：篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或整個數據是否不好（顯著變化）？這是給您的第二個想法，它無助於檢測“不良數據”的根本原因……但防止它……基於個人經驗。 在我的雇主為許多項目（主要是在一個新的過程/產品開發領域）進行了幾年的 DOE 諮詢後，我突然意識到，我們喜歡實際執行實驗的人會“把事情掌握在自己手中”在實驗性執行中，而不是按照法律的規定去做我們想做的事情。
例如，試驗的隨機化經常被擱置一旁，因為操作者發現以隨機方式重置因子是一種痛苦，並且會將“痛苦到改變因子”的運行組合在一起，以使實驗減少痛苦。 哎喲......隨機化......我們沒有指定裂區設計。 所以就在那裡，我們向潛在的“壞數據”敞開心扉。
所以我開始堅持的是，當實驗運行時在場，觀察並嘗試幫助操作員。 我發現這有幾個好處……一個是我經常看到一些可能以我們不想發生的方式影響我們結果的事情……就像上面的場景一樣。 我堅持按照我們指定的隨機順序執行實驗……而不是自己動手。 在團隊合作方面......這也幫助我建立了與操作員的街頭信譽，因為我，白襯衫統計學家，願意進入實驗室或在車間外面，弄髒他的手，有時工作到晚上或墓地和所有其他工作人員一起向右移動……而不是整天坐在我的象牙辦公室裡向無產階級發佈公告。
回复：篩選設計 - 如果不進行重複，我們如何知道效果是否不顯著或者整個數據是否不好（顯著變化）？我會分享我的想法，儘管你可能不同意。 複製設計只是在實驗中包含噪聲的一種方式。 未復制的設計可能非常有用。 我使用因子關係圖以圖形方式顯示實驗中設計因子和噪聲因子之間的關係。 通過這種方式，您可以了解哪些因素構成了比較的基礎，並且您可以使用科學/工程判斷來確定該噪音是否代表未來條件，並且它可能會激發關於此類噪音潛在影響的想法和假設發展。 劃分噪聲對於提高設計精度非常有用，同時不會對推理空間產生負面影響。
你的聲明“現在這項研究的目標是在實驗室中進行實驗（在小規模上盡可能模仿大規模操作），系統地改變因素 A、B 和 C，同時保持所有其他噪聲因素不變." 對我來說沒有任何意義。 首先，目標應該是恕我直言，了解影響化學純度的因果結構！ 其次，噪音，顧名思義是一組你不願意/不能控制的因素。 您收集數據的方式是使用實驗（而不是直接採樣，其中不進行任何操作，並且您依賴於通過採樣和合理分組數據的方式對源進行分區）。 在整個實驗中保持噪聲不變是一個糟糕的主意，除非您打算永遠保持它不變（並支付控制噪聲的額外費用），這當然使這些因素可控，而不是噪聲。
您可能知道，Fisher 發現這是一個壞主意，因為由此產生的推理空間非常狹窄，以至於在面對噪聲變化並可能影響結果的現實時毫無用處（參見 Fishers 關於他的農業實驗的論文）。 他介紹了塊技術來處理噪聲，因此噪聲在塊內保持不變，並有目的地在塊之間變化，這樣您就可以同時擴展推理空間並提高設計精度。 還允許估計逐個因素的相互作用，這是一種魯棒性的度量。
“阻止你能做的，隨機化你不能做的”GEP 盒子
Shewhart 在 Shewhart Cycle 中建議“進行研究，最好在小範圍內進行”，我相信您想要在小規模研究中模擬真實世界的條件。 我認為你這樣做的方式是誇大噪聲的影響，以便在很短的時間內（實驗）捕捉噪聲的長期變化。
話雖如此，為了回答您的問題，我使用了偽貝葉斯哲學。 我讓科學家/工程師預測實驗的每種處理的數據（當然是先驗的，並且受到工程師假設的偏見），預測所有可能的結果（以減輕偏見）並預測您將為所有可能的結果採取什麼行動. 這為實驗分析提供了背景，並提供了一種評估數據的實用方法。 例如，如果您從治療中得到的結果與預期的完全不同，是否可以解釋該數據（假設或修改的假設），如果不是，則可能質疑該治療的執行或詢問其他情況在運行該治療期間（如果您預測數據不匹配的原因，這會增加您發現隨機效應的機會）。
引用路易斯巴斯德的名言“機會偏愛有準備的頭腦”。
