篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？為了顯示化學過程的穩健性，我們經常需要向監管機構表明所選參數（溫度、當量、時間和試劑比例）不會影響最終產品的質量（純度）。為了證明這一點，監管機構更願意進行篩選設計。通常，我們希望證明參數在研究範圍內不會產生有害影響，以便該過程是穩健的。
我的問題是，如果實驗者以最精確的方式進行操作，並且數據顯示沒有任何因素（或交互項）影響質量，那麼就可以了。如果實驗者收集的數據不好，而模型顯示所有因素都不產生影響，那麼如何判斷我們是否可以信任這些數據和模型呢？無論如何，特別是如果我們沒有重複運行來觀察變化的話？
我發現確定性篩選設計不一定包括重複實驗，那麼如何知道響應是否存在顯著差異？
實驗設計回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？我相信我已經回答了你的問題。 它可能並不迷人，但我相信通過科學家/工程師的眼睛進行解釋是一種理性且合乎邏輯的方法。 如果您可以通過實際分析評估結果是否合理或“全部結束”（通過在獲得結果之前預測結果可以大大增強結果），那麼您應該有線索表明某些事情沒有正確完成。 我想你可以開發一個模型並查看殘差、RMSE、R-square-Rsquare-Adj delta、p 值等。等人。以確定模型描述過程的糟糕程度。
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？我同意我的說法“保持所有噪聲因素恆定”在真正意義上是不正確的。但在這種情況下，我對“噪音”的定義有所不同。讓我舉個例子。
假設我的反應對水不是超級敏感。我們不必測量反應介質的水含量。然而，如果有大量的水（大約 20% 的水），就會影響質量。再次重要到足以扭曲反應。如果化學家在適當乾燥的實驗室規模反應器中進行化學反應（常見做法），那麼這應該不成問題。但是，假設化學家在乾燥實驗室規模反應器方面做得很差勁，他採用了一個非常潮濕的反應器並在設計表中進行了一個（或多個）實驗，那麼結果就不可靠。在良好的實驗室實踐中，這種情況不應該發生，但我說的是非理想條件。這不是我們要研究的因素，但如果化學家不正確遵循說明，它可能會產生重大影響。當我說“噪音”時，我指的是這樣的情況。現在，如果設計表中的實驗是使用一些適當乾燥的反應器、一些部分乾燥的反應器和一些根本不干燥的反應器進行的；雖然指示是在適當乾燥的反應器中進行所有實驗，但結果可能全部結束。
在這種情況下，是否可以通過分析發現數據不可靠？
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？非常感謝您的投入，完全理解操作員將事情交到他們手中以及一個參數相對於其他參數的“固有偏見”。我可以聯繫到這一點，並且該建議得到了很好的採納。
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？我會分享我的想法，儘管你可能不同意它們。 重複設計只是在實驗中加入噪聲的一種方法。 不可複制的設計可能非常有用。 我使用因子關係圖以圖形方式顯示實驗中設計因子和噪聲因子之間的關係。 通過這種方式，您可以了解哪些因素構成了比較的基礎，並且可以使用科學/工程判斷來確定該噪聲是否代表未來的情況，並且它可能會激發有關此類噪聲潛在影響的想法和假設的發展。 劃分噪聲對於提高設計精度非常有用，同時不會對推理空間產生負面影響。
你的聲明“現在研究的目標是在實驗室中進行實驗（盡可能模仿大規模操作的小規模實驗），系統地改變因素 A、B 和 C，同時保持所有其他噪聲因素不變.”對我來說沒有任何意義。 首先，目標應該是恕我直言，了解因果結構影響化學純度！ 其次，噪音，根據定義，是您不願意/無法控制的一組因素。 收集數據的方式是使用實驗（而不是不進行任何操作的定向採樣，並且依賴於通過採樣和合理分組數據的方式來劃分源）。 在整個實驗中保持噪聲恆定是一個糟糕的主意，除非你打算永遠保持它恆定（並支付控制噪聲的額外費用），這當然使這些因素是可控的，而不是噪聲。
您可能知道，費舍爾發現這是一個壞主意，因為由此產生的推理空間非常狹窄，以至於在面對噪聲變化並可能影響結果的現實時毫無用處（請參閱費舍爾關於其農業實驗的論文）。 他引入了分塊技術來處理噪聲，使噪聲在塊內保持恆定，並有目的地在塊之間變化，這樣您就可以同時擴展推理空間並提高設計的精度。 還允許估計逐個因子的相互作用，這是魯棒性的一種度量。
“阻止你能阻止的，隨機化你不能阻止的”GEP 盒子
休哈特在休哈特循環中建議“進行研究，最好是小規模”，我相信其目的是想在小規模研究中模擬現實世界的條件。 我認為這樣做的方法是誇大噪聲的影響，以便在很短的時間內捕獲噪聲的長期變化（實驗）。
話雖這麼說，為了回答你的問題，我使用偽貝葉斯哲學。 我讓科學家/工程師預測每種實驗處理的數據（當然，這是先驗的，並且受到工程師假設的偏差），預測所有可能的結果（以減輕偏差）並預測您將為所有可能的結果採取什麼行動。 這為實驗分析提供了背景，並提供了評估數據的實用方法。 例如，如果您從治療中得到的結果與預期大不相同，是否可以解釋該數據（假設或修改後的假設），如果沒有，也許可以質疑該治療的執行情況或質疑還發生了什麼在該處理的運行過程中（如果您預測數據不匹配的原因，這會增加您發現隨機效應的機會）。
摘自路易斯·巴斯德的名言“機會青睞有準備的頭腦”。
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？這是給您的第二個想法，它無助於檢測“不良數據”的根本原因……但可以預防它……來自個人經驗。 在為我雇主的眾多項目（主要是新工藝/產品開發領域）提供能源部諮詢幾年後，我突然意識到，實際執行實驗的人們往往會“把事情掌握在自己手中”，這與我們的喜好不符。在實驗執行中並沒有遵循我們想要做的法律條文。
例如，試驗的隨機化經常被擱置，因為操作員發現以隨機方式重置因素很痛苦，並將“改變因素的痛苦”組合在一起，以使實驗不那麼痛苦。 哎喲...隨機化...而且我們沒有指定裂區設計。 因此，我們就向潛在的“不良數據”開放。
因此，我開始堅持在實驗進行時在場並觀察並儘力為操作員提供幫助。 我發現這有幾個好處......其中一個是我經常看到一些可能以我們不希望發生的方式影響我們結果的事情......就像上面的場景。 我堅持按照我們指定的隨機順序執行實驗……而不是把事情掌握在自己手中。 在團隊合作方面……它還幫助我在操作員中建立了街頭信譽，因為我，這位穿著白襯衫的統計學家，願意進入實驗室或車間，親力親為，有時甚至晚上工作或工作與所有其他工作僵化的人一起在墓地轉移……而不是整天坐在我的象牙辦公室裡向無產階級發佈公告。
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？我能想到的唯一技術是，您可能能夠用於您描述的場景，即檢查經驗結果是否符合預期（如果實驗試驗按規定進行）。 顯然，預期的反應和觀察到的反應之間肯定存在差異，差異大到足以引起懷疑……但這是我給你的唯一想法。
一種可能有用的信息技術可能是使用 JMP 預測刻畫器，其中包含您認為的模型...然後對於“新”實驗的給定組合，詢問“實際響應與預測響應相差多遠？”... .使用預測區間作為信息標準。
你描述的場景實際上發生在我身上，曾經有一次與能源部懷疑論者團隊一起進行項目……我是團隊中的統計學家，團隊中的許多人認為能源部類似於黑魔法。 我們根據我們選擇的最佳 x 進行了確認試驗。 我們幾乎所有的回答的結果都相差甚遠。 因此，團隊進入了我們最好的福爾摩斯模式，試圖找出“出了什麼問題？” 事實證明，操作員故意選擇了關鍵的 x 因素之一，即“我們一直使用的……而不是紙上寫的這個荒謬的水平”。 我們為沒有讓操作員了解情況而感到羞恥……我們希望通過“荒謬的水平”來確認我們的過程知識。 因此，一旦我們發現操作員實際選擇的內容，我就推出了JMP 預測刻畫器，並為x 因子輸入了不適當的級別...瞧，刻畫器以驚人的準確度預測了我們觀察到的糟糕結果。 在那次會議結束時，甚至連能源部的懷疑論者也被說服了。
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？謝謝 statman，請參閱我對 P_Bartell 的回复。
請參閱我提供的其他詳細信息。
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？感謝你的回复。讓我澄清一些事情。
假設因素 A、B、C 有可能影響化學反應中產品的純度，但前提是在極端條件下進行測試。還有許多其他因素（讓我們稱之為 X）對純度的影響非常小。這些其他因素未包括在研究中，因為它們對純度的影響可以忽略不計，或者在工藝進入工廠時可以在設定點很好地精確控制它們。
現在研究的目標是在實驗室中進行實驗（盡可能模仿大規模操作的小規模實驗），系統地改變因素 A、B 和 C，同時保持所有其他噪聲因素不變。
在假設的情況下，運行這些反應的化學家沒有仔細地進行實驗，這意味著沒有將 A、B 和 C 因子維持在研究所需的點，也沒有將噪聲因子控制在指定值，那麼可能是噪聲因素的組合模糊了因因素A、B 和C 的系統變化而產生的實際信號。在這種情況下，結果可能表明因素不會影響測試範圍內的純度。
有沒有辦法說結果不可靠，因為實驗沒有按預期進行？特別是如果矩陣中沒有重複實驗？
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？首先，歡迎來到社區。 我們將盡力為您提供一些想法，並隨時回复您提供有關您情況的更多信息。
皮特提出了一些精彩的觀點。 以下是我的補充想法：
1. 穩健性對我來說意味著模型在變化的噪聲下具有一致的性能（定量地不存在噪聲與模型之間的相互作用）。 噪聲可能是環境條件、輸入化學品的純度、槽的清潔度、測量系統誤差、未特別控制的 X 變化、控制水平內 X 的變化等，或者按照我對噪聲的定義：您不願意管理/控制的因素）。
2. 您能否收集響應變量的數據，同時記錄 X 的值。 使用此數據執行線性回歸。 您希望響應變量的變化相對較小並且與 X 沒有關係。 這是因為 X 的可能性也變化不大（這就是為什麼幾乎沒有證據表明因果關係，即使實際上可能存在）。
3.他們真正要求的（我想）並不是你做篩選設計，因為這樣做的目的是大膽改變X並發現潛在的因果關係，而是更像公差設計。 也許這是語義上的問題，但他們想知道 X 的正常隨機變化是否會影響響應變量。 因此，選擇代表 x 自然變化極端值的水平並運行某種因子設計。 我確實認為你應該採用一些策略來處理其他噪聲源（阻塞、重複、裂區等）
4.我不知道你說的是什麼意思如果實驗者收集了數據那就不好了”。 這是否意味著測量系統值得懷疑？ 在這種情況下，您應該研究測量系統，如果進行實驗，請採取重複測量來估計測量組件，並可能對其變化進行平均，以提高設計的精度。
回复：篩選設計 - 在不進行重複的情況下，我們如何知道效果是否不顯著，或者整個數據是否不好（顯著變化）？我會嘗試一些想法。
第一：如果響應的變化淹沒了我心中可能被因子變化隱藏的任何信號，則有以下三個原因之一：
1. 測量系統變化過大。 在這種情況下，響應變化的主要原因主要是測量系統變化。 您是否有針對測量系統的持續過程控制系統？ 您知道測量系統固有的“正常”變化嗎？ 如果不是，您將永遠不知道因因素變化而得出的“沒有影響”的結論是真實的，還是只是由於測量系統變化過多而產生的錯覺。
2. 噪聲/滋擾變量以增加響應變化的方式影響實驗過程。 在實驗過程中對這些類型的影響保持警惕非常重要。 這是一個棘手的問題，因為你永遠無法確定……但是在實驗進行和計劃期間，也許由獨立第三方進行的密切關注可能會有所幫助。
3. 確實沒什麼事發生……
總的來說，你的問題是假設檢驗的核心，我們永遠不能“接受”“這些因素沒有發生任何事情”的零假設……只能拒絕它。 在您所描述的情況下，您真正能說的是我們未能拒絕每個可估計效應都等於零的原假設。
