每個 DOE 的努力你好，
我進行過幾次實驗設計 (DOE)，但反覆出現的挑戰是需要進行大量的試驗。例如，當使用具有 7 次實驗運行的篩選設計時，我們通常每次執行測試 4 到 6 次重複以評估可重複性。這使得每個 DOE 總共進行 28 至 42 次試驗。
然而，在進行所有這些試驗之後，模型性能往往不令人滿意——R² 值約為 0.55 到 0.59。此外，由於置信區間較寬和參數估計不一致，我們很難找到可靠或可重複的模型。在許多情況下，即使在受控條件下收集 Y 數據，模型也缺乏一致性並且無法提供支持性見解。所以我們需要從每個實驗中收集大量的過程資料。
這變得越來越令人沮喪。我們如何有效地解決這個問題並減少浪費的努力，同時提高模型可靠性？
實驗設計回覆：每個 DOE 的努力給你一些想法：
1. 在篩選模式下，盡量不要過度專注於模型表現......在篩選模式下，您的主要目標是識別活躍的影響/因素，而較少強調模型及其對預測的有效性。問問自己這個問題：「我們是否已經確定了值得進一步調查的因素？」如果是，則繼續進行。如果沒有，請開始問其他問題...例如，
一個。我們選擇的電平是否不夠寬，導致訊號無法超過雜訊？
b.是否存在影響我們反應的潛在噪音變數...如果是的話我們將來將如何處理它們...阻塞？
c.我們還需要考慮其他因素嗎？
2. 透過所有這些重複，您應該能夠對純誤差進行一個很好的估計…如果誤差足夠大，它將開始壓倒訊號。您對測量系統相對於反應的變化了解多少？也許如果夠大的話，您需要努力減少測量系統噪音？
我相信其他人也會加入...並且像往常一樣，如果您可以分享一個實驗，也許我們可以提供更多幫助？
回覆：每個 DOE 的努力你好@Statexplorer ，
@P_Bartell提供了許多有用的信息和建議。我想補充一些提到的要點，因為您似乎在噪音（相對）較高的環境中進行實驗。
您是否嘗試分析噪音/高不確定性的可能原因？模型不充分（缺乏交互項或二次效應？）、測量誤差大、幹擾變數（日常、操作員、製程變異？）。評估雜訊來源將有助於建議嘗試適當的緩解策略：
- 如果模型不充分，您在篩選模式下經常使用什麼模型（僅限主效果）？殘差和/或失擬檢定中是否存在可能表示存在某些問題的特定模式？
您是否期待強相互作用效應和/或多項式或非線性效應？您是否嘗試過其他（非線性）建模方法：例如，適合您的資料集大小和複雜性的機器學習演算法，例如 Bootstrap Forest 和 SVM？
- 如果測量誤差較大，您可以擴大因素的範圍（以便訊號相對高於雜訊）嗎？您還可以添加重複測量嗎：除了重複之外，或者您可以降低獨立重複運行的次數並通過重複測量進行補償，以及每次運行的重複測量的模型響應平均值和方差？
- 如果已知幹擾變量，也許您可以在設計生成中添加一些保護措施，例如阻塞，以避免操作員的影響、日常變化、測量設備的變化等......使用隨機區組變量可以從總實驗方差中捕獲該幹擾變量的方差，以防止該方差“隱藏”一些潛在的活性效應。如果幹擾變數可以處理/修改並且已知（例如製程變數），您也可以使用田口設計來建立穩健設計，或使用客製化設計平台： 穩健製程和產品設計實驗
希望這個答案可以有助於討論，
回覆：每個 DOE 的努力不幸的是，由於缺乏足夠的背景信息，我無法提供具體的建議。這些問題無法在全球範圍內解決。以下是我最初的想法：
1. 我不知道有任何包含 7 次運行的篩選設計。您的意思是 8 (2^7-4 ResIII) 嗎？
2. 我不明白重複的次數。首先，這些是重複（獨立運作相同的治療組合）而不是重複？實驗設計中「犧牲」的一點就是穩定性。如果您想了解穩定性問題，採樣和 COV 研究將是首選工具。無論如何，運行 4-6 次重複時都無法真正獲得穩定性。
3. 聽起來你那裡有很多噪音。也許你需要一個更好的策略來處理雜訊（例如，RCBD，BIB，裂區分析）
4. 由於對情況基本上一無所知，我建議在 DOE 之前先進行 COV/採樣。
4. R^2 只是您應該用來評估模型的幾個統計數據之一（而且它不是最好的）。
回覆：每個 DOE 的努力謝謝@P_Bartell
但是，作為篩選設計的一部分，我們需要的最小 Rsq 應該是多少呢？
一個。我們選擇的電平是否不夠寬，導致訊號無法超過雜訊？ - 如何找到這些？
b.是否存在影響我們反應的潛在噪音變數...如果是的話我們將來將如何處理它們...阻塞？ - 如何找到這些？
c. Are there other factors we need to think about?- 如何找到這些？
2. 透過所有這些重複，您應該能夠對純誤差進行一個很好的估計…如果誤差足夠大，它將開始壓倒訊號。您對測量系統相對於反應的變化了解多少？也許如果夠大的話，您需要努力減少測量系統噪音？ -我知道 MSA 的基礎知識及其對回應的影響？那麼如何在 DOE 層級使用這些。
回覆：每個 DOE 的努力謝謝@statman
抱歉，不是 7，而是使用自訂設計運行了 10 次，其中 7 次僅改變了兩個連續變數。
3. 聽起來你那裡有很多噪音。也許您需要一個更好的策略來處理雜訊（例如，RCBD、BIBD、裂區） -如何在 JMP DOE 中使用這些。
4. 由於對情況基本上一無所知，我建議在 DOE 之前先進行 COV/採樣。 DOE前如何進行COV研究並選擇正確的取樣數量？通常我會保留 38-52 作為整個 DOE 的樣本大小（即為整個 DOE 執行的單元數）
4. R^2 只是您應該用來評估模型的幾個統計數據之一（而且它不是最好的）。 -那麼，評估該模型的其他最佳方法是什麼，您能告訴我嗎？我總是會尋找模式、CI、缺乏擬合、參數估計，有時是標準化 RMSE。
回覆：每個 DOE 的努力謝謝@Victor_G
沒有，從未嘗試評估噪音原因，因為在製造最終電池之前涉及很多工序。
我沒有發現殘差中的任何特定模式。
由於這是該過程的第一次 DOE（不是我的經驗），所以我不期望任何多項式或互動效應。我們沒有做過任何機器學習方法。
阻塞是尚未完全完成的一件事，但它將如何增加優勢，因為如果所有細胞都在同一天，由同一個人，使用相同的儀器，使用相同的材料完成。
回覆：每個 DOE 的努力在我看來，對於任何設計的任何分析，都存在最小 R^2 值。 R^2 只是一個數字，它有助於闡明特定模型所解釋的變異性。您的分析目標不是獲得「良好的統計數據」…而是滿足您的實驗目標和目的。因此，如果這些目標和目的沒有得到解答/滿足……我就不會關心 R^2 和任何其他統計數據。關於您提出的另外三個問題「我如何找到這些」......這些問題可以透過領域知識、實驗行為、過去的經驗以及您可以為當前問題帶來的任何第一原理知識來解決。因此，請讓我開始嘗試提供協助。
1. 就級別而言，如果您確實不知道在哪裡設置級別，那麼 DOE 可能為時過早。我不想推薦它...但如果你不知道，也許是時候一次試驗一個因素來看看你是否能找到那些水平。
2. 潛在因素...這裡是領域知識發揮重要作用的地方。例如，也許您必須在兩台不同的“機器”上運行實驗......您希望它們是相同的......但要防止它們在影響響應的方式方面不相同的情況。這就是某種形式的阻塞發揮作用的地方。或者因素很難改變...例如容器內的溫度，因此您想要限制溫度的隨機性，將所有低值一起運行，然後是高值。在這種情況下，建議採用所謂的「裂區」設計（僅有一種阻斷形式）。思考實驗及其周圍的條件，並利用您的領域知識來防範或至少解釋這些潛在因素。此外，每當實驗進行時，我總是試圖在場，只是為了「觀察」任何可能可疑的事情。
3. 早在您規劃實驗的時候，您是否花了一些時間集思廣益，考慮所有可能產生影響的因素？希望答案是“是”，然後你就列了一個清單。並保留了該清單。也許分析之後是時候重新審視該清單並嘗試一些其他因素？
4. 至於測量系統變化，我們常用的經驗法則是，測量系統變化應該是我們試圖尋找的訊號變化的 1/4。你的情況可能完全不同。
希望這有幫助嗎？
