DSD設計中「令人驚訝」的結果作為碩士論文的一部分，我們進行了包含六個連續變數的確定性篩選設計。我們在 JMP 中產生了一個標準設計，包含 17 次運行（外加 3 次零水平運行）。
結果令我驚訝，因為相當多的交互作用和二次效應都非常顯著。我最初懷疑是模型過擬合，但找不到任何證據支持這一觀點。我們得到了優秀的R平方值（符合預期），沒有過高的變異數膨脹因子（VIF），Durbin-Watson檢定結果也正常等等。此外，PRESS值達到了0.044。
即使在DSD分析中排除嚴格遺傳因素，這些結果仍然相同或非常相似。在這種情況下，會出現2-3個額外的交互作用或二次效應，這些效應同樣具有高度顯著性。
就我目前所知，我看不出有什麼理由懷疑結果的有效性。還是我忽略了什麼？
實驗設計回覆：DSD設計中的「令人驚訝」的結果對於一個六因子設計而言，這是一個相對「較大」的設計，由於六因子響應面中只有27個可估計效應，因此您很有可能估計出其中許多效應。觀察中心點運行結果，其範圍在3.915到4.018之間，殘差標準差約為0.02。因此，任何遠大於0.2的效應都很有可能具有統計意義。觀察折疊點，我發現差異約為0.6。
是的，這完全有可能。分享實際的數據表有助於我們進一步探討這個問題。
回覆：DSD設計中的「令人驚訝」的結果由於對實際實驗了解甚少，基本上無法回應。這是一個實際的物理實驗（或模擬）嗎？測量誤差是否事先量化？你的均方誤差 (MSE) 是如何估計的？響應的變化是否具有任何實際意義？統計顯著性是一個條件性陳述。只有當 MSE 的估計值是實際情況的合理估計（並且你理解構成該估計值的要素）時，統計顯著性才有意義。
回覆：DSD設計中的「令人驚訝」的結果嗨@NominalGemsbok3 ，
對於您所取得的成果，我可能有一些補充性的建議和意見。
- 從實際角度來看，有更好的指標來評估任何可能的過擬合情況：使用調整後的R平方值，並最小化R平方值與調整後R平方值之間的差值（R平方值往往會隨著模型項數的增加而增加，而調整後的R平方值則考慮了模型的複雜性/ 項數，並對過於復雜的模型進行懲罰）； PRESS值（R平方值和RMSE）也是衡量模型效能的良好指標，因為它們是基於留一交叉驗證，因此您可以了解模型在未用於模型訓練的資料點上的表現。所有這些指標都有助於模型選擇，並避免陷入「 統計顯著性崇拜」的陷阱。
- 此外，統計顯著性與效應的實際重要性有所不同：如果訊號雜訊比非常高，即使某些效應沒有實際意義，也可能更容易偵測到統計顯著性。利用領域專業知識篩選出相關且重要的效應，並指導模型選擇過程。
- 關於有效療效的數量，令人欣慰的是：
- 根據檢測到的活性項數量，設計和建模方法選擇得當。 JMP 幫助文件中關於「擬合最終篩選」部分指出：「如果活性效應的數量小於運行次數的一半左右，且效應大小超過標準差的兩倍，則最小運行規模的 DSD 能夠以較高的概率正確識別活性項。」在 17 次原始運行（加上 3 個中心點）中檢測到 9 個活性項，且 RMSE 相對較低，正如前面提到的情況，您似乎不錯。
- 他們確實遵循效應層級原則：效應的層級越高，而該效應解釋反應變數變異的可能性就越小。以您的情況為例，6 個主效應中有 5 個（83%）被檢測為顯著，15 個雙因素交互效應中有 3 個（20%）被檢測為顯著，二次效應中有 1 個（16.7%）被檢測為顯著。雖然顯著效應的比例看起來很高，但它與 Xiang Li、Nandan Sudarsanam 和 Daniel D. Frey 於 2006 年 3 月發表的論文“因子實驗數據的規律性”（Regularities in Data from Factorial Experiments） https://doi.org/10.1002/cplx in Data from Factorial Experiments） https://doi.org/10.1002/cplx.20123中描述的一致效應層級。
看來您的結果得益於對潛在相關預測因子的精心選擇、實驗和響應測量中較低的噪音水平、以及適當的設計選擇和建模方法。恭喜！
希望這個回答能幫助你相信這些正面的結果。
回覆：DSD設計中的「令人驚訝」的結果這是一個真實的物理實驗。均方誤差 (MSE) 由線性模型的殘差估計得出。為了驗證該估計值，我們從重複的中心點獲得了純誤差（變異數 ≈ 0.002）。失擬檢定顯示模型不存在顯著缺陷 (p = 0.79)，失擬均方小於純誤差的均方。因此，MSE 可以被認為是誤差變異數的合適估計值。
回覆：DSD設計中的「令人驚訝」的結果非常感謝您如此詳盡且令人鼓舞的回覆。
回覆：DSD設計中的「令人驚訝」的結果感謝您的回覆。請問您說的「實際數據表」指的是什麼？
回覆：DSD設計中的「令人驚訝」的結果是否可以發送編碼後的 JMP 檔案？我想嘗試一些 GENREG 模型。
回覆：DSD設計中的「令人驚訝」的結果你好，
這裡是一個編碼後的 JMP 檔。
回覆：DSD設計中的「令人驚訝」的結果我做了一個簡單的分析（擬合模型），結果和你的完全不一樣？三個主要效應是最大的效應。我已經把擬合模型加入到你的資料表（表1）裡了。
回覆：DSD設計中的「令人驚訝」的結果會不會是因為這是確定性篩選設計，而我在JMP中使用了DoE → 確定性篩選 → 擬合確定性篩選功能進行分析，而你沒有，所以才造成了差異？我認為DSD（確定性篩選設計）確實應該使用適當的方法來分析。
回覆：DSD設計中的「令人驚訝」的結果請注意，在設計結構設計 (DSD) 中，許多交互作用效應是相關的（高度混疊），R > 0.7（請參閱下方粉紅色區域和附件表格中的「設計評估 - 相關性顏色圖」）。當您有 5 個活性因子時，需要擴展 DSD 並增加額外的運行次數以消除交互作用效應的混疊。
回覆：DSD設計中的「令人驚訝」的結果如果你運行“擬合最終篩選設計”並選擇“建立模型”，最終會得到什麼結果？你會發現 p 值顯著性是基於重複的中心點計算的。
回覆：DSD設計中的「令人驚訝」的結果在DSD結果中，您可以找到5個顯著的純效應，以及幾個潛在的顯著但相關的交互效應，這些效應需要透過增加額外運行次數來消除混疊。
回覆：DSD設計中的「令人驚訝」的結果在附表中，使用擬合 DSD 平台進行 DSD 分析；檢測到兩個顯著的相關交互作用：（1）因子 1 * 因子 3 與因子 2 * 因子 5 相關，（2）因子 4 * 因子 5 與因子 1 * 因子 2 相關。
如您所見，相關性顏色圖中的粉紅色區域也存在與因子 6 的第二次交互效應的混疊；然而，由於因子 6 不是一個活躍效應，我沒有考慮它的交互作用；利用 5 個顯著主效應的交互作用可以構建一個非常好的模型。
回覆：DSD設計中的「令人驚訝」的結果嗨@frankderuyck和@NominalGemsbok3 ，
由於多種原因，並不存在絕對的最佳模型：例如效能指標的選擇、閾值（例如 p 值）、估計方法等等。此外，在 DSD 中，獨特的處理（自由度）不足以估計所有效應，因此很容易得到表現良好但相互競爭的不同模型。您可以將 DSD 視為響應曲面模型的一種過飽和設計類型。
正如@frankderuyck所提到的，由於設計結構導致交互效應之間以及二次效應之間存在部分別名/相關性，除非增加運行次數以更好地完善模型，否則你無法 100% 確定檢測到的交互效應和二次效應對目標的“真實”影響（通過任何建模方法）。然而，你可以對主效應更有信心，因為設計結構避免了主效應之間以及主效應與高階效應之間的任何相關性，因此你可以無偏差地估計它們。
所有模型都是錯誤的，但有些是有用的。
我嘗試在這個例子中創建一個名為柵格圖的特定可視化圖表（參見“柵格圖或其他可視化工具，以幫助進行實驗設計模型評估和選擇”，了解其創建方式），以展示由於模型中包含的可能項的組合爆炸而導致的多種模型（除了截距項之外，還有 27 個可能的影響項：6 個主要效應、15 個二次效應、可選擇雙因子和 6 個雙主效應 6 個雙因子相互作用。我使用了 Stepwise 平台和「所有可能模型」選項（在強遺傳假設下，模型中最多包含 10 個項）。以下是按 R 平方值排序的模型結果，其中顯示了每個模型（每行）包含的項目（列）：
我更喜歡使用資訊準則來比較多個模型，例如 AICc（越低越好），因為它會懲罰使用過多的項，從而可以更好地比較複雜度不同的模型：
如您所見，大多數模型都一致認為前五個因子存在主效應。對於因子6，結果有所不同，且此主效應的存在沒有明顯的規律。對於交互作用和二次效應，也很難看出明顯的規律，只是某些高階效應似乎大多數情況下都沒有被包含在模型中：交互作用包括因子1×因子6、因子2×因子4、因子3×因子5、因子3×因子6、因子4×因子6和因子5×因子6。對於二次效應，因子6×因子6的交互作用在大多數模型中都缺失。如果我們根據R平方值放大觀察最佳模型，會發現一些關於高階效應的有趣現象：
在模型中，因子 1 × 因子 3 和因子 4 × 因子 5 的交互作用項往往被選取。此外，因子 2 和因子 4 的二次效應也常被選取。這些結果與我從 Fit Definitive Screening 平台獲得的結果基本一致，檢測到了相同的主效應和高階效應：
當比較範圍限定在三種不同的估計方法時，我們也可以看到不同模型和項組合的等效情況。例如，對於 Fit Definitive Screening、GenReg Normal Pruned Forward 和 GenReg Two Stage Forward 這三種估計方法，我們可以比較模型的性能以及所包含的項：
- 效能：此處包含 R 平方值和為解釋性目的而調整的 R 平方值（模型對反應變數變異性的解釋程度）：
我們可以看到，前兩種方法表現出相似的性能。
- 模型中的術語：
即使前兩種估計方法所建構的模型方法相似，但它們在高階效應中包含的項卻有所不同。它們僅在交互效應「因子1×因子3」的納入上達成一致。
因此，一個合理的後續步驟是與領域專家討論哪些模型最合理，並使用增強設計平台來確認和/或完善最相關的模型。例如，您可以對其進行擴展，並指定要估算其項目的模型。
請查看下表，其中列出了我回覆中使用的所有腳本。
希望這個回答對您有幫助。
回覆：DSD設計中的「令人驚訝」的結果DSD 仍然是一種篩選設計，適用於從大量潛在因素中篩選出強效應（尤其是主效應）；它還能指示潛在的二次效應和交互作用。請注意，交互作用是相關的（！），請參閱相關性顏色圖。如果只有三個或更少的顯著效應，DSD 將產生 RSM。但是！如果顯著效應超過三個，則需要擴充 DSD 以確定純粹的交互作用和二次效應。因此，如果在與專家集思廣益後，認為可能存在交互作用，我總是從最小或較低的 DSD 數量開始，足以檢測到強效應，並且預算中還有足夠的運行次數用於擴充和去混疊。此外，我不會在中心點重複上花費太多精力。
回覆：DSD設計中的「令人驚訝」的結果私下說一下：奇怪的是，為什麼所有 5 個活化效果都沒有顯示在半常態分佈圖中，只有 3 個效果顯示出來？
回覆：DSD設計中的「令人驚訝」的結果評估常態/半常態分佈圖時要格外小心（參見 Daniel 的論述）。並非總是可以使用 Lenth 的 PSE 指標。觀察數據，你會發現誤差分佈似乎不只一個。注意底部 6 個值，然後是一個斷點，接著是 2 個值，然後是另一個斷點，最後是 5 個值。這顯示實驗過程中噪音發生了變化。這可能被認為是實驗過程中存在特殊原因的證據。查看與此半常態分佈圖對應的帕累托圖。你會更容易看到估計值的「分組」。
順便提一下…複製中心點是估計均方誤差 (MSE) 的絕佳方法。即使複製中心點並非針對線性假設，它們也能非常有效地用於檢驗該假設。如果在整個實驗過程中隨機運行足夠的中心點（約 8 個），它們還可以評估實驗的穩定性。依運行順序繪製均方誤差 (MR) 圖。此外，如果中心點代表當前條件，則可以在當前條件兩側設定更醒目的水平，從而獲得更清晰的方向性資訊。唯一的問題是，這些因子必須是連續的。
回覆：DSD設計中的「令人驚訝」的結果很有意思，那麼如何更好地利用這張圖來檢測活性效應呢？
回覆：DSD設計中的「令人驚訝」的結果閱讀庫斯伯特·丹尼爾（Cuthbert Daniel）的著作，他是該方法的發明者。
Daniel, Cuthbert (1976)《統計學在工業實驗中的應用》，Wiley 出版社（ISBN 0-471-19469-7）
回覆：DSD設計中的「令人驚訝」的結果好的，這條線周圍的圖案表明存在特殊原因，在這種情況下，可能存在一些中等程度的強烈影響，需要進一步考慮。
回覆：DSD設計中的「令人驚訝」的結果你已經讀過他的書了嗎？讓我來解釋一下…是的，超出隨機誤差分佈範圍（隨機誤差應服從平均值為0的常態分佈）的模型效應確實是可以歸因的（與那些可能屬於誤差分佈範圍的效應不同，後者不可歸因）。但是，這並非Lenth演算法所劃定的界線。 Daniel並沒有在他的常態分佈圖上展示Lenth演算法的結果。他解讀了這些圖，並根據自己對誤差分佈在圖中位置的理解（我用的是「粗鉛筆」測試法）。他提到在常態分佈圖上觀察到了「S」形曲線，這表明除了模型效應之外，還有其他因素影響了實驗。特殊原因在於噪聲，而非模型效應的結果。這反過來會放大變異數分析中的均方誤差（MSE）。
回覆：DSD設計中的「令人驚訝」的結果結合@statman 的「粗鉛筆」準則，可以將垂直方向的移動視為平均響應的變化，將穿過一組估計值的直線的斜率的變化視為標準差的差異。
回覆：DSD設計中的「令人驚訝」的結果我們能否得出結論：半常態圖可以作為初步篩選工具，用於檢測非常強的效應？當未觀察到圍繞實線的隨機分佈和模式時，則表示存在中等強度的效應？
回覆：DSD設計中的「令人驚訝」的結果是的，這是相對於模型中其他效應的強度而言的。順便說一句，我總是建議你使用飽和模型來繪製這些圖表。
另需注意的是，如果因子設定的符號有意義（例如，連續因子），則可以使用常態圖並利用方向向量。如果您無法閱讀他的優秀著作，可以閱讀這篇論文：
Daniel, Cuthbert (1959) “半正態圖在解釋因子二水平實驗中的應用”，《技術計量學》，第1卷，第4期，11月
回覆：DSD設計中的「令人驚訝」的結果回覆@statman 的最後一則評論，篩選平台（一個老版本）已經實現了他的建議。請點擊此處查看：
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
回覆：DSD設計中的「令人驚訝」的結果非常有趣的案例和精彩的討論，感謝分享！
回覆：DSD設計中的「令人驚訝」的結果看來，採用兩級篩選平台，我們無法獲得上述最佳 AICc = -30 Fit Definitive Screening 結果。
去年我發文討論過一個7因子DSD案例（https://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analyis-of-DSD-at-a-high-level-to/mp/837310#M101378 ），結果是相反的活性DSD工具，我必須將第一階段的P值提高到0.4才能檢測到這5個活性因子，這很有趣…
回覆：DSD設計中的「令人驚訝」的結果因此，為了檢測活躍的主效果並指示潛在的交互作用和二次項，我建議使用 Fit DSD 平台。但請注意，第一階段的 p 值是一個濾波器（！），如果設定得太低，可能會阻止潛在的活躍效應進入模型。建議將 Fit DSD 的第一階段 p 值設定為 0.2 到 0.4（過高可能會導致過度擬合）。
