我想用以下方法揭開實驗設計 (DoE) 的神秘面紗：一系列帶有簡單解釋的帖子一些術語和概念在人們剛開始使用時可能會感到困惑。 在本系列的第一篇文章，我們著眼於多因素系統中巨大可能性空間的挑戰，並介紹了因素、反應和全因素設計的概念。 在第二個帖子，我們研究如何利用視覺和統計模型來理解過程中的行為，包括因素交互作用。 在第三個帖子，我們展示瞭如何使用有效實驗的資料來建立過程模型，並解釋了多元線性迴歸、主效應和二次效應的意義。
我們透過一個真實的案例研究來說明所有這些，在這個案例中我們需要了解如何在 GC-MS 分析系統中設定大容量進樣器 (LVI)。 目標是優化水樣本中低含量污染物的檢測。 在這篇文章中我們討論清晰度似乎是合適的。
在這裡，當我們談論清晰度時，我們指的是不同因素（進樣量、進樣速度等）對我們的反應（所有峰值高度和）的影響的清晰度。 我們將看到我們引入的 26 次運行實驗如何幾乎唯一能夠提供這種清晰度。
作為對比，我們也將看一個數據範例，但它並不能加深我們的理解。 在此過程中，我們將解釋正交性、混雜性和混疊性。 我想讓您更清楚地理解這些概念。 因此，我們需要從簡單的開始。
相關效應、正交性、混疊和混雜的簡單範例
讓我們先考慮 LVI 設定的前兩個因素以及這三種不同的實驗設計：
圖上的每個點代表三個實驗之一的一次運行。
- 設計 #1 是兩個因子的三個水準（低、中和高或 L、M 和 H）的全因子。
- 設計 #2 是相同的，但刪除了兩個組合 - LH 和 HL。
- 設計 #3 僅具有 LL、MM 和 HH 組合。
可能性空間的覆蓋範圍明顯從#1 到#2 減少到#3。 另一件正在改變的事情是相關性我們的因素。
全階乘因子之間的相關性為 0。 我們說設計是正交這些因素的主要線性影響。 #2 的置信橢圓更緊密，因為它具有中等相關性， r ，0.5。 我們說有部分混疊在本設計中的這些效果之間。 由於存在完美的相關性 (r = 1)，#3 的密度橢圓已崩潰為零。 我們說主要影響是完全別名或者困惑的在這個設計中。
這種別名的後果是什麼？ 為了證明這一點，我們模擬了每個設計每次運行的一些響應數據。 圖中的點現在標有運行的響應值 SimResp。
只需查看設計 #1 中的數字，您就可以了解改變 Vol(Inj) 和 Speed(Inj) 對回應的影響。 您或許也可以從設計 #2 感受到這一點，但卻不那麼清楚。
嘗試從設計 #3 的數據中了解兩個因素的影響存在一個明顯的問題：不可能將這些因素的影響分開。 我們對一個因素所做的每一項改變都與另一個因素的改變精確匹配。 你可以明白為什麼我們稱之為混淆！ 我們對因素的影響完全不清楚，因此對我們的流程了解甚少。
如本系列先前的文章所討論的，了解因素影響的最佳方法是擬合模型。 我們將把主效應模型擬合到每個設計的資料中–或者至少我們會嘗試這樣做。
在設計 #3 的情況下，不可能擬合具有兩個因素的主效果的模型，我們得到奇點當我們嘗試將該模型擬合時發出警告聯合管理計劃:
這告訴我們，我們可以適應其中一種效果，但不能同時適應兩種效果。
我們可以根據設計#1 和#2 的資料來擬合主效果模型。 以下是分析器圖：
Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.設計#1 中主效果模型的刻畫圖。
Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.設計 #2 的主效果模型的刻畫圖。
這些圖表包括代表我們對因素真實影響的不確定性的置信區間。 畢竟我們的模型只是一個估計。 我們預期代表效果的線位於信賴區間的陰影帶內。 您可以看到，在設計#2 的模型中，我們對效果的不確定性更大。 部分原因是我們的數據較少（七次運行與九次運行），但也因為效果的部分混疊。 這有時被稱為方差膨脹。
帶回家的信息：
- 透過正交實驗設計，我們可以最清楚地了解因素的影響。
- 我們可以應付一些鋸齒——我們可以了解其影響，但精確度較低。
- 我們無法了解混雜因素的影響。
為了清晰起見的實驗設計
現在讓我們考慮一下 26 次運行的設計。
下一個圖是前三個因素的散佈圖矩陣。
散佈圖矩陣顯示每對變數的散佈圖。 這個顯示所有這些因素對之間的相關性為 0；該設計對於這些主要效應是正交的。 我們對這些效應的理解不會與其他效應混為一談。 到目前為止，這看起來是一個很好的設計。
我們可以使用相關顏色圖更有效地表示效果的相關性：
該地圖具有與散點圖矩陣相同的九個正方形。 現在，一對效應的相關性由方塊的顏色表示。 我們的主要效應之間缺乏相關性可以從淡藍色方塊中看出。 從左上角到右下角的深藍色對角線是每個效果與其自身的相關性（當然是 1！），並且是為了完整性而存在。
透過這種更有效的相關性表示，我們可以查看所有主要影響。
連續主效應都是相互正交的。 這帶來的清晰度是這 26 次運行能夠實現如此有用的設計的主要原因之一。 Liner 下方稍深的藍色方塊告訴我們，分類 Liner 效應與其他主效應有部分混疊 (r = 0.0836)。 這不應該是一個問題。 事實上，可以計算出與正交設計相比，這會使置信區間大多少（不超過 2.5%）。
我們也可以查看所有主效應和二次效應的相關顏色圖[1]。 下面的顏色圖是相同的，只是我在右側圖中標記了兩個方塊以幫助解釋。
右上象限的淡藍色區域代表主效應和二次效應之間的相關性。 例如，我們可以看到，注射量 Vol(Inj) 和 Vol(Inj)*Vol(Inj) 的主效應和二次效應之間的相關性為 0。 此圖顯示，每個二次效應和每個主效應之間的相關性為 0：二次效應和主效應彼此正交。 這並非偶然。 這也是選擇實驗設計的原因之一。
右下角較強的藍色代表二次效應中較高的相關性。 例如，我們可以看到，注射量和注射速度的二次效應 Vol(Inj)*Vol(Inj) 和 Speed(Inj)*Speed(Inj) 之間的相關性為 0.4091。 此圖顯示，所有二次效應之間存在相同的相關性 0.4091：二次效應彼此部分混疊。 在這種情況下，這是我們可以接受的妥協。 這意味著我們應該能夠以稍微低一點的精確度來理解任何因素的重要曲線行為。 重要的是我們所看到的效果沒有混淆。
我們已經看到，由於效應的相關性極小，26 次運行的實驗設計的數據如何能讓我們清楚地理解過程中的重要行為。 沒有像這樣的軟體中的方法聯合管理計劃，找到一個既具有相對較少的運行次數又具有這些有用的相關屬性的實驗計劃將是一項挑戰。
清澈如泥
當沒有計劃地收集數據時，不可避免地會出現更多的相關性，從而更難以理解驅動系統行為的因素。 一個典型的例子是這個計量經濟學資料（朗利資料集可在 JMP 範例資料目錄中找到
y 是就業的衡量標準，x1 到 x6 是潛在的預測變數（x6 似乎是日曆年）。 主效果的相關顏色圖顯示 x1、x2、x5 和 x6 之間的相關性非常接近 1：
從完整主效果模型的刻畫器圖中可以看出對我們理解因素影響的影響：
最寬的置信區間是最相關效應的置信區間，並表明嘗試從具有高度相關因素的數據來理解系統是困難的。 例如，模型估計 y 隨著 x2 的增加而減少，但信賴區間表示該因素的影響也可能是強烈的正值。 我們對 x2 的效果幾乎一無所知。
我們已經看到，如果我們想清楚地理解我們的流程和系統，我們需要從實驗中產生數據，這些數據與我們關心的效果之間的相關性最小。 我們已經看到，相關顏色圖是一個強大的視覺工具，可以幫助您了解設計在這方面的好壞。 到目前為止，我們只研究了主效應和二次效應。 更複雜的行為（例如我們之前提到的互動）又如何呢？ 在本系列的下一篇文章中，我們將研究這些影響，並了解為什麼如果我們想確保這些複雜的行為不會影響我們對系統的理解，實驗中的 26 次運行是一個不錯的選擇。
筆記
[1] 如果您想手動確定二次效應的相關性，有幾個步驟。 例如，假設您想要查看兩個因子 X1 和 X2 的二次效應的相關性。 您首先需要重新編碼這些因素，使它們處於相同的範圍內。 通常將因子編碼在 -1 到 +1 範圍內，其中 -1 是範圍內的最低設置，0 是中點，+1 是最高值。 您經常會在有關 DoE 的書籍中看到這種編碼。 透過以這種方式編碼的因子，您可以計算二次效應 X1*X1 和 X2*X2，並查看相關性。 這同樣適用於研究其他更高階的效應，包括交互作用。 美國能源部軟體工具，例如JMP 中的設計評估，將使您能夠評估效果的相關性，而無需執行這些步驟。
您是否錯過了本系列中有關為何選擇 DoE 的任何帖子？ 沒問題。 看整個系列都在這裡。
你好@阿西爾,
是的，我可以看到這似乎是一個矛盾：預測變數（因素）之間的相關性很差，但模型能夠做出良好的預測。 其實這並不矛盾。 模型沒有理由不能很好地擬合並且具有可怕的相關預測變數。
相關因素的問題並不在於我們無法做出好的預測。 相關因素的問題在於我們無法很好地理解每個因素的影響。
在這種情況下，如果我們知道 X，我們就可以對 Y（就業）做出很好的預測。 但我們無法理解每個 X 的效果是什麼。
因此，這些因素的相關結構並不能告訴我們建立一個擬合良好的模型並做出準確預測的能力。 它告訴我們如何精確地衡量每個因素的單獨影響。
我希望這有幫助。
菲爾
嗨菲爾，
我再次重讀這些關於美國能源部的精彩系列文章，我的腦海中浮現出另一個問題。
我使用朗利資料來重新建立您的分析。 我得到了你在這裡提到的因素之間相同的相關性，但我很驚訝地看到擬合的圖表（實際與預測）。 如果我看到下面的擬合具有如此好的擬合度和如此窄的置信區間，我想我會毫不猶豫地假設該模型非常好。 然而，從您的分析和分析器中，我們也發現我們對效果 x1、x2 和 x5 的影響知之甚少...
造成這種「矛盾」的原因是什麼？我敢打賭這個「明顯的矛盾」有一個很好的數學理由
謝謝
阿西爾
感謝您的評論和積極回饋，Asier。
是的，在執行實驗和收集回應資料之前，您可以查看效果的相關性。 當我們考慮效果的相關性時，我們根本沒有考慮反應。
如果您具有強相關效應，您可以透過額外的運行來增強資料以減少相關性。 JMP DOE 選單中的增強設計平台為此提供了工具。
如果您無法收集額外的運行數據，可以使用一些有用的建模方法。 主成分分析 (PCA) 可用於確定數量減少的正交（零相關）變數。 這些主成分是原始變數的組合。 例如，上述計量經濟學資料中的 x1、x2、x5 和 x6 將有效地組合成單一主要成分，因為它們都彼此強烈相關。 然後，您可以使用主成分作為模型中的變數。 通常，主成分可以解釋為「潛在」變量，描述系統中的某些潛在因果因素。
然而，這並沒有什麼魔力。 你的影響力越相關，你就越無法理解它們。
我希望這有幫助。
問候，
菲爾
你好菲爾，
我祝賀這些有關能源部的系列文章。 我認為他們對 DOE 的描述非常好、清晰且解釋性強。 我個人發現，雖然DOE的概念並不複雜，但背後的數學和對概念的真正理解並不那麼容易，特別是從書本案例研究到現實生活問題的過渡...
我有一個關於因素相關性或混雜因素的問題。 我理解這個概念並且我理解正確，可以在實際完成運行（測量）之前計算這種相關性或混雜性，讓您知道您面前的實驗（一組運行）是否適合很好地理解您的問題。
一個很好的例子是計量經濟學資料範例，您可以從顏色圖中看出某些因素（X1-X2 和 X5-X6）之間存在嚴重的相關性。
您能否在獲得測量數據（回答 Y）之前確認是否可以確定該顏色圖？ 那麼顏色圖是否僅根據因素資訊產生（因此不需要回應）？
然後，一旦您知道了這一點，您實際上可以做什麼？
我想，如果您實際上正在設計實驗，JMP 可以幫助您給出使相關性最小化的因子設定（這是對的嗎？）
但是，如果我們使用現有數據（如計量經濟數據）來進行我們自己的研究，我們還能做些什麼嗎（不僅僅是知道，正如您所注意到的，模型“像泥一樣清晰”，真實資訊很少關於因素 X1、X2 和 X5 的影響（對 Y1 可能產生負面或正面影響）？
再次感謝您的這些系列，我認為它們很棒，我會推薦給任何試圖在能源部做某事的人
阿西爾
