Roger W. Hoerl，博士，Brate-Peschel 統計學助理教授，聯合學院
Ronald D. Snee 博士，Snee Associates 總裁
使用非線性模型進行有效的混合物/過程實驗
2015 年 9 月
Ronald D. Snee，Snee Associates，德拉瓦州紐瓦克
Roger W. Hoerl，紐約州斯克內克塔迪聯合學院
Gabriella Bucci，戶外學院，佛羅裡達州薩拉索塔
版權所有：Ronald D. Snee、Roger W. Hoerl 與 Gabriella Bucci 2015
註：本文目前正在接受編輯審查，標題為：“具有製程變數的混合實驗的統計工程方法”
抽象的：對混合物成分和製程變數進行實驗，特別是討論這兩組變數之間可能存在交互作用的情況。我們在解決實際混合/製程問題的背景下考慮設計和分析問題。我們專注於解決此類問題的策略，而不是為給定的資料集尋找最佳設計或最佳模型。從這個意義上講，我們使用了統計工程框架。特別是，當我們考慮擬合簡約非線性模型（而不是較大的線性化模型）的潛力時，我們發現了減少實驗設計規模的巨大機會。在實務上很難知道哪種類型的模型最適合結果資料。因此，建議採用整合的、順序的設計和分析策略。使用兩個已發布的資料集和一個新的資料集，我們發現在某些情況下，非線性模型或忽略交互作用的線性模型可以將實驗減少 50% 左右。在其他情況下，非線性模型可能不夠用。因此，我們提供了有關這種方法何時可能成功的指南，並提出了針對此類問題的整體策略。
關鍵字：混合物，混合模型，混合實驗，非線性模型
介紹
混合問題（成分比例總和必須為 1.0）出現在許多產業和應用領域，例如食品、藥品和化學品的開發等等。在許多混合應用中，影響最終反應的不僅是配方，還有過程變數。例如，在生產混合葡萄酒時，最終的口味和其他重要特性不僅取決於所用葡萄品種的比例，還取決於工藝變量，例如生長季節的氣候條件、葡萄的收穫時間、發酵過程各個階段的溫度、使用的陳釀桶類型等等。
在某些情況下，混合物成分和製程變數不會相互作用。以葡萄酒為例，這意味著可以優化發酵和其他加工過程，而無需考慮使用哪種葡萄品種。這種情況將導致人們利用結合混合模型和過程變數模型的加性模型。在其他情況下，這種添加方案不適用，因為最佳加工條件可能取決於所使用的品種。在這種情況下，混合物和製程變數之間就會產生交互作用。交互作用場景將產生包含術語的模型來解釋混合物和製程變數之間的交互作用。
當預期這種交互作用時，通常使用的實驗設計往往很大，以適應包含交互作用的線性模型中的項數（Cornell 2002、2011）。當然，如果人們從主題知識或先前的實驗中知道最終的模型形式是什麼，人們可以設計一個最佳或接近最佳的實驗來估計該特定模型。我們考慮更常見的情況：實驗者懷疑相互作用，但在運行設計和獲取後續數據之前不確定指定最終的模型形式。因此，我們的重點既不是給定模型的最佳設計，也不是給定資料集的最佳模型。相反，我們專注於解決此類問題的策略，考慮替代設計、替代模型，並考慮在實踐中解決問題的效率需求。
從這個意義上講，我們採用統計工程方法（Hoerl 和 Snee 2010、Anderson-Cook 和 Lu 2012）來確定最有效、最有效率的方法來解決商業、工業、研究或政府中出現的混合/製程應用。具體來說，我們發現認真考慮參數非線性模型可能會為傳統的參數線性模型提供有效的替代方案。雖然擬合非線性模型比擬合線性模型更具挑戰性，但現代軟體（例如 R、JMP、Minitab 或 SAS）允許使用者相當輕鬆地估計和解釋非線性模型，至少與 10 到 20 年前的商業軟體相比。
對於相同的混合/過程問題，非線性模型需要估計的參數較少。例如，在康乃爾魚餅應用（Cornell 2002）中，線性模型中有 56 項需要估計，而非線性模型中有 14 個項需要估計。因此，如果非線性模型提供了可行的替代方案，則可以採取更積極的分數設計策略來顯著減少初始實驗。我們承認，非線性模型背後的理論（例如係數的標準誤差）不如線性模型那麼發達，並且通常依賴漸近或近似結果（Montgomery 2012）。
換句話說，由於非線性模型需要更少的參數來適應過程和混合變數之間的相互作用，因此最初可以運行小得多的分數設計。顯然，假設實驗成本不可忽略，就不需要 56 次運行來估計 14 個項。如果非線性模型，甚至是沒有交互作用的加性線性模型被證明是足夠的，那麼該問題可以透過初始設計來解決問題。
透過考慮非線性模型，我們可以獲益良多，而損失卻很少。如果這些較小的模型無法提供足夠的準確性，那麼可以按順序進行額外的實驗。這樣，最好的情況是我們將解決問題所需的實驗效果減少高達 50%，而最壞的情況是我們最終必須運行典型的具有交互作用的線性模型所需的所有實驗。圖 1 說明了這個總體策略。我們認為，統計工程的核心是強調解決問題的最佳總體方法，而不是專注於給定模型的最佳個體設計或給定資料集的最佳個體模型。
本文的其餘部分組織如下；我們首先回顧具有過程變數（包括具有交互作用的變數）的混合實驗中使用的典型模型和設計。接下來，我們回顧統計工程的基本原理，並討論它們如何應用於這個特定問題。然後我們介紹三個資料集，其中兩個是之前發布的，還有一個是新的資料集。利用這些資料集，我們在資料擬合方面比較了線性加法、線性交互作用和非線性模型。此外，我們注意到非線性模型係數的潛在解釋。接下來，我們考慮一下針對每個問題使用分數設計可能發現的假設結果。也就是說，我們按照分數設計分析實際資料的子集，擬合不同的模型，並使用這些模型來預測模型未使用的資料。最後，我們考慮了這種分析的含義，並提出了一種解決懷疑存在相互作用的混合/過程問題的策略。
混合物/過程問題中使用的典型模型
有許多潛在的設計和模型可應用於具有製程變數的混合問題。這裡我們將重點放在應用中最常用的模型和設計，特別是 Scheff模型（Scheff1963 年，康乃爾大學 2002 年），但並未試圖提供全面的評論。我們首先考慮混合模型本身，然後考慮具有無交互作用的製程變數的混合模型，然後考慮具有交互作用的製程變數的混合模型。一旦我們完成模型，我們就會討論通常運行的設計以便能夠擬合這些模型。
由於公式成分總和為 1.0 的限制，導致失去一個自由度，因此通常簡單地從標準線性迴歸模型中刪除常數項。例如，對於 q 個混合成分，線性 Scheff模型將被寫為：
因為各分量總和為 1.0，所以最有意義的不是係數的絕對值，而是係數之間的關係。例如，如果 b 1 =10、b 2 =20 且 b 3 =30，有三個分量，那麼我們會說 x 1對反應有負面影響，因為要增加 x 1，我們必須將 x 2或 x 3減少相同的量，因此增加 x 1的淨影響將是減少 E(y)。關於混合係數解釋的更多資訊可以在 Cornell (2002) 中找到。
請注意，對於本文介紹的所有模型，我們假設存在一個加性隨機誤差項，該項獨立且同分佈，呈常態分佈，平均值為 0，標準差為。雖然誤差項在任何統計模型中顯然都很重要，但這不是本文的重點，因此我們在接下來的內容中不會過多討論這個誤差項。
還有其他混合模型可供考慮，例如「鬆弛變數」模型，其中我們刪除其中一種混合成分以避免混合約束，並將常數項加回模型中。當存在曲率時，通常會擬合二次謝夫模型，該模型包含線性項以及組分之間所有可能的交叉乘積項：
因為每個成分都可以看作是一減去所有其他成分的總和，所以我們通常不會將交叉乘積項視為傳統意義上的交互建模，而是一般地對非線性混合進行建模。當存在額外的非線性混合，並且具有足夠的自由度時，我們可以擬合特殊的立方Scheff模型：
這被認為是一種「特殊」的三次方程，因為它不包括所有三階項，而是二次模型加上三個項之間所有可能的交叉積。例如，特殊三次函數不包含x 2這個項。完整的立方謝夫模型將是：
其中 d 伊是二元過剩或「協同作用」的三次係數（Cornell 2011，第 31 頁）。當我們的模型中有製程變數時，我們將使用 x i表示混合變量，z i表示製程變量，b i表示混合係數，a i表示製程變數係數。我們不考慮 d 伊項。此外，通用項 f(x) 將用於僅具有混合成分的模型，而 g(z) 將用於僅具有製程變數的模型。結合兩者的組合模型將寫成 c(x,z)。
同樣，有許多潛在模型可應用於製程變數以及混合成分和製程變數的組合。這裡我們重點介紹應用程式中最常用的標準設計。線性過程變數模型為：
,
其中我們有 r 個獨立變數。二階（完全二次）過程變數模型為：
請注意，雙重求和包括 i=j，因此完整的二次模型在模型中包含平方（二次）項。顯然，擬合這樣的模型需要設計中兩個以上的水平。對於兩級設計，可以使用因子模型 - 線性項和二階交互作用，但沒有二次（平方）項：
當然，透過完全因子設計，我們也可以估計更高階的相互作用。
在同時存在混合物和製程變數的情況下，一個關鍵的考慮因素是預期混合物和製程變數之間相互作用的程度。如果我們有理論或經驗表明混合物和過程變數彼此不相互作用，那麼我們可以分別擬合混合物和過程模型。換句話說，整體模型將變成：
c（x，z）= f（x）+ g（z）（1）
我們將公式 1 稱為線性加法模型。在這種情況下，f(x) 將是適合混合成分的任何模型，而 g(z) 將是適合製程變數的任何模型。然而，在許多情況下，混合物成分和製程變數會相互作用。換句話說，烘烤蛋糕的最佳時間和溫度可能取決於蛋糕中的成分。紅葡萄酒通常不像白葡萄酒那樣冰鎮飲用，等等。在這些情況下，許多作者，例如康乃爾（2002、2011）和普雷斯科特（2004），建議將混合和過程變數模型相乘，而不是將它們相加。換句話說，為了適應混合過程的相互作用，我們可以使用以下模型：
c（x，z）= f（x）* g（z）（2）
此乘法模型在參數（b i和 a i ）上不是線性的，因此無法以封閉形式或透過標準線性迴歸軟體獲得最小平方法解。解決這個問題的一種方法是將 f(x)*g(z) 中的各個項相乘。考慮有三個混合變數和兩個過程變數的情況。為簡單起見，假設我們知道這些模型將具有以下形式：
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 十三 x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3 ，以及
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 ，
這將是一個特殊的三次混合模型和一個因子過程變數模型。因此，f(x) 有七個項需要估計，g(z) 有四個。如果我們將 f(x) 中的每個項乘以 g(z) 中的每個項，這將在線性迴歸模型中產生 28 項。我們將該模型稱為線性化，因為公式 2 實際上是非線性模型。透過將所有項相乘，我們建立了一個包含 28 項的線性模型。也就是說，我們有：
c(x,z) = f(x)*g(z) = b 1 x 1 *a 0 + b 1 x 1 *a 1 z 1 + b 1 x 1 *a 2 z 2 + b 1 x 1 *a 12 z 1 z 2 (3)
+ b 2 x 2 *a 0 + b 2 x 2 *a 1 z 1 + b 2 x 2 *a 2 z 2 + b 2 x 2 *a 12 z 1 z 2
+ .............+ b 123 x 1 x 2 x 3 *a 12 z 1 z 2
請注意，如果我們將 b 1 a 0視為一個參數，將 b 1 a 1視為另一個參數，依此類推，則公式 3 在參數中是線性的。因此，方程式 3 可以用標準線性迴歸軟體進行估算，就像方程式 1 一樣。當然，當獲得最小二乘估計值時，x 1的估計參數（在方程式 3 中列為“b 1 a 0 ”）將有機率等於方程式 2 中 f(x) 中 x 1的估計係數（1) 乘以公式 2 中估計的 g(z) 截距 (0)，如果這些單獨的項是直接從非線性最小平方法估計出來的。也就是說，公式 3 中的最小平方法估計值不能用來決定公式 2 中的非線性最小平方法估計值。
我們稍後會回顧的一個重要點是公式 2 與公式 3 的比較。公式 2 是一個參數非線性的模型。如果這樣估計，則只需要估計 11 個參數，其中 f(x) 為 7 個，g(z) 為 4 個。實際上，只需要 10 個參數，因為公式 2 實際上是過度指定的；這個方程式沒有唯一的最小二乘解。如果我們考慮將 f(z) 乘以任意非零常數（例如 m），並將 g(z) 除以 m，c(x,z) 的值將保持不變，因為 m 和 1/m 會抵消，那麼可以立即看出這一點。由於有無數個這樣的常數 m 可以與 f(x) 中的每個係數相乘，每個常數都會產生相同的殘差平方和，因此方程式 2 不可能有唯一的最小二乘解。我們透過設定 a 0 = 1.0 來解決這個過度指定問題。我們不聲稱這是解決過度規範的最佳或唯一方法，儘管它確實有助於解釋其他係數，我們很快就會看到。
當然，關鍵點在於，如果可以直接將方程式 2 估計為非線性最小二乘問題，則估計參數只需要 10 個自由度，而不是線性化版本所需的 28 個自由度。當預期有交互作用時，這對於實驗設計具有明顯的意義。當然，如果預期沒有交互作用，則可以估計方程式 1，即線性加法模型。這個方程式也是過度指定的，因為 a 0項是不需要的，而且事實上無法估計，因為截距已經合併到混合模型 f(x) 中。透過刪除截距，我們再次有 10 個參數需要估計，就像在非線性模型中所做的那樣。
混合物/製程問題中使用的典型實驗設計
設計和模型顯然是相輔相成的，當我們設計實驗時，我們通常會考慮特定的模型，即使我們對確切的形式沒有信心。在混合實驗中，有適合估計線性 Scheff模型，當然還有適合估計二次或特殊三次模型的更大的設計。
單純形設計通常用於混合實驗。當我們有 q 個元件時，這些通常以 q-1 維表示。例如，如果我們有三個組件，那麼由於混合約束，只有兩個自由度，因此設計可以以二維顯示，如圖 2 所示。請注意，所有三個組件都有表示，每個組件都有一個軸。在無約束混合問題中，每個成分可以從 0 變化到 1.0，因此完整單純形在每個軸上從 0 變化到 1。 0 點以單純形的底邊表示，則 1.0 將位於底邊對面的單純形點。請注意，如果 x 1 = 1.0，則 x 2 = x 3 = 0，因此該點對應於 x 2和 x 3軸的底部。由於顯而易見的原因，這些點被稱為“純混合物”。圖 2 中標示了純混合物以及採用單純形設計運作的其他共同點。
我們指出，質心對應於因子設計中的中心點，對應於單純形中間的點 1/3、1/3、1/3。其他採用單純形設計運作的常見點是所謂的 50-50 混合，其中兩個組分的比例為 0.5，第三個組分的比例為 0。這些 50-50 的混合對應於單純形的每個基線上的中點。單純形設計中經常使用的另一個常見點是“檢查點”，通常位於質心和純混合之間的中間。對於三組分單純形，對於 x 1 ，這些將是 2/3、1/6、1/6；對於 x 2 ，這些將是 1/6、2/3、1/6；對於 x 3 ，這些將是 1/6、1/6、2/3。這些檢查點可以驗證模型是否適合數據，而不僅僅是單純形的質心和邊界。換句話說，很好地擬合檢查點表明在單純形內插值是相對安全的。
如 Cornell (2002) 所解釋的那樣，實踐中也使用了更複雜的單純形格子設計，將點均勻地定位在整個單純形上。在超過四個成分的實驗中，這些設計很難說明，但可以形成相同類型的設計，就像因子設計的情況一樣。當然，配方成分的水平通常會受到限制。例如，很少消費者會喜歡 100% 由醋製成的沙拉醬。在這種情況下，人們可以創建偽組件（Cornell 2002），它是原始組件的變換，或在約束創建的異常設計空間中利用電腦輔助設計。這樣的設計不是本文的重點。我們也假設讀者熟悉用於製程變數的標準因子設計。
在具有製程變數的混合設計中，通常使用某種混合設計，以便可以估計混合效應和模型，以及製程效應和模型。如果實驗者懷疑存在交互作用，那麼通常需要能夠估計方程式 2 線性化版本中的所有項。也就是說，所選的實驗設計應該允許估計將混合模型中的每個項與過程模型中的每個項相乘而獲得的所有效應。在上面的例子中，人們希望設計一個能夠估計公式 3 中所有 28 個項的設計。
這種設計通常將因子設計或部分因子設計與混合設計交叉。例如，康乃爾的魚餅實驗（Cornell 2002）將涉及純混合、質心和 50-50 混合的三組分單純形設計與三個製程變數的 2 3因子設計進行交叉。設計如圖 3 所示。請注意，在 2 3因子設計的每個點，都運行了完全單純形設計。當然，也可以將其描繪為單純形每點的全因子設計。由於單純形設計有 7 個點，而因子設計有 8 個點，因此完整設計為 56 個點，以隨機順序運行以避免裂圖（Cornell 2002、2011）。
如果不預期交互，那麼設計當然可以小得多。例如，在康乃爾魚餅範例中，特殊三次混合模型將有 7 個項（3 個線性混合項、3 個 2 因子交叉積和特殊三次 3 因子交叉積），而完全因子模型將有 8 個項（1 個截距、3 個主效應、3 個 2 因子交互作用和 1 個 3 因子交互作用）。因為混合模型 f(x) 包含一個截距，我們可以從 g(z) 中去掉截距，剩下 7 + 8 - 1 = 14 個項需要在沒有交互作用的線性加法模型中估計，即 c(x,z) = f(x) + g(z)。顯然，可以運行更小的分數設計，或者由於模型中沒有交互作用，因此可以獨立研究混合和過程變數。
統計工程在製程變數混合模型中的作用
Hoerl 和 Snee (2010) 將統計工程定義為：「研究如何最好地利用統計概念、方法和工具，並將其與資訊科技和其他科學相結合，以產生更好的結果。」相反，統計科學可以被視為對單一統計方法的基礎理論和應用的研究和發展。關鍵的差異在於，統計科學著重於提高工具本身的基礎知識及其應用。另一方面，統計工程關注的是如何利用現有的方法和工具，即現有的統計科學，創造性地連結和整合這些工具（通常與非統計工具一起），以產生更大的影響。創造性地利用現有科學來取得更大的影響是任何工程領域的本質。
顯然，統計學領域的發展和增強其對社會的影響需要統計科學和統計工程。我們認為，雖然需要採取平衡的方法，但目前該行業的重點往往偏向統計科學（Snee 和 Hoerl 2011）。特別是，我們認為需要更加重視發展一種基礎理論，以解決大型、複雜、非結構化的問題——這些問題太大，任何單一工具都無法解決。這些問題顯然需要創造性地整合多種統計方法，以及創造性地使用資訊科技或其他科學。顯然，我們需要採取工程方法。有關統計工程學科的更多背景信息，請參閱《質量工程統計工程專刊》（Anderson-Cook 和 Lu 2012）。
我們注意到，在解決具有製程變數的混合問題時，設計的選擇和模型的選擇是相輔相成的。也就是說，我們可以估計的模型由設計決定，而適當的設計取決於我們希望估計的模型。此外，如果我們事先知道具體的模型，我們可以建立一個最佳設計來估計該模型。然而，在許多實際情況下，我們的主題知識有限，我們不確定最終的模型。通常，這會導致一種迭代的設計和分析方法，正如 Box 等人所強調的那樣。 （2005）、Montgomery（2012）以及其他許多人。
關鍵問題是，當我們預測混合物和製程變數之間的相互作用但不確定時，如何最好地解決問題。我們注意到，這與詢問給定模型的最佳設計是什麼的問題非常不同，也與詢問適合給定資料集的最佳模型是什麼的問題不同。後者更多的是統計科學問題，因為它們涉及單一工具的理論和實踐。此外，人們可以根據客觀標準透過分析來確定「正確」答案。然而，如何解決一個複雜問題並不是一個統計科學問題，因為我們掌握的已知資訊很少，而且也沒有公認的成功客觀指標。換句話說，這個問題是非結構化的。
我們認為這個策略問題更適合統計工程，因為我們需要一種結合設計和分析的整體方法，也許是以順序的方式，以獲得更好的結果。多種工具的整合是關鍵。在這種情況下，「更好的結果」可能基於統計標準，或基於節省實驗努力，包括時間和金錢，或兩者兼而有之。換句話說，它可能基於尋找最佳業務解決方案，而不是尋找最佳統計解決方案。與在特定條件下獲得最佳設計或最佳模型相比，這是一個更複雜、結構性更強的問題。因此，統計工程觀點指導了我們對具有製程變數的混合問題的研究和推薦策略。
設計與分析的三個案例研究
康乃爾 (2002) 展示了三種魚餅進行實驗的數據：鯔魚、羊頭魚和石首魚。此外，每個肉餅的烘烤溫度、烘烤時間和煎炸時間都不同（肉餅既烘烤又經過煎炸）。令人感興趣的是最終製作出來的肉餅的質地。所用設計是混合變數中的七次運行單純形，包括純混合、50-50 混合和質心。對於製程變量，進行了八次運行 2 3 。康乃爾將混合設計與製程設計交叉，如表 1 所列並在圖 3 中說明。此設計總共進行了 7*8 = 56 次運行。康乃爾大學擬合了一個線性模型，其中：
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b十三x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3 ,
g（z）=a0+a1z1+a2z2+a3z3+a12z1z2+a23z2z3+a123z1z2z3，以及
c(x,z) = f(x)*g(z)
表 1 康乃爾魚餅質地數據
混合 | 煎炸時間 |
二十五 | 40 |
烤箱時間 |
二十五 | 40 | 二十五 | 40 |
烤箱溫度 |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
鯔 | 羊頭 | 黃花魚 | 質地 |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0.67
- 1.10
- 1.21
- 1.67
- 0.58
- 0.97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2.75
- 0.5
- 0.5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1.85
- 2.06
- 0.5
|
0 | - 0.5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0.5
- 0.5
- 1.16
- 1.50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
由於 f(x) 有 7 項，g(z) 有 8 項，因此，當將各個項相乘以建立線性模型時，c(x,z) 有 7*8 = 56 項。顯然，沒有任何自由度來估計設計中 56 次運行的實驗誤差，產生的均方根誤差 (RMSE) 為 0，且無法估計誤差項 (e) 的標準差，即標準誤差。此外，沒有機會評估殘差來證明模型不足，或進行適合度檢定。因此，康乃爾大學使用重複測量（而非真實重複）之間的變化作為標準誤差的估計值。顯然，這種運行內變異不允許人們估計運行間變異源，因此它不能被視為與從真實重複估計的標準誤差等同的標準誤差估計值，甚至是殘差自由度估計的標準誤差估計值。
為了比較模型，我們應用了 Lenth 的 PSE（偽標準誤差）方法（Lenth 1989）來獲得康乃爾模型標準誤差的估計值。 Lenth 的方法首先確定看似真實的效應，然後刪除剩餘的變量，使用獲得的自由度來估計標準誤差。它是一個偽標準錯誤，因為它依賴從模型中刪除適當的術語。
普雷斯科特 (2004) 使用三種麵粉測試了麵包體積，這三種麵粉是挪威的 Tjalve、Folke 和美國的 Hard Red Spring。還有兩個過程變量，即發酵時間和混合時間。三種麵粉的含量有限制：.25 x11，0 x2.75 和 0 x3.75，其中 Tjalve 是 x 1 ，Folke 是 x 2 ，而 Hard Red Spring 是 x 3 。當應用於單純形混合空間時，這會導致在縮小的空間中產生較小的完全單純形。透過轉換為偽組件（Cornell 2002），仍然可以使用標準單純形設計。為了進行模型比較，並且不失一般性，我們使用 Prescott 混合設計的偽成分版本。普雷斯科特對混合變數採用了 10 次運行的單純形格子設計，對製程設計採用了 3 2 （即兩個變數的三級因子設計）。當然，這個設計有 9 次運行。
再次將混合設計與製程設計交叉，普雷斯科特創建了一個 10*9 = 90 次運行的設計，如表 2 所示，並在圖 4 中說明。對於混合模型 f(x)，普雷斯科特考慮了康奈爾使用的具有 7 項的相同特殊三次模型，對於過程模型 g(z)，他考慮了一個具有 6 項的完全二次模型：
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 +
表 2 Prescott 的麵包體積數據
偽成分 混合物 | 發酵時間（分鐘） |
三十五 | - 47.5
| 60 |
混合時間（分鐘） |
5 | 15 | 二十五 | 5 | 15 | 二十五 | 5 | 15 | 二十五 |
賈爾維 | 人們 | 硬紅春 | 麵包體積 |
.25 | .75 | 0 | - 378.89
- 396.67
- 392.22
- 445.56
- 452.22
- 487.78
- 457.22
- 500.56
- 472.78
|
.50 | .50 | 0 | - 388.89
- 423.33
- 416.11
- 460.00
- 488.89
- 475.78
- 472.78
- 478.00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444.56
- 484.44
- 490.00
- 495.00
- 497.78
- 531.11
- 577.78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415.00
- 490.89
- 528.89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436.00
- 535.00
- 552.22
- 507.44
- 578.89
- 590.00
|
.25 | .25 | .50 | - 413.89
- 485.56
- 462.22
- 483.89
- 529.44
- 540.00
- 565.00
- 598.89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437.78
- 493.89
- 583.33
- 578.89
- 524.44
- 649.44
- 640.00
|
.25 | 0 | .75 | - 432.78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638.89
- 638.89
|
請注意，二次項是可估計的，因為製程設計是三級設計。普雷斯科特運行了幾個線性化互動模型，即形式為 c(x,z) = f(x)*g(z)，總共有 7*6 = 42 項。經過 90 次運行，有足夠的自由度來估計完整的 42 項模型，並且仍然有足夠的自由度來估計標準誤差。在考慮了幾種模型之後，普雷斯科特針對這些數據提出的最終模型是以下形式的簡化模型：
y = 522.8x 1 + 448.1x 2 + 599.3x 3 + 13.0x 1 z 1 + 1.7x 2 z 1 + 54.3x 3 z 1 + 56.3x 1 z 2 + 37.2x 2 z 2 z 1 + 2 z 2
+ 73.8x 3 z 2 – 39.4x 1+ 3.7x 2– 46.0x 3– 10.2x 1+ 28.4x 2+ 1.0x 3
請注意，模型中刪除了一些項，例如涉及 x i的任何交叉積的項，或 z 1和 z 2的交互作用的項。事實上，最終模型僅包含了 42 個可能的項目中的 15 個。當比較線性化和非線性模型時，我們回到這一點。
王等(2013) 進行了一項混合/過程實驗設計，作為 2013 年第一作者在羅格斯大學教授的統計學課程的課堂專案的一部分。實驗包括三個混合變數：水、牛奶和柳橙汁，以及兩個製程變數：添加糖（0 或 2 克）和使用的牛奶類型（2% 或全脂）。答案是混合物產生的冰的融化時間（分鐘）。混合設計是一個 10 次運行的單純形設計，具有純成分、50-50 混合物、檢查點和質心（偽成分形式）。這就是圖 2 所示的設計。對於流程設計，Wang 在四次運行中進行了 2 2因子分析。表 3 給出了 10*4 = 40 次運行的交叉設計，其結果反應如表 5 所示。
表 3 王等人熔化時間數據
混合物 | 牛奶類型 |
2% | 所有的 |
糖 |
0克 | 2克 | 0克 | 2克 |
水 | 牛奶 | 汁 | 熔化時間 |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32.97
|
0 | - 0.5
- 0.5
- 37.36
- 32.89
- 45.69
- 39.06
- 0.5
- 0.5
|
0 | - 33.32
- 28.34
- 41.78
- 35.84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36.97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0.5
|
0 | - 0.5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39.95
|
0 | 1 | 0 | - 48.64
- 33.00
- 45.08
- 47.35
|
王等(2013) 對 f(x) 擬合了一個 7 項特殊三次函數的線性模型，對 g(z) 擬合了一個 4 項因子過程模型，該模型具有一個截距、兩個主效應和 2 個因子交互作用。因此，當將所有項相乘時，c(x,z) 是公式 3 中給出的 28 項線性化模型。透過 40 次運行和 28 個項進行估計，剩下 12 個自由度來估計標準誤差。
線性和非線性模型及結果
對於這些設計和資料集中的每一個，人們還可以考慮更小的模型，例如線性加法模型，c（x，z）= f（x）+ g（z），當然它沒有用於估計混合物和過程變數之間相互作用的項，還有非線性模型。為了估計非線性模型，需要直接找到 c(x,z) = f(x)*g(z) 的最小平方法解，而無需乘以各項。如前所述，該模型的參數是非線性的。例如，在具有兩個混合變數和一個製程變數的簡單情況下：
c(x,z) = ( b1x1+b2x2 + b12x1x2 )* (a0 + a1z) （4 ）
假設我們希望估計這 5 個係數中的每一個，那麼我們可以將公式 4 視為具有 5 個係數的非線性方程，並使用非線性最小二乘法來尋找解。如前所述，實際上我們只有 4 個係數需要估計，因為公式 4 是過度確定的，並且沒有唯一的最小二乘解。透過任意設定0 = 1.0，我們通常可以獲得其他參數的唯一最小平方法解。使用其他非零值代替0不會改變模型指標，例如 R 2 、標準誤差等等。當然，對於非線性最小平方法來說，不能保證唯一的解。
為了擬合非線性模型，我們使用 JMP Pro 10 中的非線性迴歸演算法，在標準 MacBook Pro 筆記型電腦上運行。如前所述，運行非線性模型比線性模型更具挑戰性，但使用現代軟體肯定是可行的，我們認為它是解決此類問題的可行選擇。在討論這三個資料集進行線性加法和非線性模型擬合得到的結果之前，我們先簡單討論一下非線性模型中係數的解釋。我們不討論線性加法模型，因為混合項的解釋已在文獻中廣泛討論，例如廚師 (1963)、Cornell (2002) 以及許多其他文獻。
在估計了公式 4 中非線性模型中的項之後，我們可以自由地乘以估計的項來幫助解釋。請注意，這會產生一個與在估計係數之前乘以項而獲得的模型非常不同的模型，後者會產生線性化模型。此外，決定設定0 = 1 而不是其他值使得模型的解釋更加直接。一旦我們將非線性方法中的估計項乘以公式 4，我們就會得到：
= ( 1 x 1 + 2 x 2 + 12 x 1 x 2 )*(1 + 1 z)
= ( x 1 + x 2 + 12 x 1 x 2 ) + ( x 1 + x 2 + 12 x 1 x 2 )* 1z (5)
不失一般性，我們可以假設 z 被縮放為平均值為 0。因此，當 z 為其平均值時，公式 5 簡化為左邊部分，即純混合模型 f(x)。因此，我們可以將混合係數解釋為我們在製程變數中點估計的混合，或解釋為整個設計的平均混合。無論是否與 z 有交互作用，此解釋均成立。 1的解釋比較複雜。請注意，公式 5 中 z 出現的唯一位置是透過一組交互作用。
這意味著非線性模型無法根據 z 與混合變數的交互作用唯一地估計 z 的主效應。這是因為唯一可用於綜合考慮 z 的主效果及其與 x i 的交互作用的係數是1 。雖然 f(x) 可以重寫為具有截距的鬆弛變數模型，但我們仍然只有一個自由度來結合 z 的主效應及其與混合變數的交互作用。我們認為這是非線性方法的一個缺點，並推測實際結果將是難以擬合具有較大過程變數主效應以及混合物和過程變數之間嚴重交互作用的曲面。
我們可以將這種解釋擴展到更大的非線性模型，例如來自他的魚餅實驗的 7 項特殊立方混合模型和 8 項製程變數模型。如果我們直接將 c(x,z) = f(x)*g(z) 估計為非線性模型，我們將估計 7 + 8 – 1 = 14 個係數。回想一下，我們設定了0 = 1。在使用非線性最小平方法求解這 14 個係數後，我們可以乘以各項來幫助解釋。這樣做會產生：
(x)*(1 + 1 z 1 + 2 z 2 + 3 z 3 + 12 z 1 z 2 +十三z 1 z 3 + 23 z 2 z 3 + 123 z 1 z 2 z 3 ),
即 1 乘以 (x)，加上1 z 1乘以 (x)，加上2 z 2乘以 (x)，依此類推。換句話說，模型中除 (x)*1 之外的所有其他項都涉及i乘以一個或多個 z i乘以 (x)。因此，類似於方程式 5 中的情況，z i的任何主效應都無法透過該 z i與混合變數（及其交互作用）的交互作用唯一地估計出來。同樣，z i之間的交互作用，例如 z 1 z 2 ，無法透過該項與混合項之間的交互作用唯一地估計出來。
從實際角度來看，無法估計 z 1和 x 1 z 1的單一係數，比無法估計 z 1 z 2 z 3和 x 1 x 2 x 3 z 1 z 2 z 3等相互作用的單一係數更令人擔憂，就設計的分辨率而言（Box 等人，2005 年）。也就是說，實踐者很少關心六因素交互作用的實際重要性。
將線性加法模型 c(x,z) = f(x) + g(z) 和非線性模型 c(x,z) = f(x)*g(z) 擬合到前面討論的三個資料集，我們得到了表 4 所示的結果。對於康乃爾和王資料集，我們擬合了完整的模型，而沒有嘗試子集選擇。利用普雷斯科特數據，對於線性加法模型和非線性模型，我們僅合併普雷斯科特選擇的 f(x) 和 g(z) 中的項，以納入他的最終線性化模型。具體來說，對於 f(x) 我們只使用 x 1 、 x 2和 x 3 。對於 g(z)，我們包括 z 1 ， z 2 ， ，和 。從這個意義上來說，康奈爾和王的比較是沒有子集選擇的“蘋果對蘋果”，而普雷斯科特的比較是普雷斯科特應用了子集選擇的“蘋果對蘋果”。
我們使用的數值標準是估計標準誤或均方根誤差（RMSE）。顯然，沒有單一的指標可以決定模型的「優良程度」。為了在實踐中開發合適的模型，需要查看幾個數值標準，評估殘差圖，將結果與可靠的主題理論進行比較，等等。讀者不應推斷我們建議在模型建構中僅關注 RMSE。然而，為了模型比較的目的，我們僅使用估計標準誤差作為一種方便的客觀標準來衡量模型與資料的適合程度。
從表 4 中我們可以看到，在兩種情況下，線性化模型提供了最小的估計標準誤差，並且對於康乃爾資料來說幾乎是最小的。這並不奇怪，因為線性加法模型不適應任何交互，而非線性模型具有前面提到的限制。我們從這三種分析中得出結論：如果有足夠的自由度，則線性化模型是首選方法，基於這三種應用此標準的模型。
表 4 線性化、線性加性及非線性模型的 RMSE
康乃爾數據 普雷斯科特數據 資金數據
線性化0.17* 21.0 1.36
線性加法0.24 24.3 2.38
非線性0 .16 23.1 2.05
*使用 Lenth 方法計算，因為沒有誤差的 df。
然而，經過仔細檢查，我們注意到，對於康乃爾數據和普雷斯科特數據這兩個數據集，模型之間的差異並不像人們想像的那麼大，事實上，對於康奈爾數據，非線性模型 RMSE 略小於線性化模型 RMSE。回想一下，由於沒有剩餘的自由度來估計誤差，因此使用 Lenth 方法計算線性化模型 RMSE。考慮到這些模型中估計係數數量差異的巨大，非線性方法的性能令人印象深刻：康奈爾模型估計係數數量為 14（線性加法或非線性）對 56（線性化），普雷斯科特完整模型估計係數數量為 12 對 42（如果我們僅使用普雷斯科特的簡化模型項，則為 7 對 15），王係數數量為 10 28。非線性和線性加性模型更加簡約。
線性加法和非線性方法對 Wang 資料效果不佳的一個可能解釋是，混合物和製程變數與該資料之間存在高度顯著的交互作用。例如，線性模型中的牛奶*糖*牛奶類型（x 2 z 1 z 2 ）和牛奶*果汁*糖*牛奶類型（x 2 x 3 z 1 z 2 ）在 0.01 水準上均具有統計學顯著性。水*牛奶*糖*牛奶類型（x 1 x 2 z 1 z 2 ）在 0.01 水準上幾乎顯著（p 值 = 0.0101）。根據我們的經驗，四個因素的交互作用如此顯著的情況是非常不常見的。線性模型不包含任何表示過程和混合變數之間相互作用的項，顯然無法有效地對此交互作用進行建模。非線性模型根本沒有足夠的項來提供良好的近似值。由於這種顯著的高階交互作用，很可能需要採用線性化方法。
鑑於表 4 中顯示的差異相對較小，我們可以透過減少初始實驗量來節省大量時間和金錢。當然，使用所有項來估計 Prescott 非線性模型中的 12 個項並不需要 90 次運行，也不用使用所有項來估計 Cornell 非線性模型中的 14 個項需要 56 次運行。為了回答這個問題，我們評估了每個模型如何適應實際運行的部分設計。
分數設計的結果
我們討論過的每種設計都是透過混合設計與製程設計結合產生的。因此，總運行次數為 n 1 *n 2 ，其中 n 1是混合設計的次數，n 2是製程設計的次數。對於康乃爾大學的魚餅設計，這個數字是 7*8 = 56。鑑於上面顯示的非線性模型的結果，一個合乎邏輯的問題是，是否真的需要全部 56 次運行，或者康乃爾大學是否能夠運行一個更小的設計並獲得幾乎相同的結果？ Cornell (2002) 給出的運行 56 次設計的理由之一是需要估計線性模型中的所有係數。
Cornell (2002) 也指出，如果實驗者無法運行完整的設計，他們可以透過在混合空間的每個點運行一部分製程設計來創建部分設計。為了確保盡可能多的項可估計，康乃爾建議在混合設計的不同點切換運行製程設計的部分。例如，在三個製程變數的情況下，我們可能會在大約一半的混合設計點處執行 z 1 z 2 z 3 = 1 半分數，在另一半處執行 z 1 z 2 z 3 = -1。如果可能的話，康乃爾大學進一步建議在混合空間的質心處運行完整的流程設計。他指出，如果運行這種分數設計，實驗者將無法估計完整的線性化模型，而只能估計這些項的子集。
在魚餅案例中，混合設計有 7 個點，而工藝設計有 8 個點。在質心處運行所有 8 個點，然後在所有其他點處運行 4 個點（半分數），將產生具有 32 個點的分數設計。這些點數不足以估計線性化魚餅模型中的所有項，但足以估計非線性或線性加法模型中的 14 個項。在圖 6 中，我們展示了在純混合時 z 1 z 2 z 3 = 1 運行的分數設計，以及在 50-50 混合時 z 1 z 2 z 3 = -1 運行的分數設計。為了便於圖形解釋，並為了能夠與圖 3 進行比較，我們再次展示了在流程設計的每個點運行的混合點，儘管構造方法如上所述。
除了觀察非線性模型與精簡資料集的擬合程度之外，我們還有一個自然的保留樣本來更好地評估模型。也就是說，僅使用 32 次運行來估計非線性模型。因此，一旦我們估計了模型項，我們就可以使用該模型來預測未用於估計模型的 24 次運行。這樣的保留樣本通常被認為是評估估計模型的更有效的標準，因為模型沒有看到這些數據，並且在擬合過程中不會受到它的影響。表 5 顯示了首先將線性加性模型和非線性模型擬合到圖 6 所示的分數設計的結果，以及預測保留資料時的預測標準誤差 (RMSE)。請注意，康乃爾模型中有太多項目需要用分數設計來估計，因此線性化模型不是一個選擇。
顯然，人們可以任意逆轉純混合與 50-50 混合的分數設計運行。因此，為了完整性，我們將圖 6 中所示的設計視為分數設計 1，並將分數設計 2 定義為 z 1 z 2 z 3 = -1 在純混合下運行，z 1 z 2 z 3 = 1 在 50-50 混合下運行。再次，全部 8 個製程設計點均在質心處運作。
表 5 康乃爾分數設計的預測結果
*使用 Lenth 方法計算，因為沒有誤差的 df。
請注意，在表 5 中，對於兩種分數設計，非線性模型都能很好地擬合「訓練」數據，並且相當好地擬合保留數據。兩種分數設計的預測 RMSE 均為 0.22，高於原始的 0.16 RMSE，但在合理範圍內，因為我們只使用了原始 56 次運行中的 32 次，減少了 43%。線性加法模型對整個資料集的擬合效果也一致。如前所述，如果我們的唯一目標是最大化模型適配度，那麼最好採用線性化模型的全交叉設計。然而，如果時間和成本是重要的考慮因素，那麼應該考慮一個預測精度較低但需要較少實驗努力就能獲得的非線性模型。
普雷斯科特的混合設計是一個單純形格子，每個純混合物之間有兩個邊緣點和一個質心。這與 3 2流程設計相交叉。這樣的組合對於確定啟發式意義上平衡的分數設計提出了更大的挑戰。考慮了各種選擇之後，我們將分數設計 1 定義為質心處的完整 3 2 、純混合處 z 1 z 2 = 0 的點以及 z 1 = z 2 = 0 的點以及以下三個邊緣點處 z 1 z 2 = +/-1 的點：(2/3, 1/3, 0)、( z 2 = +/-1 的點：(2/3, 1/3, 2, 0, 13, 13, 13, 1/3, 23,0, 13)。這樣就得到了 39 次運算的分數設計 (9 + 5*3 + 5*3)，如圖 7 所示。請注意，分數設計的點數還不到原始 90 次運行設計的一半。透過再次在質心處運行完整的 3 2 ，但將在純混合物與三個邊緣點處運行的過程點反轉，獲得了分數設計 2。
Prescott 分數設計的預測結果如表 6 所示。請注意，對於 Prescott 線性化模型，最終模型中僅使用了 Prescott 保留的 15 項，因此我們可以使用分數設計來估計模型。這使得我們可以將線性化模型與線性加法進行比較，將非線性模型與分數資料進行比較。當然，如果普雷斯科特運行了一個 7 項的完整特殊三次混合模型和一個 6 項的因子過程設計，那麼我們就沒有估計所有項所需的 42 個自由度。
從表 6 中我們可以看出，線性化模型在使用訓練資料的分數設計中表現非常出色。事實上，兩種設計的 RMSE 都低於使用完整資料集所獲得的 RMSE。這可以部分解釋為，普雷斯科特從完整資料集中確定了線性化模型中所需的參數。從這個意義上說，當我們將線性模型擬合到分數資料時，我們正在使用來自完整資料集的資訊。然而，我們無法用這 39 個資料點來估計完整線性模型中的所有項。但請注意，線性化模型在預測保留資料方面的表現要差得多。事實上，對於兩種分數設計，線性化預測 RMSE 都大於線性和非線性模型的 RMSE。
同樣，對於這兩種設計，線性加法和非線性模型提供的預測 RMSE 都相當接近訓練集的 RMSE。正如康乃爾大學的數據一樣，我們看到，使用分數設計擬合線性加法或非線性模型為運行完整的 90 次運行設計提供了可行的替代方案。
表 6 Prescott 分數設計的預測結果
王最初的設計是一個 10 次運行的單純形法，其邊緣點和檢查點各佔 50%，並與 2 2過程設計交叉，最終得到 10*4 = 40 次運行。我們透過在質心和純混合處運行全分數 2 2 、在 50-50 邊緣點處運行半分數 z 1 z 2 = 1、在檢查點處運行半分數 z 1 z 2 = -1 來獲得分數設計 1。這樣一來，運行次數為 4*4 + 2*3 + 2*3 = 28 次，如圖 8 所示。分數設計 2 是透過反轉 50-50 邊緣點和檢查點處的分數運作而獲得的。
使用這些分數設計，我們再次在預測 RMSE 方面比較線性化、線性加法和非線性模型。由於 Wang 運行的線性模型有 28 個參數，我們能夠估計這個完整的模型，儘管沒有剩餘的自由度來估計誤差。因此，為了進行比較，我們再次使用 Lenth 的偽標準誤差來取代線性化模型的 RMSE。這些比較的結果如表 7 所示。
表 7 Wang 分數設計的預測結果
*使用 Lenth 方法計算，因為沒有誤差的 df。
表 7 中最值得注意的是線性模型的預測效果不佳。很大程度上，這可能是由於分數設計估計誤差的自由度為零。我們認為，從中得到的一個重要教訓是，使用沒有或很少有錯誤自由度的迴歸模型來預測新資料是十分危險的。模型評估和驗證是一項艱鉅的任務；如果這樣做時誤差自由度很小或沒有，則可能會導致錯誤的預測。線性加法和非線性模型表現較好，在樣本外預測方面大致相當。請注意，線性加法模型和非線性模型均未產生接近具有完整資料集的線性化模型的 RMSE。然而，當預測樣本外時，它們的表現都比線性化模型更好。再次，我們認為這提供了一些證據，證明在分數設計上運行的線性加法和非線性模型是實踐中可行的替代方案。
我們學到了什麼？
我們使用兩個已發布的混合過程資料集和一個新的資料集比較了線性化、線性加法和非線性模型。此外，我們不僅在擬合原始資料集方面比較了這些方法，而且還在擬合可以運行的潛在分數設計（而不是完全交叉（混合時間過程）設計）方面進行了比較。我們重申，我們的目的不是找到絕對意義上的最佳設計或最佳模型。相反，我們提出了一種統計工程方法來確定在面臨潛在交互作用時解決混合製程問題的最佳策略。這種策略將考慮分數設計和順序方法的實際好處。
簡而言之，我們認為從這些比較中我們了解到了以下資訊：
- 如果具有足夠的自由度，則透過將混合模型的項與製程模型的項相乘而獲得的線性化模型很可能最適合數據，並提供對樣本外數據的最佳預測。
- 線性加法模型（忽略混合過程交互作用）和非線性模型為線性化模型提供了可行的替代方案，並且在估計項數量方面具有顯著優勢。
- 當實驗者考慮線性加法或非線性模型的選擇時，從分數設計開始的順序策略可以顯著減少開發有用模型所需的總實驗量。
- 如果線性加法和非線性模型無法很好地擬合原始分數設計，實驗者可以運行剩餘的完全交叉設計，並擬合線性化模型。從這個意義上來說，透過考慮順序策略，實驗者獲益良多，而損失卻很小。
- 另外不容忽視的一點是，殘差誤差自由度很少或沒有的模型可能很好地擬合樣本數據，但用來預測樣本外數據是有風險的。
圖 1 說明了我們建議的策略。透過最初運行分數設計，我們有可能大幅減少擬合適當模型所需的實驗量。表 8 總結了不同的分數設計和各種模型的係數數量，以供比較。
表 8 完整設計和部分設計的規模以及模型中的係數數量
數據集 | - 運行次數 完整設計
| - 試驗次數 部分設計
| 減少 | - 線性化模型係數
- 線性加性模型係數
- 非線性模型係數
|
康乃爾大學 | 56 | 三十二 | 43% | 56 | 14 | 14 |
普雷斯科特 | 90 | 三十九 | 57% | 四十二 | 12 | 12 |
王等人 | 40 | 二十八 | 30％ | 二十八 | 11 | 11 |
我們建議在分數資料上運行線性加法模型和非線性模型。如果非線性模型擬合得更好，則表示混合物和製程變數之間存在值得注意的交互作用。當然，無論是線性加法模型或非線性模型都無法保證擬合得好。特別是，由於混合物和製程變數之間的相互作用程度很高，因此可能需要線性化模型。
如果實驗者對部分設計產生的模型不滿意，他們可以選擇執行另一個部分（最初未運行的部分），以完成整個設計。此選項應成為研究開始時所採用的策略的一部分。這種方法可以實現完整線性化模型的估計。在第一個部分和第二個部分之間，需要一個自由度來有效地阻止設計隨時間的變化。否則，假設可以按順序進行實驗，那麼這種方法就沒有真正的缺點。我們再次承認，非線性模型背後的理論並不像線性模型那麼發達。
當然，圖 1 中的模型充分性步驟不應僅限於評估 RMSE。此決策步驟旨在包括對模型充分性的全面評估，包括仔細審查殘差、評估潛在異常值、與有關該問題的當前領域知識進行比較等等。由於線性化模型的這種評估是假設的，因此我們沒有將其納入圖 1 中的另一個步驟。我們在此圖中的目標是展示如何按順序評估不同的模型，而不是描述合理統計模型建構的細節，如 Box 等人所討論的。 （2005），例如。
讀者可能會注意到，在本文中我們並沒有研究電腦輔助設計選擇最佳分數來適應非線性設計的潛力。我們相信，對混合過程問題中非線性模型的電腦設計應用的研究可以提供比我們現在的更好的結果。我們將此事留待未來的研究。
已製定、測試並展示了可行的策略
我們考慮設計實驗和擬合混合變數和製程變數的模型的問題，這些變數被認為可能會相互作用。解決此類問題的常見方法是運行全混合設計與製程變數的全因子設計交叉。這種設計允許估計線性化模型中的所有係數——透過將混合模型中的所有項與過程模型中的所有項交叉而創建的模型。然而，估計它們所需的模型和設計往往非常大。例如，在普雷斯科特的麵包製作範例中，使用了 90 次運行設計。康乃爾大學的魚餅設計需要 56 次運行。
我們考慮這樣的情況：實驗者想要一個好的模型，但可能不是最優的模型，並且希望透過比 90 次或 56 次運行少得多的實驗來獲得這樣的模型。在這種情況下，我們認為，採用順序實驗、最初小得多的分數設計以及考慮線性加性或非線性模型的統計工程策略可以提供更好的整體方法。重複一遍，我們並不聲稱非線性模型在 RMSE 或預測 RMSE 方面可能優於線性化模型。我們也不聲稱部分設計包含與完全交叉設計一樣多的信息。從這個意義上來說，我們並不是提出一個特定的設計本身，也不是提出一個特定的模型本身。
相反，我們提出了一種解決此類問題的策略，我們認為該策略總體上優於當前文獻中提出的方法。從這個意義上來說，我們提出的策略是一種統計工程方法。根據此處顯示的結果，我們得出結論，這種方法更為優越，因為它有可能節省大量實驗時間和精力，同時幾乎沒有任何缺點，假設順序方法是可行的。特別是，非線性模型可以相當直接地以現代統計軟體（例如 R、JMP、Minitab 或 SAS）進行估計，因此軟體不會成為考慮非線性模型的障礙。我們進一步相信，類似的方法在其他反應曲面應用中可能有更普遍的用途——超越混合/過程變數模型，但這是未來研究的主題。
參考
Anderson-Cook, CM 與 Lu, L. (客座編輯) (2012)。 “統計工程特刊”，品質工程，24(2)。
Box, GEP、Hunter, JS 與 Hunter, WG (2005)。 《實驗者統計數據》 ，第2版，John Wiley and Sons，新澤西州霍博肯。
康奈爾，JA（2002）。混合實驗：混合資料的設計、模型和分析，第3 版，John Wiley and Sons，紐約州霍博肯。
康奈爾，JA（2011）。混合物實驗入門，John Wiley and Sons，新澤西州霍博肯。
Hoerl, RW 與 Snee, RD (2010 年)。 “品質改進的統計思維與方法：展望未來”，品質工程，22(3): 119-139。
Lenth，RV（1989）。 “快速簡便地分析無重複因子”， 技術計量學 ，31(4): 469-473。
蒙哥馬利，華盛頓特區（2012 年）。 《實驗設計與分析》 ，第 8 版，John Wiley and Sons，新澤西州霍博肯。
普雷斯科特，P.（2004 年）。 「混合實驗中的建模包括與製程變數的相互作用。」品質技術與量化管理， 1(1): 87-103。
廚師，H.（1963 年）。 “混合實驗的單純形質心設計”，皇家統計學會雜誌B ，25(2): 235–263。
Snee, RD 與 Hoerl, RW (2011)。 “適當融合；統計工程與應用統計學之間的正確組合”，品質進展，六月：46-49。
Wang, L., Xu,J.，Wu, S. 與 Zhang, K. (2013)。自製冰塊融化速度的研究，未發表的專案報告。
