<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />羅傑W. Hoerl 博士，聯合學院 Brate-Peschel 統計學助理教授
羅納德·D. Snee 博士，Snee Associates 總裁
使用非線性模型進行高效率的混合/過程實驗
9/2015
羅納德·D. Snee, Snee Associates, 德拉瓦州紐瓦克
羅傑W. Hoerl，聯合學院，斯克內克塔迪，紐約
Gabriella Bucci，戶外學院，佛羅裡達州薩拉索塔
版權所有：羅納德·D. 斯諾，羅傑W. 霍爾和加布里埃拉·布奇 2015
註：本文目前正在接受編輯評審，標題為：“製程變數混合實驗的統計工程方法”
抽象的：對混合物成分和製程變數進行實驗，特別是當這兩組變數之間可能存在交互作用時進行討論。 我們在解決實際混合物/製程問題的背景下考慮設計和分析問題。 我們專注於解決此類問題的策略，而不是為給定的資料集尋找最佳的設計或最佳的模型。 從這個意義上說，使用了統計工程框架。特別是，當我們考慮擬合簡約非線性模型而不是較大的線性化模型的潛力時，我們發現了減少實驗設計規模的重要機會。 在實務上很難知道哪種類型的模型最適合結果資料。 因此，建議採用整合的順序設計和分析策略。 使用兩個已發布的資料集和一個新資料集，我們發現在某些情況下，非線性模型或忽略交互作用的線性模型可以減少約 50% 的實驗。 在其他情況下，非線性模型可能還不夠。 因此，我們提供了這種方法何時可能成功的指導方針，並針對此類問題提出了整體策略。
關鍵字：混合物、混合物模型、混合物實驗、非線性模型
介紹
混合問題（成分比例總和必須為 1.0）出現在許多產業和應用領域，例如食品、藥品和化學品的開發等。 在許多混合物應用中，影響最終反應的不僅是配方，還有過程變數。 例如，在生產混合葡萄酒時，最終的味道和其他重要特徵不僅取決於所用葡萄品種的比例，還取決於製程變量，例如生長季節的氣候條件、葡萄收穫時的溫度、發酵過程的各個階段、使用的陳釀桶種類等等。
在某些情況下，混合物組分和製程變數不會相互作用。 在葡萄酒的例子中，這意味著可以優化發酵和其他加工，而無需考慮使用的葡萄品種。 這種情況將導致人們使用將混合模型與過程變數模型結合的附加模型。 在其他情況下，這種添加方案將不適用，因為最佳加工條件可能取決於所使用的品種。 在這種情況下，混合物和製程變數之間會相互作用。 交互場景將產生包含術語來解釋混合物和過程變數之間交互作用的模型。
當預期這種交互作用時，通常使用的實驗設計往往很大，以便容納包含交互作用的線性模型中的項數（Cornell 2002，2011）。 當然，如果人們從主題知識或先前的實驗中知道最終的模型形式是什麼，則可以設計最佳或接近最佳的實驗來估計該特定模型。 我們考慮更常見的情況，即實驗者懷疑相互作用，但在運行設計和獲取後續數據之前沒有信心指定最終模型形式。 因此，我們的重點既不是給定模型的最優設計，也不是給定資料集的最優模型。 相反，我們專注於解決此類問題的策略，考慮替代設計、替代模型，並考慮在實踐中解決問題的效率需求。
從這個意義上說，我們採用統計工程方法（Hoerl 和 Snee 2010，Anderson-Cook 和 Lu 2012）來確定最有效和高效的方法來解決商業、工業、研究或政府中發生的混合/製程應用。特別是，我們發現認真考慮參數非線性模型可以為參數線性的傳統模型提供有效的替代方案。 雖然擬合非線性模型比擬合線性模型更具挑戰性，但現代軟體（例如R、JMP、Minitab 或SAS）允許使用者相當輕鬆地估計和解釋非線性模型，至少與10 種商業軟體相比是這樣。到20年前。
對於相同的混合物/過程問題，非線性模型需要估計的參數較少。 例如，在康乃爾大學的魚餅應用程式中（Cornell 2002），線性模型中需要估計 56 項，而非線性模型中需要估計 14 項。 因此，如果非線性模型提供了可行的替代方案，則可以採取更積極的分數設計策略來顯著減少初始實驗。 我們承認，對於諸如係數標準誤差之類的非線性模型，其理論不如線性模型那麼發達，並且通常依賴漸近或近似結果（Montgomery 2012）。
換句話說，由於非線性模型需要更少的參數來適應過程和混合變數之間的相互作用，因此最初可以運行更小的分數設計。 顯然，假設實驗成本不可忽略，則不需要執行 56 次來估計 14 項。 如果非線性模型，甚至沒有相互作用的加性線性模型證明足夠，那麼問題可以透過初始設計來解決。
透過考慮非線性模型，我們可以獲得很多好處，但損失也很小（如果有的話）。 如果這些較小的模型不能提供足夠的精度，則可以按順序進行額外的實驗。 這樣，最好的情況是我們將解決問題所需的實驗效果減少最多 50%，而最壞的情況是我們最終不得不運行一個典型的具有交互作用的線性模型的所有實驗。會需要。 圖 1 說明了這個總體策略。 我們認為，統計工程的核心是強調解決問題的最佳整體方法，而不是專注於給定模型的最佳單獨設計或給定資料集的最佳單獨模型。
本文的其餘部分組織如下：我們首先回顧了混合實驗中使用過程變數（包括交互作用變數）的典型模型和設計。 接下來，我們回顧統計工程的基礎知識，並討論它們如何應用於這個特定問題。 然後我們介紹三個資料集，其中兩個是之前發布的，一個是新的資料集。 使用這些資料集，我們在擬合資料方面比較線性加性、線性交互作用和非線性模型。 此外，我們注意到非線性模型係數的潛在解釋。 接下來，我們考慮透過針對每個問題的分數來設計可能發現的假設結果。 也就是說，我們根據分數設計分析實際資料的子集，擬合不同的模型，並使用模型來預測模型未使用的資料。 最後，我們考慮了該分析的含義，並提出了解決懷疑相互作用的混合/過程問題的策略。
混合/過程問題中使用的典型模型
有許多潛在的設計和模型可應用於具有製程變數的混合問題。 在這裡，我們將重點放在應用中最常見的模型和設計，特別是 Scheff型號（首席1963 年，康乃爾大學 2002 年），但沒有試圖提供全面的審查。 我們首先考慮混合模型本身，然後考慮具有無交互作用的製程變數的混合模型，然後考慮具有交互作用的混合模型。 一旦我們完成了模型，我們就會討論通常運行的設計來擬合這些模型。
由於公式成分總和為 1.0 的約束，導致失去一個自由度，因此通常簡單地從標準線性迴歸模型中刪除常數項。 例如，對於 q 個混合分量，線性 Scheff模型將寫成：
由於各分量總和為 1.0，因此最有意義的不是係數的絕對值，而是係數之間的關係。 例如，如果 b 1 =10，b 2 =20，且b 3 =30，具有三個分量，那麼我們會說 x 1對回應有負面影響，因為增加 x 1我們必須減少 x 2或 x 3等量，因此增加 x 的淨影響1就是減少E(y)。 有關混合係數解釋的更多資訊可以在 Cornell (2002) 中找到。
請注意，對於本文提出的所有模型，我們假設一個加性隨機誤差項，獨立且同分佈的常態分佈，平均值為 0，標準差為。 雖然誤差項在任何統計模型中顯然都很重要，但這不是本文的重點，因此我們將很少談論這個誤差項。
也可以考慮其他混合模型，例如「鬆弛變數」模型，其中我們刪除其中一種混合成分以避免混合約束，並將常數項加回模型中。 當存在曲率時，通常擬合二次方程希夫模型，其中包含線性項以及組件之間所有可能的叉積項：
由於每個分量都可以被視為一減去所有其他分量的總和，因此我們通常不會將叉積項視為傳統意義上的交互建模，而是通常對非線性混合進行建模。 當存在額外的非線性混合並且有足夠的自由度可用時，我們可以擬合特殊的三次希夫楷模：
這被認為是「特殊」三次，因為它不包括所有三階項，而是二次模型加上三項之間所有可能的叉積。 例如，特殊三次方不包括術語X 2 。 一個完整的立方體希夫模型是：
其中 d ij是二元過剩或「協同作用」的三次係數（Cornell 2011 p. 1）。 31）。 當我們的模型中有過程變數時，我們將使用 x我對於混合變數，例如我對於過程變數，b我為混合係數，以及我為過程變數係數。 我們不考慮d ij條款。 此外，通用術語 f(x) 將用於僅具有混合物成分的模型，而 g(z) 將用於僅具有製程變數的模型。 包含兩者的組合模型將寫作 c(x,z)。
同樣，有許多潛在的模型可以應用於製程變數以及混合物成分和製程變數的組合。 在這裡，我們將重點放在應用中最常用的標準設計。 線性過程變數模型為：
,
其中我們有 r 個自變數。 二階（完全二次）過程變數模型為：
請注意，雙重求和包括 i=j，因此完整二次模型在模型中包括平方（二次）項。 顯然，擬合這樣的模型需要兩個以上的設計層次。 對於雙水平設計，可以使用階乘模型 - 線性項和二階交互作用，但沒有二次（平方）項：
當然，透過全因子設計，我們也可以估計更高階的相互作用。
在同時存在混合物和製程變數的情況下，一個關鍵的考慮因素是預期混合物和製程變數之間相互作用的程度。 如果我們的理論或經驗顯示混合物和製程變數不會相互影響，那麼我們可以分別擬合混合物和製程模型。 換句話說，整體模型將變成：
c(x,z) = f(x) + g(z) (1)
我們將方程式 1 稱為線性加性模型。 在這種情況下，f(x) 將是適合於混合物成分的任何模型，而 g(z) 將是適合於製程變數的任何模型。然而，在許多情況下，混合物成分和製程變數會相互作用。 換句話說，烘烤蛋糕的最佳時間和溫度可能取決於蛋糕中的成分。 紅葡萄酒通常不像白葡萄酒那樣冷藏，等等。 在這些情況下，許多作者，例如 Cornell (2002, 2011) 和 Prescott (2004)，建議將混合物和製程變數模型相乘，而不是相加。 換句話說，為了適應混合過程交互，我們可以使用以下模型：
c(x,z) = f(x)*g(z) (2)
此乘法模型的參數不是線性的 (b我和一個我），因此無法以封閉形式或透過標準線性迴歸軟體獲得最小平方法解。 解決此問題的一種方法是乘以 f(x)*g(z) 中的各項。 考慮存在三個混合變數和兩個過程變數的情況。 為簡單起見，假設我們知道這些模型的形式為：
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 ， 和
g(z) = a 0 + 一個1例如1 + 一個2例如2 + 一個12例如1例如2 ,
這將是一個特殊的三次混合模型和一個階乘過程變數模型。 因此，f(x) 有七個項需要估計，而 g(z) 有四個項需要估計。 如果我們將 f(x) 中的每一項乘以 g(z) 中的每一項，這將在線性迴歸模型中產生 28 項。 我們將此模型稱為線性模型，因為方程式 2 實際上是非線性模型。 透過將所有項相乘，我們建立了一個包含 28 項的線性模型。 也就是說，我們有：
c(x,z) = f(x)*g(z) = b 1 X 1 *A 0 + b 1 X 1 *A 1例如1 + b 1 X 1 *A 2例如2 + b 1 X 1 *A 12例如1例如2 (3)
+ b 2 X 2 *A 0 + b 2 X 2 *A 1例如1 + b 2 X 2 *A 2例如2 + b 2 X 2 *A 12例如1例如2
+ ................+ b 123 X 1 X 2 X 3 *A 12例如1例如2
請注意，如果我們考慮 b，方程式 3 的參數是線性的1 A 0為一個參數，b 1 A 1成為另一個人，等等。 因此，可以使用標準線性迴歸軟體來估計公式 3，公式 1 也是如此。 當然，當獲得最小平方法估計時，x的估計參數1 ，列為“b 1 A 0 ” 在方程式 3 中，機率為零等於 x 的估計係數1等式 2 中的 f(x) ( 1 ) 乘以公式 2 中 g(z) 的估計截距 ( 0 ），如果這些單獨的項是直接從非線性最小平方法估計的。 也就是說，公式 3 中的最小平方法估計不能用來確定公式 2 中的非線性最小平方法估計。
稍後我們將討論公式 2 與公式 3 的比較。 方程式 2 是參數的非線性模型。 如果這樣估計，只需要估計 11 個參數，其中 f(x) 需要估計 7 個參數，g(z) 需要估計 4 個參數。實際上，只需要 10 個參數，因為等式 2 實際上是過度指定的；此方程式不可能有唯一的最小平方法解。 如果認為將f(z) 乘以任意非零常數（例如m），然後將g(z) 除以m，則c(x,z) 的值將保持不變，因此可以立即看出這一點，因為m 和 1/m 將會取消。 由於有無數個這樣的常數 m 可以與 f(x) 中的每個係數相乘，每個係數都產生相同的殘差平方和，因此方程式 2 不可能有唯一的最小二乘解。 我們透過設定一個來解決這個過度規範的問題0 = 1.0。 我們並不聲稱這是解決過度規範的最佳或唯一方法，儘管它確實有助於解釋其他係數，正如我們很快就會看到的。
當然，關鍵點是，如果可以將方程式 2 直接估計為非線性最小二乘問題，那麼估計參數只需要 10 個自由度，而不是線性化版本所需的 28 個自由度。 當預期交互作用時，這對實驗設計有明顯的影響。 當然，如果預期沒有交互作用，則可以估計方程式 1（線性加性模型）。 這個方程式也被過度指定，因為 a 0不需要項，實際上也無法估計項，因為截距已合併到混合模型 f(x) 中。 透過刪除截距，我們再次有 10 個參數需要估計，就像我們在非線性模型中所做的那樣。
混合/製程問題中使用的典型實驗設計
設計和模型顯然是齊頭並進的，因為我們在設計實驗時通常會考慮到特定的模型，即使我們對確切的形式沒有信心。 在混合實驗中，有適合估計線性 Scheff 的模型模型，當然還有適合估計二次或特殊三次模型的較大設計。
單純形設計通常用於混合物實驗。 當我們有 q 個分量時，這些通常以 q-1 維表示。 例如，如果我們有三個組件，那麼由於混合約束，只有兩個自由度，因此設計可以二維顯示，如圖 2 所示。 請注意，所有三個組件均已表示，因為每個組件都有一個軸。 在無約束混合問題中，每個分量可以在 0 到 1.0 之間變化，因此完整單純形在每個軸上從 0 變化到 1。 0 點以單純形的底表示，然後 1.0 將位於與底相對的單純形點處。 請注意，如果 x 1 = 1.0，則 x 2 = x 3 = 0，因此該點對應於 x 的底2和 x 3軸。 出於顯而易見的原因，這些點被稱為“純混合物”。 純混合以及單純形設計的其他共同點如圖 2 所示。
我們指出，質心對應於因子設計中的中心點，對應於單純形中間的點 1/3、1/3、1/3。 單純形設計的其他常見點是所謂的 50-50 混合，其中兩個組件的比例為 0.5，第三個組件的比例為 0。 這些 50-50 混合對應於沿著單純形的每個底的中點。 單純形設計中經常使用的另一個常見點是“檢查點”，通常放置在質心和純混合之間的中間。 對於三分量單純形，對於 x，這些將為 2/3、1/6、1/6 1 , 1/6, 2/3, 1/6, 對於 x 2 ，以及 x 的 1/6、1/6、2/3 3 。 這些檢查點可以驗證模型是否不僅適合單純形的質心和邊界處的資料。 換句話說，良好地擬合檢查點表明在單純形內進行插值相對安全。
正如 Cornell (2002) 中所解釋的，實務上也使用了更精細的單純形格子設計，將點均勻地定位在整個單純形上。 在超過四個組件的實驗中，這些設計很難說明，但可以形成相同類型的設計，就像因子設計的情況一樣。 當然，配方成分的含量通常會受到限制。 例如，很少消費者會喜歡由 100% 醋組成的沙拉醬。 在這種情況下，人們可以創建偽組件（Cornell 2002），這是原始組件的轉換，或在約束創建的異常設計空間中利用電腦輔助設計。 此類設計並非本文的重點。 我們也假設讀者熟悉用於製程變數的標準因子設計。
在具有製程變數的混合物設計中，通常使用一些混合設計，以便可以估計混合物效應和模型，以及製程效應和模型。 如果實驗者懷疑存在交互作用，那麼通常需要能夠估計方程式 2 的線性化版本中的所有項。 也就是說，所選的實驗設計應該允許估計將混合模型中的每一項與過程模型中的每一項相乘而獲得的所有效應。 在上述範例中，人們需要一個能夠估計公式 3 中所有 28 項的設計。
此類設計通常將因子或部分因子與混合設計交叉。 例如，康乃爾大學的魚餅實驗（Cornell 2002）交叉了三組分單純形設計，涉及純混合物、質心和 50-50 混合物，其中 2 3三個製程變數的因子設計。 設計如圖 3 所示。 請注意，在 2 的每一點3因子設計，運行完整的單純形設計。 當然，也可以將其描述為單純形每一點的全因子設計。 由於單純形設計有 7 個點，而因子設計有 8 個點，因此完整設計有 56 個點，以隨機順序運行以避免分割圖（Cornell 2002，2011）。
如果不預期交互，那麼設計當然可以小得多。 例如，在康乃爾魚餅範例中，特殊的三次混合模型將具有 7 個項（3 個線性混合項、三個 2 因子叉積和特殊的三次 3 因子叉積），而全階乘模型將具有8 個項（1 個截距、3 個主效果、3 個2 因子交互作用和1 個3 因子交互作用）。 因為混合模型f(x) 包含截距，所以我們可以從g(z) 中刪除截距，留下7 + 8 – 1 = 14 項在沒有交互作用的線性加性模型中進行估計，即c( x,z ) = f(x) + g(z)。 顯然，可以運行較小的部分設計，或者由於模型中沒有交互作用，因此可以獨立研究混合物和製程變數。
統計工程在具有製程變數的混合模型中的作用
Hoerl 和 Snee (2010) 將統計工程定義為：“研究如何最好地利用統計概念、方法和工具，並將其與資訊技術和其他科學相結合，以產生改進的結果。”相反，統計科學可以被視為對基礎理論和個別統計方法應用的研究和進展。 關鍵區別在於統計科學著重於推進工具本身的基礎知識及其應用。 統計工程則著重於如何利用現有的方法和工具，即現有的統計科學，創造性地將這些工具（往往與非統計工具）聯繫和集成，以產生更大的影響。 創造性地利用現有科學來實現更大的影響是任何工程領域的本質。
顯然，統計領域的發展和增強其對社會的影響需要統計科學和統計工程。 我們認為，雖然需要採取平衡的方法，但該行業目前的重點往往偏向統計科學（Snee 和 Hoerl 2011）。 特別是，我們認為需要更加重視發展一種如何解決大型、複雜、非結構化問題的基礎理論——對於任何一種工具都無法解決的問題。 這些問題顯然需要多種統計方法的創意整合，以及資訊科技或其他科學的創造性運用。 顯然，需要一種工程方法。 有關統計工程學科的更多背景信息，請參閱質量工程統計工程特別版（Anderson-Cook 和 Lu 2012）。
我們注意到，當用製程變數來解決混合問題時，設計的選擇和模型的選擇是並進的。 也就是說，我們可以估計的模型是由設計決定的，而適當的設計取決於我們希望估計的模型。 此外，如果我們事先知道具體模型，我們就可以建立最佳設計來估計模型。 然而，在許多實際情況下，我們的主題知識是有限的，我們不確定最終的模型。 通常，正如 Box 等人所強調的，這會導致設計和分析的迭代方法。 （2005）、蒙哥馬利（2012）等。
關鍵問題是，當我們預期混合物和製程變數之間的相互作用但不確定時，如何最好地解決這種情況。 我們注意到，這是一個非常不同的問題，與詢問給定模型的最佳設計是什麼，也不同於詢問適合給定資料集的最佳模型是什麼。 後者更多的是統計科學問題，因為它們涉及單一工具的理論和實踐。 此外，人們可以根據客觀標準透過分析確定「正確」答案。 然而，如何解決複雜問題並不是統計科學問題，因為我們幾乎沒有已知的數據，也沒有商定的客觀成功衡量標準。 換句話說，這個問題是非結構化的。
我們認為這個策略問題更適合統計工程，因為我們需要一種將設計和分析結合的整體方法，也許以順序的方式，以獲得更好的結果。 多種工具的整合是關鍵。 在這種情況下，「更好的結果」可能基於統計標準，或基於節省實驗工作，包括時間和金錢，或兩者兼而有之。 換句話說，它可能基於尋找最佳業務解決方案，而不是尋找最佳統計解決方案。 與在指定條件下獲得最佳設計或最佳模型相比，這是一個更複雜且結構性較差的問題。 因此，統計工程觀點指導我們對製程變數混合問題的研究和推薦策略。
設計與分析中的三個案例研究
Cornell (2002) 提供了三種魚餅進行實驗的數據：鯔魚、羊頭魚和黃花魚。 此外，每個肉餅都是在不同的烘烤溫度、烘烤時間和油炸時間下烹製的（肉餅既烘烤又油炸）。 感興趣的反應是所得肉餅的質地。 使用的設計是混合物變數中的七次單純形，包括純混合物、50-50 混合物和質心。 對於製程變量，八次運行 2 3跑什麼 康乃爾大學將混合設計與製程設計交叉，如表 1 所列和圖 3 所示。 設計總共有 7*8 = 56 次運行。 康乃爾擬合線性化模型，其中：
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 ,
g(z) = a 0 +a 1例如1 + 一個2例如2 + 一個3例如3 + 一個12例如1例如2 + 一個13例如1例如3 + 一個23例如2例如3 + 一個123例如1例如2例如3 ， 和
c(x,z) = f(x)*g(z)
表 1 康乃爾魚餅紋理數據
瞎的 | 油炸時間 |
25 | 40 |
烤箱時間 |
25 | 40 | 25 | 40 |
烤箱溫度 |
325 | 第425章 | 325 | 第425章 | 325 | 第425章 | 325 | 第425章 |
鯔 | 羊頭 | 黃花魚 | 質地 |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0.67
- 1.10
- 1.21
- 1.67
- 0.58
- 0.97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2.75
- 0.5
- 0.5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1.85
- 2.06
- 0.5
|
0 | - 0.5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0.5
- 0.5
- 1.16
- 1.50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
由於 f(x) 有 7 項，g(z) 有 8 項，因此當各個項相乘以建立線性化模型時，c(x,z) 有 7*8 = 56 項。 設計中顯然沒有自由度來估計 56 次運行的實驗誤差，產生的均方根誤差 (RMSE) 為 0，且無法估計誤差項 (e) 的標準差，即標準誤。 此外，沒有機會評估殘差以尋找模型不足的證據，或執行缺乏適合檢定。 因此，康奈爾使用重複測量（不是真正的重複）之間的變化作為標準誤差的估計。 顯然，這種運行內變異不允許人們估計運行間變異來源，因此不能將其視為與根據真實重複或甚至根據剩餘自由度估計的標準誤差等效的標準誤差估計。
為了比較模型，我們應用 Lenth 的 PSE（偽標準誤差）方法 (Lenth 1989) 來獲得康乃爾模型標準誤差的估計值。 Lenth 的方法首先確定看似真實的效應，然後丟棄其餘變量，使用獲得的自由度來估計標準誤差。 它是一個偽標準誤差，因為它依賴從模型中刪除適當的項。
Prescott (2004) 使用三種麵粉（Tjalve、Folke（均為挪威產品）和 Hard Red Spring（美國產品））測試了麵包的體積。 還有兩個過程變量，打樣時間和混合時間。 三種麵粉的含量受到限制：0.25 X 1 1, 0 X 2 .75, 和 0 X 3 .75，其中 Tjalve 是 x 1 ，民間是x 2 ，硬紅彈簧為 x 3 。 當應用於單純形混合空間時，這會在縮小的空間中產生更小的完全單純形。 透過轉換為偽組件（Cornell 2002），仍然可以使用標準單純形設計。 為了模型比較的目的，並且不失一般性，我們使用普雷斯科特混合設計的偽組件版本。 Prescott 對混合變數使用了 10 次運行的單純形格子設計，並使用了 3 2 ，即用於製程設計的兩個變數的三級階乘。 當然，這個設計有 9 次試驗。
Prescott 再次將混合物設計與製程設計交叉，創建了 10*9 = 90 次運行設計，如表 2 所列，並如圖 4 所示。 對於混合模型 f(x)，普雷斯科特考慮了康乃爾大學使用的具有 7 項的相同特殊三次模型，對於過程模型 g(z)，他考慮了具有 6 項的完整二次模型：
g(z) = a 0 + 一個1例如1 + 一個2例如2 + 一個12例如1例如2 +
表 2 Prescott 麵包體積數據
偽組件 混合物 | 打樣時間（分鐘） |
35 | - 47.5
| 60 |
混合時間（分鐘） |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
賈爾韋 | 人們 | 硬紅彈簧 | 麵包體積 |
.25 | .75 | 0 | - 378.89
- 396.67
- 392.22
- 445.56
- 452.22
- 487.78
- 457.22
- 500.56
- 472.78
|
.50 | .50 | 0 | - 388.89
- 423.33
- 416.11
- 460.00
- 488.89
- 475.78
- 472.78
- 478.00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444.56
- 484.44
- 490.00
- 495.00
- 497.78
- 531.11
- 577.78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415.00
- 490.89
- 528.89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436.00
- 535.00
- 552.22
- 507.44
- 578.89
- 590.00
|
.25 | .25 | .50 | - 413.89
- 485.56
- 462.22
- 483.89
- 529.44
- 540.00
- 565.00
- 598.89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437.78
- 493.89
- 583.33
- 578.89
- 524.44
- 649.44
- 640.00
|
.25 | 0 | .75 | - 432.78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638.89
- 638.89
|
請注意，二次項是可估計的，因為流程設計是三級設計。 Prescott 運行了幾個線性化交互模型，即 c(x,z) = f(x)*g(z) 形式，總共有 7*6 = 42 個項。 運行 90 次後，有足夠的自由度來估計完整的 42 項模型，並且仍然有自由度來估計標準誤差。 在考慮了幾個模型之後，普雷斯科特為此數據建議的最終模型是以下形式的簡化模型：
y = 522.8x 1 + 448.1x 2 + 599.3x 3 + 13.0x 1例如1 + 1.7 倍2例如1 + 54.3x 3例如1 + 56.3x 1例如2 + 37.2x 2例如2
+ 73.8倍3例如2 - 39.4倍1 + 3.7倍2 – 46.0x 3 - 10.2倍1 + 28.4倍2 + 1.0 倍3
請注意，模型中刪除了一些項，例如涉及 x 的任何叉積的項我，或 z 的相互作用1和 z 2 。 事實上，最終模型中只包含了可能的 42 項中的 15 項。 在比較線性模型與非線性模型時，我們回到這一點。
王等人。 (2013) 進行了混合/過程實驗設計，作為第一作者於 2013 年在羅格斯大學教授的統計課程的課堂專案的一部分。 實驗包括三個混合物變數：水、牛奶和柳橙汁，以及兩個製程變數：糖的添加（0 或 2 克）和所用牛奶的類型（2% 或全脂）。 反應是混合物產生的冰的融化時間（以分鐘為單位）。 混合物設計是 10 次運行的單純形設計，具有純組件、50-50 混合、檢查點和質心，採用偽組件形式。 這是圖 2 所示的設計。 對於流程設計，Wang 運行了 2 2四次運行的階乘。 表 3 給出了 10*4 = 40 次運行的交叉設計和結果響應，並如圖 5 所示。
表 3 Wang 等人。 熔化時間數據
混合物 | 牛奶類型 |
2% | 所有的 |
糖 |
0克 | 2克 | 0克 | 2克 |
水 | 牛奶 | 果汁 | 熔化時間 |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32.97
|
0 | - 0.5
- 0.5
- 37.36
- 32.89
- 45.69
- 39.06
- 0.5
- 0.5
|
0 | - 33.32
- 28.34
- 41.78
- 35.84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36.97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0.5
|
0 | - 0.5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39.95
|
0 | 1 | 0 | - 48.64
- 33:00
- 45.08
- 47.35
|
王等人。 (2013) 使用 f(x) 的 7 項特殊三次方程式和 g(z) 的 4 項階乘過程模型來擬合線性化模型，該模型具有截距、兩個主效應和 2 個因子交互作用。 因此，當乘以所有項時，c(x,z) 是公式 3 中給出的 28 項線性化模型。 由於需要估計 40 次運行和 28 項，因此剩下 12 個自由度來估計標準誤差。
線性和非線性模型和結果
對於每一種設計和資料集，人們也可以考慮較小的模型，例如線性加法模型，c(x,z) = f(x) + g(z)，它當然沒有用於估計交互作用的項混合物和製程變數之間的關係，以及非線性模型。 為了估計非線性模型，我們可以直接找到 c(x,z) = f(x)*g(z) 的最小平方法解，而無需相乘各項。 如前所述，該模型的參數是非線性的。 例如，在具有兩個混合變數和一個製程變數的簡單情況下：
c(x,z) = (乙1 X 1 + b 2 X 2 + b 12 X 1 X 2 ）* （A 0 + 一個1 z) (4)
假設我們希望估計這 5 個係數中的每一個，那麼我們可以將方程 4 視為具有 5 個係數的非線性方程，並使用非線性最小二乘法來找到解。 如前所述，實際上我們只有 4 個係數需要估計，因為方程式 4 是過度確定的，並且沒有唯一的最小二乘解。 透過任意設定一個0 = 1.0，一般可以得到其他參數唯一的最小平方法解。 使用一些其他非零值0不會改變模型指標，例如 R 2 、標準誤差等。 當然，對於非線性最小平方法，不能保證唯一的解。
為了擬合非線性模型，我們使用 JMP Pro 10 中的非線性迴歸演算法，該演算法在標準 MacBook Pro 筆記型電腦上運行。 如前所述，運行非線性模型比線性模型更具挑戰性，但使用現代軟體它當然是可行的，我們建議它是解決此類問題的可行選擇。 在討論將線性加性和非線性模型擬合到這三個資料集所獲得的結果之前，我們將簡要討論非線性模型中係數的解釋。 我們不討論線性加性模型，因為混合項的解釋已在文獻中廣泛討論，例如希夫（1963）、康乃爾大學（2002）以及許多其他人。
在估計公式 4 中的非線性模型中的項後，我們可以自由地將估計項相乘以幫助解釋。 請注意，這會產生一個與在估計係數之前相乘各項而獲得的模型非常不同的模型，這將產生線性化模型。 於是決定設立一個0 = 1 而不是其他值使得模型的解釋更簡單。 將非線性方法中的估計項乘以方程式 4 後，我們得到：
= （ 1 X 1 + 2 X 2 + 12 X 1 X 2 )*(1 + 1 z)
= （ X 1 + x 2 + 12 X 1 X 2 ) + （ X 1 + x 2 + 12 X 1 X 2 )* 1 z (5)
不失一般性，我們可以假設 z 被縮放到平均值為 0。 因此，當 z 為其平均值時，方程式 5 簡化為左側部分，即純混合模型 f(x)。 因此，我們可以將混合係數解釋為我們在製程變數中點估計的混合，或解釋為整個設計的平均混合。 無論與 z 是否存在相互作用，該解釋都成立。 的解釋1比較複雜。 請注意，方程式 5 中 z 唯一出現的位置是透過一組交互作用。
這意味著非線性模型無法僅根據 z 與混合變數的交互作用來估計 z 的主效應。 這是因為唯一可用於納入 z 的主效應及其與 x 的交互作用的係數我是1 。 雖然 f(x) 可以重寫為具有截距的鬆弛變數模型，但我們仍然只有一個自由度來合併 z 的主效果及其與混合變數的交互作用。 我們認為這是非線性方法的一個缺點，並推測實際結果將是在擬合具有較大過程變數主效應以及混合物和製程變數之間嚴重交互作用的表面時遇到一些困難。
我們可以將這種解釋擴展到更大的非線性模型，例如他的魚餅實驗中的 7 項特殊立方混合模型和 8 項製程變數模型。 如果我們直接將 c(x,z) = f(x)*g(z) 估計為非線性模型，我們將估計 7 + 8 – 1 = 14 個係數。 回想一下，我們設定了一個0 = 1。 使用非線性最小平方法求解這 14 個係數後，我們可以將各項相乘以幫助解釋。 這樣做會產生：
(x)*(1 + 1例如1 + 2例如2 + 3例如3 + 12例如1例如2 + 13例如1例如3 + 23例如2例如3 + 123例如1例如2例如3 ),
是 1 倍 (x)，加上1例如1次 (x)，加上2例如2次 (x)，依此類推。 換句話說，模型中除了 (x)*1 之外的所有其他項都涉及我乘以一個或多個 z我，次(x)。 因此，z 的主效應不存在。我只能根據 z 的交互作用來估計我與混合變數（及其交互作用），類似於方程式 5 中的情況。 類似地，z 之間的相互作用我， 例如1例如2例如，不能僅根據該項與混合項之間的交互作用來估計。
從實際角度來看，無法估計 z 的各個係數1和 x 1例如1例如，比無法估計 z 等交互作用的個體係數更令人擔憂1例如2例如3和 x 1 X 2 X 3例如1例如2例如3 ，就設計的解析度而言（Box et al. 2005）。 也就是說，從業者很少會關心六因素交互作用的實際重要性。
將線性加性模型 c(x,z) = f(x) + g(z) 和非線性模型 c(x,z) = f(x)*g(z) 擬合到三個資料集前面討論的結果，我們得到如表4 所示的結果。 對於 Cornell 和 Wang 資料集，我們擬合完整的模型，而沒有嘗試子集選擇。 利用 Prescott 數據，對於線性加性模型和非線性模型，我們僅合併 Prescott 在其最終線性化模型中選擇的 f(x) 和 g(z) 項。 具體來說，對於 f(x)，我們只使用 x 1 ， X 2 , 和 x 3 。 對於 g(z)，我們包括 z 1 ，例如2 ， ， 和 。 從這個意義上說，Cornell 和 Wang 的比較是沒有子集選擇的“蘋果對蘋果”，而 Prescott 的比較是帶有 Prescott 應用子集選擇的“蘋果對蘋果”。
我們使用的數值標準是估計標準誤或均方根誤差 (RMSE)。 顯然，沒有單一的指標可以確定模型的「優劣」。 為了在實務中發展適當的模型，我們需要考慮幾個數值標準，評估殘差圖，將結果與紮實的主題理論進行比較，等等。 讀者不應推斷我們建議在模型建構中僅關注 RMSE。 然而，出於模型比較的目的，我們僅使用估計標準誤差作為方便的客觀標準來衡量模型能夠擬合資料的程度。
從表 4 中我們可以看出，在兩種情況下，線性模型提供了最小的估計標準誤差，並且對於康乃爾大學的數據來說幾乎是最小的。 這並不奇怪，因為線性加性模型不適應任何相互作用，而非線性模型具有前面提到的限制。 我們從這三個分析中得出結論，如果有足夠的自由度，則基於應用此標準的這三個模型，線性化模型是首選方法。
表 4 線性化、線性加法和非線性模型的 RMSE
康乃爾數據普雷斯科特數據王數據
線性化0 .17* 21.0 1.36
線性添加劑0 .24 24.3 2.38
非線性0 .16 23.1 2.05
*使用 Lenth 方法計算，因為沒有 df 誤差。
然而，經過仔細檢查，我們注意到，對於其中兩個數據集（Cornell 數據和Prescott 數據），模型之間的差異並不像人們想像的那麼大，事實上，非線性模型RMSE 略有下降。小於康乃爾大學數據的線性化模型 RMSE。 回想一下，由於沒有自由度來估計誤差，線性化模型 RMSE 是使用 Lenth 方法計算的。 考慮到這些模型中估計係數數量差異的大小，非線性方法的表現令人印象深刻：康乃爾模型為14（線性加性或非線性）與56（線性化），普雷斯科特完整模型為12 與42 （如果我們只使用 Prescott 的簡化模型項，則為 7 比 15），而對於 Wang 的模型，則為 10 比 28。 非線性和線性加性模型要簡潔得多。
對於線性加法和非線性方法對於 Wang 資料效果不佳的一種可能解釋是，混合物和製程變數與該資料之間存在高度顯著的交互作用。 例如，牛奶*糖*牛奶類型的線性化模型中的項 (x 2例如1例如2 ）、牛奶*果汁*糖*牛奶種類（x 2 X 3例如1例如2 ) 均在 0.01 水準上具有統計顯著性。 水*牛奶*糖*牛奶類型的術語（x 1 X 2例如1例如2 ），在 0.01 水準上幾乎顯著（p 值 = .0101）。 根據我們的經驗，發現四個因素的交互作用如此顯著是非常不尋常的。 線性模型不包括過程變數和混合變數之間相互作用的任何項，顯然無法有效模擬這種交互作用。 非線性模型根本沒有足夠的項來提供良好的近似值。 對於如此顯著的高階交互作用，很可能需要線性化方法。
鑑於表 4 中的差異相對較小，我們似乎可以透過減少初始實驗量來節省大量時間和金錢。 當然，不需要運行 90 次來使用所有項來估計 Prescott 非線性模型中的 12 項，也不需要運行 56 次來估計 Cornell 非線性模型中的 14 項。 為了回答這個問題，我們評估了每個模型如何適應實際運行的設計的一部分。
分數設計的結果
我們討論的每一個設計都是透過混合設計與製程設計交叉產生的。 因此，總運行次數為 n 1 *n 2 ，其中 n 1是混料設計中的數字，n 2工藝設計中的數量。對於康乃爾大學的魚餅設計，這是 7*8 = 56。 鑑於上面顯示的非線性模型結果，一個合乎邏輯的問題是，是否真的需要所有 56 次運行，或者康乃爾大學是否能夠運行更小的設計並獲得幾乎相同的結果？ Cornell (2002) 給出的運行 56 次試驗設計的理由之一是需要估計線性化模型中的所有係數。
Cornell (2002) 也指出，如果實驗者無法運行完整的設計，他們可以透過在混合空間的每個點運行過程設計的一部分來創建部分設計。 為了確保盡可能多的項是可估計的，康乃爾建議切換製程設計的哪一部分在混合設計的不同點運行。 例如，在三個製程變數的情況下，我們可以執行 z 1例如2例如3 = 1 半分數，大約一半的混合物設計點，和 z 1例如2例如3 = -1 在另一半。 康乃爾大學進一步建議，如果可能的話，在混合空間的質心運行完整的製程設計。 他指出，如果運行這種分數設計，實驗者將無法估計完整的線性化模型，而只能估計這些項的子集。
在魚餅案例中，混合物設計有 7 分，工藝設計有 8 分。 在質心運行所有 8 個點，然後在所有其他點運行 4 個點（半分數）將得到 32 個點的分數設計。 這些點不足以估計線性魚餅模型中的所有項，但足以估計非線性或線性加性模型中的 14 項。 在圖 6 中，我們展示了帶有 z 的分數設計1例如2例如3 = 1 在純混合物中運行，且 z 1例如2例如3 = -1 以 50-50 混合度運行。 為了簡化圖形解釋並能夠與圖 3 進行比較，我們再次顯示了在流程設計的每個點運行的混合點，儘管構造方法如上所述。
除了查看非線性模型對簡化資料集的擬合程度之外，我們還有一個自然的保留樣本來更好地評估模型。 也就是說，僅使用 32 次運行來估計非線性模型。 因此，一旦我們估計了模型項，我們就可以使用該模型來預測未用於估計模型的 24 次運行。 這種保留樣本通常被認為是評估估計模型的更有效標準，因為模型沒有看到這些數據，並且在擬合過程中不會受到它的影響。 表 5 顯示了首先將線性加性模型和非線性模型擬合到圖 6 所示的分數設計的結果，以及預測保留資料時的預測標準誤差 (RMSE)。 請注意，康乃爾大學的模型有太多項目無法透過分數設計進行估計，因此線性化模型不是一個選擇。
顯然，人們可以任意顛倒純混合物與 50-50 混合物的分數設計。 因此，為了完整性，我們將圖 6 所示的設計視為分數設計 1，並將分數設計 2 定義為其中 z 1例如2例如3 = -1 在純混合下運行，且 z 1例如2例如3 = 1 以 50-50 混合運行。 同樣，全部 8 個流程設計點都在質心運作。
表 5 康乃爾分數設計的預測結果
*使用 Lenth 方法計算，因為沒有 df 誤差。
請注意，在表 5 中，對於兩種部分設計，非線性模型都能很好地擬合「訓練」數據，並且相當好地擬合保留數據。 兩種分數設計的預測 RMSE 均為 0.22，高於原始 0.16 RMSE，但考慮到我們只使用了原始 56 次試驗中的 32 次，這在合理範圍內，減少了 43%。 線性相加模型的表現也與整個資料集的擬合一致。 如前所述，如果我們的唯一目標是最大化模型擬合，那麼首選與線性化模型完全交叉的設計。 然而，如果時間和成本是重要的考慮因素，則應考慮預測精度較低但實驗工作量少得多的非線性模型。
普雷斯科特的混合設計是一個單純形格子，每個純混合物之間有兩個邊緣點和一個質心。 這是與 3 交叉的2流程設計。 這種組合在確定在啟發式意義上平衡的分式設計方面提出了更多挑戰。 考慮各種選項後，我們將部分設計 1 定義為完整 3 2在質心處，z 所在的點1例如2 = 0 在純混合處，以及 z 的點1 = 例如2 = 0 並且還有 z 1例如2 = 在以下三個邊緣點為 +/-1：(2/3, 1/3, 0)、(0, 2/3, 1/3) 和 (1/3, 0, 2/3)。這將產生 39 次試驗的部分設計 (9 + 5*3 + 5*3)，如圖 7 所示。 請注意，分數設計的點數不到原始 90 次試驗設計的一半。 部分設計 2 是透過再次運行完整 3 而獲得的2在質心，但反轉在純混合與三個邊緣點運行的過程點。
Prescott 部分設計的預測結果如表 6 所示。 請注意，對於 Prescott 線性化模型，最終模型中僅使用了 Prescott 保留的 15 項，因此我們可以使用分數設計來估計該模型。 這使我們能夠將線性化模型與線性加法以及非線性模型與派系資料進行比較。 當然，如果 Prescott 運行了 7 項的完整特殊立方混合模型以及 6 項的階乘過程設計，我們就不會擁有估計所有項所需的 42 個自由度。
從表 6 中我們可以看到，線性化模型在使用訓練資料的分數設計中表現得非常好。 事實上，兩種設計的 RMSE 都低於使用完整資料集所獲得的 RMSE。 這可以部分解釋為普雷斯科特從完整資料集中確定了線性化模型所需的參數。 從這個意義上說，當我們將線性化模型擬合到部分資料時，我們正在使用來自完整資料集的資訊。 然而，我們無法使用這 39 個數據點來估計完整線性化模型中的所有項。 但請注意，線性化模型在預測保留資料方面表現較差。 事實上，對於兩種分數設計，線性化預測 RMSE 都大於線性和非線性模型的 RMSE。
同樣，對於兩種設計，線性加性和非線性模型提供的預測 RMSE 相當接近訓練集的 RMSE。 與康乃爾大學數據的情況一樣，我們發現用分數設計擬合線性加法或非線性模型為運行完整的 90 次試驗設計提供了可行的替代方案。
表 6 Prescott 分數設計的預測結果
Wang 的原始設計是一個 10 次運行的單純形，有 50-50 個邊緣點和檢查點，並與 2 2流程設計，導致 10*4 = 40 次運行。 我們透過運行完整的 2 獲得部分設計 1 2在質心和純混合物處，半分數 z 1例如2 = 1 在 50-50 個邊緣點，半分數 z 1例如2 = -1 在檢查站。 這將導致 4*4 + 2*3 + 2*3 = 28 次運行，如圖 8 所示。 分數設計 2 是透過反轉在 50-50 個邊緣點和檢查點運行的分數而獲得的。
使用這些分數設計，我們再次在預測 RMSE 方面比較線性化、線性加性和非線性模型。 由於 Wang 運行的線性化模型有 28 個參數，因此我們能夠估計這個完整模型，儘管沒有剩餘的自由度來估計誤差。 因此，出於比較目的，我們再次使用 Lenth 偽標準誤差來取代線性化模型的 RMSE。 這些比較的結果如表 7 所示。
表 7 Wang 分數設計的預測結果
*使用 Lenth 方法計算，因為沒有 df 誤差。
也許表 7 中最值得注意的是線性模型的糟糕預測。 在很大程度上，這可能是由於分數設計的誤差估計自由度為零。 我們認為，從中得出的一個重要教訓是，使用沒有或很少有誤差自由度的迴歸模型來預測新資料是危險的。 模型評估和驗證是一項艱鉅的任務；如果錯誤自由度很小或沒有，可能會導致預測結果不佳。 線性加性模型和非線性模型表現較好，在樣本外預測方面大致相當。 請注意，線性加性模型和非線性模型所產生的 RMSE 都不接近具有完整資料集的線性化模型。 然而，當預測樣本外時，它們的表現都比線性化模型更好。 我們再次認為，這提供了一些證據，表明在分數設計上運行的線性加性和非線性模型是實踐中考慮的可行替代方案。
我們學到了什麼？
我們使用兩個已發布的混合過程資料集和一個新資料集比較了線性模型、線性加性模型和非線性模型。 此外，我們不僅在擬合原始資料集方面比較了這些方法，而且還在擬合可能運行而不是完全交叉（混合時間過程）設計的潛在分數設計方面進行了比較。 我們重申，我們的目的不是尋找絕對意義上的最佳設計或最佳模型。 相反，我們提出了一種統計工程方法來確定面對潛在交互作用時解決混合製程問題的最佳策略。 這樣的策略將考慮逐步設計和順序方法的實際好處。
簡而言之，我們認為我們從這些比較中學到了以下內容：
- 如果有足夠的自由度，將混合模型的項與製程模型的項相乘所獲得的線性化模型可能最適合數據，並提供樣本外數據的最佳預測。
- 忽略混合過程交互作用的線性加性模型和非線性模型為線性化模型提供了可行的替代方案，並在估計項數方面提供了顯著的優勢。
- 當實驗者考慮線性加性或非線性模型的選擇時，從分數設計開始的順序策略有可能顯著減少開發有用模型所需的實驗總量。
- 如果線性加性和非線性模型無法很好地擬合原始分數設計，實驗者可以運行剩餘的全交叉設計，並擬合線性化模型。 從這個意義上說，透過考慮順序策略，實驗者可以獲得許多好處，而損失卻很少。
- 另外一點不容忽視的是，殘差自由度很少或沒有的模型可能很好地擬合樣本數據，但使用樣本數據進行預測是有風險的。
我們建議的策略如圖 1 所示。 透過最初運行部分設計，我們有可能大幅減少擬合適當模型所需的實驗量。 表 8 總結了不同模型中的不同分式設計和係數數量以供比較。
表 8 完全設計和部分設計的大小以及模型中的係數數量
數據集 | - 不。 運行完整設計
| - 不。 運行分數設計
| 減少 | - 不。 線性化模型係數
- 不。 線性相加模型係數
- 不。 非線性模型係數
|
康乃爾大學 | 56 | 32 | 43% | 56 | 14 | 14 |
普雷斯科特 | 90 | 39 | 57% | 42 | 12 | 12 |
王等人。 | 40 | 28 | 30% | 28 | 11 | 11 |
我們建議對分數資料運行線性加性模型和非線性模型。 如果非線性模型明顯擬合得更好，則表示混合物和製程變數之間存在值得注意的交互作用。 當然，不能保證線性加性模型或非線性模型都能很好地擬合。 特別是，由於混合物和製程變數之間存在高度交互作用，可能需要線性化模型。
如果實驗者對部分設計產生的模型不滿意，他們可以選擇執行另一個部分（最初未運行的部分）來完成完整的設計。 這個選項應該是研究開始時採用的策略的一部分。 這種方法將能夠估計完整的線性化模型。 隨著時間的推移，需要一個自由度來有效地阻止第一部分和第二部分之間的設計。 否則，假設可以按順序進行實驗，則這種方法沒有真正的缺點。 我們再次承認，非線性模型的理論並不像線性模型那麼發達。
當然，圖 1 中的模型充分性步驟不應僅限於評估 RMSE。 此決策步驟旨在包括對模型充分性的完整評估，包括仔細檢查殘差、評估潛在異常值、與有關該問題的當前領域知識進行比較等。 線性化模型的這種評估是假設的，因此我們沒有將其作為圖 1 中的另一個步驟。 我們在此圖中的目標是展示如何以順序方式評估不同的模型，而不是描述合理的統計模型建構的細節，如 Box 等人所討論的。 （2005），例如。
讀者可能會注意到，在本文中，我們沒有研究電腦輔助設計選擇最佳分數來擬合非線性設計的潛力。 我們相信，對混合過程問題中非線性模型的電腦設計應用的研究可以提供比我們目前提出的更好的結果。 我們將其留給未來的研究。
可行的策略已經制定、測試和說明
我們考慮用混合物變數和製程變數設計實驗和擬合模型的問題，這些變數被認為可能彼此相互作用。 解決此類問題的常見方法是在製程變數中執行與完整因子設計交叉的完整混合設計。 這種設計允許估計線性模型中的所有係數，該模型是透過將混合模型中的所有項與過程模型中的所有項交叉而創建的模型。 然而，估計它們所需的模型和設計往往都非常大。 例如，在 Prescott 的麵包製作範例中，使用了 90 次運行的設計。 康乃爾大學的魚餅設計需要 56 次運行。
我們考慮這樣一種情況：實驗者想要一個好的模型，也許不是最優的模型，並且希望透過比 90 或 56 次運行少得多的實驗來獲得這樣的模型。 在這些情況下，我們認為使用順序實驗、最初較小的分數設計以及考慮線性加性或非線性模型的統計工程策略提供了更好的整體方法。 重申一下，我們並不聲稱非線性模型在 RMSE 或預測 RMSE 方面可能優於線性化模型。 我們也不聲稱分數設計包含與完全交叉設計一樣多的信息。 從這個意義上說，我們本身並不是提出具體的設計，也不是提出一個具體的模型。
相反，我們提出了一種解決此類問題的策略，我們認為該策略總體優於當前文獻中提出的方法。 從這個意義上說，我們提出的策略是一種統計工程方法。 根據這裡顯示的結果，我們得出結論，這種方法是優越的，因為它有可能節省大量的實驗時間和精力，同時假設順序方法是可行的，幾乎沒有缺點。 特別是，使用現代統計軟體（例如 R、JMP、Minitab 或 SAS）可以相當直接地估計非線性模型，因此軟體不必成為考慮非線性模型的障礙。 我們進一步認為，除了混合物/製程變數模型之外，類似的方法可能在其他響應面應用中具有更普遍的用途，但這是未來研究的主題。
參考
Anderson-Cook, CM 與 Lu, L. （客座編輯）（2012）。 “統計工程特刊”，品質工程，24（2）。
盒子，GEP， 亨特 (JS) 和亨特 (WG) （2005）。 實驗者統計, 2 ND版，John Wiley and Sons，新澤西州霍博肯。
新澤西州康乃爾大學 （2002）。 混合物實驗：混合物資料的設計、模型與分析, 3大約版本，John Wiley and Sons，霍博肯，紐約。
新澤西州康乃爾大學 （2011）。 混合物實驗入門，約翰威利父子公司，新澤西州霍博肯。
Hoerl（RW）和 Snee（RD） （2010）。 “品質改進中的統計思維和方法：展望未來”品質工程，22（3）：119-139。
長度，RV （1989）。 “快速輕鬆地分析未複製的階乘”，技術計量學，31（4）：469-473。
蒙哥馬利 (華盛頓特區) （2012）。 實驗設計與分析，第 8 版，John Wiley and Sons，新澤西州霍博肯。
普雷斯科特，P. （2004）。 “混合實驗中的建模，包括與製程變數的相互作用。” 品質技術與定量管理， 1（1）：87-103。
希夫， H。 （1963）。 “混合物實驗的單純形質心設計”，英國皇家統計學會雜誌 B ，25（2）：235-263。
Snee（RD）和 Hoerl（RW） （2011）。 」適當的混合；統計工程和應用統計學之間的正確組合，”品質進步，六月：46-49。
王L., 徐， J., 吳 S. 和張 K. （2013）。 自製冰塊融化速度的研究，未發表的專案報告。
