<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />ロジャー W. Hoerl 博士、Brate-Peschel ユニオン大学統計助教授
ロナルド D. スニー博士、スニー・アソシエイツ社長
非線形モデルを使用した効率的な混合/プロセス実験
2015 年 9 月
ロナルド D. Snee、Snee Associates、デラウェア州ニューアーク
ロジャー W. Hoerl、ユニオンカレッジ、スケネクタディ、ニューヨーク州
ガブリエラ・ブッチ、アウト・オブ・ドア・アカデミー、フロリダ州サラソタ
著作権: Ronald D. スノー、ロジャー W. ホエル、ガブリエラ・ブッチ 2015
注: この論文は現在、「プロセス変数を使用した混合実験への統計工学的アプローチ」というタイトルで編集レビュー中です。
抽象的な：特にこれら 2 つの変数セット間に相互作用がある可能性がある場合の、混合成分とプロセス変数の両方を使った実験について説明します。 実際の混合物/プロセスの問題に対処するという文脈の中で、設計と分析の両方の問題を検討します。 私たちは、特定のデータセットに対して可能な限り最良の設計や最良のモデルを見つけるのではなく、そのような問題に対処するための戦略に焦点を当てています。 この意味で、統計工学のフレームワークが使用されます。特に、大規模な線形化モデルとは対照的に、倹約的な非線形モデルをフィッティングする可能性を考慮すると、実験計画のサイズを削減する重要な機会が見つかります。 実際には、どのタイプのモデルが結果のデータに最もよく適合するかを知ることは困難です。 したがって、統合された一連の設計と分析戦略が推奨されます。 2 つの公開されたデータ セットと 1 つの新しいデータ セットを使用すると、場合によっては、非線形モデル、または相互作用を無視した線形モデルにより、実験を 50% 程度削減できることがわかりました。 他の場合には、非線形モデルでは不十分な場合があります。 したがって、私たちは、そのようなアプローチが成功する可能性が高い時期に関するガイドラインを提供し、そのような問題に対する全体的な戦略を提案します。
キーワード:混合物、混合物モデル、混合物実験、非線形モデル
導入
混合物の問題 (成分の比率の合計が 1.0 にならなければならない) は、ほんの数例を挙げると、食品、医薬品、化学品の開発など、多くの産業や応用分野で発生します。 多くの混合アプリケーションでは、最終応答に影響を与えるのは配合だけではなく、プロセス変数も影響します。 たとえば、ブレンドワインを製造する場合、最終的な味わいやその他の重要な特性は、使用するブドウ品種の割合だけでなく、生育期の気候条件、ブドウが収穫される時期、気温などのプロセス変数にも依存します。発酵プロセスのさまざまな段階、使用される熟成樽の種類など。
場合によっては、混合成分とプロセス変数が相互作用しないことがあります。 ワインの例では、これは、使用されるブドウ品種を考慮せずに発酵やその他の処理を最適化できることを意味します。 このシナリオでは、混合モデルとプロセス変数モデルを組み合わせた加算モデルを利用することになります。 他の場合には、最適な加工条件は使用する品種に依存する可能性があるため、この追加シナリオは適用されません。 その場合、混合物とプロセス変数の間に相互作用が存在します。 相互作用シナリオは、混合物変数とプロセス変数の間の相互作用を説明する項を組み込んだモデルにつながります。
このような相互作用が予想される場合に通常使用される実験計画は、相互作用を組み込んだ線形モデルの項の数に対応するために大きくなる傾向があります (Cornell 2002、2011)。 もちろん、主題の知識または以前の実験から最終的なモデルの形式がどのようになるかを知っている場合は、その特定のモデルを推定するために最適または最適に近い実験を設計できます。 ここでは、実験者が相互作用を疑うが、設計を実行してその後のデータを取得する前に最終的なモデル形式を指定することに自信がないという、より一般的な状況を考えます。 したがって、私たちの焦点は、特定のモデルに対する最適な設計にも、特定のデータセットに対する最適なモデルにもありません。 むしろ、代替設計、代替モデルを検討し、実際に問題に対処する際の効率の必要性を考慮に入れて、そのような問題に対処するための戦略に焦点を当てます。
この意味で、私たちは統計工学的アプローチ (Hoerl and Snee 2010、Anderson-Cook and Lu 2012) を採用し、ビジネス、産業、研究、または政府で発生する混合/プロセスの適用に対処するための最も効果的かつ効率的なアプローチを特定します。特に、パラメータが非線形のモデルを真剣に考慮すると、パラメータが線形の従来のモデルに代わる効率的な代替手段が提供される可能性があることがわかりました。 非線形モデルのフィッティングは線形モデルのフィッティングよりも困難ですが、R、JMP、Minitab、SAS などの最新のソフトウェアを使用すると、少なくとも 10 種類の商用ソフトウェアと比較して、非線形モデルの推定と解釈をかなり簡単に行うことができます。 20年前まで。
非線形モデルでは、同じ混合物/プロセスの問題に対して推定するパラメーターが少なくなります。 たとえば、コーネルのフィッシュパティの応用 (Cornell 2002) では、線形モデルでは推定すべき項が 56 個あったのに対し、非線形モデルでは推定項が 14 個ありました。 したがって、非線形モデルが実行可能な代替手段を提供する場合、初期の実験を大幅に削減するために、より積極的な部分設計戦略が採用される可能性があります。 係数の標準誤差など、非線形モデルの基礎となる理論は線形モデルほど開発されておらず、漸近的または近似的な結果に依存することが多いことを我々は認識しています (Montgomery 2012)。
言い換えれば、非線形モデルでは、プロセス変数と混合変数の間の相互作用に対応するために必要なパラメーターが少なくなるため、最初ははるかに小さな部分計画を実行できます。 実験のコストが無視できないと仮定すると、14 項を推定するのに 56 回の実行は必要ないことは明らかです。 非線形モデル、または相互作用のない加法的線形モデルでも十分であることが判明した場合、問題は初期設計で解決される可能性があります。
非線形モデルを検討することで得られるものは多く、失うものはほとんどありません。 これらの小さなモデルでは十分な精度が得られない場合は、追加の実験を順次実行できます。 このようにして、最良のシナリオでは、問題を解決するために必要な実験効果が最大 50% 削減されますが、最悪のシナリオでは、最終的には相互作用のある典型的な線形モデルで実行できるすべての実験を実行する必要があります。が必要になります。 この全体的な戦略を図 1 に示します。 特定のモデルに対する最適な個別の設計や、特定のデータセットに対する最適な個別のモデルに焦点を当てるのではなく、問題に対処するための全体的な最適なアプローチを強調することが、統計工学の核心であると私たちは考えています。
この記事の残りの部分は次のように構成されています。まず、相互作用を含むプロセス変数を使用した混合実験で使用される典型的なモデルと設計を確認します。 次に、統計工学の基礎を見直し、それがこの特定の問題にどのように適用されるかについて説明します。 次に、以前に公開された 2 つと新しいデータ セット 1 つの計 3 つのデータ セットを紹介します。 これらのデータセットを使用して、データのフィッティングの観点から、線形加算モデル、線形対話モデル、および非線形モデルを比較します。 さらに、非線形モデルの係数の潜在的な解釈にも注目します。 次に、これらの問題のそれぞれについて部分計画で見つかったかもしれない仮説的な結果を検討します。 つまり、部分計画に従って実際のデータのサブセットを分析し、さまざまなモデルを適合させ、そのモデルを使用してモデルで使用されないデータを予測します。 最後に、この分析の意味を考慮し、相互作用が疑われる混合物/プロセスの問題に対処するための戦略を提案します。
混合物/プロセス問題で使用される典型的なモデル
プロセス変数による混合問題に適用できる潜在的な設計やモデルは数多くあります。 ここでは、アプリケーション、特にシェフで使用される最も一般的なモデルと設計に焦点を当てます。モデル（チーフ） 1963、Cornell 2002)、包括的なレビューを提供する試みはありません。 最初に混合モデル自体を検討し、次に相互作用のないプロセス変数を含む混合モデル、次に相互作用のある混合モデルを検討します。 モデルの作成が完了したら、これらのモデルのフィッティングを可能にするために通常実行される設計について説明します。
定式化コンポーネントの合計が 1.0 になるという制約により、1 つの自由度が失われるため、標準の線形回帰モデルから定数項を単純に削除するのが一般的です。 たとえば、q 個の混合成分の場合、線形シェフモデルは次のように書かれます:
コンポーネントの合計は 1.0 になるため、最も重要なのは係数の絶対値ではなく、係数間の関係です。 たとえば、b の場合、 1 =10、b 2 =20、および b 3 =30、3 つのコンポーネントがある場合、x と言えます。 1 x を増加させると、応答に悪影響が生じます。 1どちらかの x を減らす必要があります2または× 3したがって、x の増加による正味の影響は次のようになります。 1 E(y)を減らすことになります。 混合係数の解釈に関する詳細については、Cornell (2002) を参照してください。
この論文で紹介されているすべてのモデルでは、平均 0 と標準偏差を持つ独立した同一分布の正規分布である加法的ランダム誤差項を仮定していることに注意してください。 。 誤差項は統計モデルにおいて明らかに重要ですが、これは今回の記事の重要なポイントではないため、この誤差項については今後ほとんど触れません。
「スラック変数」モデルなど、他の混合モデルも検討できます。このモデルでは、混合成分の 1 つを削除して混合制約を回避し、定数項をモデルに追加し直します。 曲率が存在する場合、二次関数を近似するのが一般的です。シフこのモデルには、線形項とコンポーネント間のすべての可能な外積項が組み込まれています。
各コンポーネントは 1 から他のすべてのコンポーネントの合計を引いたものと見なすことができるため、通常は外積項を従来の言葉の意味での相互作用のモデリングとは考えず、むしろ非線形ブレンディング一般のモデリングとみなします。 追加の非線形ブレンドが存在し、十分な自由度が利用可能な場合、特別な 3 次関数を当てはめることができます。シフモデル:
これは、すべての 3 次項が含まれているわけではなく、2 次モデルに 3 つの項間のすべての可能な外積を加えたものであるという意味で、「特別な」 3 次関数とみなされます。 たとえば、特殊キュービックには次の用語は含まれません。バツ2 。 完全な立方体シフモデルは次のようになります:
ここで、d ijは、バイナリ過剰または「相乗効果」の 3 次係数です (Cornell 2011 p. 31）。 モデルにプロセス変数がある場合、x を使用します。私混合変数の場合、例:私プロセス変数の場合、b私混合係数の場合、私プロセス変数係数の場合。 dは考慮しませんij条項。 さらに、混合成分のみを含むモデルには一般用語 f(x) が使用され、プロセス変数のみを含むモデルには g(z) が使用されます。 両方を組み込んだ結合モデルは c(x,z) と書きます。
繰り返しますが、プロセス変数、および混合成分とプロセス変数の組み合わせに適用できる潜在的なモデルが多数あります。 ここでは、アプリケーションで最も一般的に適用される標準設計に焦点を当てます。 線形プロセス変数モデルは次のようになります。
、
ここで、r 個の独立変数があります。 2 次 (完全 2 次) プロセス変数モデルは次のようになります。
二重和には i=j が含まれるため、完全な 2 次モデルにはモデル内に 2 乗 (2 次) 項が含まれることに注意してください。 明らかに、このようなモデルを当てはめるには、設計に 2 つ以上のレベルが必要です。 2 レベル計画では、要因モデル (線形項と 2 次交互作用はあるが、2 次 (二乗) 項は使用できません) を使用できます。
もちろん、完全要因計画では、高次の交互作用も推定できます。
混合物変数とプロセス変数の両方がある状況では、混合物変数とプロセス変数の間の相互作用がどの程度予想されるかが重要な考慮事項となります。 混合物変数とプロセス変数が相互作用しないことを示唆する理論や経験がある場合は、混合物モデルとプロセス変数を別々に適合させることができます。 言い換えれば、全体的なモデルは次のようになります。
c(x,z) = f(x) + g(z) (1)
式 1 を線形加算モデルと呼びます。 この場合、f(x) は混合成分に適切と判断されたモデルとなり、g(z) はプロセス変数に適切と判断されたモデルになります。ただし、多くの状況では、混合成分とプロセス変数が相互作用します。 言い換えれば、ケーキを焼くのに最適な時間と温度は、ケーキの材料によって異なる場合があります。 赤ワインは通常、白ワインほど冷やして提供されません。 このような場合、Cornell (2002、2011) や Prescott (2004) などの多くの著者は、混合物とプロセス変数のモデルを加算するのではなく、乗算することを提案しています。 言い換えれば、混合プロセスの相互作用に対応するために、次のモデルを使用できます。
c(x,z) = f(x)*g(z) (2)
この乗算モデルはパラメータ (b) において線形ではありません。私そして私)、したがって、最小二乗解は閉形式で、または標準の線形回帰ソフトウェアでは取得できません。 この問題に対処する 1 つのアプローチは、f(x)*g(z) の個々の項を乗算することです。 3 つの混合変数と 2 つのプロセス変数がある場合を考えてみましょう。 簡単にするために、これらのモデルが次の形式になることがわかっていると仮定します。
f(x) = b 1バツ1 +b 2バツ2 +b 3バツ3 +b 12バツ1バツ2 +b 13バツ1バツ3 +b 23バツ2バツ3 +b 123バツ1バツ2バツ3 、 そして
g(z) = a 0 +a 1例えば1 +a 2例えば2 +a 12例えば1例えば2 、
これは、特別な三次混合モデルと要因プロセス変数モデルになります。 したがって、f(x) には推定する項が 7 つあり、g(z) には推定すべき項が 4 つあります。 f(x) の各項と g(z) の各項を乗算すると、線形回帰モデルで 28 の項が生成されます。 式 2 は実際には非線形モデルであるため、このモデルを線形化モデルと呼びます。 すべての項を乗算することで、28 項の線形モデルを作成します。 つまり、次のものがあります。
c(x,z) = f(x)*g(z) = b 1バツ1 *a 0 +b 1バツ1 *a 1例えば1 +b 1バツ1 *a 2例えば2 +b 1バツ1 *a 12例えば1例えば2 (3)
+b 2バツ2 *a 0 +b 2バツ2 *a 1例えば1 +b 2バツ2 *a 2例えば2 +b 2バツ2 *a 12例えば1例えば2
+ .....+ b 123バツ1バツ2バツ3 *a 12例えば1例えば2
b を考慮すると、式 3 はパラメータにおいて線形であることに注意してください。 1ある0 1 つのパラメータ b 1ある1別のものになるなど。 したがって、式 3 は、式 1 と同様に、標準の線形回帰ソフトウェアで推定できます。 もちろん、最小二乗推定が得られると、x の推定パラメータは1 、「b」としてリストされています1ある0式 3 の「」は、確率 0 で x の推定係数と等しくなります。 1式 2 の f(x) で ( 1 ) 式 2 ( 0 )、これらの個々の項が非線形最小二乗から直接推定された場合。 つまり、式 3 の最小二乗推定値を使用して、式 2 の非線形最小二乗推定値を決定することはできません。
重要な点は、後ほど説明しますが、式 2 と式 3 の比較です。 式 2 はパラメータの非線形モデルです。 このように推定される場合、f(x) については 7 つ、g(z) については 4 つ、合計 11 個のパラメーターのみを推定する必要があります。実際には、式 2 は実際には過剰に指定されているため、必要なパラメータは 10 個だけです。この方程式に対する一意の最小二乗解は存在しません。 これは、f(z) にゼロ以外の任意の定数 (たとえば m) を乗算し、g(z) を m で除算しても、c(x,z) の値は変化しないと考えればすぐにわかります。 m と 1/m はキャンセルされます。 f(x) の各係数を乗算できる定数 m は無数にあり、それぞれが同じ残差二乗和を生成するため、式 2 に対する一意の最小二乗解は存在しません。 を設定することで、このオーバースペックに対処します。 0 = 1.0。 これがオーバースペックに対処する最良の方法または唯一の方法であるとは主張しませんが、すぐに説明するように、他の係数の解釈には役立ちます。
もちろん、重要な点は、式 2 を非線形最小二乗問題として直接推定できる場合、推定パラメータに必要な自由度は 10 のみであり、線形化バージョンに必要な 28 自由度ではないということです。 これは、相互作用が予想される場合の実験計画に明らかな影響を及ぼします。 もちろん、相互作用が予想されない場合は、方程式 1、線形加法モデルを推定できます。 この方程式も過剰に指定されています。 0切片はすでに混合モデル f(x) に組み込まれているため、項は必要なく、実際に推定することもできません。 切片を削除すると、非線形モデルの場合と同様に、推定するパラメータが 10 個になります。
混合物/プロセス問題で使用される典型的な実験計画
たとえ正確な形式に自信がない場合でも、実験を計画するときは通常、特定のモデルを念頭に置いているため、設計とモデルは明らかに密接に関連しています。 混合実験では、線形シェフの推定に適したモデルがあります。もちろん、二次モデルや特殊な三次モデルの推定に適したより大きな設計も可能です。
シンプレックス計画は、混合実験でよく使用されます。 q コンポーネントがある場合、これらは通常 q-1 次元で表されます。 たとえば、コンポーネントが 3 つある場合、混合制約により自由度は 2 つだけになるため、図 2 のように設計を 2 次元で表示できます。 それぞれに軸があるという点で、3 つのコンポーネントがすべて表現されていることに注意してください。 制約のない混合問題では、各成分は 0 から 1.0 まで変化する可能性があるため、完全な単体は各軸で 0 から 1 になります。 0 点は単体の底面で表され、1.0 は底面の反対側の単体点になります。 x の場合に注意してください。 1 = 1.0、その後 x 2 = x 3 = 0、したがって、この点は x の底に対応します。 2そして× 3軸。 これらの点は、明らかな理由から「純粋なブレンド」と呼ばれます。 純粋なブレンドと、シンプレックス設計で実行されるその他の共通点を図 2 に示します。
要因計画の中心点に対応する重心は、単体の中央にある点 1/3、1/3、1/3 に対応することを指摘します。 シンプレックス計画で実行されるその他の一般的なポイントは、いわゆる 50-50 ブレンドです。これは、2 つの成分の比率が 0.5、3 番目の成分の比率が 0 です。 これらの 50-50 ブレンドは、単体の各ベースに沿った中間点に対応します。 シンプレックス設計でよく使用されるもう 1 つの共通点は「チェックポイント」で、通常は重心と純粋なブレンドの中間に配置されます。 3 つのコンポーネントのシンプレックスの場合、これらは x に対して 2/3、1/6、1/6 になります。 1 、1/6、2/3、1/6、x の場合2 、x の場合は 1/6、1/6、2/3 3 。 これらのチェックポイントにより、モデルがシンプレックスの重心と境界以上の位置でデータに適合していることを検証できます。 言い換えれば、チェックポイントを適切に適合させることは、シンプレックス内で補間することが比較的安全であることを示唆します。
Cornell (2002) で説明されているように、単体全体にわたって点を均一に配置する、より精巧な単体格子設計も実際に使用されています。 4 つの成分を超える実験では、これらの計画を説明するのは困難ですが、要因計画の場合と同様に、同じタイプの計画を形成することができます。 もちろん、多くの場合、配合成分のレベルには制限があります。 たとえば、100%酢で構成されたサラダドレッシングを好む消費者はほとんどいません。 このような場合、元のコンポーネントを変換した疑似コンポーネント (Cornell 2002) を作成したり、制約によって作成された異常な設計空間でコンピュータ支援設計を利用したりすることができます。 このようなデザインは今回の記事の焦点ではありません。 また、読者がプロセス変数に使用される標準要因計画に精通していることも前提としています。
プロセス変数を使用した混合物設計では、混合物の効果とモデル、およびプロセスの効果とモデルを推定できるように、通常、ハイブリッド設計が使用されます。 実験者が相互作用を疑う場合、式 2 の線形化バージョンのすべての項を推定する機能が必要になることがよくあります。 つまり、選択された実験計画では、混合モデルの各項とプロセス モデルの各項を乗算することによって得られるすべての効果を推定できる必要があります。 上記の例では、式 3 の 28 項すべてを推定できる設計が必要になります。
このような計画は通常、階乗計画または部分階乗計画と混合計画を交差させます。 たとえば、コーネルの魚パティ実験 (Cornell 2002) では、純粋なブレンド、重心、および 50 ～ 50 のブレンドを含む 3 つのコンポーネントのシンプレックス計画を交差させました。 3 3 つのプロセス変数の要因計画。 この設計を図 3 に示します。 2 のすべての点で注意してください。 3要因計画、完全な単体計画を実行しました。 あるいは、もちろん、これを単体の各点における完全な要因計画として描くこともできます。 単体計画には 7 点があり、要因計画には 8 点があるため、完全な計画は 56 点であり、分割プロットを避けるためにランダムな順序で実行されました (Cornell 2002、2011)。
インタラクションが予想されない場合は、当然のことながら、デザインははるかに小さくなる可能性があります。 たとえば、コーネル フィッシュ パティの例では、特殊な三次混合モデルには 7 つの項 (3 つの線形ブレンディング項、3 つの 2 因子外積、および特殊な 3 次 3 因子外積) が含まれ、完全階乗モデルには次の条件が含まれます。 8 項 (1 つの切片、3 つの主効果、3 つの 2 因子交互作用、および 1 つの 3 因子交互作用)。 混合モデル f(x) には切片が組み込まれているため、g(z) から切片を削除し、交互作用のない線形加算モデル、つまり c(x,z) で推定する 7 + 8 – 1 = 14 項を残すことができます。 ) = f(x) + g(z)。 明らかに、はるかに小さい部分計画を実行することも、モデル内に相互作用がないため、混合物とプロセス変数を独立して調査することもできます。
プロセス変数を含む混合モデルにおける統計工学の役割
Hoerl と Snee (2010) は、統計工学を次のように定義しました。「統計の概念、手法、ツールを最大限に活用し、それらを情報技術やその他の科学と統合して、改善された結果を生み出す方法の研究」。逆に、統計科学は、基礎となる理論と個々の統計手法の応用の研究と進歩とみなすことができます。 主な違いは、統計科学がツール自体の基礎知識とその応用の進歩に焦点を当てていることです。 一方、統計工学は、より大きな影響を生み出すために、既存の方法やツール、つまり既存の統計科学をどのように利用し、これらのツールを、多くの場合非統計ツールと創造的にリンクおよび統合するかに焦点を当てます。 既存の科学を創造的に利用して、より大きな効果を達成することは、あらゆる工学分野の本質です。
統計分野が成長し、社会への影響を高めるには、統計科学と統計工学の両方が必要であることは明らかです。 私たちは、バランスの取れたアプローチが必要である一方で、専門家の現在の焦点は統計科学に偏る傾向があると主張します (Snee and Hoerl 2011)。 特に、大規模で複雑で構造化されていない問題、つまり 1 つのツールでは解決できないほど大きすぎる問題に対処する方法に関する基礎理論の開発に、より重点を置く必要があると感じています。 このような問題には、明らかに、複数の統計手法の創造的な統合と、情報技術やその他の科学の創造的な使用が必要です。 明らかに、工学的なアプローチが必要です。 統計工学分野の詳細な背景については、『統計工学に関する品質工学特別版』 (Anderson-Cook および Lu 2012) を参照してください。
プロセス変数を使用して混合物の問題に取り組む場合、設計の選択とモデルの選択が密接に関連していることに注目しました。 つまり、推定できるモデルは設計によって決まり、適切な設計は推定したいモデルによって異なります。 さらに、特定のモデルが事前にわかっていれば、そのモデルを推定するための最適な設計を構築できます。 ただし、実際の多くの状況では、主題に関する知識は限られており、最終的なモデルについては確信が持てません。 通常、これにより、Box et al. が強調しているように、設計と分析に対する反復的なアプローチが必要になります。 (2005)、モンゴメリ (2012)、その他多数。
重要な問題は、このような状況で、混合物とプロセス変数の間の相互作用が予想されるが、確信が持てない場合に、問題にどのように対処するのが最善であるかということです。 これは、特定のモデルに最適な設計は何かを尋ねる質問とは非常に異なる質問であり、特定のデータ セットに適合する最適なモデルは何かを尋ねる質問とも異なることに注意してください。 後者は、個々のツールの理論と実践を扱うため、より統計科学の質問です。 さらに、客観的な基準に基づいて分析的に「正しい」答えを決定することができます。 しかし、複雑な問題にどのように対処するかという問題は、統計科学の問題ではありません。なぜなら、成功の条件がほとんどなく、合意された客観的な指標もないからです。 言い換えれば、問題は構造化されていません。
より良い結果を得るには、設計と分析の両方を、おそらくは逐次的に組み込んだ全体的なアプローチが必要であるため、この戦略の質問は統計工学により適していると私たちは主張します。 複数のツールの統合が鍵となります。 この場合、「より良い結果」は、統計的基準に基づいているか、時間と費用を含む実験的労力の節約、またはその両方に基づいている可能性があります。 言い換えれば、最適な統計的ソリューションを見つけるのではなく、最適なビジネス ソリューションを見つけることに基づいている可能性があります。 これは、指定された条件下で最適な設計や最適なモデルを取得するよりも複雑で構造化されていない問題です。 したがって、統計工学の観点は、プロセス変数による混合問題に対する研究と推奨戦略の指針となります。
設計と解析における 3 つのケーススタディ
Cornell (2002) は、ボラ、シープスヘッド、ニベの 3 種の魚のパテに関する実験のデータを発表しました。 さらに、各パティを異なる焼き温度、焼き時間、揚げ時間で調理しました (パティは焼きと揚げの両方を行いました)。 興味深い反応は、得られたパティの食感でした。 使用された計画は、純粋なブレンド、50-50 ブレンド、重心を含む混合変数における 7 回の実行のシンプレックスでした。 プロセス変数の場合、8 回の実行 2 3何を実行しますか Cornell は、表 1 にリストされ、図 3 に示されているように、混合設計とプロセス設計を組み合わせました。 この計画には合計 7*8 = 56 回の実行があります。 Cornell は線形化モデルを近似します。ここで、
f(x) = b 1バツ1 +b 2バツ2 +b 3バツ3 +b 12バツ1バツ2 +b 13バツ1バツ3 +b 23バツ2バツ3 +b 123バツ1バツ2バツ3 、
g(z) = a 0 +α 1例えば1 +a 2例えば2 +a 3例えば3 +a 12例えば1例えば2 +a 13例えば1例えば3 +a 23例えば2例えば3 +a 123例えば1例えば2例えば3 、 そして
c(x,z) = f(x)*g(z)
表 1 コーネルのフィッシュパティのテクスチャデータ
盲目 | 揚げ時間 |
25 | 40 |
オーブン時間 |
25 | 40 | 25 | 40 |
オーブンの温度 |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
ボラ | 羊の頭 | ニベ | テクスチャ |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0.67
- 1.10
- 1.21
- 1.67
- 0.58
- 0.97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2.75
- 0.5
- 0.5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1.85
- 2.06
- 0.5
|
0 | - 0.5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0.5
- 0.5
- 1.16
- 1.50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
f(x) には 7 つの項があり、g(z) には 8 つの項があるため、個々の項を乗算して線形化モデルを作成すると、c(x,z) には 7*8 = 56 の項があります。 設計では 56 回の実行で実験誤差を推定する自由度が明らかに残されておらず、二乗平均平方根誤差 (RMSE) が 0 となり、誤差項 (e) の標準偏差を推定する能力がありませんでした。標準誤差。 さらに、モデルの不適切性の証拠について残差を評価したり、不適合テストを実行したりする機会はありませんでした。 したがって、コーネルは、標準誤差の推定値として、反復測定間の変動 (真の反復ではない) を使用しました。 明らかに、この実行内変動では、実行間の変動の原因を推定することはできないため、真の反復から推定されたものと同等の標準誤差の推定値、さらには残留自由度から推定されたものとさえ考えることはできません。
モデルを比較する目的で、レンスの PSE (擬似標準誤差) 法 (Lenth 1989) を適用して、コーネル モデルの標準誤差の推定値を取得しました。 Lenth の方法では、最初に現実であると思われる効果を決定し、次に標準誤差を推定するために得られた自由度を使用して残りの変数を削除します。 これは、モデルから適切な項を削除することに依存しているという点で、疑似標準誤差です。
Prescott (2004) は、どちらもノルウェー産の Tjalve、Folke、およびアメリカ産の Hard Red Spring の 3 つの小麦粉を使用してパンの量をテストしました。 また、発酵時間と混合時間という 2 つのプロセス変数もありました。 3 つの小麦粉のレベルには制約がありました: 0.25バツ1 1、0バツ2 .75、および0バツ3 .75、Tjalve は x です。 1 、フォークは×です2 、ハードレッドスプリングは×です。 3 。 単体混合空間に適用すると、縮小されたスペースでより小さな完全な単体が生成されます。 擬似コンポーネントに変換することにより (Cornell 2002)、標準のシンプレックス設計を引き続き利用できます。 モデルの比較を目的として、一般性を損なうことなく、Prescott の混合計画の擬似コンポーネント バージョンを使用します。 Prescott は、混合変数に 10 ランのシンプレックス格子計画を使用し、 2つまり、プロセス設計の 2 つの変数の 3 水準階乗です。 もちろん、このデザインには9つの実行があります。
再び混合設計とプロセス設計を組み合わせて、Prescott は 10*9 = 90 ラン設計を作成しました。これを表 2 に示し、図 4 に示します。 混合モデル f(x) については、プレスコットはコーネルが使用したのと同じ 7 項を含む特殊な 3 次モデルを考慮し、プロセス モデル g(z) については 6 項を含む完全 2 次モデルを検討しました。
g(z) = a 0 +a 1例えば1 +a 2例えば2 +a 12例えば1例えば2 +
表 2 プレスコットのパンの体積データ
疑似コンポーネント 混合 | 校正時間 (分) |
35 | - 47.5
| 60 |
混合時間（分） |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
チャルヴェ | 人々 | ハードレッドスプリング | パンの量 |
.25 | .75 | 0 | - 378.89
- 396.67
- 392.22
- 445.56
- 452.22
- 487.78
- 457.22
- 500.56
- 472.78
|
.50 | .50 | 0 | - 388.89
- 423.33
- 416.11
- 460.00
- 488.89
- 475.78
- 472.78
- 478.00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444.56
- 484.44
- 490.00
- 495.00
- 497.78
- 531.11
- 577.78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415.00
- 490.89
- 528.89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436.00
- 535.00
- 552.22
- 507.44
- 578.89
- 590.00
|
.25 | .25 | .50 | - 413.89
- 485.56
- 462.22
- 483.89
- 529.44
- 540.00
- 565.00
- 598.89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437.78
- 493.89
- 583.33
- 578.89
- 524.44
- 649.44
- 640.00
|
.25 | 0 | .75 | - 432.78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638.89
- 638.89
|
プロセス設計は 3 レベルの設計であるため、二次項は推定可能であることに注意してください。 Prescott は、合計 7*6 = 42 項を持つ、c(x,z) = f(x)*g(z) の形式の線形化対話モデルをいくつか実行しました。 90 回の実行では、完全な 42 項モデルを推定するのに十分な自由度があり、標準誤差を推定するための自由度もまだ残っています。 いくつかのモデルを検討した結果、このデータに対して Prescott が提案した最終モデルは、次の形式の縮小モデルでした。
y = 522.8x 1 + 448.1x 2 +599.3倍3 +13.0倍1例えば1 +1.7倍2例えば1 +54.3倍3例えば1 +56.3倍1例えば2 + 37.2倍2例えば2
+ 73.8x 3例えば2 - 39.4倍1 + 3.7倍2 – 46.0倍3 - 10.2倍1 + 28.4倍2 +1.0倍3
x の外積を含む項など、いくつかの項がモデルから削除されたことに注意してください。私、または z の相互作用1そしてz 2 。 実際、この最終モデルには、考えられる 42 項のうち 15 項だけが含まれていました。 線形化モデルと非線形モデルを比較するときは、この点に戻ります。
王ら。 (2013) は、2013 年にラトガース大学で筆頭著者が教えた統計コースの授業プロジェクトの一環として、混合/プロセスの実験計画を実行しました。 この実験には、水、牛乳、オレンジ ジュースの 3 つの混合変数と、砂糖の添加 (0 または 2 グラム) および使用した牛乳の種類 (2% または全量) の 2 つのプロセス変数が含まれます。 反応は、混合物から生成された氷の融解時間を分単位で表したものでした。 混合計画は、純粋な成分、50 ～ 50 のブレンド、チェックポイント、および擬似成分形式のセントロイドを含む 10 実行のシンプレックス計画でした。 これが図 2 に示されている設計です。 プロセス設計に関して、Wang は 2 を実行しました。 2 4回の実行で階乗。 10*4 = 40 回の実行による交差計画とその結果の応答を表 3 に示し、図 5 に示します。
表 3 Wang et al. 融解時間データ
混合 | ミルクの種類 |
2% | 全体 |
砂糖 |
0g | 2g | 0g | 2g |
水 | 牛乳 | ジュース | 溶ける時間 |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32.97
|
0 | - 0.5
- 0.5
- 37.36
- 32.89
- 45.69
- 39.06
- 0.5
- 0.5
|
0 | - 33.32
- 28.34
- 41.78
- 35.84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 11月24日
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36.97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0.5
|
0 | - 0.5
- 21.86
- 22.88
- 9月27日
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39.95
|
0 | 1 | 0 | - 48.64
- 33.00
- 45.08
- 47.35
|
王ら。 (2013) f(x) には 7 項の特殊三次関数を使用し、g(z) には 4 項の階乗過程モデルを使用して線形化モデルを近似しました。これには、切片、2 つの主効果、および 2 因子交互作用がありました。 したがって、すべての項を乗算すると、c(x,z) は式 3 で与えられる 28 項の線形化モデルになります。 40 回の実行と 28 項の推定により、標準誤差を推定するには 12 の自由度が残されました。
線形モデルと非線形モデルと結果
これらの設計とデータセットのそれぞれに対して、線形加法モデル c(x,z) = f(x) + g(z) などのはるかに小さいモデルも考慮することもできます。これにはもちろん相互作用を推定する項がありません。混合変数とプロセス変数の間、および非線形モデルも同様です。 非線形モデルを推定するには、項を乗算せずに、c(x,z) = f(x)*g(z) の最小二乗解を直接見つけます。 前述したように、このモデルのパラメータは非線形です。 たとえば、2 つの混合変数と 1 つのプロセス変数の単純なケースでは、次のようになります。
c(x,z) = ( b 1バツ1 +b 2バツ2 +b 12バツ1バツ2 )*( 0 +a 1 z) (4)
これら 5 つの係数をそれぞれ推定したいと仮定すると、式 4 を 5 つの係数を持つ非線形方程式とみなして、非線形最小二乗法を使用して解を見つけることができます。 前述したように、式 4 は過剰に決定されており、一意の最小二乗解が存在しないため、実際には推定する係数は 4 つだけです。 任意に設定することで、 0 = 1.0 の場合、通常、他のパラメータで一意の最小二乗解を取得できます。 他のゼロ以外の値を使用する0 R などのモデル メトリックは変更されません。 2 、標準誤差など。 もちろん、非線形最小二乗法の場合、一意の解は保証されません。
非線形モデルを適合させるために、標準的な MacBook Pro ラップトップで実行される JMP Pro 10 の非線形回帰アルゴリズムを使用します。 前述したように、非線形モデルの実行は線形モデルよりも困難ですが、最新のソフトウェアを使用すれば確実に実行可能であり、この種の問題には実行可能なオプションであると考えられます。 これら 3 つのデータセットに線形加法モデルと非線形モデルをフィッティングして得られた結果について説明する前に、非線形モデルの係数の解釈について簡単に説明します。 混合項の解釈は次のような文献で広く議論されているため、線形加法モデルについては説明しません。シフ(1963)、コーネル (2002)、その他多数。
式 4 の非線形モデルの項を推定した後、解釈を容易にするために推定された項を自由に乗算できます。 これにより、係数を推定する前に項を乗算して線形化されたモデルを生成するモデルとは大きく異なるモデルが生成されることに注意してください。 そこで、 0他の値ではなく = 1 を使用すると、モデルの解釈がより簡単になります。 式 4 に対する非線形アプローチで推定項を乗算すると、次の結果が得られます。
= ( 1バツ1 + 2バツ2 + 12バツ1バツ2 )*(1 + 1 z)
= (バツ1 +× 2 + 12バツ1バツ2 ) + (バツ1 +× 2 + 12バツ1バツ2 )* 1 (5)
一般性を失うことなく、z は平均が 0 になるようにスケーリングされていると仮定できます。 したがって、z がその平均値にある場合、式 5 は左側の部分、つまり純粋な混合モデル f(x) のみに単純化されます。 したがって、混合係数をプロセス変数の中間点で推定した混合として解釈することも、設計全体の平均混合として解釈することもできます。 この解釈は、z との相互作用の有無に関係なく成立します。 の解釈1はさらに複雑です。 式 5 に z が現れる唯一の場所は、一連の相互作用を通じてであることに注意してください。
これは、非線形モデルでは z と混合変数の相互作用のみから z の主効果を推定できないことを意味します。 これは、z の主効果と x との相互作用を組み込むために利用できる唯一の係数であるためです。私は1 。 f(x) は切片のあるスラック変数モデルとして書き直すことができますが、z の主効果と混合変数との相互作用の両方を組み込む自由度は 1 つだけです。 我々はこれを非線形アプローチの欠点と見ており、実際の結果として、大きなプロセス変数の主効果と、混合物とプロセス変数の間の深刻な相互作用の両方を伴う曲面のフィッティングが多少困難になるだろうと推測しています。
この解釈は、彼の魚のパティ実験からの 7 項特殊立方体混合物モデルや 8 項プロセス変数モデルなど、より大きな非線形モデルに拡張できます。 c(x,z) = f(x)*g(z) を非線形モデルとして直接推定すると、7 + 8 – 1 = 14 個の係数が推定されます。 を設定したことを思い出してください。 0 = 1。 非線形最小二乗法を使用してこれら 14 個の係数を解いた後、解釈を助けるために項を乗算することができます。 これにより、以下が生成されます。
(x)*(1 + 1例えば1 + 2例えば2 + 3例えば3 + 12例えば1例えば2 + 13例えば1例えば3 + 23例えば2例えば3 + 123例えば1例えば2例えば3 ）、
これは 1 倍 (x) にプラスします1例えば1倍 (x)、プラス2例えば2倍 (x) など。 言い換えれば、モデル内の (x)*1 以外のすべての項には次のことが含まれます。私1 つ以上の z を掛けます私, 倍 (x)。 したがって、z の主効果はいずれもありません。私z の相互作用からのみ推定できます。私式 5 の状況と同様に、混合変数 (およびその相互作用) を使用します。 同様に、z 間の相互作用私、 のような1例えば2たとえば、この項と混合項の間の交互作用だけからは推定できません。
実用的な観点から、z の個々の係数を推定することはできません。 1そして× 1例えば1たとえば、z のような交互作用の個々の係数を推定できないことよりも、より大きな懸念があります。 1例えば2例えば3そして× 1バツ2バツ3例えば1例えば2例えば3 、デザインの解像度の意味で (Box et al. 2005）。 つまり、実践者は 6 因子交互作用の実際的な重要性をほとんど心配しません。
線形加法モデル c(x,z) = f(x) + g(z) と非線形モデル c(x,z) = f(x)*g(z) の両方を 3 つのデータに当てはめます。前述のセットを使用すると、表 4 に示す結果が得られます。 Cornell と Wang のデータセットについては、サブセット選択を試行せずに完全なモデルを適合させます。 Prescott データでは、線形加法モデルと非線形モデルの両方について、Prescott によって最終的な線形化モデルに選択された f(x) と g(z) の項のみが組み込まれます。 具体的には、f(x) には x のみを使用します。 1 、 バツ2 、および× 3 。 g(z) には z を含めます1 、例えば2 、 、 そして 。 この意味で、コーネルとワンの比較はサブセット選択なしの「リンゴとリンゴ」であり、プレスコットの比較はプレスコットによってサブセット選択が適用された「リンゴとリンゴ」です。
私たちが使用している数値基準は、推定標準誤差、つまり二乗平均平方根誤差 (RMSE) です。 明らかに、モデルの「良さ」を判断できる単一の指標はありません。 実際に適切なモデルを開発するには、いくつかの数値基準を調べ、残差プロットを評価し、結果を確実な主題理論と比較するなどの作業が必要です。 読者は、モデル構築において RMSE のみに焦点を当てることを推奨していると推測すべきではありません。 ただし、モデルを比較する目的では、モデルがデータにどの程度適合するかを測定するための便利な客観的基準として推定標準誤差を使用します。
表 4 から、2 つのケースで線形化モデルが最小の推定標準誤差を提供し、コーネル データではほぼ最小であることがわかります。 線形加法モデルは相互作用に対応しておらず、非線形モデルには前述の制限があるため、これは驚くべきことではありません。 これら 3 つの分析から、十分な自由度が利用可能な場合は、この基準を適用するこれら 3 つのモデルに基づく線形化モデルが推奨されるアプローチであると結論付けます。
表 4 線形化モデル、線形加法モデル、および非線形モデルの RMSE
コーネル大学のデータプレスコットデータ王データ
線形化0.17* 21.0 1.36
線状添加剤0.24 24.3 2.38
非線形0.16 23.1 2.05
※誤差のdfがないためLenth法で計算。
しかし、詳しく調べると、データ セットのうちの 2 つ、コーネル データとプレスコット データでは、モデル間の差異は予想されるほど大きくなく、実際、非線形モデルの RMSE はわずかに小さいことがわかります。コーネル データの線形化モデル RMSE よりも小さい。 誤差を推定するための自由度が残っていないため、線形化モデル RMSE はレンスの方法を使用して計算されることを思い出してください。 これらのモデルの推定係数の数の差の大きさを考えると、非線形アプローチのパフォーマンスは印象的です。コーネルのモデルでは 14 (線形加算または非線形) 対 56 (線形化)、プレスコットの完全モデルでは 12 対 42 (Prescott の縮小モデル項のみを使用した場合は 7 対 15)、Wang のモデルでは 10 対 28 になります。 非線形モデルと線形加法モデルは、はるかに節約的です。
Wang データに対して線形加法アプローチと非線形アプローチがうまく機能しない理由の 1 つの考えられる説明は、混合物変数とプロセス変数とこのデータとの間に非常に重要な相互作用があるということです。 たとえば、牛乳 * 砂糖 * 牛乳の種類の線形化モデルの項 (x 2例えば1例えば2 )、牛乳*ジュース*砂糖*牛乳の種類(x 2バツ3例えば1例えば2 ）、両方とも .01 レベルで統計的に有意です。 水*牛乳*砂糖*牛乳タイプの用語 (x 1バツ2例えば1例えば2 )、.01 レベルでほぼ有意です (p 値 = .0101)。 私たちの経験では、4 因子の交互作用がこれほど重要であることが分かるのは非常に珍しいことです。 線形モデルにはプロセス変数と混合変数の間の相互作用の項が含まれていないため、そのような相互作用を効果的にモデル化できないことは明らかです。 非線形モデルには、適切な近似を提供するのに十分な項がありません。 このような重要な高次相互作用では、線形化されたアプローチが必要になる可能性があります。
表 4 に見られる差が比較的小さいことを考えると、最初の実験の量を減らすことで、時間と費用を大幅に節約できる可能性があると思われます。 確かに、すべての項を使用してプレスコット非線形モデルの 12 項を推定するのに 90 回の実行は必要ありませんし、コーネル非線形モデルの 14 項を推定するのに 56 回の実行は必要ありません。 この質問に答えるために、これらの各モデルが実際に実行される設計の一部にどのように適合するかを評価します。
フラクショナルデザインによる結果
私たちが議論した各設計は、混合設計とプロセス設計を交差させることによって作成されました。 したがって、実行の総数は n となりました。 1 *n 2ここで、n 1は混合計画の数値であり、n 2プロセス設計の番号。コーネル大学のフィッシュパティのデザインの場合、これは 7*8 = 56 でした。 非線形モデルに関する上記の結果を考えると、論理的に考えるべき疑問は、56 回の実行すべてが実際に必要だったのか、それともコーネル大学がもっと小規模な設計を実行してほぼ同じ結果を得ることができたのかということです。 Cornell (2002) が 56 回の実行計画を実行することを正当化する理由の 1 つは、線形化モデル内のすべての係数を推定する必要があるということでした。
Cornell (2002) はまた、実験者が完全な計画を実行できない場合、混合空間の各点でプロセス計画の一部を実行することで部分計画を作成できることにも言及しました。 できるだけ多くの項を確実に推定できるようにするために、コーネル氏は、プロセス設計のどの部分を混合設計の異なる点で実行するかを切り替えることを提案しました。 たとえば、プロセス変数が 3 つの場合、z を実行します。 1例えば2例えば3 = 1 混合設計点のおよそ半分での半分の分数、および z 1例えば2例えば3 = 残りの半分では -1。 コーネル氏はさらに、可能であれば混合空間の重心で完全なプロセス設計を実行することを推奨しました。 同氏は、この部分計画を実行した場合、実験者は完全な線形化モデルを推定することはできず、これらの項のサブセットの推定に制限されるだろうと指摘しました。
魚のパティの場合、混合設計は 7 点、プロセス設計は 8 点でした。 重心で 8 点すべてを実行し、他のすべての点で 4 (半分の分数) を実行すると、32 点の分数計画が作成されます。 これは、線形化された魚のパティ モデルのすべての項を推定するには十分なポイントではありませんが、非線形または線形相加モデルの 14 項を推定するには十分です。 図 6 に、z を使用した部分計画を示します。 1例えば2例えば3 = 1 純粋なブレンドで実行、および z 1例えば2例えば3 = 50-50 ブレンドでは -1 実行。 グラフの解釈を容易にし、図 3 との比較を可能にするために、構築方法は上記の通りですが、プロセス設計の各ポイントで実行される混合ポイントを再度示します。
非線形モデルが削減されたデータセットにどの程度適合するかを確認することに加えて、モデルをより適切に評価するための自然なホールドアウト サンプルも得られます。 つまり、非線形モデルの推定には 32 回の実行のみが使用されます。 したがって、モデル項を推定したら、このモデルを使用して、このモデルの推定に使用されなかった 24 回の実行を予測できます。 このようなホールドアウト サンプルは、モデルがこのデータを参照しておらず、フィッティング プロセス中にデータの影響を受けることがないため、一般に推定モデルを評価するためのより有効な基準と考えられます。 表 5 は、線形加法モデルと非線形モデルの両方を図 6 に示す部分計画に最初にフィッティングした結果と、ホールドアウト データを予測するときの予測標準誤差 (RMSE) を示しています。 コーネルのモデルには部分計画で推定するには項が多すぎるため、線形化モデルはオプションではないことに注意してください。
明らかに、純粋なブレンドと 50-50 のブレンドで実行される部分計画を任意に逆にすることができます。 したがって、完全を期すために、図 6 に示す計画を部分計画 1 とみなします。また、部分計画 2 を、z が次のとおりであると定義します。 1例えば2例えば3 = -1 は純粋なブレンドで実行され、z 1例えば2例えば3 = 1 は 50-50 ブレンドで実行されます。 ここでも、8 つのプロセス設計ポイント全体が重心で実行されます。
表 5 Cornell フラクショナル計画による予測結果
※誤差のdfがないためLenth法で計算。
表 5 では、どちらの部分計画でも、非線形モデルが「トレーニング」データをうまく当てはめ、ホールドアウト データを適度にうまく当てはめていることに注意してください。 両方の部分計画の予測 RMSE は 0.22 で、元の 0.16 RMSE よりも高くなりますが、元の 56 回の実行のうち 32 回のみを使用したことを考慮すると、妥当な範囲内であり、これは 43% の削減です。 線形加法モデルは、データセット全体の適合に関しても一貫して実行されます。 前述したように、唯一の目的がモデルの適合性を最大化することである場合は、線形化されたモデルを使用した完全に交差した設計が推奨されます。 ただし、時間とコストが重要な考慮事項である場合は、予測精度は低くても、より少ない実験労力で得られる非線形モデルを検討する必要があります。
Prescott の混合設計は、各純粋ブレンド間の 2 つのエッジ点と重心を備えた単体格子でした。 これは 3 でクロスされました2プロセス設計。 このような組み合わせでは、ヒューリスティックな意味でバランスのとれた部分計画を決定する際に、より多くの課題が生じます。 さまざまなオプションを検討した結果、フラクショナルデザイン 1 をフル 3 として定義します。 2重心で、z が配置される点1例えば2 = 0 純粋なブレンド、および z の点1 = 例2 = 0、および z 1例えば2次の 3 つのエッジ点で = +/-1: (2/3, 1/3, 0)、(0, 2/3, 1/3)、および (1/3, 0, 2/3)。これにより、図 7 に示す 39 実行の部分計画 (9 + 5*3 + 5*3) が得られます。 部分計画のポイント数は、元の 90 実行計画の半分未満であることに注意してください。 フラクショナルデザイン 2 は、完全な 3 を再度実行することによって得られました。 2重心では実行されますが、プロセス ポイントは純粋なブレンドと 3 つのエッジ ポイントで実行されます。
Prescott 部分計画の予測結果を表 6 に示します。 Prescott の線形化モデルでは、Prescott によって保持された 15 項のみが最終モデルで使用されたため、このモデルを部分計画で推定できることに注意してください。 これにより、線形化モデルを線形加法と比較したり、非線形モデルを派閥データと比較したりすることができます。 もちろん、Prescott が 6 項の要因過程計画を使用して 7 項の完全な特殊立方体混合モデルを実行した場合、すべての項を推定するために必要な 42 の自由度は得られません。
表 6 から、線形化モデルはトレーニング データを使用した部分計画で非常にうまく機能することがわかります。 実際、両方の設計の RMSE は、完全なデータ セットで得られた RMSE よりも低くなります。 これは、Prescott が完全なデータセットから線形化モデルに必要なパラメーターを決定したという事実によって部分的に説明できます。 この意味で、線形化モデルを部分データに適合させるときに、完全なデータセットからの情報を使用することになります。 ただし、これら 39 個のデータ ポイントを使用して完全な線形化モデルのすべての項を推定することはできません。 ただし、線形化モデルはホールドアウト データの予測がはるかに悪いことに注意してください。 実際、どちらの部分計画でも、線形化された予測 RMSE は線形モデルと非線形モデルの両方よりも大きくなります。
繰り返しますが、線形加法モデルと非線形モデルは、両方の設計で、トレーニング セットからの RMSE に適度に近い予測 RMSE を提供します。 Cornell のデータの場合と同様に、部分計画で線形加法モデルまたは非線形モデルを近似することが、90 回の完全な実行計画を実行するための実行可能な代替手段となることがわかります。
表 6 Prescott 部分計画による予測結果
Wang の元のデザインは、50 ～ 50 のエッジ ポイントとチェックポイントを備えた 10 ランのシンプレックスで、2 つのポイントが交差していました。 2プロセス設計の結果、10*4 = 40 回の実行が行われます。 完全な 2 を実行して部分計画 1 を取得します。 2重心と純粋なブレンドでは、半分の分数 z 1例えば2 = 1 は 50-50 のエッジ点で、半分の端数は z 1例えば2 = チェックポイントでは -1。 この結果、図 8 に示すように、4*4 + 2*3 + 2*3 = 28 回の実行が行われます。 フラクショナル デザイン 2 は、50 ～ 50 のエッジ ポイントおよびチェックポイントで実行されたフラクションを逆にすることによって得られました。
これらの部分計画を使用して、予測 RMSE の観点から線形化モデル、線形加算モデル、および非線形モデルを再度比較します。 Wang が実行した線形化モデルには 28 個のパラメーターがあるため、誤差を推定するための自由度は残りませんが、この完全なモデルを推定することができます。 したがって、比較の目的で、線形化モデルの RMSE の代わりに Lenth の擬似標準誤差を再度使用します。 これらの比較の結果を表 7 に示します。
表 7 Wang フラクショナル計画による予測結果
※誤差のdfがないためLenth法で計算。
おそらく表 7 で最も注目すべき点は、線形化モデルからの予測が不十分であることです。 これは主に、部分計画では誤差を推定する自由度がゼロであるという事実によるものと考えられます。 私たちの見解では、このことから得られる重要な教訓は、新しいデータを予測するために誤差の自由度がまったくまたはほとんどない回帰モデルを使用することの危険性です。 モデルの評価と検証は困難な作業です。誤差の自由度がほとんどまたはまったくない状態でこれを行うと、予測が不十分になる可能性があります。 線形加算モデルと非線形モデルはより優れたパフォーマンスを示し、サンプル外予測の点では互いにほぼ同等です。 線形加法モデルも非線形モデルも、完全なデータセットを使用した線形化モデルに近い RMSE を生成しなかったことに注意してください。 ただし、サンプルから予測する場合、どちらも線形化モデルよりも優れたパフォーマンスを発揮します。 繰り返しになりますが、これは部分計画で実行される線形加法モデルと非線形モデルが実際に検討すべき実行可能な代替手段であるという証拠を提供すると主張します。
私たちは何を学んだのでしょうか?
公開されている 2 つの混合プロセス データ セットと 1 つの新しいデータ セットを使用して、線形化モデル、線形加法モデル、および非線形モデルを比較しました。 さらに、元のデータセットのフィッティングだけでなく、完全交差 (混合時間プロセス) 計画の代わりに実行できた可能性のある部分計画のフィッティングに関しても、これらのアプローチを比較しました。 繰り返しになりますが、私たちの目的は、絶対的な意味で最適な設計や最良のモデルを見つけることではありません。 むしろ、潜在的な相互作用に直面して混合プロセスの問題を攻撃するための最良の戦略を決定するための統計工学的アプローチを提案します。 このような戦略では、部分設計と逐次アプローチの実際的な利点が考慮されます。
つまり、これらの比較から次のことが学べたと主張します。
- 十分な自由度が利用可能な場合、混合モデルの項とプロセス モデルの項を乗算して得られる線形化モデルは、データに最もよく適合し、サンプル外データの最良の予測を提供する可能性があります。
- 混合プロセスの相互作用を無視した線形相加モデルと非線形モデルは、線形化モデルに代わる実行可能な代替手段を提供し、推定項の数において大きな利点をもたらします。
- 実験者が線形加算モデルまたは非線形モデルのオプションを検討する場合、部分計画から始まる逐次戦略により、有用なモデルを開発するために必要な実験の総量を大幅に削減できる可能性があります。
- 線形加法モデルと非線形モデルが元の部分計画に十分に適合しない場合、実験者は残りの完全交差計画を実行し、線形化モデルを適合させることができます。 この意味で、実験者は逐次戦略を検討することで得られるものは多く、失うものはほとんどありません。
- 見落としてはならないもう 1 つの点は、残差誤差の自由度がほとんどない、またはまったくないモデルはサンプル データによく適合する可能性がありますが、サンプル データから予測を使用するのは危険であるということです。
私たちが提案する戦略を図 1 に示します。 最初に部分計画を実行することにより、適切なモデルを適合させるために必要な実験の量を大幅に削減できる可能性があります。 比較のために、さまざまな部分計画とさまざまなモデルの係数の数を表 8 にまとめます。
表 8 完全計画および部分計画のサイズとモデル内の係数の数
データセット | - いいえ。 フルデザインを実行
| - いいえ。 フラクショナルデザインを実行する
| 削減 | - いいえ。 線形化モデル係数
- いいえ。 線形加法モデル係数
- いいえ。 非線形モデル係数
|
コーネル | 56 | 32 | 43% | 56 | 14 | 14 |
プレスコット | 90 | 39 | 57% | 42 | 12 | 12 |
王ら。 | 40 | 28 | 30% | 28 | 11 | 11 |
分数データに対して線形加法モデルと非線形モデルの両方を実行することをお勧めします。 非線形モデルの方がかなり良く適合する場合、これは混合物とプロセス変数の間に注目すべき相互作用があることを示しています。 もちろん、線形加法モデルまたは非線形モデルのいずれかが適切に適合するという保証はありません。 特に、混合物変数とプロセス変数の間の高度な相互作用では、線形化されたモデルが必要になる可能性があります。
実験者が部分計画から生成されたモデルに満足できない場合は、完全な計画を完了するために、他の部分 (最初は実行されなかった部分) を実行するオプションがあります。 このオプションは、研究の開始時に採用される戦略の一部である必要があります。 このアプローチにより、完全な線形化モデルの推定が可能になります。 最初の部分と 2 番目の部分の間で、時間の経過とともに設計を効果的にブロックするには、1 つの自由度が必要になります。 それ以外の場合、順次実験できると仮定すると、このアプローチに実際の欠点はありません。 我々は、非線形モデルの基礎となる理論が線形モデルほど開発されていないことを再度認めます。
もちろん、図 1 のモデルの適切性のステップは RMSE の評価に限定されるべきではありません。 この決定ステップには、残差の慎重な精査、潜在的な外れ値の評価、この問題に関する現在のドメイン知識との比較など、モデルの適切性の完全な評価が含まれることを目的としています。 線形化モデルのこのような評価が想定されているため、これを図 1 の別のステップとして含めていません。 この図の目的は、Box et al. で説明されているように、健全な統計モデル構築の詳細を説明するのではなく、さまざまなモデルを逐次的に評価する方法を示すことです。 （2005）など。
読者は、この記事では、非線形設計に適合する最適な部分を選択するためのコンピューター支援設計の可能性を調査していないことに注意してください。 私たちは、混合プロセス問題における非線形モデルのコンピューター設計の応用に関する研究は、私たちが提示するものよりもさらに優れた結果をもたらす可能性があると信じています。 これについては今後の研究に委ねます。
実行可能な戦略が開発され、テストされ、図示されている
相互作用する可能性が高いと考えられる混合変数とプロセス変数の両方を使用して実験を設計し、モデルをフィッティングする問題を検討します。 このような問題に対する一般的なアプローチは、プロセス変数で完全要因計画と交差した完全混合計画を実行することです。 このような設計により、線形化モデルのすべての係数の推定が可能になります。このモデルは、混合モデルのすべての項とプロセス モデルのすべての項を交差させることによって作成されます。 ただし、モデルとその推定に必要な設計はどちらも非常に大規模になる傾向があります。 たとえば、Prescott のパン製造の例では、90 回の実行デザインが使用されました。 Cornell のフィッシュ パティのデザインには 56 回の実行が必要でした。
私たちは、実験者が最適なモデルではないかもしれないが良いモデルを望んでおり、90 回または 56 回の実行よりもはるかに少ない実験でそのようなモデルを取得したいと考えている場合を考えます。 このような状況では、逐次実験、最初ははるかに小さな部分計画、および線形加算モデルまたは非線形モデルの考慮を使用した統計工学戦略が、より優れた全体的なアプローチを提供すると主張します。 繰り返しになりますが、RMSE または予測 RMSE に関して、非線形モデルが線形化モデルよりも優れている可能性が高いとは主張しません。 また、部分計画に完全交差計画と同じくらい多くの情報が含まれているとは主張しません。 この意味で、私たちは特定のデザイン自体を提案しているわけではなく、特定のモデル自体を提案しているわけでもありません。
むしろ、我々は、現在の文献で提案されているアプローチよりも全体的に優れていると思われる、そのような問題に対処するための戦略を提案します。 この意味で、私たちが提案する戦略は統計工学的なアプローチです。 ここで示した結果に基づいて、逐次アプローチが実行可能であると仮定すると、実質的にマイナス面がなく、大幅な実験時間と労力を節約できる可能性があるため、このアプローチが優れていると結論付けます。 特に、非線形モデルは、R、JMP、Minitab、SAS などの最新の統計ソフトウェアを使用して推定するのが非常に簡単であるため、ソフトウェアが非線形モデルの検討を妨げる必要はありません。 さらに、混合物/プロセス変数モデルを超えて、同様のアプローチが他の応答曲面アプリケーションでもより一般的に使用できる可能性があると考えていますが、これは将来の研究課題です。
参考文献
アンダーソン クック、CM、ルー、L. （ゲスト編集者）（2012）。 「統計工学特集」、品質工学、２４（２）。
ボックス、GEP、 ハンター、JS、およびハンター、WG (2005)。 実験者のための統計、2 ND版、ジョン・ワイリー・アンド・サンズ、ニュージャージー州ホーボーケン。
コーネル、JA （2002年）。 混合物を使った実験: 混合物データの設計、モデル、分析、3約Edition、ジョン・ワイリー・アンド・サンズ、ニューヨーク州ホーボーケン。
コーネル、JA （2011年）。 混合物を使った実験の入門書、ジョン・ワイリー・アンド・サンズ、ニュージャージー州ホーボーケン。
ホエル氏、RW、スニー氏、RD （2010年）。 「品質向上における統計的思考と手法: 未来への展望」品質工学、22(3): 119-139。
レンス、RV （1989年）。 「再現されていない階乗の迅速かつ簡単な分析」、テクノメトリクス、31(4): 469-473。
モンゴメリー、ワシントンDC （2012年）。 実験の計画と分析、第 8 版、ジョン・ワイリー・アンド・サンズ、ニュージャージー州ホーボーケン。
プレスコット、P. (2004)。 「プロセス変数との相互作用を含む混合実験のモデリング」 品質技術と定量管理、 1(1): 87-103。
シフ、H. （1963年）。 "混合物実験のための単体重心計画",王立統計協会ジャーナル B 、25(2): 235–263。
スニー、RD、ホエル、RW （2011年）。 」適切なブレンド。統計工学と応用統計の適切な組み合わせ。」品質の進歩、6月：46-49。
ワン、L.、 徐さんJ.、 Wu, S. および Zhang, K. （2013年）。 自作氷の融解速度の研究、未公開プロジェクト報告書。
