ロジャー・W・ホエル博士、ユニオン大学ブラテ・ペシェル統計学助教授
ロナルド・D・スニー博士、スニー・アソシエイツ社長
非線形モデルを使用した効率的な混合/プロセス実験
2015年9月
ロナルド・D・スニー、スニー・アソシエイツ、ニューアーク、デラウェア州
ロジャー・W・ホエル、ユニオン・カレッジ、ニューヨーク州スケネクタディ
ガブリエラ・ブッチ、アウト・オブ・ドア・アカデミー、フロリダ州サラソタ
著作権: Ronald D. Snee、Roger W. Hoerl、Gabriella Bucci 2015
注: この論文は現在、「プロセス変数を用いた混合実験への統計工学的アプローチ」というタイトルで編集レビュー中です。
抽象的な：混合成分とプロセス変数の両方を実験すること、特にこれら 2 つの変数セットの間に相互作用がある可能性がある場合について説明します。実際の混合/プロセス問題に対処するという文脈で、設計と分析の両方の問題を検討します。特定のデータ セットに対して可能な限り最善の設計または可能な限り最善のモデルを見つけるのではなく、このような問題に取り組む戦略に焦点を当てます。この意味で、統計工学フレームワークが使用されます。特に、大規模な線形化モデルではなく、簡素な非線形モデルを適合させる可能性を考慮すると、実験設計のサイズを大幅に削減できることがわかります。実際には、結果のデータに最も適合するモデルの種類を知ることは困難です。したがって、統合された順次設計および分析戦略が推奨されます。公開されている 2 つのデータ セットと 1 つの新しいデータ セットを使用して、非線形モデル、または相互作用を無視する線形モデルを使用すると、場合によっては実験を 50% 程度削減できることがわかりました。他の場合には、非線形モデルでは不十分な場合があります。したがって、私たちは、そのようなアプローチがいつ成功する可能性があるかについてのガイドラインを提供し、そのような問題に対する全体的な戦略を提案します。
キーワード:混合、混合モデル、混合実験、非線形モデル
導入
混合問題 (成分の割合の合計が 1.0 になる必要がある) は、食品、医薬品、化学薬品の開発など、多くの業界やアプリケーション領域で発生します。多くの混合アプリケーションでは、最終的な反応に影響を与えるのは配合だけでなく、プロセス変数も影響します。たとえば、ブレンドワインの製造では、最終的な味やその他の重要な特性は、使用されるブドウ品種の割合だけでなく、成長期の気候条件、ブドウの収穫時期、発酵プロセスのさまざまな段階での温度、使用される熟成樽の種類などのプロセス変数にも左右されます。
場合によっては、混合物の成分とプロセス変数は相互作用しません。ワインの例では、これは、使用されたブドウの品種を考慮せずに発酵やその他の処理を最適化できることを意味します。このシナリオでは、混合モデルとプロセス変数モデルを組み合わせた加法モデルを使用することになります。他のケースでは、最適な処理条件は使用される品種によって異なる可能性があるため、この加法シナリオは適用されません。その場合、混合物とプロセス変数の間に相互作用があります。相互作用シナリオでは、混合物とプロセス変数の相互作用を考慮するための項を組み込んだモデルが作成されます。
このような相互作用が予想される場合に通常使用される実験設計は、相互作用を組み込んだ線形モデルの項の数に対応するために、大きくなる傾向があります (Cornell 2002、2011)。もちろん、主題に関する知識や以前の実験から最終的なモデル形式がどうなるかわかっている場合は、その特定のモデルを推定するために最適または最適に近い実験を設計できます。ここでは、実験者が相互作用を疑っているが、設計を実行して後続のデータを取得する前に最終的なモデル形式を指定することに自信がないという、より一般的な状況を検討します。したがって、特定のモデルの最適な設計でも、特定のデータセットの最適なモデルでもありません。むしろ、このような問題に取り組む戦略に焦点を当て、代替設計や代替モデルを検討し、実際に問題に対処する際の効率性の必要性を考慮に入れます。
この意味で、私たちは統計工学のアプローチ (Hoerl and Snee 2010、Anderson-Cook and Lu 2012) を採用し、ビジネス、産業、研究、政府で発生する混合/プロセス アプリケーションに対処するための最も効果的で効率的なアプローチを特定します。特に、パラメーターが非線形なモデルを真剣に検討すると、パラメーターが線形な従来のモデルに代わる効率的な方法になる可能性があることがわかりました。非線形モデルの適合は線形モデルの適合よりも困難ですが、R、JMP、Minitab、SAS などの最新のソフトウェアを使用すると、少なくとも 10 ～ 20 年前の商用ソフトウェアと比較すると、ユーザーは非線形モデルをかなり簡単に推定および解釈できます。
非線形モデルでは、同じ混合/プロセス問題に対して推定するパラメータが少なくなります。たとえば、コーネルの魚パテの応用 (Cornell 2002) では、線形モデルでは推定する項が 56 個であるのに対し、非線形モデルでは 14 個でした。したがって、非線形モデルが実行可能な代替手段となる場合、はるかに積極的な部分設計戦略を採用して、初期実験を大幅に削減できます。係数の標準誤差など、非線形モデルの基礎となる理論は線形モデルほど発達しておらず、漸近的または近似的な結果に依存することが多いことは認識しています (Montgomery 2012)。
言い換えれば、非線形モデルではプロセス変数と混合変数の相互作用に対応するために必要となるパラメータが少なくなるため、当初はより小規模な分数設計を実行できます。実験コストが無視できないと仮定すると、14 項を推定するのに 56 回の実行は必要ないことは明らかです。非線形モデル、または相互作用のない加法線形モデルでも十分であることが証明されれば、初期設計で問題を解決できる可能性があります。
非線形モデルを検討することで得られるものは多く、失うものはほとんどありません。これらの小規模なモデルで十分な精度が得られない場合は、追加の実験を順次実行できます。この方法では、最良のシナリオでは、問題を解決するために必要な実験効果を最大 50% 削減できますが、最悪のシナリオでは、相互作用のある一般的な線形モデルに必要なすべての実験を最終的に実行する必要があります。この全体的な戦略を図 1 に示します。特定のモデルに最適な個別の設計や特定のデータ セットに最適な個別のモデルに焦点を当てるのではなく、問題に取り組むための最適な全体的なアプローチを強調することが、統計エンジニアリングの核心であると私は考えています。
記事の残りの部分は、次のように構成されています。まず、相互作用を含むプロセス変数を含む混合実験で使用される一般的なモデルと設計を確認します。次に、統計工学の基礎を確認し、この特定の問題にどのように適用されるかについて説明します。次に、3 つのデータ セット (以前に公開された 2 つと新しい 1 つのデータ セット) を紹介します。これらのデータ セットを使用して、線形加法モデル、線形相互作用モデル、および非線形モデルをデータの適合の観点から比較します。さらに、非線形モデルの係数の潜在的な解釈について説明します。次に、これらの各問題に対して、分数設計で見つかった可能性のある仮説的な結果を検討します。つまり、実際のデータのサブセットを分数設計に従って分析し、さまざまなモデルを適合させ、モデルを使用して、モデルで使用されないデータを予測します。最後に、この分析の意味を検討し、相互作用が疑われる混合/プロセスの問題に対処するための戦略を提案します。
混合/プロセス問題で使用される典型的なモデル
プロセス変数を含む混合問題に適用される設計やモデルは数多くある。ここでは、特にシェフのモデルや設計を中心に、アプリケーションで使用される最も一般的なモデルや設計を紹介する。モデル（シェフ1963 年、コーネル大学 (2002 年) の論文は、包括的なレビューを提供しようとはしていません。まず混合モデル自体を検討し、次に相互作用のないプロセス変数を含む混合モデル、そして相互作用を含む混合モデルを検討します。モデルの説明が終わったら、これらのモデルの適合を可能にするために通常実行される設計について説明します。
配合成分の合計が1.0になるという制約により、自由度が1つ失われるため、標準的な線形回帰モデルから定数項を単純に削除するのが一般的です。たとえば、q混合成分の場合、線形シェフモデルは次のように記述されます。
成分の合計は 1.0 なので、最も重要なのは係数の絶対値ではなく、係数間の関係です。たとえば、b 1 =10、b 2 =20、b 3 =30 で成分が 3 つある場合、x 1 は応答にマイナスの影響を与えると言えます。x 1を増やすには、x 2または x 3のいずれかを同じ量だけ減らす必要があるため、x 1を増やすことによる純粋な影響は E(y) を減らすことになります。混合係数の解釈に関する詳細は、Cornell (2002) を参照してください。
この論文で提示されたすべてのモデルでは、加法的なランダム誤差項、独立かつ同一分布の正規分布、平均0、標準偏差を仮定していることに注意してください。誤差項はどの統計モデルでも明らかに重要ですが、これは今回の記事の重要なポイントではないため、今後はこの誤差項についてはあまり触れません。
他にも検討できる混合モデルがあります。たとえば、「スラック変数」モデルでは、混合制約を回避するために混合成分の 1 つを削除し、定数項をモデルに戻します。曲率が存在する場合、線形項とコンポーネント間のすべての可能なクロス積項を組み込んだ 2 次シェフ モデルを適合させるのが一般的です。
各コンポーネントは 1 から他のすべてのコンポーネントの合計を引いたものとして見ることができるため、通常、クロス積項は従来の意味での相互作用のモデリングではなく、一般的な非線形ブレンドのモデリングとして考えます。追加の非線形ブレンドが存在し、十分な自由度が利用できる場合は、特別な 3 次シェフモデルを当てはめることができます。
これは、3 次項をすべて含まず、むしろ 2 次モデルに 3 つの項間のすべての可能な外積を加えたという意味で「特殊」 3 次式と見なされます。たとえば、特殊 3 次式には項x 2は含まれません。完全な 3 次シェフモデルは次のようになります。
ここで、d ij はバイナリ過剰または「相乗効果」の 3 次係数です (Cornell 2011 p. 31)。モデルにプロセス変数がある場合、混合変数には x i を、プロセス変数には z i を、混合係数には b iを、プロセス変数係数には a i を使用します。d 私j項は考慮しません。さらに、混合成分のみのモデルには一般項 f(x) が使用され、プロセス変数のみのモデルには g(z) が使用されます。両方を組み込んだ複合モデルは c(x,z) と記述されます。
繰り返しになりますが、プロセス変数、および混合成分とプロセス変数の組み合わせに適用できるモデルは多数あります。ここでは、アプリケーションで最も一般的に適用される標準設計に焦点を当てます。線形プロセス変数モデルは次のようになります。
,
ここで、r 個の独立変数があります。2 次 (完全 2 次) プロセス変数モデルは次のようになります。
二重合計には i=j が含まれるため、完全な二次モデルにはモデルに二乗項 (二次項) が含まれることに注意してください。明らかに、このようなモデルを適合するには、設計に 2 つ以上のレベルが必要です。2 レベルの設計では、因子モデル (線形項と 2 次相互作用があり、二次項 (二乗項) がない) を使用できます。
もちろん、完全実施要因設計では、より高次の相互作用も推定できます。
混合変数とプロセス変数の両方がある場合、混合変数とプロセス変数の相互作用がどの程度予測されるかが重要な考慮事項となります。混合変数とプロセス変数が相互作用しないことを示唆する理論または経験がある場合は、混合モデルとプロセス モデルを個別に適合させることができます。言い換えると、全体的なモデルは次のようになります。
c(x,z) = f(x) + g(z) (1)
式 1 を線形加法モデルと呼びます。この場合、f(x) は混合物の成分に適切であると判断されたモデルになり、g(z) はプロセス変数に適切であると判断されたモデルになります。ただし、多くの場合、混合物の成分とプロセス変数は相互作用します。つまり、ケーキを焼くのに最適な時間と温度は、ケーキの材料によって異なります。赤ワインは通常、白ワインほど冷やして提供されません。このような場合、Cornell (2002、2011) や Prescott (2004) などの多くの著者は、混合物とプロセス変数モデルを加算するのではなく、乗算することを提案しています。つまり、混合物とプロセスの相互作用に対応するには、次のモデルを使用できます。
c(x,z) = f(x)*g(z) (2)
この乗法モデルはパラメータ (b iおよび a i ) に関して線形ではないため、最小二乗解は閉じた形式では得られず、標準的な線形回帰ソフトウェアでも得られません。この問題に対処する 1 つの方法は、f(x)*g(z) の個々の項を乗算することです。3 つの混合変数と 2 つのプロセス変数がある場合を考えてみましょう。簡単にするために、これらのモデルが次の形式になることがわかっているものとします。
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 13 x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3であり、
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 、
これは、特殊な三次混合モデルと要因プロセス変数モデルになります。したがって、f(x) には推定する項が 7 つあり、g(z) には 4 つあります。f(x) の各項を g(z) の各項で乗算すると、線形回帰モデルで 28 項が生成されます。このモデルを線形化と呼ぶのは、式 2 が実際には非線形モデルであるためです。すべての項を乗算すると、28 項の線形モデルが作成されます。つまり、次のようになります。
c(x,z) = f(x)*g(z) = b 1 x 1 *a 0 + b 1 x 1 *a 1 z 1 + b 1 x 1 *a 2 z 2 + b 1 x 1 *a 12 z 1 z 2 (3)
+ b 2 x 2 *a 0 + b 2 x 2 *a 1 z 1 + b 2 x 2 *a 2 z 2 + b 2 x 2 *a 12 z 1 z 2
+ .............+ b 123 x 1 x 2 x 3 *a 12 z 1 z 2
式 3 は、b 1 a 0を 1 つのパラメータ、b 1 a 1を別のパラメータとみなすと、パラメータに関して線形であることに注意してください。したがって、式 3 は、式 1 と同様に、標準的な線形回帰ソフトウェアで推定できます。もちろん、最小二乗推定値が得られると、式 3 で「b 1 a 0 」としてリストされている x 1の推定パラメータは、確率 0 で、式 2 の f(x) の x 1の推定係数に等しくなります (1) に式 2 から推定される g(z) の切片を掛けたもの (0) は、これらの個々の項が非線形最小二乗法から直接推定された場合に発生します。つまり、式 3 の最小二乗法推定値を使用して、式 2 の非線形最小二乗法推定値を決定することはできません。
後で取り上げる重要な点は、式 2 と式 3 の比較です。式 2 は、パラメータに関して非線形なモデルです。このように推定すると、推定する必要があるパラメータは 11 個、f(x) の場合は 7 個、g(z) の場合は 4 個だけです。実際には、式 2 は過剰指定されているため、必要なパラメータは 10 個だけです。この式には一意の最小二乗解は存在しません。これは、f(z) に任意の非ゼロ定数 (たとえば m) を掛け、g(z) を m で割ると、m と 1/m が打ち消されるため、c(x,z) の値は変わらないと考えればすぐにわかります。f(x) の各係数に掛けられる定数 m は無限にあり、それぞれが同じ残差二乗和を生成するため、式 2 には一意の最小二乗解は存在しません。この過剰指定に対処するには、a 0 = 1.0 と設定します。これが過剰仕様に対処する最良または唯一の方法であると主張するつもりはありませんが、後ほど説明するように、他の係数の解釈には役立ちます。
もちろん、重要な点は、式 2 を非線形最小二乗問題として直接推定できる場合、推定パラメータの自由度は 10 のみでよく、線形バージョンに必要な 28 ではないということです。これは、相互作用が予想される場合の実験設計に明らかな影響を及ぼします。もちろん、相互作用が予想されない場合は、式 1 (線形加法モデル) を推定できます。この式も過剰指定されており、a 0項は不要であり、実際には切片が混合モデル f(x) にすでに組み込まれているため推定できません。切片を削除すると、非線形モデルの場合と同様に、推定するパラメータが 10 個になります。
混合/プロセス問題で使用される典型的な実験設計
実験を設計する際には、正確な形式に自信がなくても、特定のモデルを念頭に置いているという点で、設計とモデルは明らかに密接に関係しています。混合実験では、線形シェフ係数を推定するのに適したモデルがあります。モデル、そしてもちろん、二次モデルや特殊三次モデルの推定に適したより大きな設計もあります。
単体設計は、混合実験でよく使用されます。これらは通常、q 個のコンポーネントがある場合、q-1 次元で表されます。たとえば、3 つのコンポーネントがある場合、混合制約のため自由度は 2 のみであるため、図 2 のように設計を 2 次元で表示できます。3 つのコンポーネントすべてが表され、それぞれに軸があることに注意してください。制約のない混合問題では、各コンポーネントは 0 から 1.0 まで変化できるため、単体全体は各軸で 0 から 1 になります。0 ポイントは単体の底で表され、1.0 は底の反対側の単体ポイントになります。x 1 = 1.0 の場合、x 2 = x 3 = 0 であるため、この点は x 2 軸と x 3軸の底に対応することに注意してください。これらのポイントは、明らかな理由から「純粋なブレンド」と呼ばれます。純粋なブレンド、および単体設計で実行されるその他の一般的なポイントは、図 2 に示されています。
要因計画の中心点に対応する重心は、単体の中央にある点 1/3、1/3、1/3 に対応することを指摘します。単体計画で実行されるその他の一般的なポイントは、いわゆる 50-50 ブレンドで、2 つのコンポーネントの比率が 0.5、3 番目のコンポーネントの比率が 0 です。これらの 50-50 ブレンドは、単体の各ベースに沿った中点に対応します。単体計画でよく使用されるもう 1 つの一般的なポイントは「チェックポイント」で、通常は重心と純粋なブレンドの中間に配置されます。3 つのコンポーネントの単体の場合、これらは x 1の場合は 2/3、1/6、1/6、x 2の場合は 1/6、2/3、1/6、x 3の場合は 1/6、1/6、2/3 になります。これらのチェックポイントにより、モデルが単体の重心と境界だけでなく、他の部分でもデータに適合していることを検証できます。言い換えれば、チェックポイントを適切にフィッティングすることは、単体内で補間することが比較的安全であることを示唆します。
Cornell (2002) で説明されているように、点を単体全体に均一に配置する、より複雑な単体-格子設計も実際には使用されています。4 成分を超える実験では、これらの設計を示すことは困難ですが、要因設計の場合と同様に、同じタイプの設計を形成することができます。もちろん、多くの場合、配合成分のレベルに制約があります。たとえば、100% 酢でできたサラダ ドレッシングを好む消費者はほとんどいません。このような場合、元の成分を変換した疑似成分 (Cornell 2002) を作成するか、制約によって作成された異常な設計スペースでコンピューター支援設計を使用します。このような設計は、現在の記事の焦点ではありません。また、読者はプロセス変数に使用される標準的な要因設計に精通していることを前提としています。
プロセス変数を含む混合設計では、通常、混合効果とモデル、およびプロセス効果とモデルを推定できるように、ハイブリッド設計が使用されます。実験者が相互作用を疑う場合、方程式 2 の線形化バージョンのすべての項を推定する機能が望まれることがよくあります。つまり、選択された実験設計では、混合モデルの各項とプロセス モデルの各項を乗算して得られるすべての効果を推定できる必要があります。上記の例では、方程式 3 の 28 項すべてを推定できる設計が望まれます。
このような設計では、通常、要因計画または一部実施要因計画を混合設計と交差させます。たとえば、コーネルの魚パテ実験 (Cornell 2002) では、純粋なブレンド、重心、および 50-50 ブレンドを含む 3 成分の単体設計と、3 つのプロセス変数の 2 3要因設計を交差させました。この設計を図 3 に示します。2 3要因設計のすべてのポイントで、完全な単体設計が実行されたことに注意してください。あるいは、もちろん、これを単体の各ポイントで完全な実施要因設計として表すこともできます。単体設計には 7 ポイント、要因設計には 8 ポイントがあったため、完全な設計は 56 ポイントとなり、分割プロットを避けるためにランダムな順序で実行されました (Cornell 2002、2011)。
交互作用が予想されない場合、もちろん設計はもっと小さくてもかまいません。たとえば、コーネル大学の魚のパテの例では、特殊三次混合モデルには 7 つの項 (3 つの線形混合項、3 つの 2 因子クロス積、および特殊三次 3 因子クロス積) があり、完全実施要因モデルには 8 つの項 (1 つの切片、3 つの主効果、3 つの 2 因子交互作用、および 1 つの 3 因子交互作用) があります。混合モデル f(x) には切片が組み込まれているため、g(z) から切片を削除して、交互作用のない線形加法モデルで推定する項は 7 + 8 – 1 = 14 個になります。つまり、c(x,z) = f(x) + g(z) です。明らかに、もっと小さい分数設計を実行できます。または、モデルに交互作用がないため、混合変数とプロセス変数を個別に調査できます。
プロセス変数を含む混合モデルにおける統計工学の役割
Hoerl と Snee (2010) は、統計工学を次のように定義しています。「統計の概念、方法、ツールを最大限に活用し、それらを情報技術や他の科学と統合して、より優れた結果を生み出す方法を研究すること」。逆に、統計科学は、個々の統計方法の基礎となる理論と応用の研究と発展と見なすことができます。重要な違いは、統計科学はツール自体の基礎知識とその応用の発展に重点を置いていることです。一方、統計工学は、既存の方法とツール、つまり既存の統計科学を取り上げ、これらのツールを多くの場合非統計ツールと創造的にリンクおよび統合して、より大きな効果を生み出す方法に重点を置いています。より大きな効果を達成するために既存の科学を創造的に活用することは、あらゆる工学分野の本質です。
統計学の分野が成長し、社会への影響を高めるためには、統計科学と統計工学の両方が必要であることは明らかです。バランスのとれたアプローチが必要である一方で、現在の統計学の焦点は統計科学に偏りがちであると私たちは主張します (Snee and Hoerl 2011)。特に、大規模で複雑で構造化されていない問題 (1 つのツールでは解決できないほど大きな問題) に取り組む方法の基礎理論の開発に重点を置く必要があると感じています。このような問題には、複数の統計手法の創造的な統合、および情報技術やその他の科学の創造的な使用が明らかに必要です。明らかに、工学的アプローチが必要です。統計工学の分野に関する詳細な背景については、Quality Engineering の Special Edition on Statistical Engineering (Anderson-Cook and Lu 2012) を参照してください。
プロセス変数を含む混合問題に取り組む場合、設計の選択とモデルの選択は密接に関係していることに気付きました。つまり、推定できるモデルは設計によって決まり、適切な設計は推定したいモデルによって異なります。さらに、特定のモデルを事前に知っていれば、そのモデルを推定するための最適な設計を構築できます。ただし、多くの実際の状況では、主題に関する知識は限られており、最終的なモデルはわかりません。通常、これは設計と分析への反復的なアプローチにつながります。これは、Box ら (2005)、Montgomery (2012)、その他多くの研究者によって強調されています。
このような状況で重要な問題は、混合物とプロセス変数の相互作用が予想されるものの確信が持てない場合に、問題に最も効果的にアプローチする方法です。これは、特定のモデルに最適な設計は何かを尋ねることとはまったく異なる質問であり、特定のデータセットに適合する最適なモデルは何かを尋ねることとも異なることに注意してください。後者は、個々のツールの理論と実践を扱うため、より統計科学的な質問です。さらに、客観的な基準に基づいて分析的に「正しい」答えを決定できます。ただし、複雑な問題にどのように取り組むかという質問は、統計科学的な質問ではありません。なぜなら、与えられた条件がほとんどなく、成功するための合意された客観的な測定基準がないためです。言い換えると、問題は構造化されていません。
この戦略上の問題は統計工学に適していると私たちは主張します。なぜなら、より良い結果を得るためには、設計と分析の両方を、おそらくは順番に組み込んだ総合的なアプローチが必要だからです。複数のツールの統合が鍵となります。この場合、「より良い結果」は統計的基準に基づくか、時間と費用を含む実験の労力の節約に基づくか、またはその両方に基づく可能性があります。言い換えれば、最良の統計的ソリューションを見つけることではなく、最良のビジネスソリューションを見つけることに基づく可能性があります。これは、指定された条件下で最良の設計または最良のモデルを得ることよりも複雑で構造化されていない問題です。したがって、統計工学の観点は、プロセス変数を含む混合問題の研究と推奨戦略の指針となります。
設計と分析に関する3つのケーススタディ
コーネル (2002) は、ボラ、シープスヘッド、ニベの 3 種類の魚のパテに関する実験データを発表しました。さらに、各パテは、異なるベーキング温度、ベーキング時間、およびフライ時間で調理されました (パテは、ベーキングとフライの両方で調理されました)。興味深い反応は、結果として得られたパテの食感でした。使用された設計は、純粋なブレンド、50-50 ブレンド、および重心を含む混合変数での 7 回の単体テストでした。プロセス変数については、8 回の 2 3 が実行されました。コーネルは、表 1 にリストされ、図 3 に示されているように、混合設計とプロセス設計を交差させました。この設計には、合計 7*8 = 56 回の実行があります。コーネルは、線形化モデルを適合させました。ここで、
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 13 x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3 、
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 3 z 3 + a 12 z 1 z 2 + a 13 z 1 z 3 + a 23 z 2 z 3 + a 123 z 1 z 2 z 3であり、
c(x,z) = f(x)*g(z)
表1 コーネルのフィッシュパティテクスチャデータ
ブレンド | 揚げる時間 |
25 | 40 |
オーブンタイム |
25 | 40 | 25 | 40 |
オーブン温度 |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
ボラ | シープスヘッド | ニベ | テクスチャ |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0.67
- 1.10
- 1.21
- 1.67
- 0.58
- 0.97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2.75
- 0.5
- 0.5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1.85
- 2.06
- 0.5
|
0 | - 0.5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0.5
- 0.5
- 1.16
- 1.50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
f(x) には 7 つの項があり、g(z) には 8 つの項があるため、個々の項を掛け合わせて線形モデルを作成すると、c(x,z) には 7*8 = 56 の項があります。計画内の実行数が 56 であるため、実験誤差を推定するための自由度は明らかに残っておらず、二乗平均平方根誤差 (RMSE) は 0 となり、誤差項 (e) の標準偏差、つまり標準誤差を推定することはできませんでした。さらに、モデルの不適切さの証拠として残差を評価する機会も、適合性不足のテストを行う機会もありませんでした。そのため、コーネル大学は標準誤差の推定値として、反復測定 (真の反復ではない) 間の変動を使用しました。明らかに、この実行内変動では実行間の変動源を推定できないため、真の反復から推定される標準誤差の推定値、さらには残差の自由度から推定される標準誤差の推定値と同等であるとは考えられません。
モデルを比較する目的で、Lenth の PSE (擬似標準誤差) 法 (Lenth 1989) を適用して、Cornell のモデルの標準誤差の推定値を取得しました。Lenth の方法で最初に、実際に存在すると思われる効果を決定し、次に、得られた自由度を使用して残りの変数を除外し、標準誤差を推定します。これは、モデルから適切な項を除外することに依存するという点で、擬似標準誤差です。
プレスコット（2004）は、ノルウェー産のTjalve、Folke、アメリカ産のHard Red Springの3種類の小麦粉を使用してパンの体積をテストしました。また、発酵時間と混合時間という2つのプロセス変数もありました。3種類の小麦粉のレベルには制約がありました。.25 x11, 0 x2.75、0 x3.75 で、Tjalve は x 1 、Folke は x 2 、Hard Red Spring は x 3です。単体混合空間に適用すると、縮小された空間内のより小さな完全単体になります。擬似コンポーネント (Cornell 2002) に変換することで、標準単体設計を引き続き使用できます。モデルの比較を目的として、一般性を失わずに、Prescott の混合設計の擬似コンポーネント バージョンを使用します。Prescott は、混合変数に 10 実行の単体格子設計を使用し、プロセス設計に 3 2 、つまり 2 つの変数の 3 レベル要因を使用しました。この設計には、もちろん 9 回の実行があります。
再び混合設計とプロセス設計を交差させて、プレスコットは 10*9 = 90 実行設計を作成しました。これは表 2 にリストされ、図 4 に示されています。混合モデル f(x) については、プレスコットはコーネルが使用したのと同じ 7 項の特殊な 3 次モデルを考慮し、プロセス モデル g(z) については、6 項の完全な 2 次モデルを考慮しました。
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 +
表2 プレスコットのパンの体積データ
擬似コンポーネント 混合 | 発酵時間（分） |
35 | - 47.5
| 60 |
混合時間（分） |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
ティルヴェ | 人々 | ハードレッドスプリング | パンの容量 |
.25 | .75 | 0 | - 378.89
- 396.67
- 392.22
- 445.56
- 452.22
- 487.78
- 457.22
- 500.56
- 472.78
|
.50 | .50 | 0 | - 388.89
- 423.33
- 416.11
- 460.00
- 488.89
- 475.78
- 472.78
- 478.00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444.56
- 484.44
- 490.00
- 495.00
- 497.78
- 531.11
- 577.78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415.00
- 490.89
- 528.89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436.00
- 535.00
- 552.22
- 507.44
- 578.89
- 590.00
|
.25 | .25 | .50 | - 413.89
- 485.56
- 462.22
- 483.89
- 529.44
- 540.00
- 565.00
- 598.89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437.78
- 493.89
- 583.33
- 578.89
- 524.44
- 649.44
- 640.00
|
.25 | 0 | .75 | - 432.78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638.89
- 638.89
|
プロセス設計が 3 レベル設計であるため、2 次項が推定可能であることに注意してください。Prescott は、c(x,z) = f(x)*g(z) の形式など、合計 7*6 = 42 項を持つ線形化されたインタラクティブ モデルをいくつか実行しました。90 回の実行で、完全な 42 項モデルを推定するのに十分な自由度が得られ、標準誤差を推定する自由度も残りました。いくつかのモデルを検討した後、このデータに対して Prescott が最終的に提案したモデルは、次の形式の縮小モデルでした。
y = 522.8x 1 + 448.1x 2 + 599.3x 3 + 13.0x 1 z 1 + 1.7x 2 z 1 + 54.3x 3 z 1 + 56.3x 1 z 2 + 37.2x 2 z 2
+ 73.8x 3 z 2 – 39.4x 1+ 3.7倍2– 46.0x 3– 10.2倍1+ 28.4x 2+ 1.0x 3
x iのクロス積や z 1と z 2の相互作用を含む項など、一部の項がモデルから削除されていることに注意してください。実際、この最終モデルには、可能な 42 項のうち 15 項のみが含まれていました。線形化モデルと非線形モデルを比較するときに、この点に戻ります。
Wang ら (2013) は、2013 年に第一著者がラトガース大学で教えた統計学のコースのクラス プロジェクトの一環として、混合/プロセス実験デザインを実行しました。この実験には、水、牛乳、オレンジ ジュースの 3 つの混合変数と、砂糖の添加 (0 または 2 グラム) と使用する牛乳の種類 (2% または全乳) の 2 つのプロセス変数が含まれています。応答は、混合物から生成された氷の融解時間 (分) でした。混合デザインは、純粋なコンポーネント、50-50 ブレンド、チェックポイント、および疑似コンポーネント形式の重心を含む 10 実行の単体デザインでした。これは、図 2 に示されているデザインです。プロセス デザインでは、Wang は 2 2要因計画を 4 回実行しました。10*4 = 40 実行の交差デザインと結果の応答を表 3 に示し、図 5 に示します。
表3 王らの融解時間データ
混合 | ミルクの種類 |
2% | 全体 |
砂糖 |
0グラム | 2グラム | 0グラム | 2グラム |
水 | 牛乳 | ジュース | 溶ける時間 |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32.97
|
0 | - 0.5
- 0.5
- 37.36
- 32.89
- 45.69
- 39.06
- 0.5
- 0.5
|
0 | - 33.32
- 28.34
- 41.78
- 35.84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36.97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0.5
|
0 | - 0.5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39.95
|
0 | 1 | 0 | - 48.64
- 33.00
- 45.08
- 47.35
|
Wang ら (2013) は、f(x) に 7 項の特殊 3 次モデル、g(z) に 4 項の要因プロセス モデルを使用して線形化モデルを当てはめました。このモデルには、切片、2 つの主効果、および 2 因子相互作用があります。したがって、すべての項を乗算すると、c(x,z) は式 3 で示される 28 項の線形化モデルになります。40 回の実行と 28 項の推定で、標準誤差を推定するために 12 の自由度が残りました。
線形および非線形モデルと結果
これらの設計とデータ セットのそれぞれについて、線形加法モデル c(x,z) = f(x) + g(z) などのはるかに小さなモデルも検討できます。このモデルには、もちろん混合変数とプロセス変数の相互作用を推定する項はありません。また、非線形モデルもあります。非線形モデルを推定するには、項を乗算せずに、c(x,z) = f(x)*g(z) の最小二乗解を直接求めます。前述のように、このモデルはパラメーターに関して非線形です。たとえば、混合変数が 2 つでプロセス変数が 1 つの単純なケースでは、次のようになります。
c(x,z) = ( b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 )*(a 0 + a 1 z) (4)
これら 5 つの係数をそれぞれ推定すると仮定すると、方程式 4 を 5 つの係数を持つ非線形方程式と見なし、非線形最小二乗法を使用して解を求めることができます。前述のように、方程式 4 は過剰決定であり、一意の最小二乗解がないため、実際には推定する係数は 4 つだけです。0 = 1.0 を任意に設定することで、他のパラメーターで一意の最小二乗解を得ることができます。0にゼロ以外の他の値を使用しても、R 2 、標準誤差などのモデル メトリックは変更されません。もちろん、非線形最小二乗法では、一意の解が保証されることはありません。
非線形モデルを適合させるために、標準の MacBook Pro ラップトップで実行される JMP Pro 10 の非線形回帰アルゴリズムを使用します。前述のように、非線形モデルの実行は線形モデルよりも困難ですが、最新のソフトウェアを使用すれば確実に実行可能であり、この種の問題に対する実行可能なオプションであると考えられます。これら 3 つのデータ セットに線形加法モデルと非線形モデルを適合させて得られた結果について説明する前に、非線形モデルの係数の解釈について簡単に説明します。混合項の解釈についてはシェフ (1963)、Cornell (2002) などの文献で広く説明されているため、線形加法モデルについては説明しません。
式 4 の非線形モデルの項を推定した後、解釈を容易にするために推定された項を自由に乗算できます。係数を推定する前に項を乗算して得られるモデル (線形化モデル) とはまったく異なるモデルが生成されることに注意してください。また、他の値ではなく0 = 1 を設定すると、モデルの解釈がより簡単になります。式 4 の非線形アプローチで推定された項を乗算すると、次のようになります。
= ( 1 x 1 + 2 x 2 + 12 x 1 x 2 )*(1 + 1 z)
= ( x 1 + x 2 + 12 x 1 x 2 ) + ( x 1 + x 2 + 12 x 1 x 2 )* 1 z (5)
一般性を失うことなく、z は平均 0 になるようにスケールされていると仮定できます。したがって、z が平均値にある場合、式 5 は左側の部分、つまり純粋な混合モデル f(x) だけに簡略化されます。したがって、混合係数は、プロセス変数の中間点で推定した混合、または設計全体の平均混合として解釈できます。この解釈は、z との相互作用があるかどうかに関係なく適用されます。1 の解釈はより複雑です。式5で z が現れる唯一の場所は、一連の相互作用を通してであることに注意してください。
これは、非線形モデルでは、混合変数と z の相互作用から z の主効果を一意に推定できないことを意味します。これは、 z の主効果と x iとの相互作用を組み込むために使用できる唯一の係数が1 であるためです。 f(x) は切片を持つスラック変数モデルとして書き直すことができますが、それでも z の主効果と混合変数との相互作用の両方を組み込む自由度は 1 しかありません。私たちはこれを非線形アプローチの欠点と見なし、実際の結果では、プロセス変数の主効果が大きく、混合変数とプロセス変数の相互作用が激しい場合に、曲面をフィッティングするのが困難になると推測しています。
この解釈は、7 項特殊立方混合モデルや、魚パテ実験の 8 項プロセス変数モデルなど、より大きな非線形モデルに拡張できます。c(x,z) = f(x)*g(z) を非線形モデルとして直接推定すると、7 + 8 – 1 = 14 個の係数を推定します。0 = 1に設定したことを思い出してください。非線形最小二乗法を使用してこれらの 14 個の係数を解いた後、解釈を容易にするために項を乗算できます。これにより、次の式が生成されます。
(x)*(1 + 1 z 1 + 2 z 2 + 3 z 3 + 12 z 1 z 2 + 13 z 1 z 3 + 23 z 2 z 3 + 123 z 1 z 2 z 3 )、
これは、1 倍の (x)、プラス1 倍のz 1倍の (x)、プラス2 倍のz 2倍の (x) などです。言い換えると、モデル内の (x)*1 以外の他のすべての項には、 i倍の 1 つ以上の z i倍の (x) が含まれます。したがって、式 5 の状況と同様に、 z iの主効果はいずれも、その z iと混合変数 (およびそれらの相互作用) との相互作用から一意に推定することはできません。同様に、たとえば z 1 z 2などの z i間の相互作用は、この項と混合項との相互作用から一意に推定することはできません。
実用的な観点からは、例えば z 1や x 1 z 1の個々の係数を推定できないことは、デザインの解像度という意味で、 z 1 z 2 z 3や x 1 x 2 x 3 z 1 z 2 z 3などの相互作用の個々の係数を推定できないことよりも大きな懸念事項です (Box et al. 2005)。つまり、実務家は 6 因子相互作用の実用的な重要性についてはほとんど懸念しないでしょう。
線形加法モデル c(x,z) = f(x) + g(z) と非線形モデル c(x,z) = f(x)*g(z) の両方を、前述の 3 つのデータ セットに適合させると、表 4 に示す結果が得られます。Cornell および Wang データ セットでは、サブセット選択を試みることなく完全なモデルを適合させました。Prescott データでは、線形加法モデルと非線形モデルの両方で、Prescott が最終的な線形化モデルに選択した f(x) および g(z) の項のみを組み込みます。具体的には、f(x) では x 1 、 x 2 、 x 3のみを使用します。g(z) では z 1 、 z 2 、、およびを含めます。この意味で、Cornell と Wang の比較はサブセット選択なしの「同等のもの」であり、Prescott の比較は Prescott によるサブセット選択を適用した「同等のもの」です。
ここで使用している数値基準は、推定標準誤差、つまり二乗平均平方根誤差 (RMSE) です。言うまでもなく、モデルの「良さ」を判断できる単一の基準はありません。実際に適切なモデルを開発するには、複数の数値基準を検討し、残差プロットを評価し、結果を確かな主題理論と比較するなどする必要があります。読者は、モデル構築において RMSE のみに焦点を当てることを推奨していると推測しないでください。ただし、モデル比較の目的では、推定標準誤差は、モデルがデータに適合できる度合いを測定するための便利な客観的基準としてのみ使用します。
表 4 から、2 つのケースで線形化モデルが最小の推定標準誤差を提供し、コーネル データではほぼ最小であることがわかります。線形加法モデルは相互作用を考慮せず、非線形モデルには前述の制限があるため、これは驚くべきことではありません。この 3 つの分析から、十分な自由度が利用できる場合は、この基準を適用した 3 つのモデルに基づいて、線形化モデルが推奨されるアプローチであると結論付けています。
表4 線形化モデル、線形加法モデル、非線形モデルのRMSE
コーネルデータ プレスコットデータ お金のデータ
線形化0 .17* 21.0 1.36
線形加法0 .24 24.3 2.38
非線形0 .16 23.1 2.05
*誤差の自由度がないため、Lenth 法を使用して計算されます。
しかし、詳しく調べてみると、コーネルのデータとプレスコットのデータの 2 つのデータ セットでは、モデル間の差は予想ほど大きくなく、実際、コーネルのデータでは、非線形モデルの RMSE は線形化モデルの RMSE よりわずかに小さいことがわかります。誤差を推定するための自由度が残っていないため、線形化モデルの RMSE は Lenth 法を使用して計算されることを思い出してください。これらのモデルで推定された係数の数の差の大きさを考えると、非線形アプローチのパフォーマンスは印象的です。コーネルのモデルでは 14 (線形加法または非線形) 対 56 (線形化)、プレスコットの完全モデルでは 12 対 42 (プレスコットの縮小モデル項のみを使用した場合は 7 対 15)、ワンのモデルでは 10 対 28 です。非線形モデルと線形加法モデルは、はるかに簡潔です。
線形加法および非線形アプローチが Wang データでうまく機能しない理由の 1 つは、このデータでは混合変数とプロセス変数の間に非常に有意な相互作用があるためであると考えられます。たとえば、線形化モデルのミルク*砂糖*ミルク タイプ (x 2 z 1 z 2 ) とミルク*ジュース*砂糖*ミルク タイプ (x 2 x 3 z 1 z 2 ) の項は、両方とも .01 レベルで統計的に有意です。水*ミルク*砂糖*ミルク タイプ (x 1 x 2 z 1 z 2 ) の項は、.01 レベルでほぼ有意です (p 値 = .0101)。私たちの経験では、4 つの因子の相互作用がこれほど有意であることは非常にまれです。プロセス変数と混合変数の相互作用の項を含まない線形モデルでは、明らかにこのような相互作用を効果的にモデル化することはできません。非線形モデルには、適切な近似値を提供するのに十分な項がありません。このような重要な高次相互作用がある場合、線形化されたアプローチが必要になる可能性があります。
表 4 に示されているように、差異が比較的小さいことを考慮すると、初期実験の量を減らすことで、かなりの時間と費用を節約できる可能性があると考えられます。確かに、すべての項を使用してプレスコット非線形モデルの 12 項を推定するのに 90 回の実行は必要ありませんし、コーネル非線形モデルの 14 項を推定するのに 56 回の実行も必要ありません。この質問に答えるために、これらの各モデルが実際に実行される設計の一部にどのように適合するかを評価します。
部分設計の結果
これまでに説明した各デザインは、混合デザインとプロセスデザインを交差させることで作成されました。したがって、実行の合計数は n 1 *n 2で、n 1は混合デザインの数、n 2 はプロセスデザインの数です。コーネルの魚パテデザインの場合、これは 7*8 = 56 でした。非線形モデルについて上記に示した結果を考えると、論理的に問われるのは、実際に 56 回の実行すべてが必要だったのか、それともコーネルはもっと小さなデザインを実行してほぼ同じ結果を得ることができたのか、ということです。コーネル (2002) が 56 回の実行デザインを実行する理由の 1 つは、線形化モデルのすべての係数を推定する必要があったことです。
また、コーネル (2002) は、実験者が完全な設計を実行できない場合は、混合空間の各ポイントでプロセス設計の一部を実行することによって部分設計を作成できることにも言及しています。できるだけ多くの項を推定できるようにするために、コーネルは、混合設計の異なるポイントでプロセス設計のどの部分を実行するかを切り替えることを提案しました。たとえば、3 つのプロセス変数の場合、混合設計ポイントの約半分で z 1 z 2 z 3 = 1 の半分の部分を実行し、もう半分で z 1 z 2 z 3 = -1 を実行します。コーネルはさらに、可能であれば、混合空間の重心で完全なプロセス設計を実行することを推奨しました。彼は、この部分設計を実行すると、実験者は完全な線形化モデルを推定できず、これらの項のサブセットの推定に制限されると指摘しました。
魚のパテの場合、混合設計には 7 つのポイントがあり、プロセス設計には 8 つのポイントがありました。重心で 8 つのポイントすべてを実行し、次に他のすべてのポイントで 4 つ (半分の分数) を実行すると、32 ポイントの分数設計になります。これは、線形化された魚のパテ モデルのすべての項を推定するにはポイント数が足りませんが、非線形または線形加法モデルの 14 の項を推定するには十分すぎるほどです。図 6 では、純粋なブレンドで z 1 z 2 z 3 = 1 を実行し、50-50 ブレンドで z 1 z 2 z 3 = -1 を実行した分数設計を示しています。グラフの解釈を容易にし、図 3 との比較を可能にするために、構築方法は上記のとおりですが、プロセス設計の各ポイントで実行された混合ポイントを再度示しています。
非線形モデルが縮小されたデータ セットにどの程度適合するかを確認することに加えて、モデルをより適切に評価するための自然なホールドアウト サンプルもあります。つまり、非線形モデルの推定には 32 回の実行のみが使用されます。したがって、モデル項を推定したら、このモデルを使用して、このモデルの推定に使用されなかった 24 回の実行を予測できます。このようなホールドアウト サンプルは、モデルがこのデータを参照しておらず、フィッティング プロセス中に影響を受けることがないため、推定モデルを評価するためのより有効な基準であると一般に考えられています。表 5 は、図 6 に示す部分的設計に線形加法モデルと非線形モデルの両方を最初にフィッティングした結果と、ホールドアウト データを予測する際の予測標準誤差 (RMSE) を示しています。コーネルのモデルには部分的設計で推定するには項が多すぎるため、線形化モデルはオプションではないことに注意してください。
明らかに、純粋ブレンドと 50-50 ブレンドで実行される分数設計を任意に逆にすることができます。したがって、完全性のために、図 6 に示す設計を分数設計 1 と見なし、純粋ブレンドで z 1 z 2 z 3 = -1 を実行し、50-50 ブレンドで z 1 z 2 z 3 = 1 を実行する分数設計 2 を定義します。この場合も、8 つのプロセス設計ポイント全体が重心で実行されます。
表5 コーネル分数計画による予測結果
*誤差の自由度がないため、Lenth 法を使用して計算されます。
表 5 では、両方の部分設計において、非線形モデルが「トレーニング」データにうまく適合し、ホールドアウト データにもかなりよく適合していることに注目してください。予測 RMSE は両方の部分設計で 0.22 であり、元の 0.16 RMSE よりも高くなっていますが、元の 56 回の実行のうち 32 回しか使用していないことを考えると、43% の削減に相当し、妥当な範囲内です。線形加法モデルも、データ セット全体の適合で一貫したパフォーマンスを発揮します。前述のように、モデルの適合を最大化することが唯一の目的である場合は、線形化モデルを使用した完全な交差設計が望ましいです。ただし、時間とコストが重要な考慮事項である場合は、予測精度は低くなりますが、実験の労力ははるかに少なくなる非線形モデルを検討する必要があります。
プレスコットの混合設計は、各純粋ブレンド間の 2 つのエッジ ポイントと重心を持つ単体格子でした。これは、3 2プロセス設計と交差しました。このような組み合わせでは、ヒューリスティックな意味でバランスのとれた分数設計を決定することがより困難になります。さまざまなオプションを検討した後、分数設計 1 を、重心での完全な 3 2 、純粋ブレンドでの z 1 z 2 = 0 のポイント、および次の 3 つのエッジ ポイントで z 1 = z 2 = 0 かつ z 1 z 2 = +/-1 となるポイントと定義します: (2/3、1/3、0)、(0、2/3、1/3)、および (1/3、0、2/3)。この結果、図 7 に示すように、39 実行分数設計 (9 + 5*3 + 5*3) になります。分数設計のポイント数は、元の 90 実行設計の半分以下であることに注意してください。分数計画 2 は、3 2全体を再び重心で実行し、純粋なブレンドで実行されるプロセス ポイントと 3 つのエッジ ポイントで実行されるプロセス ポイントを逆にすることによって得られました。
プレスコットの分割設計の予測結果を表 6 に示します。プレスコットの線形化モデルでは、プレスコットが保持した 15 項のみが最終モデルで使用されたため、分割設計でこのモデルを推定できることに注意してください。これにより、線形化モデルを線形加法モデル、非線形モデルを分割データと比較できます。もちろん、プレスコットが 7 項で完全特殊 3 次混合モデルを実行し、6 項で要因プロセス設計を実行した場合、すべての項を推定するために必要な 42 の自由度は得られません。
表 6 から、線形化モデルはトレーニング データを使用した部分設計で非常に優れたパフォーマンスを発揮することがわかります。実際、両方の設計の RMSE は、完全なデータ セットで得られた RMSE よりも低くなっています。これは、Prescott が線形化モデルに必要なパラメーターを完全なデータ セットから決定したという事実によって部分的に説明できます。この意味では、線形化モデルを部分データに適合させるときに、完全なデータ セットの情報を使用しています。ただし、これらの 39 のデータ ポイントを使用して、完全な線形化モデルのすべての項を推定することはできません。ただし、線形化モデルはホールドアウト データの予測でははるかに悪いことに注意してください。実際、両方の部分設計で、線形化予測 RMSE は、線形モデルと非線形モデルの両方よりも大きくなっています。
繰り返しになりますが、線形加法モデルと非線形モデルは、両方の設計において、トレーニング セットの RMSE にかなり近い予測 RMSE を提供します。Cornell のデータの場合と同様に、線形加法モデルまたは非線形モデルを部分設計に適合させることは、完全な 90 回実行設計を実行する代わりに実行可能な方法であることがわかります。
表6 プレスコット分数計画による予測結果
Wang の元の設計は、50-50 のエッジ ポイントとチェックポイントを持つ 10 回の実行単体で、2 2プロセス設計と交差し、10*4 = 40 回の実行となりました。重心と純粋なブレンドで完全な 2 2を実行し、50-50 エッジ ポイントで半分の分数 z 1 z 2 = 1 を実行し、チェックポイントで半分の分数 z 1 z 2 = -1 を実行することで、分数設計 1 が得られます。図 8 に示すように、この結果は 4*4 + 2*3 + 2*3 = 28 回の実行となります。分数設計 2 は、50-50 エッジ ポイントとチェックポイントで実行される分数を逆にすることで得られました。
これらの分数設計を使用して、予測 RMSE の観点から、線形化モデル、線形加法モデル、および非線形モデルを再度比較します。Wang が実行した線形化モデルには 28 個のパラメーターがあるため、誤差を推定するための自由度は残っていませんが、この完全なモデルを推定できます。したがって、比較のために、線形化モデルの RMSE の代わりに、Lenth の疑似標準誤差を再度使用します。これらの比較の結果を表 7 に示します。
表7 王分数計画による予測結果
*誤差の自由度がないため、Lenth 法を使用して計算されます。
表 7 で最も注目すべき点は、線形化モデルによる予測が不十分であることです。これは主に、分数設計では誤差を推定する自由度がゼロであるという事実によるものと考えられます。私たちの見解では、このことから得られる重要な教訓は、誤差の自由度がゼロまたはわずかである回帰モデルを使用して新しいデータを予測することの危険性です。モデルの評価と検証は困難な作業です。誤差の自由度がほとんどまたはまったくない状態で評価と検証を行うと、予測が不十分になる可能性があります。線形加法モデルと非線形モデルのパフォーマンスは優れており、サンプル外予測の点ではほぼ同等です。線形加法モデルも非線形モデルも、完全なデータ セットでは線形化モデルに近い RMSE を生成しなかったことに注意してください。ただし、サンプル外予測では、どちらも線形化モデルよりも優れたパフォーマンスを発揮します。繰り返しになりますが、これは、分数設計で実行される線形加法モデルと非線形モデルが、実際に検討すべき実行可能な代替手段であるという証拠を提供するものであると私たちは主張します。
何を学んだか?
我々は、2 つの公開された混合プロセス データ セットと 1 つの新しいデータ セットを使用して、線形化モデル、線形加法モデル、および非線形モデルを比較しました。さらに、元のデータ セットのフィッティングだけでなく、完全交差 (混合 x プロセス) デザインの代わりに実行できた可能性のある部分的デザインのフィッティングについても、これらのアプローチを比較しました。繰り返しますが、我々の目的は、絶対的な意味で最適なデザインや最適なモデルを見つけることではありません。むしろ、潜在的な相互作用に直面した混合プロセスの問題に取り組むための最善の戦略を決定するための統計工学アプローチを提案します。このような戦略では、部分的デザインと順次アプローチの実際的な利点を考慮します。
要するに、私たちはこれらの比較から次のことを学んだと主張します。
- 十分な自由度が利用できる場合、混合モデルの項とプロセスモデルの項を乗算して得られる線形化モデルがデータに最も適合し、サンプル外データの最良の予測を提供する可能性が高くなります。
- 混合プロセス相互作用を無視した線形加法モデルと非線形モデルは、線形化モデルの実行可能な代替手段を提供し、推定する項の数の点で大きな利点を提供します。
- 実験者が線形加法モデルまたは非線形モデルのオプションを検討する場合、部分設計から始まる順次戦略により、有用なモデルを開発するために必要な実験の総量を大幅に削減できる可能性があります。
- 線形加法モデルと非線形モデルが元の一部設計に十分に適合しない場合は、実験者は残りの完全交差設計を実行し、線形化モデルに適合させることができます。この意味で、実験者は順次戦略を検討することで多くの利益を得ることができ、失うものはほとんどありません。
- 見逃してはならないもう 1 つの点は、残差誤差の自由度がほとんどないかまったくないモデルはサンプル データに適合する可能性があるものの、サンプル外のデータを予測するために使用すると危険であるということです。
私たちが提案する戦略は、図 1 に示されています。最初に部分設計を実行することで、適切なモデルに適合するために必要な実験の量を大幅に削減できる可能性があります。さまざまな部分設計とさまざまなモデルの係数の数は、比較のために表 8 にまとめられています。
表8 完全設計と部分設計のサイズとモデル内の係数の数
データセット | - フルデザインを実行
| - 実行回数 分割設計
| 削減 | - 線形化モデル係数
- 線形加法モデル係数
- 非線形モデル係数
|
コーネル | 56 | 32 | 43% | 56 | 14 | 14 |
プレスコット | 90 | 39 | 57% | 42 | 12 | 12 |
王ら | 40 | 28 | 30% | 28 | 11 | 11 |
部分データに対して線形加法モデルと非線形モデルの両方を実行することをお勧めします。非線形モデルが著しく適合する場合、これは混合変数とプロセス変数間の注目すべき相互作用を示します。もちろん、線形加法モデルまたは非線形モデルのどちらかが適合するという保証はありません。特に、混合変数とプロセス変数間の相互作用の度合いが高い場合は、線形化モデルが必要になる可能性があります。
実験者が部分設計から生成されたモデルに満足しない場合は、他の部分 (最初に実行されなかった部分) を実行して完全な設計を完了するという選択肢があります。このオプションは、研究の開始時に採用された戦略の一部である必要があります。このアプローチにより、完全な線形化モデルの推定が可能になります。最初の部分と 2 番目の部分の間で、時間の経過とともに設計を効果的にブロックするには、1 つの自由度が必要になります。それ以外の場合、連続的に実験できると仮定すると、このアプローチに実際の欠点はありません。非線形モデルの基礎となる理論は、線形モデルの理論ほど発達していないことを再度認識しています。
もちろん、図 1 のモデル妥当性ステップは、RMSE の評価に限定されるべきではありません。この決定ステップには、残差の慎重な精査、潜在的な外れ値の評価、この問題に関する現在のドメイン知識との比較など、モデル妥当性の完全な評価が含まれます。線形化モデルに対するこのような評価は想定されているため、図 1 ではこれを別のステップとして含めていません。この図の目的は、たとえば Box ら (2005) で説明されているような健全な統計モデル構築の詳細を説明するのではなく、さまざまなモデルを順番に評価する方法を示すことです。
読者は、この記事では、非線形設計に適合する最適な割合を選択するためのコンピュータ支援設計の可能性を調査していないことに気付くかもしれません。混合プロセス問題における非線形モデルへのコンピュータ設計の適用に関する研究により、ここで提示したものよりもさらに優れた結果が得られる可能性があると考えています。これは将来の研究に委ねます。
実行可能な戦略が開発され、テストされ、説明されている
ここでは、相互作用する可能性が高いと考えられる混合変数とプロセス変数の両方を使用して実験を設計し、モデルを適合させる問題について考えます。このような問題に対する一般的なアプローチは、プロセス変数で完全混合設計と完全要因設計を交差させることです。このような設計により、線形化モデル (混合モデルのすべての項とプロセス モデルのすべての項を交差させて作成されたモデル) のすべての係数を推定できます。ただし、モデルと推定に必要な設計はどちらもかなり大きくなる傾向があります。たとえば、プレスコットのパン製造の例では、90 回の実行設計が使用されました。コーネルの魚パテ設計では 56 回の実行が必要でした。
実験者が、おそらく最適ではないが、良いモデルを望み、90 回または 56 回の実行よりもはるかに少ない実験でそのようなモデルを取得したい場合を考えます。このような状況では、連続的な実験、最初ははるかに小さな部分的設計、線形加法モデルまたは非線形モデルの考慮を使用する統計工学戦略が、全体的に優れたアプローチを提供すると主張します。繰り返しますが、RMSE または予測 RMSE の点で、非線形モデルが線形化モデルよりも優れている可能性が高いとは主張していません。また、部分的設計には完全交差設計と同じだけの情報が含まれているとも主張していません。この意味で、特定の設計自体を提案しているわけではなく、特定のモデル自体を提案しているわけでもありません。
むしろ、我々は、このような問題に取り組むための戦略を提案します。この戦略は、現在の文献で提案されているアプローチよりも全体的に優れていると考えています。この意味で、我々が提案する戦略は、統計工学アプローチです。ここで示した結果に基づいて、我々は、逐次アプローチが実行可能であると仮定すると、実質的に欠点がなく、実験の時間と労力を大幅に節約する可能性を提供するため、このアプローチが優れていると結論付けています。特に、非線形モデルは、R、JMP、Minitab、SAS などの最新の統計ソフトウェアを使用して推定するのがかなり簡単なので、ソフトウェアが非線形モデルの検討の妨げになる必要はありません。さらに、同様のアプローチは、混合/プロセス変数モデルを超えて、他の応答曲面アプリケーションでより一般的に使用できる可能性があると考えていますが、これは将来の研究のトピックです。
参考文献
Anderson-Cook, CM、Lu, L.（ゲスト編集者）（2012）。「統計工学特集号」、品質工学、24（2）。
Box, GEP, Hunter, JS、Hunter, WG (2005)。実験者のための統計、第2版、John Wiley and Sons、ホーボーケン、ニュージャージー。
Cornell, JA (2002)。混合物の実験：混合物データの設計、モデル、分析、第3 版、John Wiley and Sons、ニューヨーク州ホーボーケン。
コーネル、JA (2011)。混合物の実験入門、John Wiley and Sons、ホーボーケン、ニュージャージー。
Hoerl, R.W., and Snee, R.D. (2010). “Statistical thinking and methods in quality improvement: A look to the future,” 品質エンジニアリング, 22(3): 119-139.
Lenth, RV (1989). 「非複製因子分析の迅速かつ簡単な分析」、 テクノメトリクス 、31(4): 469-473。
Montgomery, DC (2012).実験のデザインと分析、第 8 版、John Wiley and Sons、ホーボーケン、ニュージャージー州。
Prescott, P. (2004)。「プロセス変数との相互作用を含む混合実験のモデリング。」品質技術と定量管理、 1(1): 87-103。
シェフ, H. (1963). 「混合物の実験のための単体重心設計」、 王立統計学会誌 B 、25(2): 235–263。
Snee, RD、Hoerl, RW (2011)。「適切なブレンディング：統計工学と応用統計の適切な組み合わせ」、 品質の進歩 、6 月、46-49 ページ。
王、L.、徐、J.、Wu, S.、Zhang, K. (2013)。自作氷の融解速度の研究、未発表プロジェクトレポート。
