実験計画法（DOE）は、実験の実行を導き、実験を分析して関連する変数を検出し、調査対象のプロセスまたは現象を最適化する統計的手法です。製品開発においてDOEを活用することで、製品の製造が容易かつ安価になり、性能と信頼性が向上し、製品の設計・開発期間が短縮されます。
近年、大規模で複雑なデータセットの利用可能性が高まっているため、機械学習（ML）はデータ分析ツールとして広く採用されています。しかし、すべてのアプリケーションがビッグデータを扱えるわけではありません。例えば、製薬業界や化学業界では、コストの制約と貴重なデータを生成するための時間的な制約から、実験データセットは通常小規模です。しかしながら、機械学習を実験計画に組み込むことは、より安価かつ迅速に収集できる小規模なデータセットで処方を最適化する効果的な方法であることが証明されています。
このプレゼンテーションは3つのパートで構成されています。まず、機械学習を活用した実験設計に関する文献を簡単にまとめます。次に、接着剤の事例を用いて、実験設計と機械学習を組み合わせることで、最適化された触媒パッケージを用いた設計空間を特定するために必要な実験回数を削減できる効率性を示します。3つ目のパートは工業用シーラントの用途に関するもので、応答曲面データを用いて、設計空間内外で検証データを実行し、RSMモデルの予測誤差を様々な機械学習アルゴリズム（RF、SVR、Lasso、SVEM、XGBoost）のモデルと比較します。
こんにちは。ヘンケル社のストーン・チェンです。本日のプレゼンテーションは、処方最適化のための機械学習支援実験計画についてです。議題としては、機械学習とDOEアプリケーションにおけるその関連性について簡単に説明します。この関連性については、2つのケーススタディで説明します。ケース1は、能動学習を用いて設計空間を見つけるケースです。ケース2は、機械学習を用いてDOE予測性能を向上させるケースです。
私の会社、ヘンケルについてお話しします。ヘンケルは220億ドル規模の化学会社で、2つの事業グループに分かれています。1つはランドリー、ホームケア、ビューティーケアからなるコンシューマーブランドです。もう1つは、私が所属する接着剤テクノロジーズグループです。ヘンケルは世界の接着剤市場のリーダーであり、2万点以上の製品を800以上の業界に提供しています。
機械学習は、過去 4 年間に発行された多くのレビュー文献に示されているように、非常に急成長しているトピックであり、方法論、製薬、化学、多くの 3D 印刷を含む幅広い産業アプリケーションをカバーし、品質、イノベーション、製造でも使用されています。
典型的な機械学習は大規模なデータセットを使用しますが、これは最小限の実行回数で最大限の学習を目指すDOEの実践とは対照的です。現在、広く言えば、DOEは機械学習と組み合わせて2つの方法で使用されています。2021年のレビュー記事で示されているように、1つは機械学習を用いてDOEデータを分析する方法です。もう1つは能動学習と呼ばれ、機械学習モデリングステップの結果を用いて次の実験構成を提案する方法です。私のプレゼンテーションでは、両方のケースの例を示します。
ケース1は、接着剤の設計空間と配合最適化を研究するためのターゲット誘導型機械学習DOEです。ターゲット誘導型とは専門用語ですが、このケースでは教師あり学習とも解釈されます。ケース1では、2種類の安定剤を配合物に添加することで、接着剤の保存安定性を向上させる必要があります。安定性は、流動性と接着保持率の2つの応答によってモニタリングされます。
現在、ヘンケルにとって化学は新しい分野であり、この化学においても新しい分野であるため、添加剤 1 の初期範囲を 0.1 ～ 0.5 に設定し、添加剤 2 を 0.5 ～ 3 に設定することを決定しました。化学では、一度に 1 つの係数と、要因、RSM、空間充填などのさまざまな DOE 手法を使用して、両方のターゲット仕様を満たす設計空間を見つけようとしています。
22回の試験のうち、流動性と接着性の両方の要件を満たす試験は2回実施されました。問題は、設計空間を特定するより効率的な方法があるかどうかです。
私たちのアプローチは、2つの段階から成る処方設計の効率向上を目指しています。第1段階では、能動学習を用いて設計空間を特定します。第2段階では、接着剤の最適化のための主要な予測モデリングを行います。第1段階では、空間供給設計の初期試行として5回の実行を行います。その後、両方の応答をSVR（サポートベクター回帰）を用いてモデル化します。
次に、モデルからコントロールプロットを生成し、重ね合わせることで、両方の仕様を満たす所望の白色領域を表示します。次に、重ね合わせた等高線プロットで示された領域に基づいて、空間充填設計を拡張します。これを1サイクルとします。
このフェーズサイクルをさらに2回繰り返し、最終的に合計15回のランを実施します。ステージ2では、モデリングに使用する設計空間と、検証に使用するランを厳選しました。これは、化学物質の入力を含むステップ5、6、7のランです。これをターゲット誘導ステップと呼んでいます。
JMP空間充填計画では、実行場所を選択するための7つのオプションが用意されています。以下は2因子システムの例です。公開文献でよく使用されているラテン超方格を使用しています。フェーズ1、つまりサイクル1の操作はここに示されています。1は実行データとSVM予測列です。2は両方の応答に対するSVMモデルの適合を示しています。3はモデルの等高線図です。
4は2つの等高線図を重ね合わせたものです。白い領域は両方の応答の設計目標を満たしています。この虫眼鏡に映っている白い領域の先端は、ステップ5で特定の設計を拡張し、さらに5回の実行を要求するために用いられる新たな上限設計境界です。
アクティブラーニングフェーズ2、サイクル2では、モデリングに10回の実行を使用しています。フェーズ1と同じプロセスに従い、フェーズ3向けに特別に設計された拡張のための新しい設計境界がここに提案されています。これは最後のフェーズ3のスライドです。フェーズ3では、さらなるモデリングのために合計15個のデータポイントがあります。
13番は、右側の設計空間と左側のレスポンスマップの概要です。左上の領域は、接着と流動要件の両方をマッピングした目標設計です。各フェーズのデータは、フェーズ1が青、フェーズ2が赤、フェーズ3が緑と色分けされています。両方の設計目標を満たした実行は、ここで実線の円で示され、一方または両方のレスポンスが失敗した実行は白抜きの円で示されています。
3フェーズ合計15回の実行のうち、5回の実行が設計目標を満たしており、効率は約33です。これは、前述の非能動学習DOEアプローチにおける22回の実行のうち2回の実行よりもはるかに優れた結果です。非能動学習DOEアプローチの効率はわずか9%です。機械学習では、フェーズ1とフェーズ2を組み合わせた10回の実行と、DOEによる22回の実行で、3回または2回の許容目標実行を見つけることができるという事実は、能動学習では効率が少なくとも2倍向上することを示唆しています。
予測モデリングでは、目標スペックを満たす実行数が多いデータセットほど、パフォーマンスが向上する可能性が高くなります。あるスペースに5つの実行数があり、通常のDOEには2つの実行数しかないため、アクティブラーニングアプローチでは、どの年か上位の順位の結果を予測すると説明しました。このアクティブラーニングの例では実行数が15のみであるため、データを歪める可能性のある外れ値の可能性を回避したいと考えています。
両方の設計目標を満たさない実行、つまり実行番号1.2と1.3を偏らせることにしました。この変更により、モデリング空間には赤い三角形で示されている13の実行のみが含まれます。モデル検証では、両方の設計目標を満たしている領域におけるモデルの予測精度を確認したいと考えています。
外縁での予測には興味がありません。目標とする設計空間における検出点を選択します。検出点はここにオレンジ色の点で示されており、境界付近の1点、つまりここにある3.2番目の実行点です。これにより、トレーニングセットとして10回の実行、検証セットとして3回の実行が行われます。
ここでのモデル空間の選択と検証実行における化学の決定は、ターゲット主導型です。特定の設計における議論と合わせて、この2つのステップをターゲット誘導ステップと呼びます。ここではR10の応答列を複製しています。検証実行ではデータが削除されています。この列は、パラメータ調整のための検証オプションを提供するようになった機械学習モデルとの比較に使用されます。この予測モデルを使用している機械学習モデルのリストは、こちらにあります。
2 つのモデルを除くすべてのモデルに検証列を適用できます。1 つはガウス過程回帰、もう 1 つは Predictum Inc. が提供する SVEM ニューラル ネットワークです。各アルゴリズムのモデルが実行され、予測された定式がここの列に保存されます。
モデル比較は2つの方法で行いました。1つはJMPモデル比較プラットフォームを使用する方法、もう1つは自分で平均平方根誤差（RMS）を計算する方法です。この方法では、予測式列を強制的にスタックし、自分で平均平方根誤差（RMS）列をクリアしました。18の代わりに、JMPモデル比較の結果が左側に、自分の計算結果が右側に表示されています。両方の表の赤いボックスと緑のボックスのデータを比較することで、自分で計算した平均平方根誤差（RMS）が正しいことを確認しました。
右側の表を見ると、モデル検証の結果、平均平方根誤差（RAR）が最も低い機械学習アルゴリズムの上位3つがここにあります。ブーストニューラルネットワーク、ブーストSVM、そしてRSMモデルの順です。しかし、ハイパーパラメータの調整を支援する検証を行わない場合、ブーストニューロンネットワークとブーストSVMは、他のアルゴリズムよりも高い平均平方根誤差（RAR）を示しています。ここでは1.7、あちらでは0.27または0.936です。
しかし、青い円で示されているSVEM_LassoモデルのGen_Rは、検証の有無による影響はそれほど大きくないようです（1.397対1.427）。また、検証なしの場合、GPR、ガウス処理回帰、そしてここでSVEMを予測するニューラルネットワークは、どちらも他のモデルよりも接着予測が優れているわけではありません。SVEMは小規模なデータセット（この場合は小規模なデータセット）で高い推奨値を示しています。
要約すると、接着におけるターゲット誘導フォーカスを用いた能動学習の例を示した。SVM機械学習を活用した空間充填設計を用いて、3回の反復で設計空間を特定した。能動学習は、非能動的な手法と比較して、設計空間の特定において2倍の効率を示した。
様々な機械学習モデルを比較し、いくつかのモデルが最小二乗モデルよりも優れており、より良い予測結果を示すことを示しています。ターゲット誘導ステップには、ここに示す3つの領域が含まれます。化学者は、小規模なデータセットに対する能動学習と予測を強化することを目的として、これらのステップを監督しました。このケースでは、JMPの高度な予測機能が現在示されています。これがケース番号1です。
ケース2に移ります。シーラント塗布から得られたRSM DOEデータを機械学習で分析し、より優れた予測能力を実現します。背景を説明します。このケースは、5つの主要成分と3つのレスポンスを持つシーラントに関するものです。シーラントは、28回の面心中心複合計画を用いて最適化されました。レスポンスの1つであるY3は、R²調整値が0.86、平均二乗根誤差が7.9と、妥当な値を示しました。
この最適化されたY3レスポンスは、実際には目標境界の端に近いものです。化学者は2つのことを行います。1つ目は、28回の実験に加えて4回の実験を追加することで、DOE要因領域をクリアします。2つ目は、より広い設計空間をカバーするために、6つのスターポイントを追加することです。
その後、顧客がプロジェクト目標を変更しました。化学者は、新たな設計目標を満たすために、原料投入量を変更し、10回の実験を追加せざるを得ませんでした。この10回の実験は、当初の同じ空間における20回の実験から大きく逸脱しているため、設計空間外とみなされます。これが10回の実験です。中心複合体内の4回と、目標とする6つのスターポイントは、まさにここにあります。
私たちの目的は、このRSMデータセットに機械学習を適用し、様々な機械学習モデルがこのデータセットの予測テストにおいてどれほど優れているかを調べることです。これらのテストデータセットは、設計空間内、設計空間付近、または設計空間外にあり、ここに挙げた3つのデータセットがその対象です。
こちらはR²と平均二乗根誤差（RME）をハイライト表示したRSMモデルです。モデル項削減後、主効果X2、X3、X4の3つがあり、X2とX5の2つの因子交互作用と、X1の2次効果が1つあります。これらはすべて有意であることが確認されています。
当社の機械学習プロセスは2段階に分かれています。まず、7K分割交差検証を用いたモデルスクリーニングを行い、モデルのパフォーマンスを迅速にスキャンします。次に、選択された機械学習手法について、ハイパーパラメータチューニングを実施し、予測精度を向上させます。検証には、JMPモデル比較プラットフォームの2つの手法が使用されます。1つは75/25分割による固定検証、もう1つは7K分割交差検証です。
フェーズ2では、未知のデータセットをテストします。テストデータセットはJMPテーブルに追加されました。これらのデータセットは、元の28回の実行計画空間内、近傍、および外にあり、予測式列は保存され、積み重ねられます。その後、最終的なモデル比較のために、平均二乗平方根誤差（RAR）列が作成されます。
JMPモデルスクリーニングの結果がここに表示されています。これは、二元配置交互作用と二次関数オプションを追加し、7K分割交差検証を選択して実行されました。各モデルの微調整は、「選択したモデルを実行」をクリックして実施しました。損失オプションが利用可能な場合は、ハイパーパラメータのチューニングとブースティングが実行されます。各モデルの予測式はテーブル列に設定されています。ニューラルネットワークには、パラメータチューニングアドインを使用します。このアドインでは、3つのプロトコルを選択します。プロトコル番号2は2層設定用、プロトコル番号12と16は1層設定用です。
これが私のJMPテーブルです。セクション1はRSMのオリジナル28回実行データと応答Y3です。セクション2はモデル比較を行う2つの検証列です。セクション3は各モデルの予測式を保存した列です。セクション4はテストデータセットです。3つのテストデータセットです。セクション5は各機械学習モデルからの予測結果です。
モデル比較において、トレーニングセット数、検証セット数、平均化プロセスが異なるため、検証手法の効果について興味があります。75/25の分割では、固定検証ではトレーニングに21回、検証に7回実行します。クロスバリデーションでは、7つのK分割データが平均化され、各分割ではトレーニングに24回、検証に4回実行します。固定検証の出力を確認すると、JMPはすぐに使用できる表を出力します。しかし、K分割コスト検証では、いくつかのデータ処理が必要です。
JMPはフォルダ番号ごとに7つの表を出力します。ここでは「Make Combined Data Table」というスクリプトを使用して、7つの表を1つの表に結合します。これにより、各表の平均統計を表形式で作成し、比較することができます。
左側はモデル比較の概要です。これは固定検証を用いた固定検証です。右側は、K分割交差検証から得られた統合表を使用しています。比較を容易にするために、グラフビルダーを使用して結果を表示しています。この棒グラフでは、Y軸に平均二乗平方根誤差（RAR）が、X軸にモデルが示されています。モデル名の末尾にハイフン「t」が付いているものは、モデルパラメータがチューニングされていることを意味します。「B」が付いているものは、モデルがブースティングされていることを意味します。
青色で示した固定検証による平均二乗平方根誤差（RSM）は、赤色で示したK分割交差検証よりも一般的に高くなります。ここにRSMモデルが表示されています。RSMよりも予測誤差が少ない機械学習モデルはいくつかあります。それらは緑色の矢印で示されており、XGBoost、2つのSVMモデル、2つのニューラルネットワーク、そしてブーストニューラルネットワークです。これらは平均二乗平方根誤差（RSM）の値の順に並んでいます。
この結論はDOE 28の実行に基づいています。各実行はトレーニングまたは検証に使用されます。検証実行は、モデルのハイパーパラメータを調整し、より正確な予測を行うために使用されます。モデルの真の予測能力は、トレーニングにも検証にも使用されていない未公開の実行を用いてテストされ、これについては次に示します。
機械学習の第2段階は、未知のデータを用いてモデルをテストすることです。これらの3つのデータセットはここにあるJMPテーブルにコピーされ、予測式列に動作値が自動的に表示されています。すべての式列は新しいテーブルに貼り付けられています。また、計算用の平方根平均二乗誤差列も作成されています。次の2つのスライドでは、スタックテーブル、タブレット、グラフビルダーを用いてモデルテスト機能を説明します。
内側データセットと、それに近い星型データセットのモデル性能を見てみましょう。それぞれ4回目の実行と6回目の実行があります。ご覧のとおり、右側のハイライトされた表、または左側のグラフ、この領域です。内側データセットには、ここでハイライトされている9回の実行があり、これらは同様の予測を示し、平均二乗平方根誤差（RAS）は5.6～7.7の範囲です。
次に、設計空間に近いスターテストデータセットを見てみましょう。7つのモデルがあり、平均平方根誤差（RSE）は18.2～21.7の範囲で、平均は20.3です。XGBoostと、緑の矢印で示した調整済みSVMは、DOEにおいて最も優れた結果を示しています。これはDOEデータセットの中で最高の結果です。これは単なるDOEですが、DOEデータセットの周囲に置いてみてください。もちろん、RSMと比較すると最も優れていますが、予測誤差は高くなります。
こちらとこちらを見てみると、内側のデータセットとスターデータセットの両方において、上部のRSMよりも高い予測誤差を示しています。これは過学習の兆候です。しかし全体的には、青い矢印で強調されているように、調整済みブーストニューラルネットワークの単層モデルが、DOEデータセット、内側のテストデータセット、そしてこちらにあるスターデータセットの両方において最高のパフォーマンスを示しました。これは、表やここに示したグラフからもわかるように、最良の結果です。
左側のグラフでは、設計空間外のテストデータセットを見ています。左側のグラフでは、観測値と予測値をY軸にプロットしています。3つのテストデータセットすべてにテスト実行IDが表示されています。赤が観測値、青が予測値です。設計空間外のテストデータセットには、緑の点線の右側に点があります。
ハイライトされている4つのモデルは非常に優れたパフォーマンスを発揮しました。RSMと、PrunedまたはSVEMを用いた2つのG_R順方向モデルです。4つ目は、2層チューニングされたニューラルネットワークです。これら4つのモデルは非常に優れたパフォーマンスを発揮しました。平坦な予測や非常に低い予測を示すモデルもありますが、これらはここにあるSVMモデルです。
次に、調整されたニューラルネットワーク、これ、そしてこれ、そしてXGBoostやこのブートストラップフォレストなどの決定ベース手法を適用します。4つのテストシナリオ、つまりDOEデータセットと3つのテストデータセット、RSMモデル、そしてこのG_Rプルーニングフォワードモデル、これら2つのモデルを考慮すると、当然ながら、これら2つのモデルは4つの異なるシナリオすべてにおいて、最もバランスの取れた予測性能を示しています。
この発見には注意が必要です。一般化すべきではありません。これは、この応答Y3に特有の特性です。とはいえ、化学者がこのY3応答を学ぶ上で有益な情報です。つまり、RSMモデルは、プロジェクトに厳しい時間的制約があり、これ以上の計算を行うリソースがない場合など、特別な状況下では設計空間外のデータを予測するために使用できる可能性があります。そのような場合は、RSMを用いてDOE空間外の空間で予測を行うことを検討できます。もちろん、この第2ステップでは確認計算が絶対に必要です。
まとめると、DOEデータセットと、設計空間内および設計空間付近で実行された2つのテストデータセットでは、複数の機械学習モデルがRSMよりも優れたパフォーマンスを示したことがわかりました。最も優れたモデルは、1層の未調整ブースティングニューラルネットワークです。設計空間外のテストデータセットでは、4つのモデルが非常に優れたパフォーマンスを示しました。それらは、RSM、2つのGen_Reg順方向法、そしてこの2層の調整済みニューラルネットワークです。
4つのシナリオすべてを考慮すると、RSMとGen_Regプルーニングフォワードモデルが全体的に最も優れています。これら2つのケーススタディで示されているように、機械学習は従来のDOEに新たな機能を追加し、効果的な定式化を実現できることは明らかです。
最後に、この2つのケーススタディとヘンケルAMI管理システムの開発にご協力いただいた同僚のDai博士とDu氏、そしてヘンケルのJMPサポートチームであるNick、Jon、Markに感謝申し上げます。素晴らしいトレーニングとサポートを提供していただき、ありがとうございました。このビデオをご視聴いただき、ありがとうございました。
