756841_ja-JP

liliconcom

空間充填混合設計、ニューラルネットワーク、SVEMによるイノベーションの加速（2021-US-45MP-807）

フィリップ・ラムジー、データサイエンティスト、ノースヘブングループおよびニューハンプシャー大学の教授
Marie Gaudard 氏、データ サイエンティスト、Predictum
ウェイン・レビン、プレディクタムオーナー

プロセス／製品の開発と改善に不可欠であるにもかかわらず、制約付き混合設計および混合プロセス設計の作成と解析は困難です。従来の混合設計および混合プロセス設計では、設計空間を十分にカバーできず、境界領域に過剰な設計点が割り当てられます。また、従来の混合プロセス設計は規模が大きすぎて実現不可能な場合が多くあります。さらに、制約付き混合設計に固有の部分的なエイリアシングが多すぎるため、特に予測モデリングの目的では解析が困難です。

本講演では、JMPで利用可能な高速かつ柔軟な空間充填計画に基づき、効率的な制約付き混合設計および混合プロセス設計の新しいクラスを提案します。これらの計画は、設計空間のカバレッジを大幅に向上させ、事前にモデルを指定する必要なく生成されます。

シミュレーションとケーススタディを通して、これらの新しい設計と、ニューラルネットワークを適合させる自己検証アンサンブルモデリング（SVEM）を組み合わせることで、効果的な予測モデルがどのように構築されるかを示します。これらのモデルは、プロセスの特性評価と最適化の基盤となり、スケールアップおよびスケールダウンにおけるモデル性能の向上を実現します。JMP 16を用いて、設計の作成方法とSVEM分析の実施方法を説明します。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
フィリップ・J・ラムゼイ	こんにちは。ニューハンプシャー大学とPredictumのフィル・ラムジーです。共同プレゼンターのウェイン・レビン（Predictum）とマリー・ゴーダールと共に、
	ニューハンプシャー大学および Predictum の名誉教授をお招きして、現代の混合設計についての講演を行います。
	講演の議題は、機械学習と実験計画法についてお話しし、混合計画法とは何かを簡単に紹介することです。
	自動検証と呼ばれる DOE の新しい機械学習手法について説明します。これは、アンサンブル モデリングと組み合わせて、自己検証アンサンブル モデリング手法と呼ばれるものを作成します。
	次にSVEM（自己検証アンサンブルモデリング）についてお話し、混合実験を使ったデモンストレーションを行い、
	SVEM法と空間充填設計についてお話しします。また、ウェイン・レビン氏は、PredictumがSVEMを実行するために開発したアドインについてお話しし、尿素実験のデモンストレーションも行います。
	そして、最近、実際今年だけでも、私たちはすでに3つの賞を獲得しており、それはもうすぐ、次のテーマに関する論文誌に掲載される予定です。
	DOEと機械学習のおかげで、人々は従来ビッグデータに適用されてきた機械学習の手法を発見した。
	DOEへの適用性は大いにあるかもしれませんし、私たちも全く同感です。そして、混合実験でどのように効果的に活用できるかをお見せします。しかし、いわゆる機械学習の応用における従来の限界の一つは、
	DOEのような小規模なデータセットを扱うには、非常に大規模なデータセットが必要だという考え方があります。しかし、これは必ずしも真実ではありません。
	これからご覧いただくように、私やJMPのクリス・ゴットウォルト博士を含む多くの人々によって開発されたSVEM法は、
	実際のところ、実験計画法で見られるような、はるかに小さなデータにこれらの従来のビッグデータ手法を適用することはかなり実現可能になります。
	また、機械学習は予測がすべてなので、統計モデリングを 2 つのアプローチに分けます。1 つは説明的アプローチと呼ばれ、古典的なもので、仮説検定と P 値およびパラメータに重点を置いています。
	そして、それは通常、優れた予測モデルにはつながりませんが、機械学習は完全に予測に焦点を当てています。
	これが私たちの視点であり、今日はそれを混合実験に適用します。機械学習を活用します。
	予測のために。私たちの焦点は説明ではなく、これからご覧いただくように、これらの予測機械学習手法を小規模な実験計画に適用できるようになります。
	データセットです。従来、予測モデルを評価するには、トレーニングに使用したデータの一部、つまりトレーニングセットを使用します。これは非常に一般的な方法です。
	そして、もう一つ、何らかの形で抑制してきた戦略があります。いくつかの戦略がありますが、ここでは「抑制」と呼ばれる戦略についてのみお話しします。
	これを脇に置いて、モデルをトレーニングセットに適合させ、その後、ホールドバックセット、つまり検証セットを使って予測能力を評価します。つまり、モデルの適合に使用されていないデータを使って予測しているのです。
	しかし、この戦略は実験計画法では機能しません。実験計画法は非常に効率的で情報中心です。
	通常、検証セットを開発するための十分なリソースや予算はありません。検証に使用できる追加の実験を行える人はほとんどいません。
	したがって、これは予測モデリングに機械学習を使用する際の障壁となるように見えますが、後述するように、この SVEM 方式を使用すればこの制約を回避できます。
	SVEMの話に入る前に、混合設計について簡単に説明したいと思います。ご存知の方もいらっしゃると思いますが、そうでない方もいらっしゃると思います。
	これは特別なタイプの実験デザインです。あまり知られていないため、本来あるべきほど一般的ではありませんが、これは配合やレシピを用いた実験を指し、これらの配合の成分は文字通り液体、気体、または固体です。
	重要な概念の 1 つは、応答への影響はコンポーネントの相対的な割合によってのみ決まるということです。
	ですから、私たちは材料の配合比率、つまりレシピのような比率に非常に気を配っています。量に焦点を当てているわけではありません。もし総量が重要だとしたら、混合量と呼ばれる別の種類の実験が必要になりますが、これは今日の議論の範囲外です。
	しかし、これらは処方の構成要素であるため、制約があります。つまり、総量を制限する必要があり、それが自然に起こることもあります。
	しかし、割合も制限する必要があります。そのため、混合実験では、要因実験とは異なり、因子を独立して変更することはできません。
	多くの人がよく知っている従来のDOEでは、因子の同時設定に制約はありません。場合によっては制約がありますが、通常は制約はありません。
	一方、混合実験では、それらは何らかの処方の成分であるため、合計量は1または100%にならなければなりません。つまり、Q係数がある場合、各試験におけるQ実験係数の設定は合計1にならなければなりません。さらに、
	個々のコンポーネントの設定は0から1の間でなければなりません。また、今日はこれについて議論する時間がありませんが、
	混合設計の重要なバリエーションは混合プロセス実験と呼ばれ、混合要因とプロセス要因を組み合わせます。
	これは混合物の挙動のためです。例えば、3成分系接着剤のような場合、その挙動は加工条件によって劇的に変化します。そのため、接着剤の硬化に必要な圧力や温度、最適な硬化条件などを検討します。
	レシピは通常、これらのプロセス要因に応じて変化します。これは今日の講演の範囲外ですが、混合物の重要な側面です。
	歴史的に、人々が混合物を分析し、さらには作成する場合、焦点は説明的な目標に置かれます。つまり、
	パラメータ、P値、信頼区間に関する仮説検定。しかし、混合研究全般において、混合研究には本質的に多くの変数が含まれるため、これは常に問題となってきた。
	因子と効果の間には多重共線性、つまり相関関係があります。合計…合計額が制約されており、それらの合計は1になる必要があるため、設計上は独立ではありません。しかし、
	私たちはこの伝統的な焦点に同意できません。混合実験に関する豊富な経験から、率直に言って、目標は常に予測です。
	説明ではありません。私たちは混合物やレシピの性能を予測しようとしており、それが科学者やエンジニアの関心事なのです。
	そのため、科学者のニーズと混合物の分析方法の間には大きな乖離がありました。また、従来の設計の多くは、いわゆる境界点設計です。
	D最適という用語に馴染みのある方なら、それらは非常にD最適である傾向がある、つまり、
	ほとんどの点は境界の周囲に配置されているため、内部の情報はほとんどありません。点の数は非常に少なく、時には点が全くないこともあります。
	設計領域の内部に。なぜこれが重要なのでしょうか？特に化学や生物学の分野における混合システムは
	非常に複雑になる傾向があります。非常に複雑な反応速度論が進行しており、これらの応答面は非常に複雑な形状をしています。
	そして、設計領域の内部に関する十分な情報がなければ、システムの動作を実際に表すモデルを作成できない可能性が高くなります。
	これは、混合計画の使用の歴史において実際にかなり頻繁に起こってきました。また、今日はこれについて話す時間がありませんが、
	過去の分析やモデリングの古典的なアプローチは、私がシェッフェ多項式と呼んでいるものです。
	これらは混合モデルでの使用を想定して設計された多項式の一種です。これらには多くのバリエーションがありますが、これらの模擬多項式は、特に古典的な形では、これらの応答曲面をモデル化するには不十分な場合が多くあります。
	では、この問題にどうアプローチすればいいのでしょうか？混合設計に取り組むには、空間充填設計の観点からアプローチする必要があると考えています。
	では、なぜ空間を埋めるデザインなのでしょうか？これもまた、それ自体で話せるほどの話題ですが、これらは与えられた数の設計ポイントで、可能な限り設計空間をカバーするように作成されるデザインです。
	そして設計ポイントの数
	ユーザーの選択肢となります。これにより、より小さなデザインを使用できるようになり、
	古典的な設計を設計領域全体に適用しました。これにより、より正確で有用な予測モデルを構築できます。設計領域全体にわたるより詳細な情報が得られます。
	そして、私たちの混合へのアプローチはすべて、空間撮影デザインの使用に基づいており、これは私たちが近年業界で注目している傾向です。
	ここで話題を変えて、混合物を作成し、実行した後、それをどのように分析するかについてお話ししたいと思います。
	先ほど申し上げたように、DOEに機械学習を適用する際の問題点の一つは、自然な検証セットが存在しないことです。ゴットウォルトとラムゼイ、つまり私とクリス・ゴットウォルト博士は、自動検証と呼ばれる検証手法を提案しました。
	これについての最初の講演は、実は数年前のDiscovery Europeカンファレンスで行われました。
	これは直感的に分かりにくいかもしれませんが、聞いてください。元のデータ、つまり元の実験を学習と検証に使用できます。つまり、元のデータを取得して、そのコピーまたはクローンを作成するのです。
	これを自動検証セットと呼びます。つまり、トレーニングセット内のすべての観測値は、自動検証セット自体にも双子として存在することになります。
	これだけだと、意味をなさないように思えます。自動検証セットにはトレーニングセットと同じ観測データが含まれているのに、それだけで予測能力の独立した評価がどうやって得られるのでしょうか？実は、それだけでは不可能なのです。
	自動検証の考え方の鍵となるのは、観測値に重み付けスキームを適用することです。このスキームは、ガンマ分布から重みを生成することに基づいています。
	ちなみに、ガンマ分布は統計アプリケーションにおける重み付けによく用いられます。ガンマ重みには、今日は触れないような、他にも多くの優れた特性があります。
	重みのセットを生成するのですが、特別な方法で行います。訓練セット内の観測値が高い値、つまり高い重みを獲得した場合、
	自動検証セット内の観測値（双子）には低い重みが与えられます。なぜこのようにするのでしょうか？これは、2つのデータセット間の逆相関を引き起こすためです。
	言い換えれば、重み付けスキームを用いてセット間の相関を無関係にしようとしているのですが、このアプローチについてはここ数年で多くの研究が行われており、非常に効果的であることが示されています。
	これらの結果をすべてまとめた論文がまもなく発表される予定です。この重み付け方式を使うというアイデアで、
	トレーニングセットではガンマ重みを割り当て、自動検証セットでは各双子に対応する重みを割り当てます。そのため、トレーニングセットの重みが高い場合は、
	自動検証セット内の双子は低い重みを持ち、これが逆相関の挙動を引き起こします。そして、この戦略をユーザーが指定した回数だけ繰り返します。次のスライドでは、簡単な実験の例を示します。3つの因子があります。
	実行1～7はトレーニングセット、つまりオリジナルです。実行8～14はクローン、つまりコピーです。2つのセットの観測値が全く同じであることに注目してください。そして、列「
	ペアのFWBウェイト。FWBについては後ほど説明します。
	観測値1のような観測値に高い重みが付けられると、その双子である観測値8の重みは低くなります。つまり、観測値8は検証セットに含まれます。
	この分数重み付けの考え方は重要であり、応答に分数重みを適用して分析を行います。そして、この戦略を繰り返します。
	これを何度か（回数はユーザーとシナリオによって異なります）、そのたびにモデルを適合させます。言い換えれば、これは基本的に分数重み付きブートストラッピングと呼んでいる手法です。
	では、分数重み付けブートストラッピングとは何でしょうか？これは基本的にブートストラッピングの一種で、一般化ブートストラッピングとも呼ばれます。
	観測値をブートストラップするのではなく、観測値に適用される重みをブートストラップします。これはよく知られた手法であり、私たちはそれを適用しています。
	異なるのは、これを繰り返し適用することです。先ほど言ったように、何百回、何千回と適用する可能性があり、それは本当にユーザー次第です。
	モデルを当てはめるたびに、最後に平均またはアンサンブルを取ります。これは…そして、この用語の由来はここにあります
	自己検証、または自動検証は自己検証アンサンブルモデリングです。平均を取っています
	ちなみに、アンサンブル モデリングは、より安定した、より優れた予測モデリングにつながる傾向があるため、機械学習やディープラーニングでは非常に一般的です。
	したがって、SVEM は分数重み付けブートストラッピングを実行してモデル ファミリを生成し、モデルの平均化を使用して最終的な予測モデルを作成します。
	では、この手法はどのように機能するのでしょうか？まず、予測モデル化のためのアルゴリズムを選択します。ここでは、ニューラルネットワークに焦点を当てます。
	混合計画ですが、他の手法を選択することもできます。SVEMは、どのアルゴリズムを使用するかについては比較的無頓着で、多くのアルゴリズムと互換性があります。そこで、トレーニングセットと自動検証セットを作成し、分数重みを割り当てます。
	次にモデルをフィッティングし、ユーザーが定義した回数だけブートストラップして平均を取ります。さて、ここで同僚のWayne Levinにバトンタッチします。彼がSVEMのデモを行い、それを実行するアドインについてお話しします。
ウェイン	ここでスイッチを入れているだけです
	画面を共有します。
	それでは、PowerPoint に切り替えます。
	フィル、どうもありがとう。この尿素データを例に、洗浄剤の溶液を最適化する実験をします。
	この混合物の3つの成分は水、アルコール、尿素です。ここに3つの柱があります。ここでは粘度という1つの反応に注目します。目標は100ですが、下図の通り、
	粘度は95～105の範囲にしたいので、JMPに切り替えます。
	さて、尿素データです。開いてみると、実行回数が15回しかないので、次のステップに進みます。
	プロセスは自動検証テーブルを作成することです。それをクリックすると、いくつかのことが起こるのが分かります。まず、新しいテーブルが作成され、最初の15回の実行結果が表示されます。これは先ほどのものと全く同じです。そして、各実行結果について…例えば、最初の行 (52, 29, 19) に注目すると、
	下の方で繰り返されているのがわかります。52、29、19 です。
	同様に、2行目は57、23、19になります。もちろん、これらすべてを繰り返すわけではありませんが、要点はご理解いただけたと思います。この組み合わせを繰り返すだけです…
	下の2番目のセットはトレーニング用で、最初のセットはトレーニングに使用されます。そして2番目のセットは、ここに示されているように、検証用に取得されます。そしてその間にあるのが、フィルが話していたペアの分数重み付けの列です。
	ここで高い数字が見られる傾向がある場合、下にはそれに応じて低い数字が見られる傾向があり、それはまさに...
	フィルが話していたガンマ分布ですね。それでは、それをお見せしましょう。重みをここにプロットします。
	画面上に配置します。反復処理を実行するたびに重みが更新されます。ここで重みを見て、
	こちらの列、こちらの列です。それでは、これを実行してみましょう。反復ごとに新しいデータが得られます。
	訓練セットと検証セットの両方に分数重み付けされたペアを作成します。では次に
	適合モデルを作成します。つまり、1回の反復を実行することになります。
	粘性は応答です。ここで周波数ロールに分数重み付きブートストラッピング重みが与えられていることに注目してください。これがモデリングに組み込まれる仕組みです。さて、これが1回の反復計算です。
	わかりました、これらの特定の重みに基づいて。
	アンサンブルモデルを作成するには、これを繰り返し実行する必要があります。そこで、新しい重みを使ってこれを実行してみましょう。
	目を離さないで…一度に3箇所くらいに目を離さないようにしないといけなくて、ちょっと大変かも。とりあえず、これらのものを配置してみることにします。
	ここで新しい重みで実行すると、重みが変化し、モデルが作成され、予測モデルが保存されます。
	ここまで。ここで一つやってみましょう。やってみましょう。バン！モデルの作成方法が変わりましたね。
	モデルをここで保存します。この列も追加されます。これはフィルが話していたアンサンブルで、平均です。もちろん、反復は1回しか行っていないので、平均は
	同じです。ここでもう一度反復処理を行い、新しい重みセットと新しいモデルを作成します。新しいモデルが保存され、ここにあるアンサンブルモデルはこれら2つの平均です。
	こっちです。あと何回か、まあ、何回かやってみようと思います。難しくないですよ。そして、こういうのが見えるんです
	変化していくでしょう。今6つありますので、これら6つを簡単に見ていきましょう。
	モデル…個々のモデル、平均モデル、アンサンブル、そしてそれがプロファイラーに表示されています。これはむしろ、不安定性を示しています。
	フィルが先ほど言及していたのは、もしこれを一度だけ行うのであれば…ここで分数重み付けが行われていることは分かっていますが、フィルが言ったように、どのポイントの動きでも本当に
	モデルを乱すと、実際には役に立たない機能になってしまうでしょう...
	おそらく、本来はそこに属していないものでしょう。特定のデザインポイントの産物に過ぎません。しかし、ここを見れば、
	これらの個々のモデルはそれぞれ見た目が異なり、いくつかの特徴があります。ただし、下にある平均モデルは、ある意味では、上にあるすべてのモデルの平均です。
	だいたい、この大きな折れ目が滑らかになっているのが分かります。少し下に見えますね。
	現在、これは 6 回の反復のみですが、アドインを使用する場合は、実際には 50 回の反復を実行することをお勧めします。
	では、実際の値と予測値を比較してみましょう。これはかなり…
	かなり一貫しています。いずれにしても、線はほぼ1の傾きです。このようにすると、線の幅が広くなることがよくありますが、
	平均モデルです。この例では少し見にくいですが、実線で、他の線の大部分を貫通しています。これを脇に置いて、次にやることは
	ここで実際に実行してみます。このデモでは25回の反復処理を行います。モデルの変化や重みの変化を確認できます。
	こちらに変更を加えています。ここには何も新しいものが追加されていません。ただ確認するだけです。さあ、完了です。それではレポートを見てみましょう。開いてみます。
	最初に、こちらに実測値と予測値の比較と残差プロットが表示されます。こちらを見てみると良いかもしれません。
	プロファイラー。
	そして私はプロファイラーが大好きです。
	混合液に非常に適しています。水を変えて増やすと、他の2つの値が下がるのが分かります。これが
	もちろん、混合物の本質的な性質上、すべてが 1 を含むか、合計が 1 になる必要があります。つまり、これは平均的なモデルと言えます。
	25回のフィットのアンサンブルモデルです。よろしければ、
	では、混合プロファイラーを簡単に見てみましょう。
	ここでこの外観を取得します。
	実際、もしよろしければ、このことから何がわかるかというと...
	点に注目してください。点がとてもきれいに収まっているのがわかりますか？これは空間を埋めるというデザインの本質です。また、このデザインには制約があることにも気づくでしょう。
	したがって、水 0-1 や尿素 0-1 などの空間全体をカバーしているわけではないので、ここに制約があります。
	これからやろうとしているのは、視覚化できるように限界値を入れることです...95 から 105 を視覚化します。そうすると、ここに白いスペースが表示され、どこまで...
	どのような組み合わせが、これらの条件を満たすのでしょうか...ここにある仕様制限です。
	さて、これが
	SVEM法、いわゆる方法論、そして
	多分...そうするでしょう。
	SVEMと空間充填設計ですね。繰り返しになりますが、これらが本質的に不安定であるということが、大きな動機の一つです。
	データの小さな変化が予測に大きな変化をもたらす可能性があり、結果として単一の予測モデルが不安定になる可能性があります。つまり、モデルに欠陥が生じ、それが…
	通常、見ているだけでもかなり不安になります。なぜなら、運動は実際にはそのようには起こらないことが多いからです。
	したがって、分数重み付けブートストラッピングに基づく、安定性と複数のモデルのアンサンブルが必要になります。
	もう一つ…もう一つの大きな点は、これらの状況に本質的に存在する多重共線性です。混合物は複雑なシステムです。
	これらはコンポーネントの挙動の合計ではありません。実際には相互作用の産物です。だからこそ、私はプロファイラーが大好きです。なぜなら、プロファイラーは
	相互作用が美しく表現されています。ダイナミクスが実に見事に伝わってきます。多重共線性をすべて考慮することで、多重共線性を軽減し、安定した、より正確な予測モデルが得られます。現在、これを運用中ですが…
	実は数年前に遡るのですが
	後ほど説明する SVEM アドインを作成して以来、今年初めから何度も実行しており、非常に良い成果を上げています。
	お客様に大変ご満足いただいております。先ほども申し上げたように、SVEMを用いたモデル平均化は自動化されておらず、JMP標準機能やJMP Proには搭載されていません。しかし、アドインをご用意しております。Predictum.comのウェブサイトにアクセスいただければ、詳細と入手方法をご確認いただけます。
	そうですね、SVEMに関する専用ページがあります。現代混合設計コースも開講しており、こちらはマリーとフィルと私が担当しています。
	Predictumサイトのトレーニングページでご覧いただけます。古典的な混合設計に関するセクションも取り上げますが、コースの3分の2から4分の3はSVEMに焦点を当てています。
	SVEMアドインはコースの一部としてご利用いただけます。この講演では、データから予測モデルを構築する方法について説明しました。
	データは、過剰適合を制御するための検証試験の実施可能性によって制限されます。ご存知のとおり、古典的な設計の実験では、検証試験を実施するための実行回数がありません。
	学習と検証の両方に重点を置くため、特に混合DOEでは空間充填計画の使用をお勧めしますが、実際には他のDOE状況にも広く適用できます。また、自動検証と分数重み付きブートストラッピングに基づくSVEMについても説明しました。
	また、SVEM を使用すると、別の検証実行なしで DOE データの予測モデリングが可能になる方法についても説明しました。
	そして尿素実験データを使用してSVEMを実証しました。
	スライドをダウンロードすると、たくさんの参考資料が見つかります。ここにいくつか、そして他にもいくつかあります。この資料の素晴らしい点の一つは、
	それは実は 1996 年まで遡ります。ですから、これはしばらく前から醸成されてきたものなので、これらの参考資料をご覧になることをお勧めします。
	それでは質問を受け付けます。

高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査実験計画法マスカスタマイゼーション予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析結果の共有と伝達