スピーカー
|
成績証明書
|
| フィリップ・J・ラムジー |
こんにちは、ニューハンプシャー大学および Predictum の Phil Ramsey です。 そして、私の共同プレゼンターである Predictum の Wayne Levin と Marie Gaudard とともに、 |
| |
ニューハンプシャー大学と Predictum の名誉教授が、現代の混合デザインについて講演します。 |
| |
講演の議題は、機械学習と実験計画法について話し、混合計画法とは何かを簡単に紹介することです。 |
| |
自動検証と呼ばれる DOE の新しい機械学習手法について話します。これは、アンサンブル モデリングと組み合わせて、自己検証型アンサンブル モデリング手法と呼ばれるものを作成します。 |
| |
次に、自己検証型アンサンブル モデリングである SVEM について説明し、混合実験を使用したデモンストレーションを行ってから、次について説明します。 |
| |
SVEM法と空間充填設計。 そして Wayne Levin は、Predictum が SVEM を行うために開発したアドインについて話し、尿素実験のデモンストレーションも行う予定です。 |
| |
そして私が指摘したいのは、最近、実際今年だけでもすでに 3 件の報告があり、間もなくそれは、次のテーマに関するジャーナルに掲載される論文に対するものとなるでしょう。 |
| |
DOE と機械学習により、人々は機械学習手法が伝統的にビッグデータに適用されてきたことを発見しました。 |
| |
これは DOE に多くの適用可能性を持っている可能性があり、私たちも確かに同意します。 そして、それらを混合実験で効果的に使用する方法を示します。 しかし、いわゆる機械学習の応用における従来の制限の 1 つは、 |
| |
DOE のような小規模なデータ セットに対しては、非常に大規模なデータ セットが必要であると考えられています。 これは実際には完全に真実ではありません。 |
| |
これからご覧のとおり、SVEM 手法は私と JMP の Chris Gotwalt 博士を含む多くの人々によって開発されました。 |
| |
実際、実験計画法で見られるような、はるかに小さなデータにこれらの従来のビッグデータ手法を適用することは非常に実現可能です。 |
| |
また、機械学習は実際には予測がすべてであるため、統計モデリングを 2 つのアプローチに分けます。1 つは説明的アプローチと呼ばれるもので、古典的なもので、仮説検定と P 値とパラメーターに焦点を当てています。 |
| |
そして、それは通常、優れた予測モデルにはつながりませんが、機械学習は完全に予測に焦点を当てています。 |
| |
これが私たちの視点であり、今日それを使用して混合実験に適用するつもりです。 機械学習を使用します |
| |
予測のために。 私たちの焦点は説明ではなく、ご覧のとおり、これらの予測機械学習手法を小規模な実験計画に適用できるようになります。 |
| |
データセット。 さて、伝統的に予測モデルを評価する方法は、トレーニングに使用されるデータの一部を使用することでした。そのため、私たちはこれをトレーニング セットと呼び、非常に一般的な方法と呼んでいます。 |
| |
そして、何らかの形で抑制してきた別のセットがあります。 いくつかの戦略があります。 ここでは、ホールドバックと呼ばれる 1 つについてのみ説明します。 |
| |
それを脇に置き、モデルをトレーニング セットに適合させ、ホールドバック セットまたは検証セットを使用して予測能力を評価できるようにします。 言い換えれば、モデルの適合に使用されていないデータを予測していることになります。 |
| |
ただし、この戦略は実験計画法では機能しません。 彼らは非常に効率的で情報中心です。 |
| |
そして通常、検証セットを開発するための十分なリソースや予算がありません。 検証に使用できる追加の実行を行う人はほとんどいません。 |
| |
したがって、これは予測モデリングに機械学習を使用する際の障壁であるように見えますが、これから示すように、この SVEM 手法はこの制約を回避します。 |
| |
SVEM に入る前に、混合設計について簡単に説明したいと思います。 ご存知の方もいらっしゃると思いますが、そうでない方もいると思います。 |
| |
これらは特別なタイプの実験計画です。 人々がそれらについて知らないため、それらは本来あるべきほど一般的ではありませんが、それは配合またはレシピを用いた実験を指し、これらの配合の成分は文字通り液体、気体、または固体である可能性があります。 |
| |
そして重要な概念の 1 つは、応答への影響はコンポーネントの相対的な比率にのみ依存するということです。 |
| |
したがって、レシピで言うように、私たちは成分の割合を非常に気にしています。 私たちは金額にはこだわっていません。 存在する総量が重要な場合は、混合量と呼ばれる別のタイプの実験につながりますが、これは今日の範囲外です。 |
| |
ただし、これらは配合のコンポーネントであるため、これらの要素には制約があります。 言い換えれば、総量を制限する必要があります。それが自然に起こることもあります。 |
| |
しかし、比率も制限する必要があります。 したがって、混合実験では、要因実験とは異なり、要因を独立して変更することはできません。 |
| |
したがって、多くの人が慣れ親しんでいる従来の DOE では、因子の結合設定に制約がありません。 場合によっては存在しますが、通常は存在しません。 |
| |
一方、混合実験では、それらは何らかの配合の成分であるため、合計量は 1 または 100% になる必要があります。 したがって、Q 因子がある場合、各試行のそれらの Q 実験因子の設定の合計は 1 になる必要があります。 さらに、 |
| |
個々のコンポーネントの設定は 0 から 1 の間のどこかにある必要があります。 また指摘しておきますが、今日はこれについて議論する時間がありません。 |
| |
混合設計の重要な変形は混合プロセス実験と呼ばれ、混合因子とプロセス因子を組み合わせます。 |
| |
これは混合物の挙動によるものです。 たとえば、3 液性接着剤のようなものを考えてみましょう。その挙動は加工条件によって劇的に変化します。 したがって、接着剤を硬化させるための圧力や温度などを検討し、最適な硬化条件を検討する必要があります。 |
| |
レシピは通常、これらのプロセス要因に応じて変化します。 それは今日の話の範囲外ですが、混合物の重要な側面です。 |
| |
したがって、歴史的に、人々が混合物を分析したり、混合物を作成したりする場合、焦点は説明の目標にあります。 |
| |
パラメータ、P 値、および信頼区間に関する仮説検定。 しかし、混合物には本質的に多くの成分が含まれているため、これは常に問題となります。 |
| |
要因と効果の間の多重共線性または相関関係。 そうする必要があるのは、合計が制限されており、合計が 1 になる必要があるため、設計上独立させることができないためです。 しかし、 |
| |
私たちはこの従来の焦点には同意しません。また、混合実験に関する多くの経験を踏まえると、率直に言って、目標は常に予測です。 |
| |
それは説明ではありません。 私たちは混合物やレシピのパフォーマンスを予測しようとしていますが、科学者やエンジニアはそこに興味を持っています。 |
| |
つまり、科学者が必要としているものと、私たちが混合物を分析する方法の間には、大きな乖離があったのです。 また、伝統的なデザインの多くは、いわゆる境界点デザインと呼ばれるものです。 |
| |
D 最適という用語に精通している場合、それらは非常に D 最適である傾向があります。 |
| |
ほとんどの点は境界の周囲に割り当てられているため、内部情報はほとんどありません。 ポイントが少ない、場合によってはポイントがない |
| |
デザイン領域の内側。 何でこれが大切ですか? 混合系、特に化学および生物学的用途では、 |
| |
非常に複雑になる傾向があります。 非常に複雑な動力学が進行しており、これらの応答曲面は非常に複雑な形状をしています。 |
| |
そして、設計領域の内部に関する十分な情報がなければ、システムの動作を実際に表すモデルを思いつくことはできないでしょう。 |
| |
そして、これは実際、混合デザインの使用の歴史の中で非常に頻繁に起こってきました。 また、今日はそれについて話す時間がありませんが、 |
| |
過去の分析やモデリングへの古典的なアプローチは、私がシェッフェ多項式と呼んでいるものです。 |
| |
これらは、混合物で使用するために設計された多項式の一種です。 それらには多くの変形がありますが、これらの疑似多項式は、特に古典的な形式では、これらの応答曲面をモデル化するには不十分であることがよくあります。 |
| |
では、どうやって問題にアプローチすればよいのでしょうか? 私たちは、混合設計にアプローチする必要がある方法は、空間充填設計の観点からであると考えています。 |
| |
そして、なぜ空間充填デザインを行うのでしょうか? これもまた、それ自体で話になる可能性がありますが、これらは、指定された数のデザイン ポイントに対して可能な限りデザイン空間をカバーするために作成されたデザインです。 |
| |
そしてデザインポイントの数 |
| |
はユーザーのオプションです。 これにより、実際にはより小さなデザインを使用できるようになります。 |
| |
クラシックなデザインであり、デザイン領域をカバーしていました。 その結果、より正確で有用な予測モデルが得られます。 設計領域全体にわたってより良い情報が得られます。 |
| |
そして、混合物に対する当社のアプローチはすべて、宇宙撮影デザインの使用に基づいており、これは当社が近年業界で注目している傾向です。 |
| |
ここでギアを切り替えて、混合物を作成したとして、それを実行し、それをどのように分析するかについて話したいと思います。 |
| |
先ほども述べましたが、DOE に適用される機械学習の問題の 1 つは、実際には自然な検証セットがないことです。 そうですね、ゴットワルトとラムジー、つまり私とクリス・ゴットワルト博士は、自動検証と呼ばれる検証方法を実際に提案しました。 そして |
| |
これに関する最初の講演は、実際に数年前の Discovery Europe カンファレンスで行われました。 |
| |
これは直感的にはわからないかもしれませんが、聞いてください。 元のデータ、元の実験をトレーニングと検証に使用できます。 言い換えれば、元のデータを取得して、そのコピーまたはクローンを作成します。 |
| |
これを自動検証セットと呼びます。 したがって、トレーニング セット内のすべての観測値には、自動検証セット自体に双子が含まれます。 |
| |
これだけではナンセンスに思えるでしょう。 自動検証セットにはトレーニング セットと同じ観測値が含まれているため、予測能力の独立した評価はどのように提供されるのでしょうか? まあ、それ自体ではできません。 |
| |
自動検証のアイデアの鍵は、観測値に重み付けスキームを適用することであり、このスキームはガンマ分布から重みを生成することに基づいています。 |
| |
ちなみに、ガンマ分布は統計アプリケーションの重み付けによく使用されます。 ガンマ重みには、ここでも多くの優れた特性がありますが、今日は説明しません。 |
| |
そして、私たちが行うことは重みのセットを生成することですが、それは特別な方法で行われます。 トレーニング セット内の観測値が高い値、高い重みを取得した場合、 |
| |
自動検証セット内の観測値 (双子) の重みは低くなります。 なぜこれを行うのでしょうか? これにより、2 つのデータセット間の逆相関が促進されます。 |
| |
言い換えれば、重み付けスキームを使用してセットの相関関係を解除しようとしているのですが、これに関しては過去数年間でかなりの研究が行われてきました。 これは、このアプローチが非常に効果的であることを示しています。 |
| |
そして、これらすべての結果が公開される論文が間もなく発表される予定です。 したがって、この重み付けスキームを使用するのがアイデアです。 |
| |
トレーニング セットにガンマの重みを割り当て、自動検証セットを用意し、対応する重みを各双子に割り当てます。したがって、トレーニング セットの重みが高い場合、 |
| |
自動検証セット内のツインの重みが低くなり、これがこの逆相関動作を促進します。 そして、この戦略をユーザーが指定する回数だけ繰り返すだけです。 次のスライドでは、簡単な実験の例を示します。 3つの要素があります。 知らせ |
| |
実行 1 ~ 7 はトレーニング セット、つまりオリジナルです。 実行 8 ~ 14 はクローンまたはコピーです。 観測値が 2 つのセットでまったく同じ値であることに注意してください。次に、次の列に注目してください。 |
| |
ペアになった FWB の重み。 FWBについては後ほど説明します。 |
| |
また、観測値 1 の重みが高く、双子である観測 8 の重みが低い場合に注目してください。 したがって、観測 8 は検証セットに含まれます。 |
| |
したがって、この分数重み付けの考え方は重要であるため、分数重みを応答に適用して分析が行われます。 次にこの戦略を繰り返します |
| |
ある程度の回数 (回数はユーザーとシナリオによって異なります) を繰り返し、そのたびにモデルを適合させます。 言い換えれば、私たちは基本的に、分数重み付けブートストラップと呼んでいるものです。 |
| |
そして、分数重み付けブートストラップとは何でしょうか? これは基本的にブートストラップの一種であり、一般化ブートストラップとも呼ばれます。 |
| |
ここでは観察をブートストラップしません。 観測値に適用される重みをブートストラップします。 これはよく知られた方法論であり、私たちはそれを適用しています。 |
| |
違うのは、これを繰り返し適用することです。先ほども言いましたが、それは数百回、数千回になる可能性があり、実際にはユーザー次第です。 |
| |
モデルを当てはめるたびに、最後に平均値またはアンサンブルを取得します。 そして、これらは呼ばれます...そしてここでこの用語が得られます |
| |
自己検証、または自動検証は自己検証アンサンブル モデリングです。 平均をとっています |
| |
ちなみに、アンサンブル モデリングは、より安定した優れた予測モデリングにつながる傾向があるため、機械学習やディープ ラーニングでは非常に一般的です。 |
| |
そのため、SVEM は部分的に重み付けされたブートストラップを実行してモデルのファミリーを生成し、その後モデルの平均化を使用して最終的な予測モデルを導き出します。 |
| |
では、その方法はどのように機能するのでしょうか? さて、予測モデリングのアルゴリズムを選択します。 私たちの場合、ニューラル ネットワークに焦点を当てます。 |
| |
混合デザインを使用できますが、他の方法を選択することもできます。 SVEM は、どのようなアルゴリズムが使用されるかにあまり依存せず、多くのアルゴリズムに非常に適しています。 そこで、トレーニングと自動検証のセットを作成します。 分数の重みを割り当てます。 |
| |
次に、モデルを適合させ、ユーザーの定義に従ってこれを何回かブートストラップし、平均をとります。 さて、この時点で私は同僚の Wayne Levin に仕事を任せることにします。彼は SVEM のデモンストレーションを行い、SVEM を実行するためのアドインについて話します。 |
| ウェイン |
ここで切り替えを行っているだけです |
| |
そして画面を共有します。 |
| |
そして、PowerPoint を切り替えるだけです。 |
| |
どうもありがとう、フィル。 ここではこの例、この尿素データを使用するので、実験の目的は洗浄剤の溶液を最適化することです。 |
| |
そして、この混合物の 3 つの成分は水、アルコール、尿素です。 それがここにある 3 つの列です。 ここでは、粘度という 1 つの応答に焦点を当てます。 目標は 100 を達成しようとしていますが、ここにあるように、 |
| |
粘度は 95 ~ 105 の間にあることが望ましいです。 そこで、JMP に切り替えることにします。 |
| |
さて、これが尿素データです。 ここで開いたところですが、実行数が 15 しかないことに注意してください。したがって、次のステップに進むだけです。 そして次のステップとしては、 |
| |
プロセスは自動検証テーブルを作成することなので、それをクリックすると、いくつかのことが起こることがわかります。 まず、新しいテーブルがあり、最初の 15 回の実行が行われます。これは、ここで行ったものとまったく同じです。 そして、実行ごとに...たとえば、この最初の行 (52、29、19) に注目すると、 |
| |
ここの下でそれが繰り返されていることがわかります。つまり 52、29、19 です。 |
| |
同様に 2 行目は 57、23、19 になります。 もちろん、これらすべてを繰り返すつもりはありませんが、アイデアは理解できたと思います。 この組み合わせを繰り返すだけです... |
| |
2 番目のセットはここにあり、最初のセットはトレーニングです...トレーニングに使用されるもの、そして 2 番目のセットは、ここに示されているように、検証のために取得されるものです。 その間にあるのが、フィルが話していたペアの分数重み付け列です。 それで |
| |
私たちは見る傾向があります...ここで高い数値が表示される傾向があるとき、下には対応する低い数値が表示され、それは非常に後続しています... |
| |
そうですね、あのフィルが話していたガンマ分布のことです。 それで、それを見せてみませんか。 ここで重みをプロットしてみます。 |
| |
それを画面上に配置します。 したがって、反復を行うたびに、重みが更新されます。 ここのウェイトを見てください。 |
| |
こっちのコラム、ここのコラム。 それで、見てわかるように実行してみます。 したがって、反復ごとに、新しい新しいセットが得られます。 |
| |
分数...トレーニング セットと検証セットの両方にわたる分数的に重み付けされたペア。 わかった。 それでは次に行きます |
| |
フィットモデルを実行します。 だから、あなたが望むなら、私は1回の反復を行うつもりです、とあなたは言うかもしれません。 |
| |
粘度が応答です。 ここで、周波数の役割にはこのペアの分数...分数で重み付けされたブートストラップ重みがあり、それがモデリングにどのように組み込まれるかに注目してください。 それでは、ここで 1 回の繰り返しを行います。 |
| |
わかりました、これらの特定の重みに基づいて。 良い、 |
| |
アンサンブル モデルが必要な場合は、それを繰り返し行う必要があります。 それで、これから私がやろうとしていることは、これを新しい重みで実行することです。 |
| |
目を離さない...一度に 3 つの異なる場所を監視しなければならないので、少し難しいかもしれません。 これらを配置してみます。 |
| |
それで、何が起こるかというと、ここをクリックして新しい重みで実行すると、ここの重みが変化するのがわかります。モデルが作成され、予測モデルが保存されます。 |
| |
ここまで。 ここで一つやります。 やってみましょう。 すごい、モデルの作成方法が変わりました。 |
| |
ここでモデルを保存します。 この列も追加されています。これがフィルが話していたアンサンブルであり、これが平均です。 もちろん、反復は 1 回しか行っていないので、平均は次のとおりです。 |
| |
同じ。 ここでもう一度反復を行うと、新しい重みセット、新しいモデルが得られ、新しいモデルが保存されました。ここでのアンサンブル モデルは、これら 2 つの平均です。 |
| |
こっちだよ。 だから、あと何回か、ああ、わかりません、やります。 難しいことではありません。これらのことがわかります |
| |
進んでいくうちに変化していきます。 6 つありますので、この 6 つを簡単に見てみましょう。 |
| |
モデル...個々のモデル、平均モデル、アンサンブルがプロファイラーに表示されます。 そしてこれはむしろ不安定性を示しています |
| |
フィルが前にほのめかしていたのは、もしこれを 1 回だけ行うとしたら...ここで分数の重み付けが行われていることはわかっていますが、フィルが言ったように、ご存知のとおり、私が実際にできる任意の点の動きです。 |
| |
モデルを乱してしまうと、実際にはそうではない機能ができてしまいます... |
| |
おそらく実際にはそこに属していないかもしれません。 それらは、特定の設計ポイントの単なる成果物です。 しかし、ここを見てください。その方法がわかります |
| |
これらの個々のモデルの外観は...そうですね、ここではいくつかの異なる機能を備えています。しかし、その下にあるのは、ある意味、平均的なモデルです...そうですね、これは上のすべてのモデルの平均です。 |
| |
そして、多かれ少なかれ、この大きなねじれが滑らかになっているのがわかります。 ここに少し見えます。 |
| |
これは 6 回の反復のみであり、アドインを使用すると、実際には 50 回の反復を実行することをお勧めします。 |
| |
しかし、私も同様に、実際と予測を見てみましょう。 今、これはかなり出てきました... |
| |
かなり一貫しています。 いずれにせよ、線はすべてほぼ 1 つの傾きになっています。 多くの場合、これを行うと、さらに多くのバリエーションが見られますが、 |
| |
平均的なモデルです。この特定の例では少し見にくいですが、これは実線であり、基本的に他の線の塊を通過しています。 そこで、これらを脇に置いて、次に行うことは次のとおりです。 |
| |
ここで実際にたくさんのランニングをするつもりです。 このデモでは 25 回の反復を行うと思います。 モデルチェンジがわかる、重量がわかる |
| |
ここで着替えます。 ここに何か新しいものを追加するわけではありません。 だから私たちはただ通過するだけです。 完了しました。レポートを見てみましょう。 それで、それを開いてみます。 |
| |
最初に、ここでの実際と予測のプロットと残差プロットが完成します。 ここ見てみるのもいいかもね |
| |
プロファイラー。 |
| |
そして私はプロファイラーが大好きです。 その |
| |
水を変えると水の量を増やすと、他の 2 つが減少することがわかるので、混合物に非常に適しています。 それは |
| |
もちろん、混合物の固有の性質として、それらはすべて 1 を含むか、合計すると 1 になる必要があります。 さて、これは言ってみれば平均的なモデルです。 |
| |
ここで行われた 25 回の適合にわたるアンサンブル モデル、わかりました。 それで、もしできるなら、そうするつもりです |
| |
ここで、混合プロファイラーを簡単に見てみましょう。 |
| |
ここでこのルックを取得します。 |
| |
実際のところ、ここから何が見えるかというと… |
| |
ポイントに注目してください。 ポイントがうまく収まっているのがわかりますか? これはデザインの空間充填の性質であり、このデザインには実際には制約があることにも気づくでしょう。 |
| |
したがって、水 0-1 や尿素 0-1 などの空間全体を決してカバーしているわけではないため、ここにこれらの制約を設けています。 |
| |
そして、私がこれからやろうとしていることは、95 から 105 を視覚化できるように、ただ限界を設定することです。 つまり、ここの白いスペースに私ができる限り表示されています... |
| |
これらの条件を満たす組み合わせは何ですか...仕様の限界はここにあります。 |
| |
さて、これがデモンストレーションです |
| |
SVEM 手法、方法論(必要に応じて)、および |
| |
もしかしたら... ただ、そうします。 |
| |
つまり、SVEMと空間充填設計です。 繰り返しになりますが、これに関する大きな動機の 1 つは、それらが本質的に不安定であるということです。 |
| |
そのため、データの小さな変化が予測に大きな変化をもたらす可能性があり、結果として単一の予測モデルが不安定になる可能性があります。 結局のところ、その中にねじれが生じてしまいます。 |
| |
それは単に動力学が起こる方法ではないことが多いため、見ているだけで非常に不安になることがよくあります。 |
| |
したがって、安定性と、それを提供する部分的に重み付けされたブートストラップに基づく複数のモデルのアンサンブルが必要です。 |
| |
もう 1 つ…これに関するもう 1 つの大きな点は、これらの状況に本質的に存在する多重共線性です。 混合物は複雑な系です。 |
| |
これらはコンポーネントの動作の合計ではありません。 これらは実際には相互作用の産物であり、だからこそ私はプロファイラーを愛しています。 |
| |
それらの相互作用は美しいです。 そういったダイナミクスがとてもよく伝わってきます。 このように多重共線性が得られたので、それがある程度緩和され、安定した、より正確な予測モデルが得られます。 私たちは今これを実行しています... |
| |
実は数年前に遡りますが、 |
| |
SVEM アドインを作成して以来 (これについては後ほど説明します)、今年の初めから何度も実行してきましたが、非常に素晴らしい仕事をしてくれました。 |
| |
弊社のお客様も大変満足しております。 先ほど述べたように、SVEM を使用したモデルの平均化は自動化されておらず、JMP 標準または JMP Pro ではありませんが、アドインがあります。Predictum.com の Web サイトにアクセスすると、その詳細とその方法を学ぶことができます。それを得るために。 |
| |
そうです、SVEM には特定のページがあります。 私たちにはモダン ミクスチャー デザイン コースもあり、マリーとフィル、そして私がそれを受講していることがわかります。 |
| |
それは、Predictum サイトのトレーニング ページで確認できます。 古典的な混合設計に関するセクションはカバーしますが、コースの 3 分の 2 ~ 4 分の 3 は SVEM を取り上げます。 |
| |
SVEM アドインはコースの一部として利用可能です。 この講演では、データから予測モデルを構築する方法について説明しました。 |
| |
データは、過剰適合を制御するための検証試験の実行可能性によって制限されます。 ご存知のとおり、古典的な設計実験では、実行する必要がありません。 |
| |
したがって、特に混合 DOE の場合は空間充填設計を使用することをお勧めしますが、実際には他の DOE 状況でもより一般的に同様です。 そして、自動検証と部分的に重み付けされたブートストラップに基づく SVEM について説明しました。 |
| |
そして、SVEM によって、別の一連の検証を実行することなく、DOE データの予測モデリングがどのように可能になるかについて説明しました。 |
| |
そして尿素実験データを用いたSVEMの実証を行いました。 |
| |
そして、スライドをダウンロードすると、大量の参考資料が見つかることを知っておいてください。 ここでいくつかを紹介し、さらにいくつか紹介します。これについて私が気に入っている点の 1 つは、 |
| |
それは実際には 1996 年にまで遡ります。 したがって、これはしばらくの間準備されてきたものであり、これらの参考文献を参照することをお勧めします。 |
| |
それでは、質疑を受け付けます。 |