スピーカー
|
トランスクリプト
|
| フィリップJ.ラムジー |
こんにちは、ニューハンプシャー大学とプレディクタムのフィルラムジーです。 そして、私の共同プレゼンターであるPredictumのWayneLevinとMarieGaudardと共に、 |
| |
ニューハンプシャー大学とプレディクタム大学の名誉教授、私たちは現代の混合物のデザインについて講演するつもりです。 |
| |
そして、講演の議題は、機械学習と実験計画法について話し、混合計画法とは何かを簡単に紹介することです。 |
| |
自動検証と呼ばれるDOEの新しい機械学習方法について説明します。これは、アンサンブルモデリングと組み合わせて、自己検証アンサンブルモデリング方法論と呼ばれるものを作成します。 |
| |
次に、自己検証型アンサンブルモデリングであるSVEMについて説明し、混合実験を使用してデモンストレーションを行ってから、 |
| |
SVEM法と空間充填設計。 また、Wayne Levinは、PredictumがSVEMを実行するために開発したアドインについて話し、尿素実験のデモンストレーションも行います。 |
| |
そして、最近、実際には今年だけで、すでに3つあり、まもなくジャーナルに掲載された論文のトピックについて指摘したいと思います。 |
| |
DOEと機械学習。これにより、機械学習の手法が従来からビッグデータに適用されていることがわかりました。 |
| |
DOEには多くの適用性があるかもしれません、そして私たちは確かに同意します。 そして、それらを混合実験で効果的に使用する方法を示します。 しかし、いわゆる機械学習の適用における従来の制限の1つ |
| |
DOEのような小さなデータセットには、非常に大きなデータセットが必要であるという信念があります。 これは実際には完全に真実ではありません。 |
| |
ご覧のとおり、私やJMPのChris Gotwalt博士を含む、多くの人々によって開発されたSVEMメソッドは |
| |
実際、実験計画法で見られるように、これらの従来のビッグデータ手法をはるかに小さなデータに適用することを非常に実現可能にしています。 |
| |
また、機械学習は実際には予測がすべてであるため、統計モデリングを2つのアプローチに分割します。1つは説明と呼ばれ、古典的であり、仮説検定とP値およびパラメーターに焦点を当てています。 |
| |
そして、それは通常、優れた予測モデルにはつながりませんが、機械学習は完全に予測に焦点を合わせています。 |
| |
それが私たちの見解であり、それが今日私たちが使用し、混合実験に適用するものです。 機械学習を使用します |
| |
予測のため。 私たちの焦点は説明ではなく、ご覧のとおり、これらの予測機械学習手法を小さな実験計画法に適用できるようになります。 |
| |
データセット。 さて、伝統的に予測モデルを評価する方法は、データの一部をトレーニングに使用することであるため、これをトレーニングセットと呼びます。これは非常に一般的な方法です。 |
| |
そして、なんらかの方法で抑制した別のセットがあります。 いくつかの戦略があります。 ホールドバックと呼ばれる1つだけについて説明します。 |
| |
それを脇に置き、モデルをトレーニングセットに適合させてから、ホールドバックセットまたは検証セットを使用して予測機能を評価できます。 つまり、モデルの適合に使用されていないデータを予測しています。 |
| |
ただし、この戦略は実験計画法では機能しません。 それらは非常に効率的で情報中心であり、 |
| |
また、通常、検証セットを開発するための十分なリソースや予算がありません。 検証に使用できる追加の実行を実行できることはめったにありません。 |
| |
したがって、これは予測モデリングに機械学習を使用する際の障壁のように見えますが、これから説明するように、このSVEMメソッドによってこの制約を回避できます。 |
| |
そして、SVEMに入る前に、混合物の設計について簡単に説明したいと思います。 私はあなたの何人かがそれらに精通していることを知っています、いくつかはそうではありません。 |
| |
これらは特別なタイプの実験計画です。 人々はそれらについて知らないので、それらは本来あるべきほど一般的ではありませんが、それは製剤またはレシピでの実験を指し、これらの製剤の成分は文字通り液体、気体、または固体である可能性があります。 |
| |
また、重要な概念の1つは、応答への影響がコンポーネントの相対的な比率にのみ依存することです。 |
| |
そのため、レシピで言うように、コンポーネントの比率について非常に心配しています。 私たちは金額に焦点を合わせていません。 存在する総量が重要である場合、これは混合量と呼ばれる別のタイプの実験につながりますが、これは今日の範囲外です。 |
| |
しかし、これらは製剤の構成要素であるため、これらの要因には制約があります。 言い換えれば、合計金額を制限する必要があります。時々それは自然に起こります。 |
| |
しかし、比率も制限する必要があります。 したがって、混合実験では、因子実験とは異なり、因子を個別に変更することはできません。 |
| |
したがって、多くの人が精通している従来のDOEでは、要素の共同設定に制約はありません。 ある場合もありますが、通常はありません。 |
| |
一方、混合実験は、ある製剤の成分であるため、合計で1％または100％にする必要があります。 したがって、Qファクターがある場合、すべての試行に対するそれらのQ実験ファクターの設定は合計で1になる必要があります。 さらに、 |
| |
個々のコンポーネントの設定は、0から1の間のどこかにある必要があります。 私も指摘しますが、今日はこれについて話し合う時間がありません。 |
| |
混合物設計の重要な変形は混合物プロセス実験と呼ばれ、混合物因子とプロセス因子を組み合わせます。 |
| |
混合物の振る舞いのためにこれを行います。 たとえば、3つの部分からなる接着剤のようなものを考えてみてください。動作は、処理条件によって劇的に変化します。 だから私たちは接着剤を硬化させるための圧力や温度のようなものと最適なものを見るかもしれません |
| |
レシピは通常、これらのプロセス要因の関数として変化します。 それは今日の話の範囲外ですが、それは混合物の重要な側面です。 |
| |
したがって、歴史的に、人々が混合物を分析し、それらを作成するとき...それらを作成するとき、焦点は説明的な目標、つまり、 |
| |
パラメーター、P値、および信頼区間に関する仮説検定。 しかし、一般的な混合物から、混合物は本質的に多くを持っているので、これは常に問題があります |
| |
因子と効果の間の多重共線性または相関。 合計...合計金額が制約されており、合計が1になる必要があるため、設計上独立させることはできません。 しかし、 |
| |
私たちはこの伝統的な焦点に同意せず、混合実験での多くの経験から、目標は常に率直に言って予測です。 |
| |
説明ではありません。 私たちは混合物やレシピのパフォーマンスを予測しようとしています。それが科学者やエンジニアが興味を持っていることです。 |
| |
そのため、科学者が必要としているものと、混合物の分析方法との間には大きな隔たりがあります。 また、従来のデザインの多くは、境界点デザインと呼ばれるものです。 |
| |
D最適という用語に精通している場合、それらは非常にD最適である傾向があります。つまり、 |
| |
ほとんどのポイントは境界の周りに割り当てられており、内部情報はほとんどありません。 ポイントは非常に少なく、時にはない |
| |
デザイン領域の内部に。 何でこれが大切ですか？ さて、混合システム、特に化学的および生物学的用途では、 |
| |
非常に複雑になる傾向があります。 非常に複雑な動力学が進行しており、これらの応答曲面は非常に複雑な形状をしています。 |
| |
また、設計領域の内部に関する情報が十分にない場合は、システムの動作を実際に表すモデルを思い付かない可能性が非常に高くなります。 |
| |
そして、これは実際、混合設計の使用の歴史の中で非常に頻繁に起こっています。 また、今日はそれについて話す時間がありません、 |
| |
過去の分析またはモデリングへの古典的なアプローチは、私がScheffe多項式と呼んでいるものです。 |
| |
これらは、混合物で使用するように設計された多項式の一種です。 それらには多くの変形がありますが、これらの模擬多項式は、特に古典的な形式では、これらの応答曲面をモデル化するには不十分であることがよくあります。 |
| |
では、どのように問題に取り組むのでしょうか？ 混合設計にアプローチする必要がある方法は、空間充填設計の観点からであると私たちは信じています。 |
| |
そして、なぜ空間充填デザインなのか？ 繰り返しになりますが、それ自体が話題になる可能性がありますが、これらは、特定の数のデザインポイントに対して可能な限りデザインスペースをカバーするように作成されたデザインです。 |
| |
そしてデザインポイントの数 |
| |
ユーザーのオプションです。 これにより、実際には小さなデザインを使用できるようになります。 |
| |
古典的なデザイン、そしてそれらはデザイン領域をカバーしました。 結果として、これにより、より正確で有用な予測モデルが得られます。 設計領域全体にわたってより良い情報があります。 |
| |
そして、混合物への私たちのアプローチでは、それはすべて宇宙撮影デザインの使用に基づいています、そしてこれは私たちが近年業界で気づいた傾向です。 |
| |
私は今、ギアをシフトして話したいと思います...まあ、私たちが混合物を作成したので、私たちはそれを実行しました、まあ、それをどのように分析するのですか？ |
| |
先に述べたように、DOEに適用される機械学習の問題の1つは、実際には自然な検証セットがないことです。 さて、GotwaltとRamsey、つまり私とChris Gotwalt博士は、実際に自動検証と呼ばれる検証方法を提案しました。 と |
| |
これに関する最初の講演は、実際には数年前のディスカバリーヨーロッパカンファレンスで行われました。 |
| |
そして、これは直感的には思えませんが、私に聞いてください。 元のデータ、元の実験をトレーニングと検証に使用できます。 つまり、元のデータを取得して、そのコピーまたはクローンを作成します。 |
| |
これを自動検証セットと呼びます。 したがって、トレーニングセットのすべての観測には、自動検証セット自体に双子があります。 |
| |
今では、これは無意味に思えます。 自動検証セットにはトレーニングセットと同じ観測値があるので、それはどのようにして予測機能の独立した評価を提供しますか？ まあ、それだけではできません。 |
| |
自動検証のアイデアの鍵は、観測値に重み付けスキームを適用することです。このスキームは、ガンマ分布から重みを生成することに基づいています。 |
| |
ちなみに、ガンマ分布は、統計アプリケーションでの重み付けに一般的に使用されます。 ガンマウェイトには、今日は取り上げないいくつかの素晴らしいプロパティがあります。 |
| |
そして、私たちが行うことは、重みのセットを生成することですが、それは特別な方法で行います。 トレーニングセットの観測値が高い値、高い重みを取得した場合、 |
| |
自動検証セットである双子の観測値は、重みが低くなります。 なぜこれを行うのですか？ これにより、2つのデータセット間の反相関が促進されます。 |
| |
言い換えると、均等化スキームを使用してセットの相関を解除しようとしています。これについては、過去数年間に多くの調査が行われています。 これは、このアプローチが非常に効果的であることを示しています。 |
| |
そして、これらすべての結果が利用可能になる論文がまもなく発表される予定です。 したがって、この重み付けスキームを使用するというアイデアがあるので、 |
| |
トレーニングセットでは、ガンマの重みを割り当て、自動検証セットを用意し、対応する重みを各双子に割り当てます。したがって、トレーニングセットの重みが高い場合は、 |
| |
自動検証セットの双子の重みは低くなり、これがこの反相関動作を促進します。 そして、ユーザーが指定するために、この戦略を数回繰り返すだけです。 次のスライドでは、簡単な実験の例を示します。 3つの要因があります。 知らせ |
| |
実行1〜7は、オリジナルのトレーニングセットです。 実行8〜14は、クローンまたはコピーです。 観測値が2つのセットでまったく同じ値であることに注意してください。次に、次の列が呼び出されていることに注意してください。 |
| |
ペアのFWBウェイト。 FWBについては後ほど説明します。 |
| |
そして、観測値1のように観測値の重みが高くなると、双子の観測値8の重みが低くなることに注意してください。 したがって、観測値8は検証セットに含まれています。 |
| |
したがって、この分数の重み付けの考え方は重要であるため、分析は分数の重みを応答に適用して行われます。 次に、この戦略を繰り返します |
| |
数回（そしてその回数はユーザーとシナリオによって異なります）、毎回モデルを適合させます。 言い換えれば、私たちは基本的に、部分的に重み付けされたブートストラップと呼ばれるものです。 |
| |
そして、部分的に重み付けされたブートストラップとは何ですか？ これは基本的に、一般化されたブートストラップとも呼ばれるブートストラップの形式です。 |
| |
観測値をブートストラップしません。 観測値に適用される重みをブートストラップします。 これはよく知られた方法論であり、私たちはそれを適用しています。 |
| |
違いは、これを繰り返し適用することです。私が言ったように、それは数百回、数千回になる可能性があり、実際にはユーザー次第です。 |
| |
モデルを適合させるたびに、最後に、平均またはアンサンブルを取得します。 そして、これらは呼ばれます...そしてこれは私たちが用語を得るところです |
| |
自己検証、または自動検証は、自己検証アンサンブルモデリングです。 私たちは平均を取っています |
| |
ちなみに、アンサンブルモデリングは、機械学習とディープラーニングで非常に一般的です。これは、より安定した、より優れた予測モデリングにつながる傾向があるためです。 |
| |
そのため、SVEMは部分的に重み付けされたブートストラップを実行してモデルのファミリーを生成し、モデルの平均化を使用して最終的な予測モデルを作成します。 |
| |
では、この方法はどのように機能しますか？ さて、あなたはあなたの予測モデリングのためのアルゴリズムを選びます。 私たちの場合、ニューラルネットワークに焦点を当てます |
| |
混合設計ですが、他の方法を選択することもできます。 SVEMは、どのアルゴリズムで使用されているかについてはかなり不可知論的であり、多くのアルゴリズムに非常に適しています。 そこで、トレーニングと自動検証のセットを作成します。 分数の重みを割り当てます。 |
| |
次に、モデルを適合させ、ユーザーの定義に従ってこれを数回ブートストラップし、平均を取ります。 さて、この時点で、同僚のウェイン・レビンに引き渡します。ウェイン・レビンは、SVEMのデモンストレーションを行い、それを行うためのアドインについて話します。 |
| ウェイン |
ここで切り替えを行っているだけです |
| |
画面を共有します。 |
| |
そして、PowerPointを切り替えるだけです。 |
| |
どうもありがとう、フィル。 ここではこの例、この尿素データを使用するので、実験の目的はクレンジング剤の溶液を最適化することです。 |
| |
そして、この混合物の3つの成分は、水、アルコール、尿素です。 これらは、ここにあるこれらの3つの列です。 そして、粘度という1つの応答に焦点を当てます。 私たちが100を達成しようとしているターゲットですが、ここで見ることができるように、 |
| |
粘度に関しては95から105の間になりたいです。 それでは、JMPに切り替えます。 |
| |
さて、これが尿素データです。 ここで開いたところですが、実行回数は15回しかないため、次のステップに進みます。 そして次のステップは |
| |
プロセスは自動検証テーブルを作成することなので、それをクリックすると、いくつかのことが起こります。 まず、新しいテーブルがあり、最初の15回の実行があります。これは、ここで行ったものとまったく同じです。 そして、実行ごとに...たとえば、この最初の行（52、29、19）に焦点を当てると、 |
| |
あなたはそれがここの下で繰り返されているのを見ることができます、それで52、29、19。 |
| |
同様に、2行目は57、23、19になります。 私は明らかにこれらすべてを繰り返すつもりはありませんが、あなたはその考えを理解していると思います。 これは単に組み合わせを繰り返すだけです... |
| |
ここにある2番目のセットでは、最初のセットはトレーニングです...トレーニングに使用されるものであり、次に、ここに示されているように、2番目のセットは検証のために取得するものです。 その間に、Philが話していたペアの分数均等化列があります。 そう |
| |
私たちが見る傾向があります...ここで高い数値が見られる傾向がある場合、対応する低い数値が下に表示され、それは非常に続いています... |
| |
まあ、そのフィルが話していたガンマ分布。 だから私はそれを見せないのはなぜですか。 ここに重みをプロットします。 |
| |
それを画面上に配置します。 したがって、反復を実行するたびに、重みが更新されます。 だから、ここの重みを見て、 |
| |
ここの列、この列はここです。 だから私はあなたが見ることができるようにそれを実行するつもりです。 したがって、反復ごとに、新しい新しいセットを取得します。 |
| |
分数...トレーニングセットと検証セットの両方で分数で重み付けされたペア。 わかった。 だから次に私は行きます |
| |
フィットモデルを実行します。 だから私はあなたがそうするなら、1回の繰り返しをするつもりです、あなたは言うかもしれません。 |
| |
したがって、粘度が応答です。 ここで、頻度の役割にはこのペアの分数...分数加重のブートストラップ重みがあることに注意してください。これがモデリングに考慮される方法です。 さて、ここに行きます。もしあなたがそうするなら、ここに1回の反復があります。 |
| |
さて、これらの特定の重みに基づいて。 良い、 |
| |
アンサンブルモデルが必要な場合は、それを繰り返し行う必要があります。 だから私が今やろうとしていることは、これを新しい重みで実行することです。 |
| |
目を離さないでください...一度に3つの異なる場所を監視する必要がありますが、これは少し難しいかもしれません。 私はこれらのことを試して配置するつもりです、申し分なく。 |
| |
つまり、ここをクリックすると、新しい重みで実行すると、ここで重みが変化し、モデルが作成され、予測モデルが保存されます。 |
| |
ここまで。 ここでやります。 やってみましょう。 バン、それでそれはそれがモデルを作る方法を変えました。 |
| |
ここにモデルを保存します。 この列も追加されます。これはフィルがそれについて話していたアンサンブルです、これは平均です。 もちろん、私は1回の反復しか行っていないので、平均は |
| |
同じ。 したがって、ここで別の反復を実行すると、新しい重みのセット、新しいモデルが取得され、新しいモデルが保存されます。ここでのアンサンブルモデルは、これら2つの平均です。 |
| |
ここに。 だから私はそれをするつもりです、ああ、私は知りません、もう数回。 難しいことではありません、そして私たちはこれらのことを見ることができます |
| |
私たちが進むにつれて変化します。 だから私は今それらのうちの6つを持っているので、なぜ私たちはこれらの6つを簡単に見てみませんか |
| |
モデル...個々のモデル、平均モデル、アンサンブル、そしてそれはここでプロファイラーに表示されます。 そしてこれはむしろ不安定さを示しています |
| |
Philは以前にほのめかしていました。なぜなら、これを1回だけ実行した場合、ここで分数の重み付けが行われていることがわかったのですが、Philが述べたように、実際にできる任意のポイントの動きです。 |
| |
必要に応じてモデルを妨害すると、実際には機能しない機能になってしまいます... |
| |
おそらく実際にはそこに属していないでしょう。 それらは特定の設計ポイントの単なるアーティファクトです。 しかし、ここを見てください、あなたはどのように見ることができます |
| |
これらの個々のモデルのそれぞれは見えます...まあ、彼らはここでいくつかの異なる機能を持っています。しかし、下の方では、平均的なモデルはある意味で...まあ、それは上のすべてのモデルの平均です。 |
| |
そして、あなたは多かれ少なかれそれを見ることができます、ここのその大きなねじれは一種の滑らかになります。 ここに少し見えます。 |
| |
これは6回の反復のみであり、アドインを使用する場合は、実際に50回の反復を行うことをお勧めします。 |
| |
しかし、私も同様に、実際の対予測を見てみましょう。 今これはかなり出てきました... |
| |
かなり一貫しています。 とにかく、線はすべてほぼ1つの傾斜です。 多くの場合、これを行うと、これ全体でより多くのバリエーションが見られますが、 |
| |
平均的なモデルですが、この特定の例ではここで見るのは少し難しいですが、それは実線であり、基本的にそこにある他の線の質量を通ります。 だから私はこれらを脇に置くつもりですそして次に私がすることは |
| |
私は実際にここでたくさんのランをするつもりです。 このデモンストレーションで行うと思います。25回の反復を行います。 あなたはモデルの変化を見ることができます、あなたは重みを見ることができます |
| |
ここで変更します。 ここに新しいものは何も追加されていません。 ですから、私たちはただ通過しているところです。 バン、それは完了しました、そして今、私たちはレポートを見てみましょう。 だから私はそれを開くつもりです。 |
| |
最初は、ここで実際の対予測と残差プロットができあがります。 ここを見てみるといいかもしれません |
| |
プロファイラー。 |
| |
そしてIIはプロファイラーが大好きです。 これは |
| |
混合物に非常に適しています。水を変えると、水を増やすと、他の2つが下がるのがわかります。 それは |
| |
もちろん、混合物の固有の性質は、それらすべてが1を含むか、合計する必要があります。 さて、これは、あなたがそうするのであれば、平均的なモデルです。 |
| |
ここで行われた25回の適合にわたるアンサンブルモデル、申し分なく。 だから私がそうすることができれば、私は行くつもりです |
| |
ここで、混合プロファイラーをざっと見てみましょう。 |
| |
ここでこれを調べます。 |
| |
実は、もしよければ、これからわかるのは… |
| |
ポイントに注意してください。 ポイントがどのようにうまく適合しているかわかりますか？ これは、デザインの空間充填の性質であり、このデザインには実際に制約があることにも気付くでしょう。 |
| |
したがって、水0-1や尿素0-1などの空間全体をカバーしているわけではないので、ここではこれらの制約があります。 |
| |
そして、私が今やろうとしていることは、限界を投げ込むことです。それで、私は視覚化することができます...その95から105を視覚化します。 だから、それは私ができるところだけのここの白いスペースで私を示しています... |
| |
どのような組み合わせが、もしあなたがそうするなら、それらの条件を満たします...スペックはここで制限されます。 |
| |
さて、それはのデモンストレーションです |
| |
SVEMの方法、方法論、必要に応じて、 |
| |
私は... 私はただします。 |
| |
したがって、SVEMと空間充填設計。 繰り返しになりますが、これに関する大きな動機の1つは、本質的に不安定であるということです。 |
| |
したがって、データの小さな変更が予測の大きな変更につながる可能性があり、もちろん、単一の予測モデルが結果として不安定になる可能性があります。 あなたが知っている、あなたはそれにそれらのねじれで終わります、そしてそれはちょうど、あなたが知っている、 |
| |
それはしばしば動力学が起こる方法ではないので、通常、見るだけでかなり気がかりです。 |
| |
したがって、安定性が必要であり、部分的に重み付けされたブートストラップに基づいて、複数のモデルをアンサンブルすることでそれが得られます。 |
| |
もう1つ...これに関するもう1つの重要な点は、これらの状況で本質的に存在する多重共線性です。 混合物は複雑なシステムです。 |
| |
これらは、コンポーネントの動作の合計ではありません。 それらは本当に相互作用の産物であり、それが彼らが描写しているので、繰り返しになりますが、私はプロファイラーが大好きです。 |
| |
それらの相互作用は美しく。 それらのダイナミクスは本当にうまく出くわします。 したがって、この多重共線性をすべて取得したため、それが緩和され、安定した、より正確な予測モデルが得られます。 私たちは今これを実行しています... |
| |
実際には数年前に戻りますが |
| |
SVEMアドインを作成してから、これについては後で説明しますが、今年の初めから何度も実行していて、本当に素晴らしい仕事をしています。 |
| |
私たちのクライアントはそれに非常に満足しています。 先ほど申し上げたように、SVEMを使用したモデルの平均化は、自動化されておらず、JMP標準またはJMP Proではありませんが、アドインがあります。Predictum.comのWebサイトにアクセスすると、その詳細と方法を確認できます。それを取得します。 |
| |
そうですね、SVEMには特定のページがあります。 モダンな混合物デザインコースもあります。それはマリーとフィルと私自身によるものです。 |
| |
そして、それは、Predictumサイトのトレーニングページで見ることができます。 古典的な混合物の設計に関するセクションをカバーしていますが、コースの3分の2から4分の3はSVEMを備えています。 |
| |
そしてそれは利用可能です、SVEMアドインはコースの一部として利用可能です。 したがって、この講演では、データから予測モデルを構築する方法を説明しました... |
| |
データは、過剰適合を制御するための検証試験を実施する可能性によって制限されます。 ご存知のように、古典的な計画実験では、実行する必要がありません。 |
| |
トレーニングと検証の両方を行うため、特に混合DOEにはスペース充填設計を使用することをお勧めしますが、実際には他のDOE状況にも使用することをお勧めします。 また、自動検証と部分的に重み付けされたブートストラップに基づくSVEMについて説明しました。 |
| |
また、SVEMが、個別の検証を実行せずにDOEデータの予測モデリングを可能にする方法についても説明しました。 |
| |
また、尿素実験データを用いてSVEMの実証を行いました。 |
| |
また、スライドをダウンロードすると、たくさんの参考資料が見つかることを知っておいてください。 だからここにいくつかあり、さらにいくつかあります、そしてこれについて私が好きなことの1つはそれです |
| |
それは実際には1996年までさかのぼります。 ですから、これはしばらくの間醸造されてきたものであり、これらの参考文献をご覧になることをお勧めします。 |
| |
それで質問をします。 |
