スピーカー | 成績証明書 |
| ジョーダン・ヒラー | 出かけること。 |
| フィル・ケイ | さて、ご参加いただきありがとうございます。 私はフィル・ケイです。 私は JMP の学習マネージャーです。このプレゼンテーションは、自己検証されたアンサンブル モデリングである SVEM の対話型の例から始めます。 |
| 私は SVEM とは何か、そしてそれがどのように機能するのかについて説明し、その後、Pete と Trent が例を共有します。 |
| ケーススタディとシミュレーション。これを行う理由を実際に説明します。 これをこれから紹介するつもりです |
| 非常に単純なケーススタディなので、最初は理由が分からないかもしれません...なぜこれを行うのか明確ではないように思えるかもしれませんが、これを説明した後でメカニズムを理解していただければ幸いです。 |
| さて、ここでビデオを止めて、ここでのソフトウェアのデモに集中します。 |
| ここに JMP ジャーナルがあり、これを皆さんと共有しています。Community.JMP.com の JMP コミュニティの投稿からアクセスできます。 |
| ここで使用する例は、古典的な DOE の例です。 これはバウンス データであり、JMP のヘルプ ファイルから取得できます。 |
| つまり、3 つの要素で 15 回の実行になります。 これは Box-Behnken デザインであり、そこにストレッチという応答があり、非常に簡単で標準的なものです。 |
| 昔ながらの DOE。 |
| このデータのモデル化には実際的な困難はありません。応答曲面モデルを当てはめると、この曲線の挙動、二次効果、因子間の相互作用も重要であることがわかります。 |
| それでは、SVEM アプローチを使用してこれをモデル化する方法を見てみましょう。 |
| したがって、SVEM を使用してこれをモデル化すると、最初に気づくのは、データが 30 行あるため、実際にはデータの各行を複製しているということですが、これは少しおかしなことだと思われるかもしれません。 不正行為のように見えるかもしれません。 これは SVEM 方法論における重要なトリックです。 |
| ここには追加の列がいくつかあることがわかりますが、重要な列はこの検証の重みです。 それが何を意味するのかを理解できるように、それをプロットしてみましょう。 |
| データの各行、実行ごとに、実際には実行のペアがあることがわかります。つまり、実行番号 1 がここに表示されます。 |
| 実際には、これらの実行のそれぞれを、トレーニング セット (0) または検証セット (1) のいずれかに重み付けしています。 そして、各ペアでそれがわかります |
| それらの重み付けは反比例します。 たとえば、ここで実行番号 7 は、トレーニングで大きな重み付けがあり、検証セットがゼロであり、それに応じて検証セットでは低い重み付けが行われていることがわかります。 |
| これらがランダムに割り当てられたので、次のことが可能になります... |
| ここをクリックすると、それらを再描画できるので、重みを再割り当てできます。 また、行のトレーニング セットでの重みが大きい場合、たとえば、行番号 6 がトレーニング セットでの重みが大きい場合、検証セットではそれに応じて重みが低くなります。 |
| したがって、ここではデータ行を 2 倍にしています。 |
| そしてこれを自己検証に使用します。 したがって、実際にできることは、ホールドバック検証のバリアントを使用することです。 |
| データの行を検証セットに完全に保持するのではなく、データの各行の一部を保持して、各行が実際にトレーニング セットと検証セット内に存在できるようにします。そして重要なことに、それらの重みを再割り当てできます |
| アンサンブル モデリングに関しては、これを繰り返します。 |
| さて、要約すると、基本的にデータの各行を再複製し、一部の行はトレーニングに多く含まれ、一部の行はよりトレーニングに含まれるように重みを割り当てています。検証セット。 |
| これで、検証を使用してモデルを適合できるようになりました。 |
| ここでは GenReg を使用していますが、検証セットを使用していることがわかります (そこでのエラー メッセージは無視してください)。 |
| Lasso を使用し、モデルの選択として検証を使用しています。 そして、この場合、実際にはモデル内のアクティブなエフェクトが選択されていません。 したがって、応答曲面モデルに適合し、なげなわを使用して検証を選択方法として使用しました。 |
| 実際にアクティブなエフェクトはないと判断したため、事実上アクティブな影響を持たないモデルが得られます。 |
| その後、それらの重みを再度再描画して、列の重みを再設定できるようになります。 |
| そして、今回は異なるモデルが得られることがわかります。 したがって、実際にはいくつかの効果が活性化するため、シリカと硫黄の間の相互作用においてシリカが活性化します。 |
| そのモデルを保存しましょう。 |
| それで今、私たちと一緒に |
| データ テーブルを見ると、そこに保存されたモデル式列があることがわかります。 |
| これらの重みをもう一度再描画してみましょう。 そこで、再度、一部の行がトレーニングに重点を置き、一部の行が検証に重点を置くように、それらを再描画します。 |
| そして、また別のモデルを取得したので、それを保存しましょう。 それで、今は |
| 2 行...2 列に予測式が保存されています。 |
| そしてまたそれができるのです。 そこで重みを再描画して予測式を保存します。 それを行うスクリプトを用意しました。 そして実際にこのモデルの平均を作成するので、実際に 3 つの保存されたモデルの平均をとったことになります。 |
| したがって、個々のモデルはそれぞれ異なる検証の重み付けを使用しました。 |
| 各モデルは異なり、いくつかは他のモデルよりも優れていました。 重要な点は、それらを合計して平均すると、 |
| それらの平均がこれまでの最高のモデルです。 これは実際に、標準的な方法を使用して標準のモデルに適合させた元のモデルに非常に近いことがわかります... |
| 元のデータセット。 |
| そして私たちはこれを続けることができます。 これを10回繰り返すことができるので、繰り返してみましょう。 そして、重みを再描画していることがわかります。毎回少しずつ異なるモデルが得られます。 |
| そして、それらの異なるモデルをそれぞれ保存することができます。 |
| そして最終的には、おそらく最良のモデルとなる平均値が得られます。 |
| そして実際、このデータの標準分析から得られた元のモデルとそれを比較すると、 |
| 2 つのモデルが実際に非常によく一致していることがわかります。 |
| したがって、この場合、この自己検証されたアンサンブル モデリングを使用すると、標準的なモデルを使用して得られるのと同じモデルが実際に得られます。 |
| 線形回帰。 |
| そこでここで見てきたことの重要なポイントを見ていきたいと思います。 そして、私が言ったように、私たちはピートとトレントに進み、この斬新なモデリング技術を使用したい動機を説明します。 |
| 私たちが行ったのは、元のデータ行を複製したことです。 |
| これが意味するのは、ランダムな重み付けを適用して、各行ペアのどれだけがトレーニング中か検証中であるかを示すことができるということです。 |
| これにより、検証を使用できるようになります。 このような小さなデータセットにはそれを使用できません。 データの行を完全に保持することは意味がありませんが、この複製されたセットで何ができるか |
| 重み付けされた検証を行うことです。 したがって、この場合はなげなわ選択を使用してモデルを近似し、そのなげなわ選択がこの重み付き検証列を利用しました。 |
| 次に、それらの重みを再描画します。 これらの行ペアに再度ランダムに異なる重みを割り当て、モデルを再適合します。 そして、私たちの場合、これを 10 ～ 15 回繰り返しましたが、実際には、適切な自己検証されたアンサンブル モデルを取得するには、このプロセスを 100 回以上繰り返す必要があります。 |
| そして、各モデルはそれ自体です...その反復プロセスの各ステップの個々のモデルは特に有用ではありませんが、モデルの平均またはアンサンブルは、最終モデルで見たように、それらの反復すべての平均として達成されました。 。 |
| それで、今度はピートにそれを渡したいと思います。そして、彼は今からケーススタディを通して話すつもりです。それは実際に、なぜこのようなデータのモデリングにこの珍しい方法を使用したいのかを示しています。 |
| ピーター・ハーシュ | ありがとう、フィル。 ここで画面を共有します。 |
| では、どのような場合にそうなるのか例を見てみましょう。 |
| この方法を使用します。 それで私はここにいます |
| まず結果から見ていきます。つまり、非常に小さな DOE、つまり 3 つの因子を持つ 6 実行、8 実行、10 実行 DOE であるいくつかの設計を検討します。 |
| これらは本質的に超飽和から飽和までの応答曲面設計であり、すべて私が最適化した設計であるため、実行回数は非常に少ないです |
| ここでの目標を達成するために。 それで、ここが私たちが行くところです。 それでは、話を戻してデザインについて、そしてここに至るまでの経緯について話しましょう。 |
| それで。 |
| これは、さまざまな栄養素の組み合わせを調整することで微生物の増殖速度を最大化しようとしているケーススタディです。 前に述べたように、超飽和 I 最適設計を使用し、実行数を調整しています。 |
| これはシミュレートされたデータであり、すべての主効果とすべての二次関数が有効になっています。 |
| これをどのように設定したかというと、まずは 3 つの要素から始めました。 私はモデルをデザインしました。 これまでに JMP で飽和または超飽和デザインをデザインしたことがない場合は、 |
| その方法は、メイン エフェクトではないエフェクトを可能な限り処理することです。これにより、モデル エフェクトと同じ実行回数または実行回数を減らすことができます。 そこで私はデザインを生成しました。 |
| そして、フィルがそこで非常に美しく説明した、データをリサンプリングし、このプロセスの鍵となる逆比例の重みを取得するこのプロセスを経ました。 |
| すでにいくつかの会談が行われており、それらの QR コードを持っています。 |
| この手法は Chris Gotwalt と Phil Ramsey によって開発され、以前のいくつかの講演でこの手法を紹介しました。 そしてこれが最後 |
| QR コードは、古いバージョンの JMP でこの検証列を設定するアドインでした。 JMP 16 以降では、ソフトウェアでネイティブにこれを行うことができますが、JMP 15 を使用している場合は、このアドイン設定を使用する必要があります。 |
| そして、フィルが言ったように、 |
| 個々のモデルはデータにあまりよく適合しない可能性があり、一部は問題なく適合しますが、一部には項がありません。 |
| ただし、これはここでの例を説明しているだけであり、個々のモデルを確認できます。 一部は単なる切片であり、いくつかはかなり適合度が低く、時折モデルが非常にうまく機能します。 |
| そして、これは Phil が説明したとおりであり、これらのそれぞれには異なる再計算された重みがあります。 それで、少し異なるモデルを取得したので、先に進んでそれらを保存します。 それが最初のステップです。 |
| そして次のステップでは、これらのモデルを平均化します。 ご覧のとおり、これらのモデルを平均化し、モデルの数が増えるにつれて、モデルの適合性はますます良くなります。 したがって、個々のモデルは優れているわけではありませんが、全体的な平均モデルは良好な適合性を示します。 |
| そして私が話したかった最後のステップは、これらのモデルには本質的に偏りがあるということです。 Phil が作った最初のモデルで見たように、そこにはアクティブなエフェクトはありませんでした。 それで |
| モデルでモデルまたは変数の選択手法を実行していると、その特定の変数が入力されないモデルが得られることがあります。 |
| したがって、これらの分布を見てみると、次のことがわかります。 |
| これらはすべてアクティブな効果で、効果サイズである 5 付近の分布がありますが、ここの下に 0 を示すバーもあります。 |
| したがって、これを相殺するために 0 を取得するほど効果を過大評価するつもりはありません。そのため、これはより低い値に偏ることになります。 |
| これらのモデルのバイアスを軽減するためのちょっとしたトリックです。 |
| このモデルを最小二乗モデルだけの予測子として扱うと、それらのバイアスが除去されます。その方法を説明するためにこのプロセスを順を追って説明します。 |
| しかし最終的には、非常に少ない実行回数で共有した非常に素晴らしい結果が得られました。 SVEM を使用する動機は、この手法を使用しない場合よりも少ない実行で適切なモデルを予測して作成できることです。 |
| さて、ここで JMP に移動しましょう |
| と |
| そのプロセスをたどります。 |
| さて、これが私が示した例の 6 回実行 DOE です。ここには 3 つの要素と成長率が示されています。 そしてこれはモデルを構築した後です。 |
| こんな感じで今は通過して走ってきました。 つまり、6 回の実行と 6 回の結果が得られました。 次のステップは検証列を作成することです。これを JMP 内で行うには、予測モデリングを分析するだけです。 |
| 検証列を作成し、検証列の代わりに自動検証テーブルを作成します。 |
| さて、これが私がこれをやった方法です。 私はすでにそれを経験し、実行したので、このプロセスを繰り返すつもりはありません。 |
| しかし、ここにあるのは、Phil が実証したように、再サンプリングされたデータと逆相関した重みを含むデータです。 反復実行の低重量に加えて高重量が得られます。 それが完了したら、モデルを検討して作成します。 |
| この場合、GenReg モデルを使用しており、変数選択手法の 1 つを選択したいと考えています。 それで、これを実行すると、前方選択なげなわのようなことをしたいと思います |
| または、それらの選択テクニックの 1 つ。 そしてトレントは、それらの選択テクニックと彼らが調査したものについてさらに詳しく説明する予定です。 |
| モデルを実行した後、JMP が処理を実行し、アクティブなエフェクトをいくつか選択したことがわかります。 一部抜粋しましたが、こちらからご覧いただけます |
| 私たちが見ているバイアスでは、これらの主効果が両方とも有効であるはずですが、結果は 0 になっています。 これをデータテーブルに保存すると、 |
| Phil が示したように新しい列を作成し、その重みを再計算して何度も繰り返します。 これを 100 回実行する簡単なスクリプトを次に示します。 |
| 喜んで共有させていただきます。 これは非常に簡単で、スクリプト、モデル スクリプトをコピーしてここに貼り付けるだけで、ここで行ったことを再現できます。 |
| さて、これが最終結果です。DOE と結果を検討した結果、 |
| 私が保存した 100 個のモデル |
| そしてここに隠れています。 そして最終モデルは、 |
| これらのモデルすべて 100 の平均。 そして、私たちがやりたい最後のステップは、バイアスを取り除くステップです。 だから私たちがやることはこれを治療することだけです |
| 成長率の予測変数としての平均モデル。 |
| ここで、私たちが持っているオリジナルのモデルを見ることができます |
| かなり急な傾斜があるため、適切な R の二乗が得られますが、期待していたほど良くはありません。 つまり、6 回の実行でもこれは...6 回の実行はかなり適切ですが、 |
| その偏見を取り除くことができれば、もう少し改善できるかもしれません。 本当にシンプルなセットアップ。 成長率だけを取ります。 私たちの返答は Y です。 を追加します。 |
| ここのアンサンブル モデルは、それらすべての平均です |
| 個々のモデルを予測変数として使用します。 これを実行すると結果が得られ、予測されたプロットよりも実際の値がはるかに優れていることがわかります。 そこで比較してみると、そのバイアスを取り除くことがプラスの方向に大きな効果をもたらしていることがわかります。 |
| そうです、トレントに返す前に、もう 1 枚見せておきたかったのです。 |
| ここのスライドは基本的に単なる要約です |
| 私たちが... (タスクバーを紛失してしまいました)...これを使用することを強くお勧めします。 |
| このテクニックをチェックしてみてください。ただし、これはあらゆる状況で常に機能する魔法のテクニックではありません。 しかし、デザインのスクリーニングなどでこれをチェックする場合、これは非常に優れたテクニックになる可能性があります。 |
| 標準のモデリング手法では不可能な可能性のあることを達成するのに役立ちます。 それで、それをトレントに渡します。 |
| これがどのように行われるかについてもう少し詳しく説明します。 |
| そこにある情報。 それで、トレント、それを奪いたいのですか？ |
| トレント・レムカス | はい、ありがとう、ピーター。 感謝しています。 |
| それで |
| 私は私のものを共有しています |
| PDF。 それが実際に共有されていて、誰もがそれを見ることができることを確認したいだけです。 |
| ピーター・ハーシュ | はい。 |
| トレント・レムカス | わかりました、素晴らしいです。 それで |
| Phil と Peter が発表したように、ケーススタディが紹介されました。これは、SVEM の威力と、いつ、なぜ SVEM を使用するかを示す驚異的な逸話だと思います。 |
| 現在査読プロセス中の研究論文に対して私たちが行ったことは、SVEM が予測設定でどのように機能するかを経験的に確認するために、膨大な量のシミュレーション研究を実施したことです。 それで |
| 次は...一連のスライドをお見せします。 少し退屈で無味乾燥だと思われるかもしれませんが、詳細について話し合うことは不可欠だと思います |
| もう少し面白いことに入る前に、これは私たちがどのように使用したかの例です... |
| JMP、JSL をどのように使用したか、例としてシミュレーションを実行した方法を説明し、出力の一部と結果がどのようになるかを示します。 |
| したがって、何よりもまず、私たちのシミュレーション研究の概要と目標は主に次のとおりでした。 |
| 私たちは現実世界のシミュレーション アーキテクチャを作成したいと考えていました。 そのため、私たちはシミュレーションで現実世界の工業用 DOE を人間が可能な限り近づけて模倣したいと考えました。 |
| 次に、純粋な予測に主に焦点を当てた場合に、現代のモデル構築または現代のモデル選択手法、および SVEM がどのように機能するかを確認したいと思いました。 |
| 簡潔でシンプル。 そこで私たちは、モデルを設計に適合させるとき、真理またはデータのホールドアウト セット、つまり、失礼を承知でデータをどのように予測するのかを知りたかったのです。 |
| これから、これらのユニークな実行を計算上可能な限り何度でもシミュレートできれば、現実世界と同じように推論したいと考えています...現実世界の結果にできるだけ近いものを推論したいと考えています。できる |
| SVEM はまだ初期段階にあるため、設定と SVEM をどこでどのように使用するかを規定します。 |
| それでは、何よりもまず、シミュレーションではどのようなデザインを使用したのでしょうか? 最終的なスクリーニング設計を使用しました |
| そして、私たちの設計の基礎となる真の生成モデルが完全な 2 次モデル、または口語的には 2 次モデルとして知られるボックス ベンケン設計を使用しました。 これらのデザインを選択した理由は、A) 最終的なスクリーニング デザインでは、 |
| 主効果が増えるほど、モデルは飽和し、さらに超飽和になります。これは、主効果が高くなるほど、自由度がはるかに少なくなることを意味します。 一方、私たちが使用したメインエフェクトを備えたボックスベンケンデザインでは、 |
| そのシナリオに遭遇することはありません。 つまり、... 2 つのシナリオを並置し、片手で |
| ボックス ベンケン計画では、モデル選択手法を適用するときに係数を推定するための十分な自由度があり、最終的なスクリーニング設計のケースでは、ほぼ |
| ほとんどの場合、設計が飽和しすぎていたため、自由度が不十分でした。 つまり、簡単に言えば、 |
| 前方選択、なげなわ、Dantzig セレクターなど、最新のモデル構築手法を使用した場合のすべての効果を推定することはできませんでした。 |
| これにより、シミュレーションに使用した実際のモデル アルゴリズムがわかります。 SVEM モデルの場合、次のことに留意してください。 |
| SVEM が何なのかをよく理解していない場合は、Peter が言及していた以前のプレゼンテーションのいくつかに戻ることが非常に重要です。 |
| ただし、前方選択、前方枝刈り、Lasso などの基礎となるモデル構築手法とともに SVEM を使用する必要があり、これがシミュレーション研究に使用されます。 |
| 非 SVEM モデルのケースでは、同じモデル構築アルゴリズムを使用しますが、DOE で非常に人気のある Dantzig Selector も組み込みました。 |
| 同様に、最終スクリーニングにのみ関係する適合最終スクリーニング設計。他のデザインでは使用されません。 |
| さらに、AICc または修正 AIC と呼ばれる情報基準を使用します。これは DOE では非常に一般的ですが、実際には非常に倹約的なモデルを選択することで非常に悪名高いものです。 |
| ご覧のとおり、私たちは工業用 DOE の使用に非常に現代的な技術を取り入れようとしています。これは、最初のスライドで示した核心部分にこだわっています。 |
| 私たちは、シミュレーション研究で人間ができる限り現実世界を模倣したいと考えています。そうすれば、これらを経験的なものにすることができます... |
| そのため、これらのさまざまなモデル構築アルゴリズムがどのように予測的に実行されるかを経験的に評価できます。 そしてうまくいけば、SVEM が競合他社より優れたパフォーマンスを発揮するか、それを実証的に示すことができます。 |
| そのため、実際のシミュレーション構造については、モデル構築アルゴリズムごとに 1,000 回のシミュレーションを実行しました。 たとえば、フォワード モデルを AICc でフィッティングする場合、次のようになります。 |
| 1,000 回の実行ごとに真のモデル、真実を生成し、それにノイズを追加します。 |
| ガウス ノイズ (これは学術界や研究の現場で非常に一般的です)、 |
| これにより、必要に応じてトレーニング セットと真理セットを作成し、モデルを当てはめた後、そのモデルが真理に対してどのように予測するかを確認できるようになります。 そして、それらのデータセットをランダムに 1,000 回再実行して再生成します。 |
| SVEM ハイパーパラメータについては説明しませんが、nBoot として 200 を使用しました。 簡単に言えば、基本的に 200 のモデルをフィッティングし、それらのモデルを平均して最終的な SVEM モデルを生成しています。 |
| 設計はいくつかの機能にわたって繰り返されました。 したがって、主効果の数は |
| 最終的なスクリーニング計画では、4 つの主効果と 8 つの主効果がありました。 ボックスベンケン設計では、 |
| 3つの主効果と5つの主効果。 これが意味するのは、ほんの一例を挙げると、DSD の場合です。たとえば、K が 8 の場合、8 つの主効果があります。 完全な 2 次モデルがある場合、 |
