スピーカー | トランスクリプト |
| ジョーダン・ヒラー | 外出。 |
| フィルケイ | さて、まあ、ご参加いただきありがとうございます。 フィル・ケイです。 私はJMPの学習マネージャーであり、自己検証型アンサンブルモデリングであるSVEMのインタラクティブな例でこのプレゼンテーションを開始します。 |
| SVEMとは何か、そしてそれがどのように機能するかのメカニズムについて説明し、次にピートとトレントが例を共有します。 |
| ケーススタディとシミュレーション。これは、なぜこれを実行したいかを実際に説明しています。 私はこれを上に提示するつもりです |
| 非常に単純なケーススタディなので、最初は理由がわからないかもしれません...なぜこれを実行したいかは明確ではないように思われるかもしれませんが、これを説明した後でメカニズムを理解できることを願っています。 |
| では、ビデオを停止して、ここでソフトウェアのデモンストレーションに集中します。 |
| ここにJMPジャーナルがあり、これを共有しているので、Community.JMP.comのJMPコミュニティの投稿からアクセスできます。 |
| そして、使用する例は、古典的なDOEの例です。 これは、JMPのヘルプファイルから取得できるバウンスデータです。 |
| つまり、15回の実行という3つの要素です。 それはBox-Behnkenのデザインであり、そこに応答があります。それはストレッチなので、非常に単純で、標準的です。 |
| 伝統的な昔ながらのDOE。 |
| そして、このデータをモデル化することに実際の課題はありません。応答曲面モデルに適合して、この曲線の振る舞い、この2次効果、および因子間の相互作用も重要であることがわかります。 |
| それでは、SVEMアプローチを使用してこれをモデル化する方法を見てみましょう。 |
| したがって、SVEMを使用してこれをモデル化する場合、最初に気付くのは、30行のデータがあるため、実際には各行のデータを複製したことです。これは少しおかしなことに思えるかもしれません。 不正行為のように見えるかもしれません。 これは、SVEM方法論の重要なトリックです。 |
| ここにいくつかの追加の列があることがわかります。重要なのはこの検証の重みです。 それで、それが何を意味するのかがわかるように、それをプロットしてみましょう。 |
| つまり、データの各行、各実行について、実際には実行のペアがあることがわかります。したがって、実行番号1は、ここで確認できます。 |
| 実際には、これらの各実行を、ゼロのトレーニングセット、または1の検証セットのいずれかに重み付けしています。 そして、あなたは各ペアについてそれを見ることができます |
| これらの重みは反比例します。 したがって、たとえば、ここで番号7を実行すると、トレーニングで大きな重みがあり、検証セットがゼロであり、それに応じて検証セットで低い重みが付けられていることがわかります。 |
| 今、それらはランダムに割り当てられており、私たちは... |
| ここをクリックすると、それらを再描画できるので、重みを再割り当てできます。 また、行の重みがトレーニングセットで重い場合、たとえば、ここの行番号6の重みがトレーニングセットで重い場合、それに応じて検証セットの重みも低くなります。 |
| したがって、ここではデータの行を2倍にします。 |
| そして、これを自己検証に使用します。 つまり、実際にできることは、ホールドバック検証でバリアントを使用できることです。 |
| データの行を検証セットに完全に保持する代わりに、データの各行の一部を保持して、各行が実際にトレーニングセットと検証セット内に収まるようにします。重要なのは、それらの重みを再割り当てできます |
| アンサンブルモデリングに関しては、繰り返し実行されます。 |
| さて、要約すると...基本的にデータの各行を複製し、いくつかの行がトレーニングでより多くなり、いくつかの行がより多くなるように重みを割り当てます。検証セット。 |
| これで、検証を使用してモデルを適合させることができます。 |
| したがって、ここではGenRegを使用しており、検証セットを使用していることがわかります（エラーメッセージは無視してください）。 |
| ラッソを使用しており、モデル選択として検証を使用しています。 そして、この場合、実際にはモデル内のアクティブなエフェクトは選択されていません。 したがって、応答曲面モデルに適合し、なげなわを使用して、選択の方法として検証を使用しました。 |
| 実際にアクティブなエフェクトはないと判断したため、アクティブな影響が実質的にないモデルがあります。 |
| 次にできることは、これらの重みを再度描画して、列の重みを再設定できるようにすることです。 |
| ご覧のとおり、今回は別のモデルを取得します。 つまり、実際にはいくつかの効果がアクティブになり、シリカと硫黄の間のこの相互作用でシリカがアクティブになります。 |
| そのモデルを保存しましょう。 |
| だから今、私たちと |
| データテーブルを見ると、そこに保存されたモデル式の列があることがわかります。 |
| それらのウェイトをもう一度描き直してみましょう。 そのため、ここでも、行の一部がトレーニングでより多く、一部が検証でより多くなるように、それらを再描画しています。 |
| そして、また別のモデルを入手したので、それを保存しましょう。 だから私たちは今持っています |
| 2行... 2列に保存された予測式。 |
| そして、私たちはそれを再び行うことができます。 そこで、重みを再描画して、予測式を保存します。 それを実行するスクリプトがあります。 そして実際にこのモデル平均を作成するので、保存された3つのモデルを実際に平均しました。 |
| そのため、個々のモデルはそれぞれ異なる検証の重み付けを使用しました。 |
| 各モデルは異なり、いくつかは他よりも優れていました。 重要な点は、それらを平均すると、 |
| それらの平均はこれまでのところ最高のモデルです。 したがって、これは実際には、標準の標準的な方法を使用して適合させた元のモデルに非常に近いように見えます... |
| 元のデータセット。 |
| そして、私たちはこれを続けることができます。 これは10回以上実行できるので、繰り返します。 そして、ウェイトの再描画を見ることができます。少しずつ異なるモデルを取得するたびに。 |
| そして、それらの異なるモデルのそれぞれを保存することができます。 |
| そして最終的には、おそらく最良のモデルである平均になります。 |
| 実際、これをこのデータの標準分析から見た元のモデルと比較すると、 |
| 2つのモデルが実際にはかなり密接に一致していることがわかります。 |
| したがって、この場合、この自己検証されたアンサンブルモデリングを使用すると、標準を使用した場合と同じモデルに実際に到達します。 |
| 線形回帰。 |
| だから私はあなたがそこで見たものの要点を調べたいと思います。 そして、私が言うように、私たちはピートとトレントに行きます。彼らはこの新しいモデリング技術を使いたいと思う動機を説明します。 |
| 私たちが行ったことは、データの元の行を複製することでした。 |
| つまり、ランダムな重み付けを適用して、トレーニングと検証で各行ペアがどれだけあるかを示すことができます。 |
| これにより、検証を使用できるようになります。 このような小さなデータセットには使用できません。 データの行を完全に保持することは意味がありませんが、この複製されたセットで何ができるか |
| 加重検証を行うことです。 したがって、この場合はなげなわ選択を使用してモデルを適合させ、なげなわ選択はこの加重検証列を使用しました。 |
| 次に、それらの重みを再描画します。 これらの行ペアに再度ランダムに異なる重みを割り当て、モデルを再適合させます。 そして、私たちの場合、これを10〜15回繰り返しましたが、実際には、適切な自己検証済みアンサンブルモデルを取得するには、このプロセスを100回以上繰り返したいと思います。 |
| そして、各モデルはそれ自体です...その反復プロセスの各ステップでの個々のモデルは特に有用ではありませんが、モデルの平均またはアンサンブルは、これらすべての反復の平均として達成した最終モデルで見たように、有用です。 |
| それで、今私はそれをピートに引き渡したいと思います、そして彼は今ケーススタディを通して話すつもりです、それはあなたがこのようなデータをモデル化するためにこの珍しい方法を使いたい理由を実際に説明します。 |
| ピーターハーシュ | フィル、ありがとう。 ここで画面を共有します。 |
| そして、私たちがいつかもしれないかについての例を見てみましょう |
| この方法を使用してください。 だからここに私は |
| 最初に結果を確認するため、非常に小さいDOEであるいくつかの設計を検討します。つまり、3つの要素を使用して、6実行、8実行、および10実行のDOEです。 |
| そして、これらは本質的に超飽和から飽和までの応答曲面設計であり、すべて私が最適な設計であるため、これらは非常に少数の実行です。 |
| ここで私たちの目標を達成するために。 これが私たちが行くところです。 それでは、バックアップして、デザインについて、そしてどのようにしてここにたどり着いたかについて話しましょう。 |
| そう。 |
| これは、さまざまな栄養素の組み合わせを調整することにより、微生物の成長速度を最大化しようとしているケーススタディです。 そして、前に述べたように、私たちは超飽和I最適設計を使用しており、実行回数を調整しています。 |
| そして、これはシミュレートされたデータであり、すべての主効果とすべての2次方程式がアクティブになっています。 |
| それで、これがどのように設定されたか、私たちは3つの要素から始めました。 モデルをデザインしました。 これまでにJMPで飽和または超飽和設計を設計したことがない場合は、 |
| そのための方法は、主な効果ではない効果を可能な限り処理することです。これにより、モデル効果と同じように、実行回数を減らしたり、実行回数を減らしたりすることができます。 そこで、そこでデザインを生成しました。 |
| そして、Philがデータをリサンプリングし、それらを反転させることについて非常に美しく説明したこのプロセスを経ました...このプロセスの鍵となる逆比例の重み。 |
| いくつかの話がありましたが、QRコードを持っています。 |
| このテクニックはChrisGotwaltとPhilRamseyによって開発され、彼らは以前のいくつかの講演でこのテクニックを紹介しました。 そしてこれが最後 |
| QRコードは、古いバージョンのJMPでこの検証列を設定するアドインでした。 JMP 16以降、ソフトウェアでネイティブに実行できますが、JMP 15を使用している場合は、このアドインセットアップを使用する必要があります。 |
| そしてフィルが言ったように、 |
| 個々のモデルはデータにうまく適合しない可能性があり、問題なく適合するものもあれば、用語がないものもあります。 |
| ただし、これは、個々のモデルを確認できるここの例を示しているだけです。 いくつかは単なる切片であり、いくつかはかなり適合性が低く、時折のモデルはかなりうまくいきます。 |
| そして、これはPhilが説明したように、これらのそれぞれが異なる再計算された重みを持っています。 そのため、わずかに異なるモデルを取得し、それらを保存します。 それが最初のステップです。 |
| そして次のステップは、それらのモデルを平均化することです。 ご覧のとおり、これらのモデルを平均すると、モデルが増えるにつれて、モデルの適合度はどんどん良くなります。 したがって、個々のモデルは素晴らしいものではありませんが、全体的な平均モデルは私たちにその良い適合を与えます。 |
| そして、私が話したかった最後のステップは、これらのモデルが本質的に偏っていることでした。 フィルが作った最初のモデルで見たように、そこにはアクティブな効果はありませんでした。 そう |
| モデルを使用してモデルまたは変数選択手法を実行している場合、その特定の変数が入力されないモデルを取得することがあります。 |
| したがって、これらの分布をここで見ると、次のことがわかります。 |
| これらはすべてアクティブな効果であり、効果サイズである5前後の分布がありますが、ここには0のこのバーもあります。 |
| したがって、これを相殺するために0を取得するたびに効果を過大評価することはないので、これはより低い値にバイアスされるので、 |
| これらのモデルをデバイアスするためのちょっとしたトリック。 |
| このモデルを最小二乗モデルの予測子として扱います。これにより、これらのバイアスが取り除かれます。このプロセスを順を追って説明し、それがどのように行われるかを示します。 |
| しかし、最終的には、非常に少数の実行で共有した非常に優れた結果が得られます。 したがって、SVEMを使用する理由の一種は、この手法を使用しない場合よりも少ない実行で適切なモデルを予測して作成できることです。 |
| では、ここでJMPにアクセスしましょう。 |
| と |
| そのプロセスをウォークスルーします。 |
| さて、これが私が示したその例の6回の実行DOEです。ここには、3つの要素と成長率があります。 そして、これはモデルを作成した後です。 |
| これはそれがどのように見えるかであり、私たちは今通り抜けて実行しました。 つまり、6回の実行と6回の結果があります。 次のステップは、その検証列を作成することです。これをJMP内で行うには、予測モデリングを分析します。 |
| 検証列を作成してから、検証列の代わりに自動検証テーブルを作成します。 |
| さて、それで私はこれを行った方法です。 私はすでにそれを行って行ったので、このプロセスを繰り返すことはしません。 |
| しかし、Philが示したように、再サンプリングされたデータと逆相関の重みを持つデータがここにあります。 繰り返し実行の重みが低いことと相まって、重みが高くなっています。 それが終わったら、モデルを作成します。 |
| この場合、私はGenRegモデルを使用しており、変数選択手法の1つを選択したいと考えています。 だから私が先に進んでこれを実行するなら、私はフォワードセレクションラッソのようなことをしたいです |
| またはまたはそれらの選択手法の1つ。 そして、トレントはそれらの選択手法と彼らが調査した手法についてさらに詳しく説明します。 |
| したがって、モデルを実行した後、JMPが実行され、アクティブないくつかのエフェクトが選択されていることがわかります。 いくつか捕まえましたが、ここで見ることができます |
| これらの主な効果の両方がアクティブであるはずですが、それらは0として出てきました。 したがって、これをデータテーブルに保存すると、 |
| Philが示したような新しい列を作成してから、その重みを再計算して、何度も繰り返します。 これを100回実行する簡単なスクリプトを次に示します。 |
| これを喜んで共有します。 これは、スクリプトとモデルスクリプトをコピーしてここに貼り付けるだけで、ここで行ったことを再現するのが非常に簡単です。 |
| さて、これが最終結果です。DOEと結果を確認した後、次のようになります。 |
| 私が保存した100モデル |
| ここに隠されています。 そして最終モデルは |
| これらのモデルの100個すべての平均。 そして、私たちがやりたい最後のステップは、そのバイアス除去ステップです。 だから私たちがやろうとしているのはこれを扱うことだけです |
| 成長率の予測因子としての平均モデル。 |
| ここで、私たちが持っている元のモデルを見ることができます |
| 傾斜がかなり急なので、決定係数はまともですが、思ったほど良くはありません。 つまり、6回の実行でも、これは... 6回の実行はかなり適していますが、 |
| その偏見を取り除くことができれば、もう少しうまくやれるかもしれません。 とても簡単なセットアップ。 成長率をとるだけです。 私たちの応答は私たちのYです。 追加します |
| ここでのアンサンブルモデル、それらすべての平均 |
| 予測子としての個々のモデル。 これを実行すると結果が得られます。予測されたプロットから、実際の方がはるかに優れていることがわかります。 そこで比較を行うと、そのバイアスを取り除くことがプラスの方向に大きな影響を与えることがわかります。 |
| トレントに返す前に、もう1つ見せたかったのです。 |
| ここにスライドします。これは基本的に |
| 私たち... （タスクバーが失われました）...皆さんに使用することを強くお勧めします |
| このテクニックをチェックしてください。しかし、それはあらゆる状況で常に機能する魔法のテクニックではありません。 しかし、デザインのスクリーニングなどでこれをチェックしているとき、これは非常に優れたテクニックになる可能性があります。 |
| 標準のモデリング手法では達成できなかった可能性のあることを達成するのに役立ちます。 そしてそれで、私はそれを持っているトレントに渡すつもりです |
| これがどのように行われるか、そして |
| そこに情報。 それでトレント、あなたはそれを奪いたいですか？ |
| トレント・レムクス | はい、ありがとう、ピーター。 感謝します。 |
| そう |
| 私は私を共有しています |
| PDF。 それが実際に共有されており、誰もがそれを見ることができることを確認したいだけです。 |
| ピーターハーシュ | うん。 |
| トレント・レムクス | 大丈夫素晴らしい。 そう |
| PhilとPeterが発表したように、ケーススタディを発表しました。これは、SVEMの威力と、SVEMを使用する時期と理由を示す驚異的な逸話だと思います。 |
| 現在ピアレビュープロセスの下にある私たちの研究論文のために私たちがしたことは、SVEMが予測設定でどのように機能するかを経験的に確認するために、膨大な量のシミュレーション研究を実施したことです。 そう |
| 次は...これから紹介する一連のスライドがあります。 少し退屈で乾燥しているように見えるかもしれませんが、詳細について話し合うことが不可欠だと思います |
| もう少し面白いものに入る前に、それは私たちがどのように使用したかの例です... |
| JMP、JSLの使用方法、シミュレーションの実行方法を例として、出力の一部と結果を示します。 |
| したがって、何よりもまず、シミュレーション研究の概要と目標は主に |
| 実世界のシミュレーションアーキテクチャを作成したかったのです。 そのため、シミュレーションで実際の産業用DOEをできるだけ人間に近い形で模倣する必要がありました。 |
| 次に、主に純粋な予測に焦点を当てた場合に、現代のモデル構築または現代のモデル選択手法、およびSVEMがどのように機能するかを確認したいと思いました。 |
| 簡潔でシンプル。 そのため、モデルを設計に適合させるとき、それが真実またはホールドアウトのデータセットをどのように予測するか、または私のアクセントであるデータを言い訳するかを確認したかったのです。 |
| そして、このことから、これらの一意の実行を計算上実行可能な回数だけシミュレートできる場合は、現実世界の推論を可能な限り行いたい...現実世界の結果を可能な限り推論して、できる |
| SVEMは非常に初期段階にあるため、設定とSVEMの使用場所と使用方法を規定します。 |
| では、何よりもまず、シミュレーションでどのデザインを使用したのでしょうか。 決定的なスクリーニングデザインを使用しました |
| そして、私たちのデザインの基礎となる真の生成モデルが完全な2次モデル、またはより口語的に2次モデルとして知られているBox-Behnkenデザインを使用しました。 そして、私たちがこれらのデザインを選んだ理由は、A）決定的なスクリーニングデザインのために、 |
| 主効果が多いほど、モデルは飽和状態になり、次に超飽和状態になります。つまり、主効果が高くなるほど、自由度がはるかに低くなります。 Box-Behnkenのデザインでは、主な効果を使用しましたが、 |
| そのシナリオに遭遇することはありません。 つまり、2つのシナリオが並置されており、一方のシナリオでは |
| Box-Behnken設計では、モデル選択手法を適用するときに係数を推定するための十分な自由度があります。最終的なスクリーニング設計の場合、ほぼ次のようになります。 |
| ほとんどの場合、設計は非常に飽和しているため、自由度が不十分でした。 つまり、簡単に言えば、 |
| 投げ縄、ダンツィーグセレクターなどのフォワードセレクションなど、現代のモデル構築手法を使用した場合のすべての効果を推定することはできませんでした。 |
| これにより、シミュレーションに使用した実際のモデルアルゴリズムがわかります。 したがって、SVEMモデルの場合は、次の点に注意してください... |
| SVEMが何であるかをよく理解していない場合は、ピーターが言及していた以前のプレゼンテーションのいくつかに戻ることが非常に重要です。 |
| ただし、SVEMは、前方選択、剪定前方、ラッソなどの基礎となるモデル構築手法とともに使用する必要があります。これは、シミュレーション研究に使用するものです。 |
| SVEM以外のモデルの場合、同じモデル構築アルゴリズムを使用しますが、DOEで非常に人気のあるDantzigSelectorも組み込んでいます。 |
| また、最終的なスクリーニングにのみ密接に関係する、適切な最終的なスクリーニング設計。他のデザインでは使用されていません。 |
| さらに、AICcまたは修正されたAICと呼ばれる情報量基準を使用します。これは、DOEで非常に一般的であり、実際には非常に倹約的なモデルを選択することで非常に有名です。 |
| ご覧のとおり、私たちは、最初のスライドで示したコア...コアポイントに固執している産業用DOEの使用に非常に最新の現代的な技術を取り入れようとしています。 |
| シミュレーション研究で人間にできるだけ近い現実世界を模倣したいので、これらを経験的にすることができます... |
| したがって、これらのさまざまなモデル構築アルゴリズムがどのように予測的に機能するかを経験的に評価できます。 そしてうまくいけば、SVEMがその競争を経験的に実行または上回っていることを示すことができます。 |
| そのため、実際のシミュレーション構造では、モデル構築アルゴリズムごとに1,000回のシミュレーションを実行しました。 したがって、たとえば、フォワードモデルをAICcに適合させる場合、 |
| これらの1,000回の実行のすべてで、真のモデル、つまり真実が生成され、それにノイズが追加されます。 |
| ガウスノイズ（これは、学界や研究を行う際に非常に一般的です）、 |
| これにより、必要に応じてトレーニングセットと真理セットを作成し、モデルを適合させると、そのモデルが真理に対してどのように予測するかを確認できるようにします。 そして、それらのデータセットをランダムに1,000回再実行して再生成します。 |
| SVEMハイパーパラメータについては説明しませんが、200のnBootを使用しました。 簡単に言えば、基本的に200のモデルをフィッティングし、それらのモデルを平均して最終的なSVEMモデルを作成しています。 |
| 設計はまた、いくつかの機能にわたって繰り返されました。 だから主な効果の数 |
| 決定的なスクリーニングデザインでは、4つの主な効果と8つの主な効果がありました。 Box-Behnkenのデザインでは、 |
| 3つの主な効果と5つの主な効果。 つまり、例を挙げると、DSDの場合です。たとえば、Kが8の場合、8つの主な効果があります。 完全な2次モデルがある場合は、 |
