349244_ja-JP

liliconcom

SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

レベル: 中級

 

フィリップ・ラムジー氏、ノースヘブン・グループ教授、ニューハンプシャー大学
Wayne Levin 氏、Predictum 社長兼 CEO
トレント・レムカス博士ニューハンプシャー大学候補者
Christopher Gotwalt 氏、SAS 統計研究開発担当 JMP ディレクター

 

DOE の手法は、実験者のニーズや期待と同様に、長年にわたって進化してきました。 歴史的には、効果の推定における偏りを軽減するために効果を分離することと、仮説検証能力を最大化することが重視されてきました。これは主に当時の方法論および計算ツールを反映しています。 業界における DOE は、起こり得る変化の下での製品またはプロセスの動作を予測するために行われることがよくあります。 私たちは、DOE の分析に対する本質的に予測的なアルゴリズム アプローチである自己検証アンサンブル モデル (SVEM) を導入し、DOE で一般的な小さなデータセットに対して機械学習とバギングを可能にするフラクショナル ブートストラップを一般化します。 従来の DOE 手法と比較して、SVEM は最大で桁違いに高い予測精度を提供します。 私たちは、SVEM が行よりもアクティブなパラメーターを使用してモデルに適合し、自由度などの古典的な統計概念の役割を永久に変える可能性があることを実証する、注目に値する深遠な結果をもたらしました。 ケーススタディを使用して SVEM を説明および実証し、そのパフォーマンスを従来の DOE 手法と比較した研究シミュレーションについて説明します。 また、JMP の新しい候補セット デザイナーのデモも行います。これにより、独自のデータに対する SVEM のパフォーマンスを簡単に評価できます。 SVEM を使用すると、これまでよりも小さいデータセットで正確なモデルを取得できるため、市場投入までの時間が短縮され、イノベーションのコストが削減されます。

 

 

自動生成されたトランスクリプト...

 

スピーカー	成績証明書
ウェイン・レビン	自己検証型アンサンブル モデル。実験計画法などにおけるパラダイム シフトと見なされます。
	さあ、行きましょう。 ここでの議題は...誰が話しているのかについて簡単に紹介します。
	では、SVEM とは何で、なぜ、どのように行われるのでしょうか。 そこで、DOE と機械学習の概要を簡単に説明し、それらを SVEM にブレンドする方法について説明し、現実世界の SVEM 実験を分析して、次のことを行います。
	現在の研究をいくつかレビューし、JMP 16 の新機能である JMP の新しい候補セット設計者のデモンストレーションを行い、その後はいつもの、次のステップと Q&A などで終了します。
	SVEM は、より少ない実験サイクルでより多くの洞察を抽出し、DOE を含む小さなデータセットからより正確な予測モデルを構築する注目すべき新しい方法です。
	SVEM を使用すると、コストが削減され、市場投入が短縮され、問題解決が大幅に短縮されることをお約束します。 今後は、これらすべてを調査していきます。
	セッション中。
	私は Predictum の社長である Wayne Levin です。JMP のチーフ データ サイエンティストである Chris Gotwalt も参加します。また、Predictum の上級データ サイエンティストであり、米国大学の准教授である Phil Ramsey も参加します。ニューハンプシャー。
	それで、それでは
	ここで在庫を確認してください。 データ サイエンスに対する JMP の貢献は非常に大きいため、誰もが知っています。20 年以上前の DOE 分野では、座標交換アルゴリズムを備えた JMP 4 がそれにあたるでしょう。
	そして、約 8 年前、9 年前に、決定的なスクリーニング デザインが発表されるのを見ました。 そして、私たちは SVEM (短い自己検証型アンサンブル モデリングと呼んでいます) (早口で 3 回言ってみてください) がもう 1 つの貢献であると考えたいと考えています。
	機械学習と実験計画。
	限られた量のデータという制限を克服します。 少量のデータでは機械学習を行うことはできません。通常、それを実現するには大量のデータが必要です。
	現在、私たちは現場で SVEM を試しており、多くの企業からこの件について問い合わせがあり、SVEM の試用版を利用できるようにしました。 私たちは、
	Predictum は、この分野で最初に製品を開発し、製品を市場に投入しました。ここで、これまでに学んだことのいくつかを共有したいと思います。
	そして 1 つは、SVEM が非常にうまく機能することです。 つまり、より多くのパラメーターと実行数がある場合、非常にうまく機能します。
	高次モデル。 より正確な予測が得られ、壊れた DOE からの回復にも役立ちます。 したがって、たとえば、次のような最終的なスクリーニング設計がある場合、
	いかなる理由であっても、適合性を決定的に実行することはできません。過去の DOE がいくつか送られてきました。
	力が足りない。 彼らは何も見つかりませんでしたが、SVEM を使用すると実際に見つかりました。 それはできました。 そして、実行が欠落したり、疑わしい実行が発生したりするケースがあったことはご存知でしょう。
	私たちが学んだもう 1 つのことは、有理階乗などでは役に立たないということです。 ここでは予測モデルに興味があります
	そして、部分階乗は実際には予測モデルを提供しません。それらはそのように設計されていません。 したがって、データが提供するように構造化されていないものは提供されません。
	少なくともそこまでではない。 私たちが学んだもう 1 つのことは、SVEM の可能性をすべてまだテストしていないということです。 そのためには本当に必要なものがあります
	まず SVEM を念頭に置いて実験を設計する必要があります。これは、より多くの要素を検討することを意味します。 3 つまたは 4 つの要素だけを検討する必要はありません。 10、15、あるいはそれ以上はどうでしょうか?
	研究から、Chris と Phil が話す予定のベイジアン I 最適計画が最良であることがわかります...SVEM および混合計画で使用するための最良のアプローチです
	これについては、SVEM に特に役立ちます。これについては後ほどもう少し説明します。 SVEMに関して言えば、
	試してみたい場合は、クリスとフィルがそれについて話し合った後の最後にいくつかの情報があります。 ということで、クリス、あなたに譲ります。
	SVEN の内容、理由、および方法について説明します。 それではよろしく、クリス。
クリス・ゴットワルト	わかりました、わかりました、ありがとう、ウェイン。 ああ、ちょっと待って、画面を共有していますか?
ウェイン・レビン	まだ。
	それでは行きます。
クリス・ゴットワルト	分かった、分かった、まあ、ありがとう、ウェイン。
	そこで今回は、自己検証型アンサンブル モデル (SVEM) のアイデアを紹介します。
	かなり基本的なことを書いていきます。 実験の計画と分析の経験があることを前提とします。
	最も重要なことは、統計モデリングのプロセスは結局のところ、関数をデータに適合させることであることを理解する必要があります。
	入力変数の関数としての予測子の応答変数。 大まかに言えば、SVEM はビッグ データ アプリケーションを使用した機械学習アルゴリズム間の橋渡しとなります。
	実験計画法は、一般に小規模で優れた分析問題とみなされます。 機械学習と DOE にはそれぞれ長い歴史がありますが、これまでは比較的別々の伝統でした。
	私たちの調査によると、SVEM を使用すると、より少ない観測量でより正確なモデルを取得できることがわかりました。
	これは、より少ないリソースを使用し、より少ないコストで、より短い時間で製品とプロセスを改善できることを意味します。 したがって、競争の激しい業界にいる場合は、
	最初に市場に投入することが重要である場合、SVEM は大きな関心を引くはずです。
	特に、SVEM は製薬業界およびバイオテクノロジー業界において非常に大きな可能性を秘めていると考えています。
	半導体製造などのハイテク技術や消費者向け製品の開発など。
	ここ JMP での仕事を通じて、私は多くの業界や応用分野でデータがどのように扱われるかを俯瞰的に見てきました。
	私は、最適な設計実験を構築するためのアルゴリズムと、混合モデルやモデルの一般化などの関連分析手順を開発しました。
	一方で、私は JMP Pro のニューラル ネットワーク アルゴリズムや、製品に含まれる他の機械学習テクニックの開発者でもあります。
	過去 20 年間、私は大規模な観測データセットをモデル化し、多くの新しいデータを確認する際に機械学習がより顕著になるのを見てきました。
	開発されたアルゴリズム。 同時に、計画された実験の分析も変化しましたが、過去 20 年間でさらに変化しました。
	産業実験の全体的な統計的方法論は、1970 年代後半に『ボックス』、『ハンター』、『ハンター』を読んだ人なら誰でも認識できるでしょう。
	機械学習と実験計画法は一般に、本質的に予測的な問題を解決するために産業界に適用されます。
	当社はこれらのツールを使用して、センサーが不良バッチを示しているか、コストを最小限に抑えながら歩留まりを最大化するためにプロセスをどのように調整するかなどの質問に答えます。
	どちらも本質的には予測的ですが、機械学習と実験計画法は一般に、かなり異なる種類のデータに適用されます。
	これから行うことは、両方の概要を簡単に説明し、次にそれらを SVEM にどのようにブレンドしたかについて説明することです。
	実際の実験から得られたデータを分析して、実験がどのように機能するのか、そして全体的に非常にうまくいっていると考えられる理由を示します。
	全体的に見ていきます...行きます...ニューハンプシャー大学の博士課程の学生であるトレント・リンプキス(?)が行ったシミュレーションの結果について見ていきます。この結果は、このアプローチが非常に優れているという自信を与えてくれました。有望な。
	次に、JMP 16 の新しい候補セット設計を使用して既存のデータ セットの最適なサブセットを見つけ、SVEM を自分で試すことができる方法を示す例を説明します。
	私が観察したことのいくつかを強調し、私たちが答えたいと考えている今後の質問についていくつか述べました。それからフィルにそれを渡します。フィルはより詳細なケース スタディと SVEM アドオンのデモを行う予定です。で。
	画面上の単純なデータを考えてみましょう。 これは冶金プロセスからのデータであり、加工ステップの終了時の収縮量を予測したいと考えています。
	左側には収縮を予測するために使用する 3 つの変数があります。 モデリングとは、圧力、時間、温度を結び付けて応答 (収縮) を予測する関数を見つけることに相当します。
	このモデルが生成され、将来的には新しいデータに一般化されることを願っています。
	機械学習のコンテキストでは、これを行う標準的な方法は、データを 2 つの素な行セットに分割することです。 1 つはトレーニング セットと呼ばれるもので、データが過剰に適合しないようにモデルを適合させるために使用されます。
	そのため、新しい観測ではモデルが不正確になる可能性があります。 検証セットと呼ばれるデータの別のサブセットがあり、これはこれまでに作成したさまざまなモデルをテストするために使用されます。
	トレーニングセットに適合しているもの。 ここにはトレードオフがあり、単純すぎる関数は十分なバリエーションを説明できないため、トレーニング セットや検証セットにうまく適合しません。
	一方、複雑すぎるモデルは、トレーニング セットではほぼ完璧に適合しますが、検証セットでは非常に不正確になります。
	検証 R 二乗などの手段を使用して、単純すぎず、複雑すぎないゴルディロックス モデルを見つけます。
	このゴルディロックス モデルは、検証セット内で検証 R 二乗が最も高いモデルになります。
	このホールドアウト スタイル モデルの選択は、かなり多くの行を引用符で囲んだ場合に非常に良い方法です。
	多くの場合、数億行以上になります。 適度に大きいステートメントは意図的に曖昧になっており、当面のタスクに依存します。 とはいえ、ここに表示されている 12 行は実際には小さすぎるため、ここでは説明のためにのみ使用しています。
	DOE では通常、時間やリソースに重大な制約がある状況に陥ります。
	計画された実験、特に重要な JMP 機能である最適な計画された実験の中心的な考え方は、可能な限り最小の行数に詰め込まれた最高品質の情報を取得することにあります。
	長年にわたって多くの優秀な人々が、F 検定、半正規プロット、AIC や BIC などのモデル選択基準などの統計ツールを作成してきました。
	これらは、DOE データのモデルに関する決定を行うのに役立ちます。 これらはすべて、科学、エンジニアリング、製造に関する意思決定の基礎としてどのモデルを使用すべきかを特定するのに役立つガイドです。
	あまり行われないことの 1 つは、計画された実験に機械学習モデルの選択を適用することです。 ではなぜそうなるのでしょうか？
	重要な理由の 1 つは、情報が設計に非常に密に詰め込まれているため、わずかな観測値を削除しただけでも主効果と交互作用が崩壊する可能性があることです。
	そのため、それらを一意に推定可能な効果に分離することができなくなりました。 それでも実行しようとすると、自由度の喪失や特異点の詳細がモデル レポートに追加されるなど、ソフトウェア レポートの警告が表示される可能性があります。
	ここで、ちょっとした思考実験を行ってみましょう。 少しごまかしてみたらどうでしょうか？
	元のテーブルからすべての行 (X と Y) をコピーし、1 つのコピーに「トレーニング」というラベルを付け、もう 1 つのコピーに「検証」というラベルを付けたらどうなるでしょうか? これで十分なデータが得られましたね? 間違っている。 私たちはこれで誰かを騙しているわけではありません。これはこの狂った計画です。
	これはクレイジーです。なぜなら、このアプローチを使用してモデル化を試み、適合度の指標のプロットを見てみると、より複雑にすることでトレーニング セットへの適合性が向上することがわかりますが、トレーニングと検証が
	この場合、セットは同じであるため、このアプローチは常にオーバーフィットにつながります。
	そこで、機械学習モデルの選択をバックアップして、同じデータに対して計算された 2 つの加重二乗和の物語として再構築してみましょう。
	モデルの選択を 2 つのデータ パーティションという観点から考える代わりに、2 つの重み列として考えることができます。
	トレーニング セット内の行の場合は 1、それ以外の場合は 0 に等しいトレーニングの重みがあり、検証列があります。
	これは、トレーニング行の場合は 0 に等しく、検証行の検証列の場合は 1 に等しくなります。
	したがって、機械学習モデルの選択から、各行には独自の重み値のペアがあり、どちらの重みもバイナリの 0 と 1 であると考えることができます。
	このように設定すると、モデルの適合性を独立して評価できるようになります。
	トレーニングの重みを使用して重み付けされた二乗誤差の合計を最小化するパラメーター値を見つけることによってモデルが適合され、検証列の重みを使用して重み付けされた二乗誤差の合計を使用して汎化パフォーマンスが測定されます。
	これらの重みのペアを散布図にプロットすると、トレーニングの検証の重みが、トレーニングと検証の重みが完全に逆相関していることがわかります。
	さて、完全に逆相関するバイナリ値のペアを強制的に使用する代わりに、値が 0 と 1 の値のみを取ることができるという要件を緩和したらどうなるでしょうか。
	重みが厳密に正の値を取ることを許可しますか?
	そのためには、特に、私の知る限りでは、これが数学的に機能するためには、何かを放棄する必要があります。完全に逆相関する重みペアを持つことはもうできませんが、それでも実質的な反相関を維持する方法でこれを行うことができます。相関。
	これを行う方法はたくさんありますが、これを行う 1 つの方法は、分数加重ブートストラップと同じスキームを使用して重みを作成することです。このスキームでは、平均が 1 の指数分布を使用します。
	重みを作成します。 また、一様分布の特性を利用したちょっとしたトリックがあり、これを使用して、指数関数的に分布しているが高度に逆相関する重みペアを作成できます。
	これを 2 列の重み付け検証スキームとして使用する場合、これを自動検証と呼びます。 フィルと私はこれについて、まさにこのアイデアについて、ディスカバリーの論文をいくつか発表しました。
	このアプローチを使用することは、分散平均が 1 である重みのトレーニング列と同じプロパティを持つ検証列を持つようなものです。
	この自動検証スキームでは、行がトレーニング平方和に対して平均重みより多く寄与する場合、その行は検証平方和への寄与が少なくなり、その逆も同様です。
	Mike が作成したアドインがあります。Mike Anderson が作成したアドインがあり、データ セットを JMP Pro のモデリング プラットフォームで使用できるこの種の形式に設定するアドインがあることを指摘しておきます。
	さて最近、フィルと私はトレントを博士課程の学生として受け入れました。
	春から秋にかけて、トレントは多くのシミュレーションを実行し、自動検証ベースのアプローチの動物園全体を含む、モデルを DOE データに適合させるためのさまざまなアプローチを試しました。 彼の結果の一部を紹介します
	ここで少しずつ。 独立したテストセットでの最小平均誤差という点で、一貫して最もうまく機能したアプローチは、自動検証を適用することであったと言えば十分でしょう。
	前方選択などの変数選択手順と組み合わせますが、これを一度実行するのではなく、プロセスを数十回または数百回繰り返します。
	毎回予測式を保存し、最終的には自動検証されたすべての反復にわたってモデルを平均します。 そして、この一般的な手順を自己検証されたアンサンブル モデルまたは SVEM と呼びます。
	そこで、もう少し具体的にするために、これを説明する簡単な例を示します。 まず、自動検証の重みを初期化します。
	なげなわ選択や前方選択などのモデル選択手順を適用し、予測式をテーブルに保存し直します。
	これが最初の予測式です。 この反復では、2 つの線形主効果のみが選択されています。
	次に、重みを再初期化し、新しい重みのセットを使用してモデルに再度適合させ、その予測式を保存します。
	2 番目の自動検証された予測式は次のとおりです。 今回は、異なる主効果と交互作用のセットが選択されており、それらの回帰係数も異なることに注意してください。
	このプロセスを何度も繰り返します。
	そして最終的に、SVEM モデルはすべての予測式の単純な平均になります。
	以下は、SVEM アルゴリズムを図として示した簡潔な図です。 したがって、ブートストラップ手順とモデルの平均化を組み合わせるというアイデア
	重みを再初期化した後も、この問題が何度も繰り返されます。 その反復からの予測式を保存します。
	保存します...ここではパラメータを保存しています...図はパラメータを示していますが、数式でも同じことです。 それらをすべて保存すれば、一日の終わりには、最終的なモデルは単にすべての反復にわたる単純な平均になります。
	完了したら、中間式の展開をオンにしてグラフ プロファイラーで SVEM モデルを使用できるため、結果のモデルを視覚化し、プロセスの最適化などを行うことができます。
	ここで、トレントの論文研究の結果を見ていきます。
	a 4 因子と 8 因子のボックス ベンケンスと DSD。 各シミュレーションは 1,000 回のシミュレーションの複製で構成され、各シミュレーションには二次応答曲面モデルの真のパラメーター値の独自のセットがありました。
	アクティブなパラメータは二重に指数関数的に分布し、50% から 100% までのさまざまな割合のアクティブな効果を調査しました。
	1,000 回のシミュレーション繰り返しごとに、因子空間に対する 10,000 実行の空間充填計画で構成される独立したテスト セット上の真のモデルと比較して SVEM 予測が評価されました。
	私たちは、多数の異なる古典的なシングルショット モデリング アプローチと、すべての検証のさまざまなバリエーションを検討しました。
	ただし、比較するにはあまりにも多くの結果があるため、結果の中で最も興味深いものだけを見る方が簡単です。 この話は、私たちが調査したすべての状況において非常に一貫していました。
	これは、基本計画が最終的なスクリーニング計画であり、8 つの因子と 21 回の実行を含むシミュレーションの 1 つです。 この場合、効果の 50% はゼロではありませんでした。
	これは、モデルには、実行された数とほぼ同じ数のゼロ以外のパラメーターがあったことを意味します。
	左側は、Lasso、Dantzig セレクター、前方選択、および枝刈り前方選択の対数二乗平均平方根誤差の箱ひげ図です。すべて AICc を使用して調整されており、これらのメソッドで最高のパフォーマンスが得られます。
	また、適合決定プラットフォームからのメソッドの最も優れたパフォーマンスが次にあり、次に別のモデリングに適用された SVEM が続きます...いくつかの異なるモデリング手順が右側にあります。
	SVEM 予測と比較してテスト セットの RMSE を比較すると、独立したテスト セットの二乗平均平方根誤差が大幅に減少しています。
	これは対数スケールであるため、予測パフォーマンスにかなり劇的な違いがあることに注意してください。
	さらに興味深い結果があります。 これは本当に私を驚かせたプロットでした。 これは同じシミュレーション設定ですが、ここではすべての効果がゼロではありません。
	したがって、真のモデルは、設計マトリックスだけでなくパラメーター自体も過飽和になっています。
	これまでは、アクティブなエフェクトの数はすべてのエフェクトの小さなサブセットであり、行数よりも確実に小さいと想定する必要がありました。
	ここでは、行数の約 2 倍であるアクティブなパラメーターの数にもかかわらず、かなり正確なモデルが得られています。これは本当に驚くべきことです。
	それでは、簡単な図解を見ていきます
	SVEM を使用して、それを独自の過去の DOE に適用する方法を示します。 ここでは、発酵プロセスの 5 因子 DOE の実例を使用します。ここでは、関心のある応答は、pDNA 力価によって測定される生成物の収量でした。
	SVEM の大きな利点は、より少ない実行回数でより正確なモデルを取得できることです。 これは、既存のデータセットを利用できることを意味します。
	JMP 16 の新しい候補セット デザイナーを使用して、元の設計の引用と引用の予測の中心を形成する行のサブセットを識別します。
	36 行の元のデータを取得し、5 つの列を共変量として読み込み、カスタム デザイナーに、そのサイズで最高の予測パフォーマンスが得られる元の設計の 16 行のサブセットを提供するように指示します。
	次に、そのサブセット設計に含まれていないすべての行を非表示にして除外し、後で独立したテスト セットとして使用できるようにします。
	SVEM モデルを実行し、SVEM モデルのパフォーマンスを、前方選択などの標準的な手順に加えて同じ 16 回の実行に AICc を適用した場合に得られるパフォーマンスと比較します。
	私が言いたいのは、JMP 16 の新しい候補セット デザイナーは...また素晴らしい貢献であり、この新しいツールの作成においてブラッドのチームがどれほど素晴らしいものであるかを強調したいだけです。 SVEM を含め、さまざまな方法で役立ちます。
	したがって、これを行うには、データセットを取得し、カスタムデザイナーに移動します。
	共変量行を選択するので、これは JMP 16 の新しいアウトライン ノードです。
	次に、5 つの入力要素を選択します。
	「続行」をクリックします。
	そして、RSM ボタンを押すと、最適性基準が I 最適または予測型設計に自動的に変換されます。
	すべての非切片因子を選択し、モデル内で右クリックします。
	ここでリストを選択し、作成...すべての非インターセプト効果を可能な効果のように設定します。 これによりモデルを作成できるようになります
	設計基準がベイジアン I 最適設計になるため、基本設計として実行される数よりも多くのパラメーターが含まれます。 これで、実行数を 16 に設定できるようになりました。
	「デザインを作成」をクリックします。
	それが完了すると、オプティマイザが魔法を働き、ベイジアン I 最適サブセット設計に含まれるすべての行が元のテーブルで選択されます。
	テーブルに移動し、インジケーターまたは変換列を使用して現在の行選択を記録できます。
	そして、列の名前を後で分かりやすい名前に変更しました。
	新しい指標列がゼロに等しいすべての行を選択することで、サブセット設計にない点を選択できます。
	そして、それらの行を非表示にして除外し、モデル適合プロセスに含まれないようにすることができます。
	Phil は SVEM アドインのデモを行う予定なので、モデリングの手順をスキップして、前方選択と AICc のモデルと、ベイズ I 最適サブセット設計に含まれていない行の SVEM モデルの比較に直接進みます。 ここでの比較は赤字で表示されていることがわかります...
	ここのレポートの赤枠部分にあります。 SVEM には R 乗があることがわかります。
	独立したテスト セットが 0.5 で、古典的な手順では R 二乗が 0.22 なので、基本的に SVEM で説明される古典的な手順の 2 倍の変動量が得られます。
	SVEM を 46 個の観測値すべてに適用すると、2 つのモデルのプロファイル トレースを比較することもできます。
	SVEM を 46 回の実行すべてに適用した場合と、SVEM でわずか 16 回の実行で得られたモデルと基本的に同じモデルが得られることは明らかです。
	しかし、前方選択ベースのモデルには、見逃せない曲率項が欠落しています...言うまでもなく、欠落している相互作用もたくさんあります。 これはかなり複雑な手順です...かなり単純な手順であり、独自の履歴データで SVEM をテストするために使用できます。
	SVEM全体としては
	多くの疑問が生じます。 それらの多くは、行よりも多くのパラメーターがあるモデルを適合できるようになったため、設計実験における自由度の役割を中心としています。つまり、そのようなものがあった場合、実質的に負の自由度が存在することになります。
	これにより、産業実験における P 値に基づく考え方の役割が再考されることになると思います。
	私たちは、予測など、分析における不確実性に対する新しい方法を確立するために取り組む必要があります...予測の信頼区間。
	Phil と私は、作業に使用できる基本モデルの最適なファミリーが何であるかを理解するためにいくつかの作業を行っています。 したがって、これは 2 次 RSM である可能性があり、かなり前に提案されたこれらの部分 3 次モデルも検討していますが、今では再検討する価値があると考えています。
	どのようなデザインを使用すればよいでしょうか? 使用している基本モデルの因子の数に応じて、どのようなサンプル サイズが適切ですか? スクリーニング実験の役割は何ですか? そして、大きな不明点の 1 つは、ブロック実験と分割プロット実験の役割とは何なのかということです。
	この枠組みの中で？
	それで、フィルにそれを渡すつもりです。 彼はより詳細なケーススタディを行い、Predictum の SVEM アドインのデモも行う予定です。 それを奪ってください、フィル。
フィリップ・ラムジー	わかりました、ありがとう、クリス。 これから私がやろうとしているのはケーススタディについて議論することなので、これを入れさせてください。
	スライドショー、少しやってみます
	クリスが言ったように、予測の例
	実際に SVEM 分析の多くを自動化するアドイン。 そして私たちが注目しようとしているのは、バイオテクノロジー業界で使用されている分析手法です。
	これは、治療用タンパク質、基本的には抗体になるタンパク質の糖プロファイリングを特徴付けるためのものです。
	そして、その業界で働いている人の多くは、糖タンパク質が実際に非常に豊富な治療薬源であることを知っており、GMP を確認するために努力する場合は、測定システムの信頼性を証明する必要があることも知っています。 そして実際に糖プロファイリングに関しては、
	高速で使いやすい分析手法はまだ十分に開発されていません。 したがって、この実験のアイデアは、人々が使用できる、さまざまな項目を正確に評価できる、非常に迅速かつ簡単な方法を考え出すことでした。
	（私はここでは化学者ではありません）
	転写後にベースタンパク質に結合します。
	クロマトグラフィーを使用するというアイデアについて説明します。クロマトグラフィーについてはある程度の知識があると仮定しますが、基本的には、これは次のような方法です。
	溶液があれば、それをカラムに通し、さまざまな化学種がカラムを通過するときに、
	それらは分離し、異なるタイミングでカラムから出てくる傾向があります。 つまり、基本的にはクロマタグラムと呼ばれるもので、ピークがどこにあるのかということになります。
	は濃度の関数であり、ピークが発生する時刻は、その種が実際に何であったかを特定するために実際に重要です。 したがって、この場合、いくつかの点を見ていきます。
	砂糖。私はそれらを単にグライコフォームと呼ぶことにします。ここで何が起こっているのかというと、この研究を行った科学者が校正ソリューションを開発したということです。
	そして、校正溶液に何が含まれているかを正確に知っています。 どのピークがどこで溶出するのかを正確に把握しています。
	そして、実際のヒト抗体サンプルとキャリブレーションサンプルを比較できます。 そして、これらのグリコフォームの一部は荷電しています。 柱を通過させるのは困難です。
	それらは付着する傾向があるため、勾配溶出手順と呼ばれることもある方法を使用しています。
	詳細には立ち入りません。 ここで私たちが行っていることは、高速陰イオン交換クロマトグラフィーと呼ばれるものを使用していることです。 私はその専門家ではありませんが、私が一緒に仕事をした科学者は、
	このキャリブレーションの開発は非常にうまくいきました。また、歴史的に次のようなキャリブレーション ソリューションが必要な理由もわかります。
	ヒト抗体サンプルから溶出する糖は、カラムのどこから出てくるか完全には予測できません。そのため、キャリブレーションに使用できるものがあります。
	それで。
	この研究を行った人物は、後ほど説明しますが、2 つの別々の実験を計画しました。 1 つは 16 ランの 3 レベル デザインです。
	そしてその後彼女は戻ってきて、より大きな 28 ランの 3 レベルのデザインを行いました。 したがって、1 つはトレーニング セットとして使用でき、もう 1 つは検証セットとして使用できますが、Chris が話した共変量セレクターとベイズ I 最適化戦略を実証するには、次のようにします。
	両方のデザインを単一の 44 実行デザインに結合しました。 そのとき私たちは
	は、共変量セレクターを使用してその設計をカスタム設計に取り入れ、さまざまなベイジアン I 最適設計を作成しました。
	もっと多くの組み合わせを行うこともできましたが、これについて話す時間は限られています。 ということで、デザインは３つあります。 1 つは 10 回の実行で、5 つの要素を覚えておいて、10 回の実行を行っています。
	13 ランのデザインと 16 ランのデザイン、さらに多くのことができるはずです。 そこで、私たちがやりたいのは、これらがどのように行われるかを確認することです。
	ファンを使用してモデルをフィットさせた後に設計が実行されます。ところで、クリスが述べたように、これらの設計のそれぞれでは、44 から選択されなかった実行が検証またはテスト セットとして使用され、モデルがどの程度適切であるかを確認します。実行されました。
	さて、これらが初期係数、酢酸ナトリウムの初期量、水酸化ナトリウムの初期量です。 その後、3 つの別々のグラジエント溶出ステップが行われます。
	処理時間は約 40 分かかります。 これらは実験で使用および操作されている設定です。
	実際、この実験では 44 の異なる反応を調べることができます。 それでは、時間がありますので、2 つ見ていきたいと思います。
	1 つはグリコフォーム 3 の保持時間で、これが重要であり、キャリブレーション クロマトグラムを固定するものです。
	そして、ヒト抗体サンプルとうまく一致するため、約 8 分半で公開したいと考えています。
	実はモデル化するのはとても簡単です。 2 番目の応答は、グリコフォーム 10 の保持時間です。 それは荷電したグリコフォームです。 溶出が非常に遅く、他の荷電グリコフォームと束になる傾向があり、区別するのが困難です。 それでは、これら 2 つの回答を見ていきます。
	クロマトグラフィーに詳しくない人のために、クロマトグラムと呼ばれるものをいくつか紹介します。 これらは基本的に応答です。
	応答がどのようなものかを示す写真です。この場合、その写真を見ると、保持時間、つまりいつ行われたかを調べます。
	ピーク3出るの？ ピーク 10 は何時、何時に出てきてクロマトグラムに現れましたか? そしてところで、二人の間で注目してください
	私が示しているクロマトグラム、プロファイルがどのように異なるか。 したがって、この実験では、これらの実験要素を操作したとき
	(ちなみに、これらのクロマトグラムは 44 個あります。そのうちの 2 つを紹介します)、これらのピークの形状、保持時間など、および分解能に多くの違いがあることがわかります。 つまり、私たちが何をしているとしても、私たちは明らかに操作しているのです
	クロマトグラム、そして興味のある方のために、はい、私たちは将来これを機能データとして、そして機能データ分析がどのように使用されるかを考えています。
	しかし、それは多くの場合未来ですが、それは間違いなく私たちが非常に興味を持っているものです。 クロマトグラムは最終的には機能データです。 ただし、ここでは 2 つの特徴を抽出してモデル化してみます。 わかった。 そして私も称賛したいと思います
	Cytovance Biologics の Eliza Yeung 博士は良き友人であり、優秀な科学者です。 そして、彼女はすべての実験作業を行い、彼女は...を構築するというアイデアを思いついた人でした。
	彼女はこれをグルコースラダー、つまり校正溶液と呼んでいます。 そしてイライザは、いい人であることに加えて、JMP も大好きです。 だから、私たちはいろいろな意味でイライザが好きです、わかりました。 優秀な科学者。 そして
	入る前に
	SVEM、ちょっと言っておきたいのですが…クリスは、最適化の基礎として 1950 年以来使用されている完全 2 次モデルについて言及しました。
	基本的には、すべての主効果、2 因子交互作用、および二乗項です。 実際のところ、多くの複雑な物理システムでは、そのモデルには動力学が複雑すぎます。
	コーネルとモンゴメリーは、1998 年の非常に素晴らしい論文でこのことを指摘し、多くの場合次のように示唆しました。
	彼らが相互作用モデルと呼んでいるもの、私たちが部分三次モデルと呼んでいるもののほうがうまく機能する可能性があります。 そして、SVEM を使用し、このモデルを多くのケーススタディに適用した私の経験から言えば、それらは正しいです。 実際にはより優れた予測モデルが得られますが、問題があります。
	これらの部分 3 次モデルは巨大になる可能性があり、Chris が述べたように過飽和モデルが大きな問題となる従来のモデリング戦略にとって大きな課題となります。
	潜在的な用語はいくつありますか? さて、K の 2 乗を 2 倍し、切片に 1 を加えます。 したがって、5 つの要素の完全な
	部分 3 次モデルには 51 項があります。 ちなみに、これらのモデルを使用するつもりですが、通常最も重要な用語のうち 40 個だけを使用します。
	そして、自己検証型アンサンブル モデリングを使用してモデルを適合させます。Chris が言ったように、SVEM は過飽和モデルにも問題ありません。
	ちなみに、機械学習の文献では、過飽和モデルは常に適合します。
	そして、適切な機械学習技術を使用すると、実際に、より優れた予測パフォーマンスを得ることができます。
	これは従来の統計ではほとんど知られていません。 そこで、SVEM アドインを使用することにします。これについて知りたい場合は、Predictum ですでに話している Wayne Levin に連絡してください。Wayne は喜んであなたと話したいと確信しています。
	それでは、JMP について簡単に説明しましょう。
	アドインが実際にどのように機能するかを説明するので、JMP を紹介しましょう。
	そこで、アドインをインストールして、独自のタブを設けました。 そこで、「Predictum」をクリックします。 ちなみに、これは私たちが作成したベイズ I 最適計画の 1 つで、これには 16 回の実行があります。 自己検証型アンサンブル モデリングを選択します。
	したがって、典型的な適合モデルの起動ダイアログのようなものが表示されます。 5つの要素を選択していきます。
	この時点では、説明のために応答曲面モデルを作成するだけです。モデル化したいのは、
	グリコフォームの保持時間 3. バックグラウンドでのこのセットアップ、自動検証テーブルに待機関数があることに注目してください。
	そして自動検証部分もあります。 これはすべてバックグラウンドにあるため、見る必要はありません。 しかし、のこぎり...しかし、アドインはそれを作成し、その後基本的にそれを非表示にしますが、必要に応じてそれを見ることができますが、それを見ることはそれほど重要ではないため、非表示にされています。
	ここで GenReg を開きます。これが GenReg です。
	コントロールパネル。 ちなみに、SVEM は、モデル構築に使用する方法に関してはまったく依存しません。 したがって、実際には、GenReg にさえ存在しないメソッドを使用することもできますが、それが今日の主な焦点です。 そこで、前方選択を行っていきます。
	時間があまりないので、10回だけ行います。
	[実行] をクリックすると、モデルが作成されます。
	これは 10 回のみの出力であり、予測による実際のプロットが得られます。 しかし、これの本当に優れている点は、アンサンブル モデルの平均を実際に作成してくれることです。
	そこで、自己検証アンサンブル モデルをクリックし、予測式を保存します。 それでは、この表示を閉じます。
	やって来る。
	そして、そこに私のモデルがいます。
	これでこのモデルを取得し、検証データに適用できるようになりました。 選択された 16 個の実行があるため、実際にどのように実行されたかを確認するための検証セットとして使用できる、さらに 28 個の実行が利用可能です。 したがって、この時点で、私は今に戻ります
	ちなみに、SVEM アドインがないと、特に JMP スクリプトに習熟していない場合は少し難しいかもしれません。
	これらのモデルを実際に作成してみます。 つまり、このアドインは、バックグラウンドで非常に多くの作業を行っているようには見えないかもしれません。 それで、私たちはどうしたでしょうか？ それでは、これをスライドショーに戻します。
	そこで私がやったことは、16 ランのデザイン、13 ランのデザインの 3 つのデザインがあり、その後 10 ランを選択しました。 私たちはまさに限界に挑戦しています。
	そして、応答は 2 つあります。先ほど述べたように、グリコフォーム 10 は溶出が遅く、ノイズが多くなる傾向があり、解決が難しい場合があります。 したがって、16 回の実行計画では、実際に 40 項の部分 3 次モデルを当てはめました。 16 ランということを念頭に置いてください。 そして私は40期モデルに当てはまります。
	そして、これの鍵となるのは、検証セットの二乗平均平方根誤差です。 それで
	私は 6 番目の...私の 40 期モデルを当てはめました。
	検証セットの二乗平均平方根誤差は低く、検証 R 二乗は実際には 98 に近かったため、非常によく適合しました。
	たとえもっと騒々しい人であっても注意してください
	glycoform 10 では、まだかなり優れたモデルが得られました。 実際の予測プロットをいくつか示します。 これを 13 回実行し、もう一度 13 回実行したところ、非常に良い結果が得られました。
	そして最後に10個目。 ちなみに、10 については、標準の完全な 2 次モデルにちょうど適合しました。本当に運を押し上げているように感じました。
	しかし、私は先に進んで部分三次を試すこともできました。 そして、もう一度注目してください。グリコフォーム 3 の保持時間をモデリングする 10 回の実行でも、R 平方 0.94 が得られました。
	私にとって、これは本当に印象深いことであり、再度モデル化しました...私のモデルには、観測値の 2 倍の予測因子があり、モデル化が困難なグリコフォーム 10 を使用した場合でも、非常にうまくいきました。
	ここでは実際の予測プロットをいくつか示しますが、モデル化が非常に難しいため、ここでもグライコフォーム 10 を選択します。
	そのため、システムをあまりいじりたくなかったのです。 経験から、モデル化するのが難しいことは知っています。 したがって、実際の予測プロットが存在します。 10 回の実行計画に対する実際の予測プロットがもう 1 つありますが、それでもかなり良好です。
	ここで私たちがやろうとしていることを考えてみると。
	そして最後に、全体的にはどうでしたか？
	これは私がまとめた小さな表です。16 回の実行計画をベースラインとして、10 回の実行計画を当てはめたときに何が起こったかを比較しています。
	期間モデルと G10 の保持時間の 13 期間。
	13 ではかなり大きなエラーが発生し、10 でははるかに小さいエラーが発生したことがわかります。 理由がわからない。 結果がどうなったかを示すことにしました。 それは少し謎であり、私はそれを探索するために戻っていません。
	しかし、保持時間 3 では、16 から 10 に下がっていることに注目してください。 はい、二乗平均平方根誤差が若干増加しましたが、実際の予測プロットを見ればわかるでしょう。
	それでも、検証セットでの予測はうまく機能します。 つまり、これが重要なのは、私もよく知っていますが、私はバイオテクノロジー企業とよく仕事をしています。
	実際の効率は実験計画で達成できる可能性があり、多くの人にとってこれらの実験はコストがかかることはわかっています。
	そしてさらに重要なことに、それらには多くの時間がかかります。 これにより、実験時間が短縮され、実験予算が削減され、さらに多くの情報が得られます。
	これについては簡単な結論になります。 この SVEM 手順とこれ、そして Chris が示したように、私たちはこれをシミュレーションとケーススタディで調査しました。
	SVEM は過飽和モデルに最適です。 詳細には立ち入りませんが、機械学習の実践から、過飽和モデルは非常に優れたパフォーマンスを発揮することが知られています。 彼らは例として常にディープラーニングを使用しています。
	Chris 氏が言うように、基本的に SVEM は機械学習と実験計画法を組み合わせています。
	そしてさらに重要なことは、SVEM の道を歩み始めると、それが実験についての考え方に影響を与えるということです。
	したがって、基本的に SVEM を使用することで、イノベーションのペースを実際に加速し、実際に実験の時間とコストを削減できる高効率な実験について考え始めることができます。 そして時間をかけて製品とプロセスを開発する
	リードタイムはますます短くなり、これは簡単な問題ではありません。また、バイオテクノロジー業界の多くの皆さんが深刻な予算の制約に直面していることも私は知っています。
	そして (ちなみに、ほとんどの人がそうだと思います)、そして最後に、有望な領域の 1 つがベイセイアン I 最適設計です。
	そしてもう一度、ブラッド ジョーンズと彼のグループがこれらを JMP に導入するという素晴らしい仕事をしたことを述べておきます。 これは、私が知る限り、ベイズ I 最適設計を実際に実行する唯一のソフトウェア パッケージです。
	そして、SVEM は多くの可能性への窓を開くと考えています。 基本的に、これが私の話であり、ウェイン・レビンに引き継ぐつもりです。
ウェイン・レビン	どうもありがとうございます、
	フィルとクリス。 これに関しては、非常に多くの研究が行われ、いくつかの研究が行われていることを皆さんに理解していただければ幸いです。
	私はこのゲームに 30 年以上携わってきましたが、ここで見ているものに非常に興奮していると言っても構いません。
	これは本当に変革的なものになる可能性があり、ここで行われている産業実験のやり方を本当に変えることができると思います。 以前は過飽和なデザインだけで非常に興奮していましたが、それは
	カスタム デザイナーを使用して容易になり、現在は...それはデザイン側です。
	物事の。
	さて、分析側に SVEM を持ち込む場合、これら 2 つは素晴らしい好みであることを意味します。
	それはとても相性がいい、とあなたは言うかもしれません。 とにかく、結論として、ここでスライドして説明します。
	フィル、私、マリー ゴダードはオンデマンド コースを作成中です (4 月など、次の四半期に利用可能になるはずです)
	混合計画実験についてのコースであり、そのコースでは SVEM にかなりの時間を集中する予定です。 ご興味がございましたら、お知らせください。または、お知らせいたします。LinkedIn などで私たちをフォローしていただくこともできます。
	SVEM アドインについては、もう一度言っておきますが、これを最初に市場に投入できたことを嬉しく思います。
	私たちは何ヶ月もかけて一生懸命取り組んできました。 ほぼ毎月新しいリリースを行っているので、現場からのフィードバックを得ながら進化しています。フィルにはとても感謝しています。
	これを導いてくださって。 そして彼は私たちの開発者の一人 (???) と提携しており、それは本当に本当に素晴らしい取り組みであり、大変な努力でした。
	この点に到達するために、私たちはそれを皆さんに提供したいと考えています。 フィルが先ほど述べたように、これを試すには実際には 2 つの方法があります。 1 つはアドイン自体を試すことです。
	14 と 15 で動作します。 そして、16 が発売されるので、16 でも同様に機能すると思います。 JMP Pro が必要なので、JMP Pro をお持ちでない場合は、ここにリンクがあり、JMP Pro 試用版ライセンスを申請できます。
	もちろん、このプレゼンテーションのスライドをダウンロードすると、このリンクを取得できます。 これが取得方法です。これは、自分で試してみるために使用できる 1 つの方法です。
	もう 1 つの方法は、弊社までご連絡いただければ、概念実証ベースで協力させていただきます。
	そして、いくつかの比較分析などを行うこともできますし、もちろん、その分析をあなたと一緒にレビューすることもできます。 必要な書類を準備しますので、
	試してみても構いません。 私たちはこれをかなりの数の企業に対して行ってきましたが、あなたにとって何が効果的であれ、それが最も簡単な方法かもしれません。 さて、それでは今のところ、私がやりたいことは、
	現時点では、質問やコメントがあればオープンしてください。 クリスとフィルを代表して、ご参加いただきありがとうございます。 それでは、質問とコメントをお願いします。

サミットのベスト起こるエネルギー省予測モデリングRe: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

SVEM アドインをダウンロードしたい人は、このページにアクセスするだけで済みます。

https://predictum.com/products/svem/

 

試用版ライセンスをリクエストするためのリンクが表示されます。

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

@アフメドモハメド, SVEM アドインは開発されていません。Discovery トークで使用できる簡単なスクリプトがあり、SVEM 分析に役立つように変更できます。実験の計画と分析を再考してみませんか? (2021-EU-30MP-776)

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

つまりSVEM アドインを教えてください。

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

@アフメドモハメド, セットアップアドインのことですか？それはここで見つけることができます。自動検証ワークフローをサポートするアドイン

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

このアドインを試してもいいですか?

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

こんにちは@philramseyそして@chris_gotwalt1 。 最近、自動検証用のアドインをインストールして試しました。こここれは、null 因子のアイデアを使用して変数を選択するのに役立ちます。 このリンクで紹介されているアドインは、モデルの平均化により、より完全または包括的であるようです。 無料のアドインですか?

 

いずれにせよ、自動検証アドインからのシミュレートされたパラメーター推定値はモデルの平均化に使用されましたか? もしそうなら、最終的な平均モデルからヌル因子パラメータを取り除くにはどうすればよいでしょうか?

 

ありがとう。

 

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

こんにちは@philramsey 、 返信いただきありがとうございます。申し訳ありませんが、明確に伝えられませんでした。私は反復的な k 分割交差検証について言及していました。これは DOE コンテキストで簡単に実装でき、設計サイズと k の選択に応じてアンサンブルに数百から数千のモデルを提供することもできます。ほとんどの場合、k 分割の少数の繰り返しがうまく機能することに遭遇しましたが、モデルの合計実行回数は通常 100 回未満です。  

 

現在の SVEM JSL コードを使用した最初の簡単なテストの 1 つは、分数の重み付け式を変更して、ホールドアウト サイズを制御するしきい値に基づいて重みを 0 または 1 に変換することです。厳密に言えば、これは完全な k 倍ではなくなり、代わりに一連のランダムな単一ホールドアウトになります。これでも問題なく動作し、妥当な結果が得られると思います。XGBoost アドインに付属の Make K-Fold Columns ユーティリティで利用できるように、直交するように設定された k-fold パーティションのコレクションを構築する方がより効率的です。

補足として、XGBoost アドインは、繰り返される k-fold に簡単に対応するために、他の JMP Pro プラットフォームとは異なる方法で Validation 列を処理することに言及したいと思います。また、SVEM の最後にすべての予測列を平均するのと同じように、予測式を保存するときにすべての個別の k 分割モデルが自動的にアンサンブルされます。行を重複させる必要はありません。  

 

反復 k-fold は文献で十分に確立されており、Python sklearn、model_selection.RepeatedKFold、R パッケージ キャレットなどの場所に実装されており、現在は XGBoost アドインにも実装されています。正直に言うと、真剣なユーザーにSVEMを採用するよう説得するには、SVEMとk-foldの繰り返しとの公正で説得力のある比較が本当に必要であると感じています。

 

私の現在の SVEM の解釈は、k 倍を繰り返したものを平滑化したものであると考えています。または、上で述べたように、これを裏返して、k-fold を分数重みの個別のビニングとして表示することもできます。私の推測では、サンプル外のパフォーマンスを正直に評価すると、ほとんどの場合似たようなものになると思いますが、ぜひ比較してみたいと思います。   

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

p値の役割についての質問がありました。 私たちの感覚では、工業実験の大部分は、収量の最大化、廃棄物の最小化、仕様内に収まる製品の製造など、本質的に予測的なものであると考えています。 多くの場合、使用されるツールには、アクティブな因子を特定し、正規性や非自己相関誤差などのモデリングの仮定を評価するための仮説検定に関するものが多く含まれています。 私たちは、SVEM がデータから予測モデルに直接移行すると考えています。 私たちはもはや自由度に束縛されないため、（仮説検証の意味での）「有意な」効果を決定することは、今後数年でそれほど重要ではなくなる可能性があります。 質問は「どの要因が重要で、どの要因は無視してもよいですか?」に移り、人々は 20 世紀前半の厄介な統計機械の多くを回避し、目の前の問題の解決に直接集中できるようになります。

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

@J_Asscher

 

ご質問に興味をお持ちいただきありがとうございます。 私の回答は次のとおりです。

 

 

1)自動検証アルゴリズムはレプリケートのペアを考慮できますか?レプリケートを組み込む方法はまだ検討していません。 そうするのは簡単ですが。 重み付けスキームを調整するだけで、一方の複製が「トレーニング セット内」にあるときに、もう一方の複製が除外されるようになります。 非常に多くの興味深い拡張や修正があり、研究の焦点を維持し、本質にまでそぎ落とし、出版のために提出するのは困難でした。

 

2)また、これらすべての計算を利用して、特定の実行がモデルの選択、モデルのパラメーター、または予測に大きな影響を与えるかどうかを特定できるでしょうか?はい、興味深い診断は、特定の観測値の回帰係数と重みの散布図を調べることです。 係数と重みの間の相関が絶対値で大きい場合、その実行はその効果に大きな影響を与えます。 これも、時間がなくてまだ追求できていない素晴らしいアイデアです。

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

@エハルーンありがとうございます。これまでの結果に非常に興奮していますが、この産学間の交流からはまだ多くのことが期待されています。 私たちは来週中に論文を提出して出版したいと考えています。9 月までに発表したいと考えている 3 冊のうちの最初の論文になるはずです。

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

こんにちは、ラスさん

ところで、私は XGBoost アドインが大好きです。SVEM は潜在的に数百または数千のモデルをアンサンブルできるため、K 倍のパフォーマンスを発揮する可能性があると思います。私たちの場合は DoE に重点を置いているため、1 つを省略する (実際には常に悪いアイデアです) や k 分割などのテクニックを使用することはできませんでした。将来の作業のために、比較を行う必要があるというあなたの意見は正しいと思いますし、プロセスの基本的な概要は理にかなっています。 pDNA データについては、それを結合すれば、おそらくあなたが提案していることができるでしょう。おそらくこれについてもっと話し合う必要があり、できれば Chris Gotwalt が議論に参加してくれることを願っています。

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

素晴らしい革新的な研究ですね！データ サイエンス コミュニティにおけるモデル検証のゴールド スタンダードは、k 分割相互検証です。 サンプル外のパフォーマンスに関して SVEM と k-fold を公平に比較してみると興味深いでしょう。1 つ以上の k 分割実行からのモデルをアンサンブルすることもできます。実際、これがJMP Pro 用 XGBoost アドイン。私は pDNA データについて次のようなことを想像しています。

 

1. 外側のループは、DOE Custom Designer を実行して、ターゲットを絞った小さなトレーニング サブセット (例: 講演で行った 46 個のうち 16 個) を抽出することで構成されます。私の理解では、このサブセットは確率的であるため、このような外側のループは理にかなっており、単一のホールドアウトによる潜在的なバイアスも回避できます。
2. 反復ごとに、非表示/除外を使用して非トレーニング観測を完全に脇に置くか、ホールドアウト データの欠損値を含む新しい応答を作成します。トレーニング データに対して SVEM と k 分割アンサンブルを実行し、トレーニング データのみに基づいて予測式や推定汎化パフォーマンスなどの重要な結果を保存します。
3. 式をホールドアウト セットに適用し、連続応答 RSquare、二乗平均平方根誤差、ピアソン相関などのパフォーマンス統計を収集します。

 

興味深い副次的な質問は、小さなトレーニング セットでのサイズの縮小が原因で、k 分割個人の適合のいずれかが壊れたり、パフォーマンスが低下したりするかどうかです。この種の出来事は、SVEM のケースを強化するでしょう。また、サンプル内の検証パフォーマンスの推定値が、上記のように経験的に取得されたサンプル外の推定値とどのように比較されるのかにも興味があります。

 

もう 1 つの関連性は、共変量を含むカスタム DOE を使用して k 分割を作成することもできますが、X の代わりに Y 変数を共変量として使用します。JMP Pro XGBoost アドインには、これを行うための補足ルーチン Make K-Fold Columns が付属しています。 これは、k 分割パーティションのセット全体で情報ゲインを最適化する優れた方法であり、上記の実験でも推奨されるアプローチです。

 

最後に、XGBoost をベース モデルとして分数重み付け SVEM アプローチを試してみたいと思います。これは、重みを定義する列の式を再評価するという巧妙なトリックにより、ループ内で簡単に実行できるようです。

素晴らしい成果であり、SVEM のさらなる開発と応用を楽しみにしています。

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

とても興味深い！

2 つの質問:

1) 9:51 で始まる例で使用されている 12 回の実行を含む計画には、4 組の反復が含まれています。 自動検証アルゴリズムはレプリケートのペアを考慮できますか? たとえば、複製のペアに (0,1)、(1,0) の重み、または (a、b)、(b、a) の重みを与えることができます。 それは何か違いがありますか？ もちろん、pDNA の例の 16 行の「予測心臓」デザインにはおそらく複製が含まれていませんが、36 行のデザイン全体には複製が含まれています。

2) SVEM モデルを見つけることに加えて、これらすべての計算を利用して、特定の実行がモデルの選択、モデルのパラメーター、または予測に大きな影響を与えるかどうかを特定することもできるでしょうか? たとえば、これらの条件でプロセスを再度実行することができます。 実行回数が少ない初期設計を使用する場合は、このオプションを考慮するのが自然です。 より広い意味では、初期設計を拡張したい場合もありますが、それは別の問題です。

ありがとう。来週の火曜日のディスカッションを楽しみにしています。

 

Re: SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)

ゴットワルト氏とラムジー氏は、一貫した努力でこの分野を発展させることにより、サンプルが少ないことが多い生物医学およびバイオテクノロジー研究の分野に多大な貢献をしてきました。 機械学習のアプローチはこれらの分野に適用されていますが、この取り組みはゲームチェンジャーとして進化することが期待されています。 この作業を完了していただきありがとうございます。また、JMP と Predictum でのエキサイティングな開発についてお知らせください。 興味深いことに、これはデータ分析分野における学界と産業界の協力による主要な成功も表しています。