756634_ja-JP

liliconcom

SVEM：実験の設計と分析におけるパラダイムシフト（2021-EU-45MP-779）

フィリップ・ラムジー、ノースヘブン・グループおよびニューハンプシャー大学教授
Wayne Levin 氏、Predictum 社長兼 CEO
トレント・レムカス、ニューハンプシャー大学博士課程候補者
クリストファー・ゴットウォルト、SAS JMP 統計研究開発ディレクター

DOE法は長年にわたり進化しており、実験者のニーズや期待も進化してきました。歴史的には、効果推定値のバイアスを低減し、仮説検定力を最大限に高めるために効果を分離することに重点が置かれてきましたが、これは当時の方法論や計算ツールの影響を大きく受けています。産業界におけるDOEは、多くの場合、起こり得る変化に対する製品やプロセスの挙動を予測するために実施されます。本稿では、DOE分析のための本質的に予測的なアルゴリズム的アプローチである自己検証アンサンブルモデル（SVEM）を紹介します。SVEMは、分数ブートストラップを一般化することで、DOEで一般的な小規模データセットに対する機械学習とバギングを可能にします。従来のDOE法と比較して、SVEMは最大桁高い予測精度を提供します。SVEMは、行数よりも多くのアクティブパラメータを持つモデルを適切に適合させるという、注目に値する重要な結果を得ており、自由度などの従来の統計概念の役割を永遠に変える可能性があります。本稿では、ケーススタディを用いてSVEMを説明・実証し、その性能を従来のDOE法と比較した研究シミュレーションについて説明します。また、JMPの新しい候補セット設計機能も紹介します。これにより、SVEMの性能をご自身のデータで簡単に評価できます。SVEMを使用すると、これまでよりも小規模なデータセットで高精度なモデルを作成できるため、市場投入までの時間を短縮し、イノベーションにかかるコストを削減できます。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
ウェイン・レビン	自己検証型アンサンブルモデルは、実験設計におけるパラダイムシフトとして捉えられています。
	さあ…それでは。今日の議題は…誰が話すのか簡単に紹介することです。
	では、SVEMとは何か、なぜ、どのように使うのか。DOEと機械学習の概要を簡単に説明し、それらをSVEMに組み込む方法を説明し、実際のSVEM実験を分析し、
	現在の研究をいくつか確認し、JMP 16 の新機能である JMP の新しい候補セット デザイナーについて説明し、その後、通常の次のステップや Q & A などで終了します。
	SVEM は、より少ない実験サイクルでより多くの洞察を抽出し、DOE を含む少量のデータ セットからより正確な予測モデルを構築する、注目すべき新しい方法です。
	SVEMを活用することで、コスト削減、市場投入期間の短縮、問題解決の迅速化が期待できます。今後、これら全てについて検討を進めていきます。
	セッション中。
	Predictum の社長、ウェイン・レビンです。一緒に参加しているのは、JMP の主任データ サイエンティストであるクリス・ゴットウォルト、そして Predictum のシニア データ サイエンティストであり、ニューハンプシャー大学の准教授でもあるフィル・ラムジーです。
	だから、
	ここで状況を把握しましょう。JMPがデータサイエンスに大きく貢献していることは周知の事実です。DOEの分野では20年以上前に遡りますが、座標交換アルゴリズムを搭載したJMP 4がまさにその例でしょう。
	そして約8年、9年前、決定的なスクリーニング設計が登場しました。SVEM（Self-Validating Angle Modeling、略して「自己検証型アンサンブルモデリング」）は、まさにこの分野における新たな貢献だと考えています。（3回、早口で言ってみてください。）
	機械学習と実験計画法。
	限られたデータ量の限界を克服するということですね。少量のデータでは機械学習はできません。通常、機械学習を実現するには大量のデータが必要です。
	現在、私たちは現場でSVEMを試用しており、多くの企業からこの件について問い合わせがあり、SVEMの試用版を公開しています。
	Predictum は、この分野で初めて製品を開発し、市場に投入した企業です。私たちがこれまでに学んだことをいくつか皆さんと共有したいと思います。
	一つはSVEMが非常にうまく機能することです。つまり、パラメータと実行回数が多い場合、非常にうまく機能します。
	高階モデルはより正確な予測を与えるだけでなく、破綻したDOEからの回復にも役立ちます。例えば、
	何らかの理由で決定的にフィットできないとしても、私たちはいくつかの歴史的なDOEを送ってもらいました。
	パワーが不足していました。彼らは何も見つけられなかったのですが、SVEMでは実際に見つけることができました。実行できたのです。そして、実行が欠落していたり​​、疑わしいものがあったりするケースもありました。
	もう一つ学んだのは、有理階乗などには役立たないということです。ここでは予測モデルに興味があります。
	一部実施要因分析は予測モデルを生成しません。そのための設計ではないからです。つまり、データが構造化されていないものを提供することはできません。
	少なくともそこまでは。もう一つ学んだことは、SVEMの潜在能力をまだ十分にテストできていないということです。そのためには、
	まずSVEMを念頭に置いて実験を設計する必要があり、それはより多くの要因を考慮することを意味します。3つか4つの要因だけを考慮するのではなく、10、15、あるいはそれ以上の要因を考慮するのはどうでしょうか？
	クリスとフィルが話す研究から、ベイジアンI最適設計が最良であり、SVEMや混合設計で使用するのに最適なアプローチであることがわかります。
	SVEMには特に役立ちました。これについては後ほど少しお話しします。SVEMに関しては
	もし試してみたいという方は、クリスとフィルがそれについて話した後に最後に少し情報を提供します。それでは、クリスにバトンタッチします。
	SVENとは何か、なぜ、そしてどのようになのかについて詳しく説明します。それでは、クリス、お願いします。
クリス・ゴットウォルト	分かりました、ありがとうございます、ウェイン。えっと、画面を共有しているんですか？
ウェイン・レビン	まだ。
	さあ、行きましょう。
クリス・ゴットウォルト	はい、わかりました。ありがとう、ウェイン。
	そこで、ここでは自己検証アンサンブル モデル、つまり SVEM という考え方を紹介します。
	かなり基本的な内容に留めておきます。実験の設計と分析の経験がある程度あることを前提としています。
	最も重要なのは、統計モデリングのプロセスは、データに関数を当てはめることに尽きることを理解する必要があることです。
	SVEMは、入力変数の関数として予測変数応答変数を表わす。大まかに言えば、SVEMはビッグデータアプリケーションを用いた機械学習アルゴリズム間の橋渡しとなる。
	実験計画法は、一般的に小規模かつ優れた分析問題と見なされています。機械学習と実験計画法はそれぞれ長い歴史を持っていますが、これまでは比較的別々の伝統でした。
	私たちの研究によると、SVEM を使用すると、より少ない観察でより正確なモデルを取得できることがわかっています。
	これは、製品とプロセスの改善をより少ない時間とリソース、そして低コストで実現できることを意味します。競争の激しい業界であれば、
	市場に最初に参入することが重要な場合、SVEM は非常に興味深いものとなるはずです。
	特に、SVEMは製薬業界やバイオテクノロジー業界において大きな可能性を秘めていると考えています。
	半導体製造などのハイテクや消費者向け製品の開発に使用されています。
	JMP での私の仕事を通じて、多くの業界や応用分野でデータがどのように扱われているかを俯瞰的に見ることができました。
	私は、最適設計実験を構築するためのアルゴリズムや、混合モデルやモデルの一般化などの関連分析手順を開発しました。
	一方、私は JMP Pro のニューラル ネットワーク アルゴリズムや、製品に組み込まれているその他の機械学習技術の開発者でもあります。
	過去20年間、私は大規模な観測データセットをモデル化する際に機械学習がより重要になってきており、多くの新しい
	開発されたアルゴリズム。同時に、計画された実験の分析も変化してきましたが、過去20年間でその変化はより漸進的になっています。
	産業実験の全体的な統計手法は、1970 年代後半に Box、Hunter、Hunter を読んだ人なら誰でも理解できるでしょう。
	機械学習と実験計画法は、一般的に、予測的な問題を解決するために産業界に適用されます。
	これらのツールは、センサーが不良バッチを示しているかどうかや、コストを最小限に抑えながら歩留まりを最大化するためにプロセスを調整する方法などの質問に答えるために使用します。
	どちらも本質的に予測的ですが、機械学習と実験計画法は一般にかなり異なる種類のデータに適用されます。
	ここで、両方の概要を簡単に説明し、それらを SVEM にどのように融合したかについて説明します。
	実際の実験から得たデータを分析し、それがどのように機能するか、そしてなぜ全体的に非常にうまく機能していると考えられるかを説明します。
	全体的に見ていきます...ニューハンプシャー大学の博士課程の学生である Trent Limpkiss 氏(?) が行ったシミュレーションの結果を検討します。この結果から、このアプローチは非常に有望であるという確信が得られました。
	次に、JMP 16 の新しい候補セット設計を使用して既存のデータ セットの最適なサブセットを見つける方法を示す例を説明し、SVEM を実際に試してみます。
	私たちの観察結果のいくつかを取り上げ、私たちが回答したいと考えている将来の質問についても触れ、その後 Phil にバトンタッチして、より詳細なケース スタディと SVEM アドインのデモを実施してもらいます。
	画面上のシンプルなデータについて考えてみましょう。これは冶金プロセスから得られたデータであり、処理工程の最終段階での収縮量を予測したいと考えています。
	左側には収縮を予測するために使用する3つの変数があります。モデリングとは、圧力、時間、温度を結び付け、ここでの反応（収縮）を予測する関数を見つけることです。
	うまくいけば、このモデルは将来新しいデータを生成し、一般化されるでしょう。
	機械学習の文脈では、標準的な方法は、データを2つの互いに素な行セットに分割することです。1つはトレーニングセットと呼ばれ、モデルをフィッティングする際にデータの過剰適合を防ぐために使用されます。
	その結果、新たな観測結果に対して不正確なモデルが生成されることになります。データの別のサブセットとして「検証セット」があり、これはこれまで構築してきた様々なモデルをテストするために使用されます。
	訓練セットに適合された関数です。ここではトレードオフがあり、単純すぎる関数は十分な変動を説明できないため、訓練セットと検証セットに適合しにくくなります。
	一方、複雑すぎるモデルは、トレーニング セットではほぼ完璧に適合しますが、検証セットでは非常に不正確になります。
	検証 R 二乗などの尺度を使用して、単純すぎず複雑すぎない最適なモデルを見つけます。
	このゴルディロックス モデルは、検証セットで検証 R 平方が最も高いモデルになります。
	このホールドアウトスタイルのモデル選択は、かなり多数の行がある場合に非常に良い方法です。
	数億行以上になることもよくあります。「適度に大きい」という表現は意図的に曖昧にしており、対象となるタスクによって異なります。とはいえ、ここで示している12行は実際には小さすぎるため、ここでは説明のために使用しています。
	DOE では通常、時間やリソースに深刻な制約がある状況にあります。
	計画された実験、特に JMP の主要機能である最適計画された実験の中心的な考え方は、可能な限り最小数の行に詰め込まれた最高品質の情報を取得することです。
	長年にわたり、多くの優秀な人々がF検定、半正規分布、AICやBICのようなモデル選択基準などの統計ツールを開発してきました。
	DOEデータのモデルに関する意思決定に役立つ情報です。これらはすべて、科学、工学、製造に関する意思決定の根拠としてどのモデルを使用すべきかを判断するのに役立つガイドです。
	あまり行われていないことの一つは、機械学習モデルの選択を計画的実験に適用することです。なぜでしょうか？
	重要な理由の一つは、情報が設計に非常に密集しているため、いくつかの観察結果を削除するだけでも、主な効果と相互作用が崩壊する可能性があることである。
	そのため、それらを一意に推定可能な効果に分離することができなくなります。それでもそうしようとすると、モデルレポートに自由度の損失や特異点の詳細が追加されるといったソフトウェアレポートの警告が表示される可能性があります。
	では、ちょっとした思考実験をしてみましょう。少しズルをしてみたらどうなるでしょうか？
	元のテーブルからXとYの行をすべてコピーし、片方に「トレーニング」、もう片方に「検証」というラベルを付けたらどうなるでしょうか？これで十分なデータが得られますよね？いや、違います。これで誰かを騙せるわけではありません。これはまさに狂気の沙汰です。
	これはおかしい。なぜなら、このアプローチを使ってモデル化しようとして、適合度の指標のグラフを見ると、より複雑にすることでトレーニングセットへの適合度が向上することがわかるが、トレーニングと検証が
	この場合、セットは同じなので、このアプローチは常に過剰適合につながります。
	そこで、機械学習モデルの選択を、同じデータで計算された 2 つの加重平方和の話として再構成してみましょう。
	モデル選択を 2 つのデータ パーティションの観点から考えるのではなく、重みの 2 つの列として考えることができます。
	トレーニングセットの行には1、それ以外には0となるトレーニング重みがあり、検証列には
	これは、トレーニング行の場合は 0 に等しく、検証行の場合は検証列の場合は 1 に等しくなります。
	したがって、機械学習モデルの選択から、各行には独自の重み値のペアがあり、両方の重みはバイナリの 0 と 1 であると考えることができます。
	このように設定することで、モデルの適合性を独立して評価できるようになります。
	モデルは、トレーニング重みを使用して重み付けされた二乗誤差の合計を最小化するパラメータ値を見つけることによって適合され、一般化パフォーマンスは、検証列重みを使用して重み付けされた二乗誤差の合計を使用して測定されます。
	これらの重みのペアを散布図にプロットすると、トレーニング検証重み、つまりトレーニング重みと検証重みが完全に逆相関していることがわかります。
	さて、完全に反相関した2進値のペアを使用する代わりに、値が0と1の値のみを取るという要件を緩和するとどうなるでしょうか。
	重みが厳密に正の値を取ることを許可するのでしょうか?
	それを行うには、何かを諦めなければなりません。特に、私の知る限り、これを数学的に機能させるには、完全に反相関した重みのペアを持つことはできませんが、それでもかなりの反相関が残る形でこれを行うことができます。
	これを実現する方法は数多くあるが、一つの方法は、分数重み付きブートストラップ法と同じ手法で重みを作成することである。ここでは、平均が1である指数分布を使用する。
	重みを作成します。一様分布の特性を利用したちょっとしたトリックがあり、指数分布でありながら非常に反相関性のある重みのペアを作成できます。
	これを2列の重み付け検証スキームとして使用する場合、これを自動検証と呼びます。フィルと私は、まさにこのアイデアについて、Discovery誌でいくつかの論文を発表しました。
	このアプローチを使用することは、分散の平均が 1 である重みのトレーニング列と、同じプロパティを持つ検証列を持つようなものです。
	この自動検証スキームでは、ある行がトレーニングの二乗和に平均以上の重みを与える場合、その行は検証の二乗和にそれほど与えず、その逆も同様です。
	Mike Anderson が作成したアドインがあり、それがデータ セットを JMP Pro のモデリング プラットフォームが使用できる形式に設定するものであることを指摘しておきます。
	最近、フィルと私はトレントを博士課程の学生として受け入れました。
	春から秋にかけて、トレントはDOEデータにモデルを当てはめる様々なアプローチを試しながら、数多くのシミュレーションを行いました。その中には、自動検証に基づく様々なアプローチも含まれていました。彼の結果のいくつかをご紹介します。
	もう少し後で説明します。独立したテストセットで平均誤差を最小にするという観点から、最も一貫して効果があったアプローチは、自動検証を適用することでした。
	前方選択などの変数選択手順と組み合わせて行うが、これを一度行うのではなく、プロセスを数十回または数百回繰り返す。
	予測式を毎回保存し、最終的にはすべての自動検証反復にわたってモデルを平均化します。この一般的な手順を自己検証アンサンブルモデル、またはSVEMと呼びます。
	もう少し具体的に説明するために、簡単な例を挙げて説明します。まず、自動検証の重みを初期化します。
	Lasso や前方選択などのモデル選択手順を適用し、予測式をテーブルに保存します。
	これが最初の予測式です。この反復では、2つの線形主効果のみが選択されています。
	次に、重みを再初期化し、新しい重みセットを使用してモデルに再度適合させ、その予測式を保存します。
	2つ目の自動検証済み予測式を以下に示します。今回は主効果と交互作用の組み合わせが異なり、回帰係数も異なることに注意してください。
	このプロセスを何度も繰り返します。
	そして最終的には、SVEM モデルはすべての予測式の平均になります。
	これはSVEMアルゴリズムを図で表した簡潔な図です。ブートストラップ法とモデル平均化を組み合わせるというアイデアは、
	重みを再初期化した後、この繰り返しが何度も繰り返されます。その反復から予測式を保存します。
	保存します…ここでパラメータを保存しています…図ではパラメータが表示されていますが、数式でも同じです。すべて保存しておけば、最終的なモデルはすべての反復処理の平均になります。
	完了したら、中間式の展開をオンにしたグラフ プロファイラーで SVEM モデルを使用して、結果のモデルを視覚化し、プロセスの最適化などを行うことができます。
	ここで、トレントの博士論文研究の結果を見ていきます。
	4因子および8因子におけるボックス・ベンケンス法とDSD。各シミュレーションは1,000回のシミュレーション反復で構成され、各シミュレーションには二次応答曲面モデルの真のパラメータ値のセットがそれぞれ設定されていました。
	アクティブパラメータは二重指数分布しており、50% から 100% までのさまざまなアクティブ効果の割合を調査しました。
	1,000 回のシミュレーション繰り返しごとに、因子空間にわたる 10,000 回の実行による空間充填設計で構成された独立したテスト セット上の実際のモデルと比較して SVEM 予測が評価されました。
	私たちは、さまざまな従来のシングルショットモデリング手法と、すべての検証におけるさまざまなバリエーションを検討しました。
	しかし、比較対象が多すぎるため、最も興味深い結果だけを見る方が簡単です。調査したすべての状況において、ストーリーは非常に一貫していました。
	これは、8因子、21回の試行からなる決定的スクリーニング設計を基本設計としたシミュレーションの一つです。この場合、効果の50%がゼロではありませんでした。
	これは、モデルに実行回数とほぼ同じ数の非ゼロパラメータがあったことを意味します。
	左側は、Lasso、Dantzig セレクター、前方選択、およびプルーニングされた前方選択の対数平方根平均二乗誤差のボックス プロットです。これらはすべて、各手法で最高のパフォーマンスを発揮する AICc を使用して調整されています。
	また、次に最もパフォーマンスが良かったのは、適合決定的プラットフォームからの手法で、その次は異なるモデリングに適用された SVEM です...右側にはいくつかの異なるモデリング手順があります。
	テスト セットの RMSE を SVEM 予測と比較すると、独立したテスト セットの二乗平均平方根誤差が大幅に減少します。
	これは対数スケールであることに注意してください。したがって、予測パフォーマンスにはかなり劇的な違いがあります。
	さらに興味深い結果があります。これは本当に衝撃を受けたプロットです。これは同じシミュレーション設定ですが、ここではすべての効果がゼロではありません。
	したがって、真のモデルは、設計マトリックスだけでなく、パラメータ自体でも過飽和状態になります。
	これまでは、アクティブな効果の数はすべての効果の小さなサブセットであり、行数よりも確実に少ないと想定する必要がありました。
	ここでは、アクティブ パラメータの数が行数の約 2 倍であるにもかかわらず、かなり正確なモデルを取得できており、これは本当に注目に値します。
	では、簡単な例を挙げて説明します
	SVEMの原理を用いて、ご自身の過去のDOEにどのように適用できるかを説明します。発酵プロセスにおける5因子DOEの実例を用います。ここでは、pDNA力価で測定した生成物収率に注目します。
	SVEMの大きな利点は、少ない実行回数でより正確なモデルを得られることです。つまり、既存のデータセットを
	JMP 16 の新しい候補セット設計者を使用して、元の設計のいわゆる予測の中心となる行のサブセットを識別します。
	36 行の元のデータを取得し、5 つの列を共変量として読み込み、そのサイズで最適な予測パフォーマンスが得られる元のデザインの 16 行のサブセットを作成するようにカスタム デザイナーに指示します。
	次に、そのサブセット設計に含まれないすべての行を非表示にして除外し、後で独立したテスト セットとして使用できるようにします。
	SVEM モデルを実行し、SVEM モデルのパフォーマンスを、前向き選択などの標準手順と AICc 適合を同じ 16 回の実行に適用した場合に得られる結果と比較します。
	JMP 16 の新しい候補セット デザイナーは、注目すべき貢献であり、SVEM を含むさまざまな点で非常に役立つこの新しいツールの作成において、Brad のチームがいかに素晴らしい仕事をしたかを称賛したいと思います。
	これを実行するには、データ セットを取得してカスタム デザイナーに移動します。
	共変量行を選択します。これは JMP 16 の新しいアウトライン ノードです。
	次に、5 つの入力要素を選択します。
	「続行」をクリックします。
	そして、RSM ボタンを押すと、最適性基準が I 最適または予測型設計に自動的に変換されます。
	切片以外の要因をすべて選択し、モデル内で右クリックします。
	ここでリストを選択して作成...切片以外の効果を、可能性のある効果として設定します。これにより、モデルを作成できます。
	設計基準がベイズI最適設計となるため、基本設計として実行回数よりも多くのパラメータを設定します。これで、実行回数を16に設定できます。
	「デザインを作成」をクリックします。
	これを実行すると、オプティマイザーが魔法のように機能し、ベイジアン I 最適サブセット設計にあるすべての行が元のテーブルで選択されるようになります。
	テーブルに移動し、インジケーターまたは変換列を使用して現在の行選択を記録できます。
	そして、後でわかるように、列の名前をわかりやすい名前に変更しました。
	新しいインジケーター列がゼロになるすべての行を選択することで、サブセット設計に含まれないポイントを選択できます。
	そして、それらの行を非表示にして除外し、モデル適合プロセスに含まれないようにすることができます。
	PhilがSVEMアドインのデモを行うので、モデリングの手順は省略し、ベイズI最適サブセット設計に含まれない行について、前進選択とAICcを組み合わせたモデルとSVEMモデルの比較を行います。比較は赤枠で示されています。
	このレポートの赤い枠線の部分を見ると、SVEMのR2乗が
	独立したテスト セットは .5 で、従来の手順では R 平方が .22 なので、基本的に SVEM で説明される変動の量は従来の手順の 2 倍になります。
	SVEM を 46 個の観測値すべてに適用すると、2 つのモデルのプロファイル トレースを比較することもできます。
	SVEM を 46 回の実行すべてに適用すると、SVEM の下での 16 回の実行で得られるモデルと基本的に同じモデルが得られることは明らかです。
	しかし、前向き選択に基づくモデルには曲率項が欠けており、言うまでもなく、多くの交互作用も欠落しています。これは非常に簡単な手順であり、SVEMをご自身の履歴データでテストするのに使用できます。
	全体的にすべて
	多くの疑問が浮かび上がります。その多くは、実験計画における自由度の役割に焦点が当てられています。現在では、行数よりもパラメータ数が多いモデルを当てはめることができるため、もしそのようなものが存在するとすれば、実質的には負の自由度が存在することになります。
	これにより、産業実験における P 値に基づく思考の役割を再考することになると思います。
	予測の信頼区間など、分析における不確実性に対処するための新しい方法を確立するために取り組む必要があります。
	フィルと私は、私たちが研究できる最適な基本モデルのファミリーを理解しようと研究を進めています。例えば、2次RSM（Reduced Scheme Model）が考えられますが、それに加え、かなり以前に提案されたものの、今では再検討する価値があると考えている部分3次モデルも検討しています。
	どのようなデザインを用いるべきでしょうか？ 使用している基本モデルの因子数に応じて、適切なサンプルサイズはどれくらいでしょうか？ スクリーニング実験の役割は何でしょうか？ そして、大きな未知数の一つは、ブロッキング実験と分割実験の役割は何でしょうか？
	この枠組みの中で?
	それでは、フィルにバトンタッチします。フィルはより詳細なケーススタディとPredictumのSVEMアドインのデモを行います。フィル、どうぞ。
フィリップ・ラムゼイ	クリス、ありがとう。これからケーススタディについてお話ししますので、
	スライドショーもやります
	クリスが言ったように、予言の実例
	SVEM分析の大部分を自動化するアドインです。ここで取り上げるのは、バイオテクノロジー業界で用いられる分析手法です。
	これは治療用タンパク質、基本的には抗体になるタンパク質の糖プロファイリングを特徴付けるためのものです。
	この業界で働いている皆さんは、糖タンパク質が治療薬の非常に豊富な供給源であること、そしてGMPの遵守を目指すなら測定システムの信頼性を実証しなければならないことをご存知でしょう。実際、糖プロファイリングにおいては、
	迅速で使いやすい分析手法は、まだ十分に開発されていません。そこで、この実験の目的は、人々が様々な物質を正確に評価できる、比較的迅速かつ簡単な方法を開発することでした。
	（私は化学者ではありません）糖は
	転写後に基本タンパク質に付​​加されます。
	クロマトグラフィーを使うというアイデアについて、皆さんは既にご存知かと思いますが、基本的には
	何らかの溶液を用意し、それをカラムに通します。そして、様々な化学種がカラムを通過すると、
	それらは分離してカラムから異なる時間に出てくる傾向があります。つまり、基本的にはクロマトグラムと呼ばれる形で、ピークが
	濃度の関数であり、ピークが現れる時間は、その種が何であったかを特定する上で重要です。そのため、このケースでは、いくつかの
	糖類です。私は単にグリコフォームと呼ぶことにしますが、ここで何が起こっているかというと、この研究を行った科学者たちが較正溶液を開発したのです。
	キャリブレーション溶液に何が含まれているかを正確に把握しています。どのピークが溶出するのか、そして大まかにどこに溶出するのかも正確に把握しています。
	そして、実際のヒト抗体サンプルとキャリブレーションサンプルを比較します。これらのグリコフォームの中には荷電しているものもあり、カラムを通過するのが困難です。
	彼らはそれに固執する傾向があるので、私たちはグラジエント溶出手順と呼ばれるものを使用しています。
	詳細は省きますが、ここで行っているのは、高性能陰イオン交換クロマトグラフィーと呼ばれるものを使っています。私は専門家ではありませんが、一緒に仕事をした科学者が
	この較正を開発するのは非常に良い仕事であり、歴史的に較正ソリューションが必要な理由は
	ヒト抗体サンプルから溶出する糖は、カラムのどこから出てくるか完全には予測できないため、較正に使用できるものがあります。
	それで。
	この研究を行った人物（後ほど紹介しますが）は、2つの別々の実験を設計しました。1つは16回の試行からなる3水準実験です。
	その後、彼女は戻ってきて、より大規模な28回実行の3水準設計を行いました。1つは訓練セットとして、もう1つは検証セットとして使用できますが、クリスが話した共変量選択とベイズI最適戦略を実証するために、
	両方のデザインを44回実行の単一のデザインに統合しました。
	その設計を共変量セレクターを使用してカスタム設計に取り入れ、さまざまなベイズ I 最適設計を作成しました。
	もっと多くの組み合わせを試すこともできましたが、これについて話す時間は限られています。そこで、3つのデザインを用意しました。1つは10回の試行です。5つの因子を思い出してください。10回の試行です。
	13回実行のデザインと16回実行のデザインがあり、さらにもっと多くのことを実行できます。そこで、これらのデザインがどのように
	ファンを使用してモデルを適合させた後の設計のパフォーマンスです。ところで、Chris が述べたように、これらの各設計では、44 から選択されなかった実行が検証セットまたはテスト セットとして使用され、モデルのパフォーマンスがどの程度優れているかが確認されます。
	では、これらが初期因子、酢酸ナトリウムの初期量と水酸化ナトリウムの初期量です。そして、3つの別々のグラジエント溶出ステップが行われます。
	処理時間は約40分です。これが実験で使用および操作されている設定です。
	この実験では、実のところ44通りの回答を見ることができます。時間の関係で、2つだけ見てみましょう。
	1 つはグリコフォーム 3 の保持時間です。これが鍵となり、キャリブレーション クロマトグラムを固定します。
	そして、人間の抗体サンプルとうまく一致するため、約 8 分半で出てくるようにしたいと考えています。
	実は、モデル化するのはかなり簡単です。2つ目の応答は、グリコフォーム10の保持時間です。これは荷電グリコフォームです。溶出が非常に遅く、他の荷電グリコフォームと混ざり合う傾向があり、区別が困難です。それでは、これら2つの応答を見ていきましょう。
	クロマトグラフィーに馴染みのない方のために、クロマトグラムと呼ばれるものをいくつかご紹介します。これは基本的に、
	応答がどのように見えるかの写真です。この場合、写真を見れば、保持時間、つまりいつ応答が返されたかがわかります。
	ピーク3は何時に現れましたか？そして、ピーク10は何時に現れ、クロマトグラムに現れましたか？ところで、2つのピークの間に注目してください
	私が示しているクロマトグラムを見れば、プロファイルがいかに異なっているかが分かります。この実験では、これらの実験因子を操作することで
	（ちなみに、このクロマトグラムは44枚あります。ここでは2枚お見せします）ピークの形状や保持時間、分解能などに多くの違いが見られます。つまり、私たちが何をしようと、明らかに操作しているのです。
	クロマトグラムですが、興味のある方のために言っておきますが、私たちは将来これを機能データとして、また機能データ分析がどのように使用されるかについて考えています。
	それは往々にして未来の話ですが、私たちが非常に興味を持っている分野であることは間違いありません。クロマトグラムは結局のところ機能データです。しかし、ここでは2つの特徴を抽出してモデル化してみたいと思います。さて、ここで感謝の意を表したいと思います。
	Cytovance BiologicsのEliza Yeung博士は、私の良き友人であり、優れた科学者です。彼女はすべての実験を行い、この装置を構築するというアイデアを思いついたのも彼女です。
	彼女がグルコースラダーと呼んでいるもの、つまりキャリブレーション溶液です。エリザは優しい人柄なだけでなく、JMPも大好きです。だから私たちはエリザを色々な意味で気に入っています。彼女は優秀な科学者です。
	話に入る前に
	SVEM についてちょっと触れておきたいのですが...クリスは、最適化の基礎として 1950 年以来使用されている完全な二次モデルについて言及しました。
	基本的に、すべての主効果、二因子相互作用、そして二乗項です。実際、多くの複雑な物理システムでは、そのモデルでは反応速度論が複雑すぎるのです。
	コーネルとモンゴメリーは1998年の素晴らしい論文でこれを指摘し、多くの場合、
	彼らが相互作用モデルと呼んでいるもの、私たちは部分立方モデルと呼んでいますが、これがより有効かもしれません。そして私の経験では、SVEMを用いてこのモデルを多くのケーススタディに適用したところ、彼らの言う通りです。確かに、より優れた予測モデルが得られるのですが、問題があります。
	これらの部分立方モデルは非常に大きくなる可能性があり、クリスが述べたように過飽和モデルが大きな問題となる従来のモデリング戦略にとって大きな課題となります。
	潜在項はいくつありますか？Kの2乗を2倍し、切片として1を加えます。つまり、5つの因子の場合、
	部分立方モデルには51個の項があります。ちなみに、これらのモデルを使うつもりですが、通常は最も重要な40個の項だけを使うことにします。
	そして、自己検証アンサンブルモデリングを使用してモデルを適合させますが、Chris が言ったように、SVEM では過飽和モデルでも問題ありません。
	ちなみに、機械学習の文献では、過飽和モデルが常に適合されています。
	適切な機械学習技術を使用すれば、実際に、より優れた予測パフォーマンスが得られることが分かります。
	これは従来の統計ではほとんど知られていません。そこで、SVEMアドインを使用します。SVEMについてもっと詳しく知りたい方は、既に講演されているPredictumのWayne Levinにご連絡ください。きっと喜んでお話ししてくれると思います。
	それでは、JMP について簡単に説明しましょう。
	アドインが実際にどのように機能するかを説明しますので、JMP を使用します。
	アドインをインストールしたので、専用のタブが表示されます。Predictumをクリックします。ちなみに、これはベイズI最適設計の一つで、実行回数は16回です。自己検証型アンサンブルモデリングを選択してください。
	典型的なフィットモデルの起動ダイアログのようですね。5つの要素を選択したいと思います。
	ここでは説明のために応答曲面モデルを作成します。
	グリコフォーム 3 の保持時間。バックグラウンドでこのセットアップ、自動検証テーブル、つまり待機機能があることに注意してください。
	自動検証の部分があります。これはすべてバックグラウンドで実行されるので、表示する必要はありません。ただし、この部分はアドインによって作成され、基本的には非表示になっています。必要に応じて表示することもできますが、表示する必要がそれほどないため非表示になっています。
	さて、GenRegを開きます。これがGenRegです
	コントロールパネルです。ちなみに、SVEMはモデル構築に用いる手法に関して、非常に汎用性があります。実際、GenRegに含まれていない手法も使用できますが、今日の主な焦点はそこです。そこで、前向き選択法を使ってみます。
	時間があまりないので、10 回だけ繰り返します。
	「実行」をクリックするとモデルが作成されます。
	こちらは10回繰り返しただけの出力です。予測値と実際の値を比較したプロットが得られます。しかし、この機能の素晴らしい点は、実際にアンサンブルモデルの平均が生成されることです。
	自己検証アンサンブルモデルをクリックし、予測式を保存します。それでは、この画面を閉じます。
	やって来る。
	これが私のモデルです。
	このモデルを検証データに適用してみましょう。選択された実行は16件なので、実際の結果を確認するための検証セットとして使用できる実行はあと28件あります。それでは、
	ところで、SVEMアドインなしでは、特にJMPスクリプトに精通していない場合は、少し難しいかもしれません。
	実際にこれらのモデルを作成するために。このアドインは、バックグラウンドでそれほど多くの作業を行ったようには見えないかもしれませんね。それで、どうだったでしょうか？スライドショーに戻しましょう。
	そこで私がやったのは、3つのデザイン、16回実行のデザイン、13回実行のデザイン、そして10回実行のデザインです。本当に限界に挑戦したんです。
	2つのレスポンスがあります。先ほども言ったように、グリコフォーム10は溶出が遅く、ノイズが多くなりがちで、分離が難しい場合があります。そのため、16回の実験計画では、実際には40項の部分立方モデルを当てはめました。16回の実験です。そして、40項モデルを当てはめました。
	ここで鍵となるのは、検証セットにおける平均二乗誤差の平方根です。
	私は6番目の...40用語モデルを当てはめ、そして
	検証セットの二乗平均平方根誤差は低く、検証 R 平方は実際に 98 に近かったため、非常によく適合しました。
	より騒々しい場合でも注意してください
	グリコフォーム10でも、かなり良いモデルが得られました。実際の値と予測値のプロットをいくつかお見せします。13についても同様に試してみましたが、非常に良い結果が得られました。
	そして最後に 10 です。ちなみに、10 については、標準の完全二次モデルを当てはめただけですが、本当に運を試しているような気がしました。
	しかし、部分三次法を試してもよかったかもしれません。そしてもう一度、グリコフォーム3の保持時間をモデル化して10回実行した場合でも、R二乗は0.94でした。
	私にとって、これは本当に印象的で、もう一度モデル化してみました...私のモデルには観測値の 2 倍の予測変数があり、モデル化が難しいグリコフォーム 10 でも、かなりうまくいきました。
	ここに実際のグラフと予測グラフがいくつかあり、ここでもモデル化が非常に難しいためグリコフォーム 10 を選択しました。
	システムをあまり操作したくありませんでした。経験上、モデル化が難しいことは分かっています。そのため、実測値と予測値のプロットがあります。10回試行の計画では、実測値と予測値のプロットも作成しましたが、それでもかなり良い結果が得られました。
	私たちがここで何をしようとしているのかを考えてみると。
	そして最後に、全体的な成果はどうだったでしょうか?
	これは私がまとめた小さな表です。16回実行した設計を基準として、10回実行した場合の結果を比較しています。
	用語モデルおよび G10 の保持時間に対する 13 用語。
	13ではかなり大きな誤差が出ているのに、10ではずっと小さな誤差が出ているのに気づくでしょう。理由は分かりません。結果だけを示すことにしました。少し謎なので、改めて調べてみたことはありません。
	しかし、保持時間3では、16から10に減っていることに注目してください。確かに、二乗平均平方根誤差は若干増加していますが、実際の値と予測値のプロットを見れば、
	検証セットでは依然として良好な予測性能を発揮しています。つまり、これは私がバイオテクノロジー企業と多くの仕事をしている中で分かっていることなのですが、
	実験設計で達成できる可能性のある実際の効率と、皆さんの多くにとってこれらの実験にはコストがかかることを私は知っています。
	さらに重要なのは、これらには多くの時間がかかるということです。これにより、実験時間を短縮し、実験予算を削減し、より多くの情報を得ることができます。
	では、簡単に結論を述べましょう。このSVEM手順とこれについてですが、クリスが示したように、シミュレーションとケーススタディで調査しました。
	SVEMは過飽和モデルに最適です。ここでは詳しく説明しません。機械学習の実践では、過飽和モデルは非常に優れたパフォーマンスを発揮することが知られています。彼らは常に、そしてディープラーニングを例として挙げています。
	基本的に、Chris が言うように、SVEM は機械学習と実験計画法を組み合わせたものです。
	さらに重要なのは、SVEM の道を歩み始めると、それが今度は実験に対する考え方に影響を及ぼすということです。
	つまり、SVEMを使うことで、イノベーションのスピードを加速させ、実験にかかる時間とコストを削減できる、非常に効率的な実験について考え始めることができるのです。そして、製品やプロセスの開発に費やす時間も節約できます。
	リードタイムはどんどん短くなっていますが、これは些細なことではありません。バイオテクノロジー業界の皆さんの多くが、深刻な予算の制約に直面していることも承知しています。
	そして (ちなみに、ほとんどの人はそうでしょう)、最後に有望な分野の 1 つはベイズ I 最適設計です。
	繰り返しになりますが、ブラッド・ジョーンズ氏と彼のグループはJMPにこれらの機能を導入する素晴らしい仕事をしてくれました。私が知る限り、ベイズI最適設計を実際に実行できるソフトウェアパッケージはJMPだけです。
	SVEMは多くの可能性への扉を開くと考えています。以上が私の話です。ウェイン・レビンにバトンタッチしたいと思います。
ウェイン・レビン	本当にありがとう。
	フィルとクリス。このプロジェクトには膨大な作業と研究が費やされており、その中には
	最前線で働いていると言えるかもしれません。私はこの業界で 30 年以上働いていますが、ここで目にしているものにとても興奮していると自信を持って言えます。
	これは本当に変革をもたらすものだと思います。ここでの産業実験の実施方法を根本的に変えることができると思います。以前は過飽和設計だけでもとても興奮していましたが、
	カスタム デザイナーが協力し、デザイン面では...
	物事の。
	さて、SVEMを分析の側に持ってくると、これらは2つの素晴らしい味です
	相性抜群だと言う人もいるかもしれませんね。さて、最後に、ここで少し触れておきたいことがあります
	フィル、私、そしてマリー・ゴダードは、オンデマンドコースを準備中です（次の四半期、4月あたりに利用可能になる予定です）。
	混合設計実験について学び、そのコースではSVEMにかなりの時間を割く予定です。もし興味があれば、ぜひお知らせください。ご連絡いただければ、こちらからご連絡したり、LinkedInなどでフォローしたりさせていただきます。
	SVEM アドインについては、もう一度申し上げますが、当社がこれを最初に市場に投入できたことを嬉しく思っています。
	私たちは数ヶ月間、この開発に熱心に取り組んできました。ほぼ毎月新しいリリースを行っており、現場からのフィードバックを得ながら進化を続けています。フィルに心から感謝します。
	これをリードしてくれたことに感謝します。彼は私たちの開発者の一人（？？？）と協力してくれて、本当に素晴らしい努力をしてくれました。大変な努力でした。
	ここまでたどり着くには、皆さんにもご利用いただけるようにしたいと考えました。先ほどフィルがお話ししたように、これを試すには2つの方法があります。1つはアドイン自体を試すこと、もう1つは
	バージョン14と15で動作します。16がリリースされる頃には、16でも動作するようになると思います。JMP Proが必要ですので、JMP Proをお持ちでない場合は、こちらのリンクからJMP Proの試用ライセンスをお申し込みいただけます。
	もちろん、このリンクは、このプレゼンテーションのスライドをダウンロードすることで入手できます。このようにして入手できるので、ぜひご自身で試してみるのも良いでしょう。
	もうひとつの方法は、弊社にご連絡いただければ、概念実証ベースで協力させていただきます。
	比較分析などを行い、もちろんその分析結果をお客様と一緒に確認させていただきます。必要な書類も準備いたしますので、
	試してみるのは構いません。私たちは多くの企業でそうしてきましたし、あなたにとってもそれが一番簡単な方法かもしれません。どんな方法でも構いません。さて、それでは今のところ、私がやりたいことは
	ご質問やご意見がありましたら、どうぞお気軽にどうぞ。クリスとフィルを代表して、ご参加いただきありがとうございます。それでは、ご質問やご意見をどうぞ。

高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査データの探索と可視化実験計画法予測モデリングと機械学習品質およびプロセスエンジニアリング結果の共有と伝達