| スピーカー |
トランスクリプト |
| デビッド・ウォン・パスクア |
はい、それで。 |
| |
着実かつ着実な努力が勝利を導きます。皆さん、こんにちは。私はCatSciのシニアサイエンティスト、デイビッドです。CatSciとは何でしょうか？ |
| |
CatSciは、エンドツーエンドの化学プロセス、研究開発におけるイノベーションパートナーです。JMP UKなどの組織と連携し、すべての意思決定がデータに基づいて行われるよう努めています。 |
| |
当社にとって重要なのは、最初から正しく行うこと、そして毎回正しく行うこと、すべてのプロジェクトに目的にかなったカスタムメイドのソリューションを策定すること、そしてお客様の期待に応えることに絶対的な焦点を当てていることです。 |
| |
私たちは、開発の初期段階から後期段階まで、幅広い分野に取り組んでいます。プロセスの専門知識と、長年にわたる触媒分野での経験（これは常に私たちのアイデンティティの中核を成すものです）に加え、分析化学と材料科学における優れた能力を有しています。 |
| |
そのため、CatSci では、プロセス最適化の上流におけるカテゴリ変数の選択が課題の 1 つとなっています。 |
| |
この困難は、私たちの触媒スクリーニング作業において最も顕著です。 |
| |
スライドの画像では、触媒スクリーニングを実行するために使用する装置や機器の一部を見ることができます。 |
| |
左側には、金属前駆体とリガンドの 24 種類の事前投与された組み合わせを含む、あらかじめ作成された触媒キットがあります。 |
| |
中央には、右側に見える 48 ウェル プレートを収容する水素化装置があります。 |
| |
これにより、48 個の個別の実験を同時に実行できるようになります。 |
| |
これらの機器は高スループットと小規模向けに設計されており、クライアント向けに 10 枚以上のプレートを実行することも珍しくなく、合計で約 500 件の実験に相当します。 |
| |
では、なぜ比較的多数の実験を実行する必要があるのでしょうか。また、効率を向上させるメリットは何でしょうか。 |
| |
したがって、まず第一に、探索する必要がある化学空間は極めて広大です。 |
| |
あらゆる反応、あらゆる化学反応には、温度、濃度、化学量論など、影響を与える可能性のある多くの要因があります。 |
| |
しかし、触媒反応の探索が特に難しいのは、金属前駆体、配位子、試薬、溶媒、添加剤など、重要なカテゴリ要因が多数あるためです。 |
| |
触媒反応のもう一つの特徴は、高次の相互作用が頻繁に起こることです。つまり、触媒システム（金属前駆体と配位子の特定の組み合わせ）の場合、 |
| |
性能を評価するには、広範囲にわたる溶剤および添加剤のスクリーニングが必要です。 |
| |
特定の溶媒で反応がうまくいかないという理由だけで、特定の金属前駆体と配位子の組み合わせを除外するのは正しくありません。適切な溶媒や添加剤が揃っていないのかもしれません。 |
| |
最後に、より効率的なスクリーニング方法の利点を説明する最も簡単な方法の 1 つは、材料の価格を見ることです。 |
| |
当社の触媒プロジェクトの多くは、プラチナ、パラジウム、ルテニウム、イリジウム、ロジウムといった貴金属を使用しています。これらの金属の中には、地殻中に存在する元素の中でも特に希少なものがあり、その価格にも反映されています。 |
| |
Google で価格を簡単に検索してみると、ロジウムの価格は金よりも桁違いに高いことがわかります。 |
| |
触媒スクリーニングにおけるもう一つの大きなコストは配位子です。安価な配位子も存在しますが、不斉合成において最も優れた性能を示す配位子の多くは、ソルビアスのJosiphosのように、独自の配位子です。 |
| |
最も一般的に入手可能で安価なものの 1 つである J001 でも、価格は依然として金の 2 倍です。 |
| |
したがって、実験の数を減らすと消耗品のコストを削減できますが、最も大きな影響は、マルチトンの製造プロセスを持つクライアントに最適なソリューションを見つけたときに生まれます。 |
| |
このような場合、触媒使用量を 10 分の 1 に削減するか、ロジウム触媒をルテニウム触媒に交換するなど、より安価な代替触媒を発見することで、年間数百万ドルを節約できます。 |
| |
それではベンにバトンタッチして、JMP UK チームがどのようにこの問題に取り組んだかについて話してもらいます。 |
| ベン・フランシス |
本当にありがとう、デイビッド。 |
| |
つまり、 |
| |
CatSciやCatSciに類似した多くの企業は、大規模な製剤空間で大きな課題に直面しています。 |
| |
これらは非常に高次の相互作用を引き起こす可能性があります。ですから、科学は非常に複雑であり、その複雑さを解明するためにどのような実験を行うかが重要なのです。 |
| |
残念ながら、David が説明したコストを考えると、すべての組み合わせをテストするという選択肢は、実際には賢明でも実行可能なものでもありません。 |
| |
そして最終的には、関係性を数値的に理解するために、データ サイエンスを含む何らかのアプローチを実行する必要があります。 |
| |
したがって、選択した配合を製造、つまり複数の製造シナリオに適用するには、David が言ったように、毎回機能することを知る必要があります。 |
| |
そこで私たちは文献を検索しました。JMP では DOE の応用に非常に興味があり、これが DOE の特殊な状況であると感じたからです。 |
| |
まさに私たちが名付けたように、これは大きなDOEです。そこで、大きなDOEアプローチを適用できるケーススタディを探したところ、Pereraらによる論文を見つけました。 |
| |
2018年に発表されたこの研究で、彼らはこの反応スクリーニングのためのプラットフォームを検討しました。このシナリオで興味深いのは、5つのカテゴリ因子があったことです。 |
| |
これは大したことではないように聞こえるかもしれません。彼らは反応物1と2、配位子、試薬、溶媒について検討する必要がありましたが、この論文で示された複雑さは、それぞれの要素のレベルにありました。 |
| |
それぞれ 4、3、12、8、4 レベルがあり、すべて合わせると 4,608 通りの組み合わせになります。 |
| |
さて、ペレラらの論文では、一つ一つをテストしましたが、これは世界中のすべての企業にとって実行可能な解決策ではなく、デイビッドが前に説明したように、あらゆる組み合わせをテストしただけです。 |
| |
ヒートマップを見ると、いくつかの高収量地域があることがわかる。 |
| |
収量が低いものもあれば、非常に低いものもありました。そのため、多くのテストが行われましたが、最終的にはプロセスに関する理解はほとんど得られませんでした。 |
| |
そして実験コストが非常に高くなります。 |
| |
最終的に、彼らは組み合わせを見つけ、それを論文で処理して、これが一般的なものだと言うことができました。 |
| |
最初は正しかったのですが、その後、複数トンの製造シナリオにそれを適用した場合、毎回正しかったのでしょうか？要求された仕様を継続的に提供できるのでしょうか？ |
| |
大規模な DOE ソリューションによりリソース要件は削減されますか? |
| |
最初から正しく答えられるのか、毎回正しく答えられるのか？そして、これらの質問をどのように評価し、どのように成果をあげたのか |
| |
まず、リソース要件を削減するため、合計480回の実験しか設計できませんでした。これは10×48ワークプレートを模倣したもので、論文で実行された実験の約10%に相当します。 |
| |
最初から正しいかどうかは、論文で特定された80の高収益の組み合わせのうち、どれだけがテストされたか、または予測されたかを見ることによって測定されました。 |
| |
モデルによって生成された結果です。そして最終的に、10%の実行で、DOEから少なくとも8つの高収量の組み合わせが得られると期待していました。 |
| |
（ここでは、95% を超える値が高収率を示します）。 |
| |
最後に、そして最も重要なのは、モデルの一般的な診断、つまり決定係数を見て、毎回正しく測定されているかどうかです。そして最終的には、これを見てプロセスの洞察が得られるかどうかを確認できるでしょうか？関係性は理にかなっていますか？組み合わせや相互作用は理にかなっていますか？ |
| |
ここでも、私たちは 4,608 個の完全なデータ セットを使用して、R 二乗が .89 であること、また、ブースト ツリー法を使用した結果が、通常の結果と一致することを確認しました。 |
| |
それでは、私たちが採用した最初の大きな DOE アプローチの概要を説明する Phil にバトンタッチします。 |
| フィル・ケイ |
ベン、ありがとう。そしてデイビッド、素敵な舞台設定をありがとう。それで、私たちは3つの異なるアプローチを検討しました |
| |
これに取り組むことで、論文で実際にテストされた実行回数を減らしても、ベンが概説したのと同じ有用な情報を得ることができるかどうかを確認できるようになります。 |
| |
それで、3つのアプローチのうち2つについてお話しします。この2つはどちらかといえば極端なアプローチです。保守的なアプローチと貪欲なアプローチがあり、その後ライアンが、最終的に最も効果的だと私たちが考えた、よりハイブリッドなバランスの取れたアプローチについてお話しします。 |
| |
保守的なアプローチでは、これは標準的なDOEアプローチです。10個のブロックで480回の実験を行うカスタム設計を設計します。これは、Davidが見せてくれた触媒スクリーニング装置の10枚のプレートに相当します。 |
| |
そして、注目すべき結果は、480 回実行された実験から、最も高い収益をもたらす 13 の組み合わせが高収益をもたらすと正しく予測できたというものでした。 |
| |
そして、その480回実行したデータセットからモデルを構築し、その実験で使用されていなかったデータでテストしたところ、 |
| |
R二乗は約0.73で、実はかなり良好でした。この小規模な実験から、システム全体についてかなり良いモデルとかなり良い理解が得られました。そして、発表された大規模な実験からも、このモデルは得られました。 |
| |
このことから得られた非常に興味深い洞察の一つは、このデータから有用なモデルを得るには機械学習を使う必要があるという点です。これは私たちにとって少々意外なことでした。これについては、後ほど詳しく説明します。 |
| |
そして、この保守的なアプローチを用いて収集したデータから、私たちはいくつかの重要な理解を得ることができました。因子空間全体、そして特定の組み合わせがなぜうまく機能するのかについて、深い理解を得ることができました。 |
| |
これにより、代替地域を特定することが可能となり、高収量の組み合わせが見つかったとしても、費用がかかりすぎて現実的ではない場合、 |
| |
触媒が高価すぎる、あるいは危険であったり毒性があったりして工業プロセスに適さない場合でも、私たちは宇宙全体を理解しているので、多くの代替手段があります。 |
| |
それで、どうやってそれを実現したのでしょうか? |
| |
JMPでカスタムデザイン。 |
| |
480回の実験、つまりこの場合は10個のブロックで最適な設計を設計しました。つまり、10個のブロックは、Davidが装置を見せてくれた10個の48ウェルプレートを表しています。 |
| |
ここで注目すべきは、主効果のためのカスタム デザイン モデルを指定することです。 |
| |
二次相互作用と三次相互作用についてです。三次相互作用と、これらのカテゴリ因子のすべてのレベルについて、 |
| |
推定すべきパラメータが膨大な数に上るため、それらすべてを明示的に推定する実験を設計することは不可能です。可能であれば、三次の交互作用を考慮に入れる必要があります。つまり、これは480回の実行でベイズI最適設計となります。 |
| |
この図からわかるように、私たちはさまざまな実験のさまざまなラウンド、さまざまな 10 枚のプレートを見ているだけです。 |
| |
そして、実験に次のプレートを追加することで、因子空間全体の探索がどのように追加されるかがわかります。 |
| |
私たちは特定の領域に焦点を当てているわけではなく、その因子空間全体に関する知識の空白を埋めているだけです。 |
| |
つまり、実験で使用した480回の実行と、公開データセットから取得した残りの4,128行です。このテストデータを使って、モデルが保留データセット、つまりこのテストデータとどの程度一致するかを確認できます。 |
| |
私たちはDOEのあらゆる背景と経験から、 |
| |
特定のモデルに対して実験を設計する場合、標準的な回帰手法が最も有用なモデルを提供します。 |
| |
ここでは JMP Pro を使用しており、一般化回帰を使用して完全な 3 次モデルを適合させています。 |
| |
ここではベータ分布を使用しています。ベータ分布は予測値を0から1の間で変動させるため、収量率を0から1のスケールに変換します。これはちょっとしたコツですが、JMP Proをお持ちの場合は、このような収量データをモデル化する際にこの方法を使うと良いかもしれません。 |
| |
そして、検証方法として AICc を使用した前向き選択を使用して、重要な効果を選択します。 |
| |
これを各ラウンドの後に繰り返します。つまり、第 1 ラウンドでは 48 回のラン、第 2 ラウンドでは 96 回、第 3 ラウンドでは 144 回となり、最終的に第 10 ラウンドでは合計 480 回のランが行われます。 |
| |
ここでは、最初の 3 ラウンドを確認するために、gen reg にフィルターが設定されていることがわかります。 |
| |
したがって、最初の 3 ラウンドでは、gen reg、forward 選択、AICc 検証を使用して得られるモデルは次のようになります。 |
| |
化学反応から何を期待するかという私たちの直感的な理解からすると、これはあまり良いモデルではないと思います。モデルに関係する因子のうち2つしか考慮されていないため、有意な主効果として選択されたのは2つだけです。 |
| |
このモデルをデータテーブルに保存し、そのモデルが保留データ、つまりテストセットをどれだけ正確に予測するかを確認できます。 |
| |
残りの4,128行は実験には含まれていませんでした。これを各ラウンドで実行できます。各ラウンドで実行したので、gen regを使って構築したモデルは10個になりました。 |
| |
そこで、代替案として、機械学習の手法をいくつか検討してみる価値があると考えました。ここでは、最初の3ラウンドだけを再度見ていきます。 |
| |
さまざまなモデリング手法を素早く確認する方法として、JMP 16 Pro のモデル スクリーニングを使用します。 |
| |
YとXに収量と係数を入力するだけです。検証のために、データの25%をランダムに保持するホールドバック検証列を設定しました。 |
| |
[OK]をクリックすると、さまざまなモデリング手法が実行され、次のようなレポートが表示されます。 |
| |
いくつかのジェネレーション レジスター モデル、ニューラル ネット、さまざまなツリー メソッドなど、さまざまなモデリング手法がどれだけ優れているか。 |
| |
そして、その中から最も優れた2つを選択しました。実際、実験の全ラウンドを通して、ニューラルネットワークモデルとブートストラップフォレストが最も優れたパフォーマンスを発揮したことがわかりました。 |
| |
したがって、予測式を再度保存し、実験に含まれなかったテスト データ セットでそれらを使用して比較し、さまざまなモデルがそのテスト データ セットに対してどの程度優れているかを確認できます。 |
| |
ここではモデル比較と JMP Pro を使用して、すべての gen reg モデル、ニューラル ネット モデル、ブートストラップ フォレスト モデルを比較します。 |
| |
そして今、テストデータセットに対するR2乗のグラフが表示されています。これらのモデルが、保留されたテストデータセットにどれだけ適合しているかが分かります。 |
| |
そして、赤色で示されているのは、前進選択を用いた標準的な回帰モデルです。 |
| |
最初のラウンドでは、実際には最高のモデルだったのですが、実際にはあまり改善されておらず、5ラウンドあたりで突然非常に悪化し、次のラウンドで再び非常に良くなりました。つまり、非常に不安定で、終盤に向けて悪化していくのです。おそらく過剰適合しているのでしょう。 |
| |
一方、機械学習の手法は、 |
| |
3ラウンド目以降、彼らは最高のパフォーマンスを発揮し、標準的な回帰分析手法よりも優れたパフォーマンスを発揮し、着実に改善しています。実際、 |
| |
緑色ではニューラルネットワークのほうが優れていることがわかります。そして、終わりに近づくにつれて、ブートストラップ フォレストがブースト ニューラル ネット モデルよりも優れたパフォーマンスを発揮しています。 |
| |
したがって、ここでの重要な方法は、比較的単純な状況だと考えられる場合でも、このようなシステムやプロセスに最適なモデル、最も信頼性の高いモデルを取得するには、JMP Pro の機械学習手法が本当に必要だということです。 |
| |
ここでは、公開された4,608回の試行すべてにおける実際の収量結果と、第10ラウンド終了時（480回試行完了後）における最良のモデルの予測値を比較したグラフを見ています。右側はブートストラップフォレストです。 |
| |
悪くないですね。重要な行動が捉えられているのが分かります。収穫量の少ない地域と最も収穫量の多い地域を特定しています。つまり、 |
| |
特に右上では、ヨウ素（？）反応物とボロン酸とボロン酸エステルを使用しています |
| |
そこに反応物があります。 |
| |
そこで、これをもう一つの極端なアプローチと比較してみましょう。最初の48回は全く同じ方法で、同じ48回の実行から始めます。次にモデルを構築し、そのモデルを使って残りの実行の中でどれが |
| |
残りの 4,560 回の実行のうち、どの実行が最も高い収量をもたらすかをモデルが予測し、その後、10 回目までのすべての後続ラウンドでこれを繰り返します。 |
| |
この場合、私たちは高収量と組み合わせをより正確に予測しますが、10ラウンド後に最終モデルを取得し、それをデータと比較すると、 |
| |
実験では使用していませんが、R二乗はひどい値です。0.33です。つまり、得られたモデルはシステム全体について適切な予測をしていないということです。 |
| |
つまり、私たちは高収量地域の一つについて深く理解し、うまく機能する要素の組み合わせや設定を見つけていますが、システム全体を理解できるわけではありません。私たちは… |
| |
システム全体に対する理解の変動性は低下していません。 |
| |
このシステム、このアプローチがどのように機能するかをお見せするために、これは4,608回の試行のすべて、つまり可能なすべての組み合わせです。そして、ラウンド1で述べたように、これは保守的なアプローチを使用したラウンド1と同じなので、I最適です。 |
| |
そこには点の集合があり、因子空間全体に均等に分布していることがわかります。 |
| |
私たちは、これら 48 回の実行から得たデータにモデルを適合させます。 |
| |
そして、そのモデルを使って他のすべての可能な組み合わせの収量を予測し、その中から最も収量の高い48の予測を選択します。 |
| |
ご覧の通り、彼らは高利回り領域に焦点を当てており、もはやファクター空間全体を調査しているわけではありません。 |
| |
ラウンド1、2、3、そしてラウンド10まで進むと、各ラウンドで、左上の高収量ゾーンにある実験の実行を追加していることがわかります。つまり、因子空間の1つの領域にのみ焦点を当てていることになります。 |
| |
ここで実際と予測を比較すると、左上の領域では非常に良い結果が得られていることがわかります。 |
| |
しかし、他の地域では予想通り、かなりひどい予測が出ています。これはそれほど驚くべきことではないかもしれません。私たちはシステム全体を実験したわけではなく、高収量地域に焦点を絞っただけです。 |
| |
そして、左側の保守的なアプローチと比較すると（左側のプロットはすでにご覧のとおりです）、モデルがどのように |
| |
ラウンド 1 から 10 まで改善され、その後は各ラウンドでモデル スクリーニング プラットフォームを再度使用して最適なモデルを探しました。 |
| |
そして、各段階でブーストニューラルネットが最良のモデルであることが判明しました。保守的なアプローチのジェネレーション・レジスターのように、やや不安定であることがわかります。 |
| |
時には大丈夫なこともありますが、保守的な実験から得られた最良モデルと競合することは決してありません。 |
| |
これらは両極端ですが、この問題に対するよりバランスのとれた、あるいはハイブリッドなアプローチについてお話しするライアンにバトンタッチしたいと思います。 |
| ライアン・レキベッツ |
ありがとう、フィル。そして |
| |
実は今、プレゼンテーションの最中ですが、このプレゼンテーションに参加させてくれたフィル、ベン、そしてデイビッドに感謝します。開発者として、ちょっと触ってみるのは実に楽しいです。私はJMPのDOEプラットフォームの開発者です。 |
| |
Phil がここで言及したように、私がここで検討しているアプローチはハイブリッド アプローチです。 |
| |
さて、ここでの考え方は、最適化と探索という考え方を検討していくということです。 |
| |
フィルが話していた貪欲なアプローチは、まさに最適化と言えるでしょう。私はひたすら最善を追求し、そこにのみ焦点を当てます。一方、保守的なアプローチでは、探索のみを重視します。 |
| |
ここでの考えは、中間のどこかにたどり着くことができるかどうかということです |
| |
おそらく、まだ少し空間を探索しながら最適化するのでしょうか? |
| |
それで、ここで何をしたかお話ししましょう…実は、事前に準備しておいたウェルプレートを3つ用意して、そこから始めました。48サイズのブロックを3つ用意し、If Possible 2FIsを使って主効果を調べました。 |
| |
理由は、48回の実行だけではモデルをあまり信頼できないことが時々あったからです。そこで、少しバーンインさせてみようと考えました。144ウェルプレート、つまり3ウェルプレートで試してみれば、モデルをもう少し信頼できるかもしれないと思ったのです。 |
| |
なぜなら、ある意味では、たとえ貪欲なアプローチを考えたとしても、モデルが悪ければ、最悪の領域に陥ってしまうからです。あまり役に立ちません。 |
| |
そしてまた、前と同じように、最終的には合計 10 個のウェル プレートまたは合計 10 個のブロックを作成することになります。 |
| |
これについては今後のスライドで少しお話ししますが、実は最初から最後までXGBoostを使っていました。つまり、私が予測に使った方法はXGBoostを使うことでした。その理由は後で説明します。 |
| |
それをしてくれたことに対して。 |
| |
しかし、ここでの考え方は、本質的には予測値が何であるかを把握することでした。つまり、上位48名だけを厳密に追うのではなく、閾値を設定することにしました。 |
| |
そうです。最初の 3 つの後、50 から始めました。50 を超える予測値を取得して、さらにウェル プレートを進めていくにつれて、各ラウンドで 5 つずつ増やしていくことにしました。 |
| |
つまり、それはかなり恣意的でした。その理由の一部は、合計で 10 ラウンドしかないことがわかっていたことと、そのセットがどれくらい大きいかを予測に基づいてある程度把握できたからです。 |
| |
そうです。データに応じて、そのセットがまだ大きいように見え、予測が約 50 だった場合は、それを修正できます。 |
| |
したがって、ここでの考え方は、できればより高い収益が見込まれる地域をゆっくりと探索し始めることです。 |
| |
それで、私たちの予想は正しかったのでしょうか？ そうですね、この結果では、最も高い利回りの組み合わせ80個のうち、95を超える27個を獲得しました。これは貪欲なアプローチからそれほど外れたものではありません。 |
| |
そして、R二乗について考えてみると、ホールドアウトデータをすべて考慮すると、最終的なテストR二乗は0.69となり、保守的なアプローチからそれほど離れていないことがわかります。つまり… |
| |
そうですね…今、この2つの数字だけを見ると、慎重になりたくなるかもしれませんね。でも、それを踏まえると、このハイブリッドはまさに両方の長所を兼ね備えているように思えます。つまり、トレードオフはありますが、それでも良いものを手に入れているということです。 |
| |
このアプローチに関する考察をいくつか述べたいと思います。結局のところ、高利回りに関連するファクター空間をより深く理解できたと言えるでしょう。 |
| |
貪欲な人は、ポイントがどこにあったかを思い出してみると、左上に集中していたので、そのスペースをあまり探索しなかったと思います。 |
| |
そして、もし... 想像してみてください。 |
| |
もし、ある物件の価格が一夜にして突然4倍になった場合、その地域の他の物件については何も分からなくなってしまいます。 |
| |
そうです。このハイブリッドアプローチにより、どのように、なぜ、いくつかの組み合わせが理解でき、より良い選択肢が生まれます。 |
| |
繰り返しになりますが、おそらく他のことを考慮に入れると、他の測定基準に基づいてより良い代替案があるため、収量を少し犠牲にしても構わないと思うでしょう。 |
| |
それで、ここでのアイデアは…そうですね、カスタムデザインで実際にどのように実現したかを説明しましょう。私が採用したアプローチは |
| |
カスタム デザイナーで共変量を使用する方法ですが、これは時々過小評価されているように思います。 |
| |
しかし、そのアイデアは、そのデータセット全体、つまり4,608回の実行全体を取得したということです。 |
| |
そして各ラウンドについて…ご想像の通り、最初は144回実行の計画を採用し、その後、そのデータセット全体からサブセットを取ろうと決めました。以前の計画で既に選択したものがある場合は、そのサブセットも必ず含める必要があります。 |
| |
また、特定の値を超える予測収量も教えてください。4 番目の設計では、50、55、60 などから開始しました。 |
| |
データテーブルでは |
| |
では、前回の実験で使用した設計ポイントを選択します。それらがハイライト表示されていることを確認します。そして、カスタム設計を選択し、「因子の追加」の下にある「共変量」というオプションを選択します。繰り返しになりますが、これは… |
| |
多くの人は共変量を実際に見たことがありません。共変量について話すだけで講演全体が費やせると思うので、ここでも言及しました。 |
| |
しかし、実際にはブログ記事がいくつかある予定です（このビデオを見る頃には公開されていなくても、おそらくこれを見ている数日以内には公開されるでしょう）。 |
| |
ここでは、共変量の実際の使い方についてもう少し詳しく説明します。「候補セット」という言葉を聞いたことのある方もいらっしゃるかもしれませんが、その考え方は… |
| |
これは、以前に選択したもののサブセットであるデータ セットであり、カスタム デザイナーにこれらのデザイン ポイントのみを選択できることを伝えています。 |
| |
標準的な方法、つまり座標の入れ替えなどを繰り返し行うことはできません。JMPのカスタムデザイナーに、これらの実験を計画で使用する必要があると指示し、特に |
| |
共変量を使用するオプションの1つは、以前に選択した設計ポイントを強制的に適用できることです。この方法では、実際には設計拡張を行うようなものです。 |
| |
共変量を使用した後に候補を使用します。 |
| |
そしてもちろん、今回の場合…今回は、以前実験した設計ポイントを捨て去るわけにはいきません。本当に私たちがやりたいのは、次の48点を選ぶことだけです。 |
| |
そして、ここでも言及しておかなければならないのは、カスタム デザインについて考えると... |
| |
したがって、これらのそれぞれにおいて私が行っていたのは、2 因子相互作用、そして可能であれば 3 因子相互作用でした。 |
| |
でも、あれはデザイン空間を探索するための仕組みだったんですよね。私が組み立てていたモデルは |
| |
事後的に XGBoost を使用していたので、その設計は XGBoost モデルなどに最適化されていなかったということです。 |
| |
これは、予測収率が良好に見える設計空間を探索するための代替的なものであり、特にカテゴリカルな要因を扱うため、良好なバランスが得られるように努めることになります。もう一つ言及しておきたいことがあります。 |
| |
もし必要であれば…繰り返しますが、基礎モデルであるXGBoostなどは使用していないので、応答変数を使うこともできます。この場合、利回りを別の共変量として予測し、高い利回りと低い利回りのバランスをより良くしようとします。 |
| |
デザインを作成しようとしているときの応答。 |
| |
そのため、ここではそれを検討しませんでしたが、将来的にはそれを行うのが有効な手段になると思います。 |
| |
予測収量についてですが、先ほども申し上げたように、フィルが他の機械学習技術について話されていたときに、 |
| |
私の???では、実際には主に XGBoost に焦点を当てました。 |
| |
左側を見ればわかるように、私がこれをやった理由の一つは |
| |
Kフォールドの交差検証を使用していますが、ここでは設計番号を使用します。これは基本的にウェルプレートの番号であり、各フォールドごとに同じ番号を使用します。つまり、異なるKフォールドをランダムに選択するのではなく、 |
| |
ウェルプレートを見て、それぞれのウェルプレートを測ってみます。最初のウェルプレートが3枚しかない場合を想像してみてください。 |
| |
それぞれのウェルプレートを取り出し、それを差し出し、残りの2枚に基づいてどれだけ正確に予測できるかを検証するのです。そして、10枚目の…10枚目のウェルプレートにたどり着く頃には、実際には10倍の精度になるはずです。 |
| |
私がそう考えた理由の一つは、そのモデルを、まだ見たことのない次のウェルプレートに対しても堅牢なものにしようと考えたからです。 |
| |
そして、実際には、特定のウェルプレートに何かが起こった場合にも、これはあなたを守ることになるかもしれません。 |
| |
そうすれば、それからも少しは保護されるかもしれません。 |
| |
XGBoost で私が行ったもう 1 つのことは、アドインなどを通じて XGBoost プラットフォームを起動すると、上部にチューニング デザインと呼ばれる小さなチェックボックスがあることです。 |
| |
そして、そのチューニング設計により、 |
| |
実際には、カバーの背後で空間充填設計を適合させ、それをすべてさまざまなハイパーパラメータに対して実行しています。 |
| |
それで、私がこれをするたびに何をしていたかというと、 |
| |
50回実行するためのチューニング設計を選びますが、ハイパーパラメータ空間を探索するだけです。そして、各ラウンドで私が選ぶモデルは |
| |
最も検証R二乗が高かったのがこれです。繰り返しますが、この場合の検証R二乗は、実際には私が持っている計画点のみを使用しています。つまり、これはKフォールドを… |
| |
異なるウェルプレートで。この場合、検証R二乗は…まだ見ていないデータは使用していません。繰り返しますが、実際にはまだそのデータを持っていないからです。 |
| |
しかし、これはウェルプレートを使った検証手法を使ったというだけです。繰り返しますが、これが私がこの作業のほとんどでXGBoostを使った理由です。私は単に何か違うことを試していただけです。 |
| |
K フォールド テクニックを使用するほか、XGBoost に関しては、空間充填も使用するのが好きです。 |
| |
では、ここを見てみましょう。連続するラウンドで選ばれるポイントがここにあります。さて、 |
| |
貪欲なアプローチで何が起こっていたかを考えると、それは本当に左上に焦点が当てられていたのです。 |
| |
そうですが、このハイブリッドアプローチを見ると、 |
| |
ラウンドが進むにつれて、ポイントが少しずつ埋まっていくのがわかりますが、特に左側では、ポイントのサンプリングもより良くなります。 |
| |
そうです。その観点から考えると、今では高収益地域に対してより良い選択肢がたくさんあることになります。 |
| |
そうだと思います…実際と予測を比較してみると、 |
| |
実際、これはある意味、意味のあることだったと思います。なぜなら、私たちはよりよい探索を行ったからです。 |
| |
おそらく高収量地域では |
| |
左下を見ると、それほど高くはならなかったと思いますが、ハイブリッド モデルでは、実行可能な代替手段となり得るものをいくつかピックアップするという、はるかに優れた作業ができたと思います。 |
| |
この方法の良い点の 1 つは、収量以外のことにも焦点を当てられることです。 |
| |
そうですね、考えてみると... |
| |
二次的な反応としては、毒性やコストなど、 |
| |
予測値を見るとき、利回りだけに注目するのではなく、もっと多くのことに注目することができます。例えば、貪欲なアプローチのようなものを考えてみましょう。 |
| |
考慮すべき二次的な基準を追加し始めると、バランスを取るのがはるかに難しくなります。一方、このサブセットアプローチでは、二次的な対応策を追加するのは全く難しくありません。 |
| |
結論についてはベンに引き継いでもらいたいと思います。 |
| ベン・フランシス |
それで、 |
| |
デイビッド、フィル、ライアンには、私たちがなぜこのアプローチをしているのかという背景を説明していただき、最終的に2、3の非常に良い解決策と方法を示していただき、本当に感謝しています。 |
| |
この問題への取り組み方をご覧ください。これらのアプローチすべてにおいて、JMPが科学者に価値を提供していることは明らかです。つまり、実験に必要なリソースを10分の1に削減できたのです。実験に使用したのも全体の10%だけでした。 |
| |
最終的に、私たちがそれぞれの状況で実現したのは、仕様を満たし、実験から高収量のソリューションを提供する能力でした。 |
| |
しかしそれに加え、このアプローチを採用する企業の目標と戦略に応じて、どのようにさまざまなレベルの深いプロセス理解が得られるかについても示しました。 |
| |
さて、JMPの私たち3人は、CatSciがこの問題にどのようにアプローチするかに非常に興味を持っていることにお気づきかもしれません。 |
| |
CatSciから問題を取り上げ、自分たちで解決する。DOEの観点からこの問題に取り組むためのツールを提供している。これは顧客であるDavidと、 |
| |
私とフィルは技術営業、ライアンは製品開発を担当していますが、重要なのは、私たち全員が異なる視点からこれを見ていることです。 |
| |
そうしたソリューションを実現するために、先ほども述べたように、達成すべき目標に応じて、さまざまな方法で深いプロセス理解を検討することができます。 |
| |
JMPにとって非常に刺激的な発見があり、製品の改善に繋がるとともに、皆様にフィードバックさせていただきます。 |
| |
顧客として、機械学習のアプローチがこの大規模なDOEの状況に適用可能であることを学びました。ご存知のとおり、JMPを使えば簡単に適用できます。また、検証アプローチに関して注意すべき点も学びましたので、今後さらに検討していきます。 |
| |
したがって、最終的に、私たちはここで、DOE の大きな課題に関して大量の作業を紹介しましたが、CatSci と同様に、この種の問題に取り組んでいる企業は数多くあると確信しています。 |
| |
皆さんには、私たちが行ったこの作業をさらに探求していただきたいと思います。コミュニティに関しては、リソースとビデオを投稿する2つのリンクがあります。 |
| |
また、JMP Publicの投稿では、このプレゼンテーションで使用したデータを実際にご覧いただくことができます。ご視聴いただいた皆様に心より感謝申し上げます。 |
