スピーカー
|
成績証明書
|
| デビッド・ウォン・パスクア |
そして。 |
| |
連続的かつ着実にレースに勝利します。 皆さん、こんにちは。私は David です。CatSci の上級科学者です。 では、CatSci とは何でしょうか? |
| |
CatSci は、エンドツーエンドの化学プロセス、研究開発の革新パートナーです。 私たちは JMP UK のような組織と協力して、すべての意思決定がデータに基づいて行われるようにしています。 |
| |
私たちにとって重要なのは、最初に正しく行うこと、そして毎回正しく行うことです。あらゆるプロジェクトに合わせて、目的に最適なオーダーメイドのソリューションを策定します。そして私たちの絶対的な焦点は、お客様の期待に応えることです。 |
| |
私たちは初期および後期開発を含む多くの分野に取り組んでいます。 当社はプロセスの専門知識、触媒作用の長い歴史を持ち、これは常に当社のアイデンティティの中核的特徴であり、分析化学と材料科学において優れた能力を持っています。 |
| |
したがって、CatSci が直面している課題の 1 つは、プロセス最適化の上流でカテゴリ変数を選択することです。 |
| |
この困難さは、触媒のスクリーニング作業において最も顕著です。 |
| |
スライド上の画像には、触媒スクリーニングを実行するために使用する装置と機器の一部が表示されます。 |
| |
左側には、金属前駆体とリガンドの 24 種類の事前投与済みの組み合わせを含む既製の触媒キットがあります。 |
| |
中央には、右側に見える 48 ウェル プレートを収容する水素化装置があります。 |
| |
これにより、48 の個別の実験を同時に行うことができます。 |
| |
これらの機器は高スループットかつ小規模向けに設計されており、お客様のためにこれらのプレートを 10 枚以上実行することも珍しくなく、合計で最大約 500 回の実験が行われます。 |
| |
では、なぜ比較的多数の実験を実行する必要があるのでしょうか?また、効率を向上させるメリットは何でしょうか? |
| |
したがって、まず第一に、探索する必要がある化学領域は非常に大きいです。 |
| |
どのような反応でも、どのような化学反応でも、温度、濃度、化学量論など、影響を与える可能性のある要因が数多くあります。 |
| |
しかし、触媒反応の探索が特に困難なのは、重要な分類要素が多数存在するためです。これらには、金属前駆体、リガンド、試薬、溶媒、添加剤が含まれます。 |
| |
触媒反応のもう 1 つの特徴は、高次の相互作用が頻繁に発生することです。つまり、これが意味するのは、触媒系 (金属前駆体と配位子の特定の組み合わせ) の場合、 |
| |
性能を評価するには、広範な溶媒と添加剤のスクリーニングが必要です。 |
| |
特定の溶媒中での性能が低いからといって、直前に金属前駆体と配位子の特定の組み合わせを除外するのは正しくありません。 適切な溶媒または適切な添加剤がない場合があるかもしれません。 |
| |
最後に、より効率的なスクリーニング方法の利点を説明する最も簡単な方法の 1 つは、材料の価格に注目することです。 |
| |
当社の触媒プロジェクトの多くは、プラチナ、パラジウム、ルテニウム、イリジウム、ロジウムなどの貴金属に関係しています。 これらの金属の一部は地殻の中で最も希少な元素の一つであり、それが価格に反映されています。 |
| |
価格をGoogleで簡単に検索すると、ロジウムの価格が金よりも一桁以上高いことがわかります。 |
| |
触媒スクリーニングのもう 1 つの大きな出費はリガンドです。 安価な配位子は存在しますが、不斉合成で最高のパフォーマンスを発揮する配位子の多くは、Solvias の Josiphos などの独自の配位子です。 |
| |
そして、最も一般的に入手可能で安価なものの 1 つである J001 は、依然として金の 2 倍の価格です。 |
| |
したがって、実験の数を減らすことで消耗品のコストを削減できますが、最大の効果は、マルチトンの製造プロセスを持つクライアントにとって最適なソリューションを見つけたときに生まれます。 |
| |
このような場合、触媒の使用量を 10 分の 1 に減らすことや、たとえばロジウム触媒をルテニウム触媒に交換するなど、より安価な代替触媒の発見により、年間数百万ドルを節約できる可能性があります。 |
| |
そしてベンに引き継ぎ、JMP UK チームがこの問題にどのように取り組んできたかについて話し合う予定です。 |
| ベン・フランシス |
どうもありがとう、デイビッド。 |
| |
したがって、それは明らかです |
| |
CatSci および CatSci に類似する他の多くの企業は、大規模な製剤スペースという大きな課題に直面しています。 |
| |
非常に高次の相互作用が発生する可能性があります。 したがって、科学は非常に複雑であり、その複雑さを解明するために私たちが何を実験するかが重要です。 |
| |
残念ながら、David が説明したコストを考えると、すべての組み合わせをテストするだけのオプションは実際には賢明でも実行可能でもありません。 |
| |
そして最終的には、データサイエンスを活用して関係を数値的に理解する何らかのアプローチを行う必要があります。 |
| |
したがって、選択した配合を製造...複数の製造シナリオに適用して続行するには、デイビッドが言ったように、それが毎回機能することを知る必要があります。 |
| |
そこで私たちは文献を検索しました。JMP では DOE の適用に非常に興味があり、これは DOE の特殊な状況であると感じたからです。 |
| |
そして、私たちが適切に名付けたように、それは大きな DOE です。 そこで、大規模な DOE アプローチを適用するケーススタディを探したところ、Perera らの論文を見つけました。 |
| |
2018年に出版され、彼らはこの反応スクリーニングのためのプラットフォームを検討しました。 そして、このシナリオで興味深いのは、5 つのカテゴリ要素があることです。 |
| |
これは大げさだと思われないかもしれません。 彼らは反応物 1 と 2、リガンド、試薬、溶媒を調べる必要がありましたが、この論文で提示されたものの複雑さは、各因子のレベルでした。 |
| |
それぞれ 4、3、12、8、4 レベルをすべて組み合わせると、4,608 通りの異なる組み合わせになります。 |
| |
さて、ペレラらの論文では、すべての組み合わせをテストしましたが、これは明らかに世界中のすべての企業にとって実行可能な解決策ではなく、デビッドが以前概説したように、すべての組み合わせをテストしただけです。 |
| |
ここのヒート マップを見ると、収穫量の多い地域がいくつかあるというアイデアを得ることができたことがわかります。 |
| |
収量がそれほど高くないものもあれば、非常に低いものもある。 そのため、多くのテストが行われましたが、最終的にはプロセスをほとんど理解できませんでした。 |
| |
そして非常に高額な実験コストがかかります。 |
| |
最終的には、組み合わせを見つけて、組み合わせにたどり着き、それを論文内で処理して、ほら、これが一般的なものだと言うことができました。 |
| |
最初は正しかったが、それを複数トンの製造シナリオに組み込んだ場合、それ以降は毎回正しかったのだろうか? 必要な仕様を提供し続けるでしょうか? |
| |
大規模 DOE ソリューションはリソース要件を削減しますか? |
| |
初めてでも正しくできますか、それとも毎回正しくできますか? そして、これらの質問を測定する方法と、私たちがどのように実行したか |
| |
まず、リソース要件を削減するという観点から、合計 480 回の実行で実験をデザインすることしか許可されていませんでした。 これは 10 48 ワークプレートを模倣しており、これは論文で実行された実行の約 10% に相当します。 |
| |
論文で特定された高収率の組み合わせ (80 個) のうち、テストまたは予測されたものがいくつあるかを調べることによって初めて測定されました。 |
| |
生成されたモデルによって。 そして、最終的には実行の 10% で、DOE から少なくとも 8 つの高収率の組み合わせが得られると期待していました。 |
| |
(そして、ここでは高収率は 95% を超える値で示されています)。 |
| |
最後に、そして非常に重要なことは、モデルの一般的な診断である R 二乗を調べることによって測定されるたびに、それが正しく行われるかどうかです。 そして最終的には、これを見て、プロセスに関する洞察があるかどうかを確認できるでしょうか? 人間関係には意味があるのでしょうか？ 組み合わせや相互作用には意味があるのでしょうか? |
| |
そこで、ここでもコースで同等の成績を収めるために私たちが行ったことは、4,608 の完全なデータ セットを使用して調べたところ、この R 2 乗が .89 であり、これがブースト ツリー法を使用したものであることがわかりました。 |
| |
それでは、私は Phil に引き継ぎ、彼が私たちが行った最初の大きな DOE アプローチの概要を説明します。 |
| フィル・ケイ |
ありがとう、ベン。デイヴィッド、とても素敵にシーンを設定してくれてありがとう。 そこで、3 つの異なるアプローチを検討しました |
| |
この問題に取り組み、その論文で実際にテストされた実行の数を減らしながらも、Ben が概説したのと同じ有益な情報を得ることができるかどうかを確認する必要があります。 |
| |
そこで、これら 3 つのアプローチのうち 2 つについて説明します。これら 2 つは、ある種の極端なアプローチです。 保守的なアプローチと貪欲なアプローチがあり、ライアンはおそらく最終的に最もうまく機能すると考えられる、よりハイブリッドでバランスの取れたアプローチについて説明します。 |
| |
したがって、保守的なアプローチによれば、これは標準的な DOE アプローチになります。 私たちは 10 ブロックで 480 回実行するカスタム設計を設計しています。つまり、デビッドが見せてくれた触媒スクリーニング装置の 10 枚のプレートを表しています。 |
| |
そして、その 480 回の実験から、最も高収量の組み合わせのうち 13 個が高収量になると正しく予測できたという見出しの結果が得られました。 |
| |
そして、その 480 回の実行データセットからモデルを構築することができました。その実験で使用されていないデータに対してテストしたところ、 |
| |
R の 2 乗は約 0.73 で、実際にはかなり良好でした。 公開された大規模な実験から、その小規模な実験から、かなり優れたモデルが得られ、システム全体についてかなりよく理解できました。 |
| |
ここから得られたいくつかの非常に興味深い洞察は、このデータから有用なモデルを取得するには機械学習を使用する必要があるということでしたが、これは私たちにとって少し驚きでした。 もう少し詳しく説明します。 |
| |
そして、この保守的なアプローチを使用して収集したデータから、ある程度の理解が得られました。 これにより、因子空間全体、および特定の組み合わせがなぜうまく機能するのかをよく理解できるようになりました。 |
| |
これにより、代替地域を特定できるようになったので、高収量の組み合わせを見つけたものの、コストが高すぎて現実的ではない場合、 |
| |
触媒が高価すぎる、あるいは危険または有毒で工業プロセスに適さない場合、私たちは空間全体を理解しているので、代替手段がたくさんあります。 |
| |
では、どうやってそれを行ったのでしょうか? |
| |
JMP でのカスタム デザイン。 私たち |
| |
480 回の実行を設計しましたが、この場合は 10 ブロックで最適設計しました。 もう一度言いますが、10 個のブロックは、David が私たちに機器を示した 10 個の 48 ウェルプレートを表しています。 |
| |
ここで注目すべき点は、メインエフェクト用のカスタムデザインのモデルを指定していることです。 |
| |
二次相互作用と三次相互作用の場合。 そして、三次相互作用とこれらすべてのレベルのカテゴリ因子を使用すると、 |
| |
推定する必要があるパラメーターの数が膨大であるため、実際にそれらすべてを明示的に推定する実験を設計することはできません。 可能であれば 3 次相互作用を入れる必要があるため、これは 480 回の実行でのベイジアン I 最適設計になります。 |
| |
このビジュアルからわかるように、私たちはさまざまなラウンドの実験、さまざまな...10 種類のプレートを調べているだけです。 |
| |
そして、実験に次のプレートを追加することで、因子空間全体の探索がどのように追加されるかがわかります。 |
| |
私たちは特定の地域に焦点を当てているわけではありません。因子空間全体に関する知識の空間を埋めているだけです。 |
| |
つまり、実験で使用した 480 回の実行と、公開されたデータ セットから取得した残りの 4,128 行になります。 このテスト データを使用すると、保持されたデータ セット (このテスト データ) 上でモデルがどの程度うまく比較されるかを確認できます。 |
| |
さて、私たちはあらゆる種類の DOE の背景と経験から、次のことを期待していました。 |
| |
特定のモデルの実験を計画する場合、標準的な回帰手法が最も有用なモデルを提供します。 |
| |
したがって、ここでは JMP Pro を使用し、一般化回帰を使用して完全な 3 次モデルを適合させます。 |
| |
ここで実際にベータ分布を使用します。これは予測が 0 から 1 の間で変動するため、パーセント収量を 0 から 1 のスケールに変換します。 このような収量データをモデリングするときに、JMP Pro を持っている場合はそれを使用するとよいかもしれないというちょっとしたトリックです。 |
| |
そして、検証方法として AICc を使用した前方選択を使用するため、重要な効果が選択されます。 |
| |
各ラウンド後にこれを繰り返します。つまり、第 1 ラウンドの 48 ラン、次に第 2 ラウンドの 96、そして第 3 ラウンドの 144 と、第 10 ラウンドまでの合計 480 ランが得られます。 |
| |
ここでは、最初の 3 ラウンドを確認するために、gen reg に設定されたフィルターを確認できます。 |
| |
最初の 3 ラウンドでは、gen reg、前方選択、AICc 検証を使用して取得したモデルがこれになります。 |
| |
そして、それは、化学に期待されることについての私たちの理解から直感的にだけで、素晴らしいモデルではないと思います。 モデルに関係する因子のうち 2 つだけが表示されているため、重要なものとして 2 つの主効果のみが選択されています。 |
| |
したがって、そのモデルをデータ テーブルに保存すると、そのモデルが保留データ、テスト セット、 |
| |
残りの 4,128 行は実験には含まれていませんでした。 そしてそれをラウンドごとに行うことができます。 これをラウンドごとに行ったので、gen reg を使用して構築した 10 個のモデルが得られました。 |
| |
さて、代替案として、いくつかの機械学習手法を検討する価値があると考えました。 ここで、最初の 3 ラウンドをもう一度見てみましょう。 |
| |
そして、さまざまなモデリング技術を簡単に調べる方法として、JMP 16 Pro でモデル スクリーニングを使用します。 |
| |
そこの Y と X に収量と係数を入力するだけです。 検証のためにデータの 25% をランダムに保留するように設定されたホールドバック検証列があります。 |
| |
[OK] をクリックすると、さまざまなモデリング手法がすべて実行され、次のようなレポートが表示されます。 |
| |
これらは、いくつかの Gen reg モデル、ニューラル ネット、およびさまざまなツリー手法を含む、さまざまなモデリング技術すべてがうまく機能していることです。 |
| |
そして、その中から最良の 2 つを選択しました。 そして実際、実験のすべてのラウンドを通じて、ニューラル...ブーストされたニューラル ネット モデルとブートストラップ フォレストが最もパフォーマンスの高いモデルであることがわかりました。 |
| |
したがって、再度、予測式を保存し、実験に関与しなかったテスト データ セットの予測式を使用して比較し、そのテスト データ セットに対してさまざまなモデルがどの程度うまく機能しているかを確認できます。 |
| |
ここではモデル比較と JMP Pro を使用するため、すべての gen reg モデル、ニューラル ネット モデル、およびブートストラップ フォレスト モデルを比較します。 |
| |
そして今、そのテスト データ セットに対する R の 2 乗のビジュアルを見ていることになります。 これらのモデルが保留されたテスト データ セットに対してどの程度適合するか。 |
| |
そして、赤で前方選択を使用した標準回帰モデルである gen reg が表示されます。 |
| |
最初のラウンドでは、それが実際には最高のモデルですが、あまり改善されておらず、5 ラウンド目あたりで突然非常に悪くなり、次のラウンドでは再び非常に良くなります。 非常に不安定で、終わりに近づくにつれて悪化し、おそらく過学習になっています。 |
| |
一方、機械学習の手法は次のとおりです。 |
| |
ラウンド 3 の後、彼らは最高のパフォーマンスを示し、標準の回帰手法よりも優れたパフォーマンスを示し、ずっと改善されています。 そして実際、 |
| |
ニューラルは緑色でより良好に開始され、最後に近づくにつれてブートストラップ フォレストのパフォーマンスがブーストされたニューラル ネット モデルを上回っていることがわかります。 |
| |
したがって、ここでの持ち帰り方法は、これを考慮しても、比較的単純な状況と考えられるかもしれませんが、この種のシステムまたはプロセスにとって最適なモデル、最も信頼性の高いモデルを取得するには、JMP Pro の機械学習メソッドが実際に必要です。 |
| |
ここでは、公開された 4,608 回の実行すべての実際の収量結果と、ラウンド 10 の終了時点での最良のモデルの予測 (480 回すべてが実行された後) のプロットを見ているだけです。 つまり、それは右側にあるブートストラップの森でした。 |
| |
そして、それは悪いことではありません、ご存知のとおり、重要な行動が検出されています。 収量が低い地域と最も収量が高い地域を特定しています。 それで、 |
| |
特に右上では、ヨウ素(?)反応物とボロン酸とボロン酸エステルを使用しています。 |
| |
そこにある反応物。 |
| |
そこで、これを他の極端なアプローチと比較します。 したがって、48 回の実行の最初のラウンドはまったく同じでした。同じ 48 回の実行から始めます。 次に、モデルを構築し、そのモデルを使用して、残りのすべての実行のうち、どれが |
| |
残りの 4,560 回の実行のうち、どれが最も高い収率になるかをモデルが予測し、それを 10 回までの後続のすべてのラウンドで繰り返します。 |
| |
この場合、より多くの高収率と組み合わせを正確に予測できますが、10 ラウンド後に最終モデルを取得し、それをデータと比較すると、 |
| |
実験では使用していませんが、R の 2 乗はひどいものです。 .33です。 したがって、実際には、私たちが得たモデルは、システム全体について適切な予測を行っていません。 |
| |
つまり、1 つの高収量領域についてはよく理解できており、組み合わせを見つけたり、うまく機能する要素の設定を見つけたりしていますが、システム全体を実際に理解できるようになったわけではありません。 そうではなかった... |
| |
システム全体に対する理解のばらつきを減らしているわけではありません。 |
| |
そのシステム、そのアプローチがどのように機能するかを示すために、これは 4,608 回の実行すべて、可能なすべての組み合わせです。そして、ラウンド 1 で述べたように、これは保守的なアプローチを使用したラウンド 1 と同じなので、これが最適です。 |
| |
そこに点のセットがあり、それらが因子空間全体に均等に分布していることがわかります。 |
| |
これら 48 回の実行からのデータにモデルを当てはめました。 |
| |
そして、そのモデルを使用して、他のすべての可能な組み合わせの収量を予測し、その中から最も収量の高い 48 個の予測を選択します。 |
| |
それがそれらです。 ご覧のとおり、彼らは利回りの高い領域に焦点を当てています...私たちはそうではありません...私たちはもはや完全な因子空間を探索していません。 |
| |
そして、ラウンド 1、2、3 からラウンド 10 まで進むと、追加するたびに、左上の高収率ゾーンにある実行を実験に追加していることがわかります。 したがって、実際に焦点を当てているのは因子空間の 1 つの領域だけです。 |
| |
そして、ここで実際と予測を比較すると、左上のその領域でかなり良い仕事をしていることがわかります。 |
| |
しかし、他の場所では、私たちが予想しているように、かなりひどい予測を立てています。それはおそらくそれほど驚くべきことではないでしょう。 システム全体を試したわけではありません。 私たちはまさにその高収量地域に焦点を当ててきました。 |
| |
そして、それを左側の保守的なアプローチと比較すると (つまり、左側のプロットはすでに見られています)、モデルがどのように機能するかを見ると、 |
| |
ラウンド 1 から 10 までを通じて改善され、ラウンドごとにモデル スクリーニング プラットフォームを再度使用して最適なモデルを見つけました。 |
| |
そして実際には、各段階において、ブーストされたニューラル ネットが最良のモデルであることが判明しました。 まあ、保守的なアプローチからの gen reg のように、ある種不安定であることが再度わかります。 |
| |
大丈夫な場合もありますが、決して...保守的な実験から得られた最良のモデルと競合することはありません。 |
| |
つまり、これらは 2 つの両極端であり、私は Ryan に引き継ぎ、Ryan がこの問題に対するよりバランスの取れた、またはハイブリッドなアプローチについて話すつもりです。 |
| ライアン・レキベッツ |
フィルさん、ありがとう。 と |
| |
プレゼンテーションの途中で、参加を許可してくれたフィル、ベン、デイビッドに感謝を言わなければなりません。 開発者として、少し遊んでみるのは実は楽しいことなのです。 つまり、私は JMP の DOE プラットフォームの開発者です。 |
| |
Phil がここで述べたように、私がここで検討しているアプローチはハイブリッド アプローチです。 |
| |
さて、ここでのアイデアは、最適化と探索というこのアイデアを検討するということです。 |
| |
フィルが話した貪欲なアプローチについて考えると、それがまさに最適化です。 私は最高のものを追求する、それだけに集中するつもりです。 その保守的なアプローチとは対照的に、関心があるのは探索だけでした。 |
| |
ここでのアイデアは、中間のどこかに到達できないかということです。 |
| |
おそらく空間を少し探索しながら最適化するでしょうか? |
| |
それで、私がここで何をしたかと言いますと...実際には、事前に設定された 3 つのウェルプレートのようなものから始めました。 そこで、サイズ 48 の 3 つのブロックを作成し、可能であれば 2FI でメインエフェクトを作成しました。 |
| |
その理由は、わずか 48 回の実行ではモデルをあまり信頼できない場合があったからです。 私は、「まあ、少し焼き付けてみましょう」と言いました。 144、つまり 3 ウェル プレートを試してみましょう。そうすれば、モデルをもう少し信頼できるかもしれません。 |
| |
というのは、ある意味、そのような貪欲なアプローチを考えたとしても、モデルが悪ければ、ひどい地域に行くことになるからです。 それはあまり役に立ちません。 |
| |
そしてまたそうです...それで、前と同じように、最終的には合計10のウェルプレートまたは合計10のブロックを行うつもりです。 |
| |
これについては今後のスライドで少し説明しますが、実際にはずっと XGBoost を使用していました。 つまり、私が予測していた方法は XGBoost を使用することであり、それには理由があるのです。 |
| |
それをするために。 |
| |
しかし、ここでの考え方は、基本的に予測値を採用するというものでした。 そこで私は、ベスト 48 を厳密に狙うのではなく、閾値を設定するつもりだと言いました。 |
| |
そうです、最初の 3 つが終わったら、50 からスタートしました。 そこで私は、50 を超える予測値を教えてください。さらにウェルプレートを使い続けると、ラウンドごとに 5 ずつ増やしていくと言いました。 |
| |
つまり、それはかなり恣意的なものでした。その理由の一部は、ラウンドが合計 10 しかないことを知っていたことと、予測に基づいてそのセットがどれほど大きいかをある程度理解できたからでもありました。 |
| |
データによっては、そのセットが依然として巨大で、予測値が約 50 であるように見える場合は、それを修正できます。 |
| |
したがって、ここでのアイデアは、実際には、できれば高収量地域となるべき地域をゆっくりと探索し始めることです。 |
| |
それで、私たちは正しかったでしょうか？ さて、この例では、実際に 80 個の最高収率の組み合わせのうち 27 個、つまり 95 を超える組み合わせが得られました。これは、貪欲なアプローチからそれほど遠くありませんでした。 |
| |
そして、もう一度 R の 2 乗について考えてみると、すべてのホールドアウト データを使用して、最終テストの R の 2 乗は .69 でした。つまり、これは実際には保守的なアプローチからそれほど遠くありませんでした。 それで、ただ... |
| |
つまり、あなたはそうかもしれません…今、この 2 つの数字を見るだけで、注意したほうがいいかもしれません。しかし、それを踏まえると、このハイブリッドは実際には両方の長所のようなものであるように思えます。 つまり、あなたはそれをトレードオフしているのですが、しかし、あなたは何か良いものを手に入れています。 |
| |
このアプローチについて、いくつかの洞察を述べます。 実際のところ、最終的には、高利回りに関連する因子空間についてよりよく理解できたと言えます。 |
| |
貪欲な人は、これらのポイントがどこにあったかを思い返すことができれば、それらは本当に左上に集中していたので、その空間をそれ以上探索することはできなかったと思います。 |
| |
そして、もし想像できるとしたら... |
| |
そこの何かが一夜にして突然価格が4倍になったとしても、その地域の他の地域については何もわかりません。 |
| |
そうですね、このハイブリッド アプローチを使用すると、その方法と理由、いくつかの組み合わせがさらにわかり、より良い代替案が得られます。 |
| |
もう一度言いますが、他に考慮すべき点がある場合は、他の測定値に基づいてより良い代替手段があるため、収量を少し犠牲にすることも厭わないでしょう。 |
| |
それで、本当に、ここでのアイデアは...はい、それでは、これがカスタムデザインで実際にどのように行われたかを説明しましょう。 そこで私がとったアプローチは、 |
| |
カスタム デザイナーで共変量を使用することですが、これは時々過小評価されているように思います。 |
| |
しかし、つまり、完全なデータセットを取得しただけなので、4,608 個全体が実行されるということになります。 |
| |
そして各ラウンドごとに...想像していただけると思いますが、最初に私はそれらを取得しました...144 回の実行デザインを取得し、それから私はこう言いました、その完全なデータセットのサブセットを取得します。 以前のデザインで既に選択している場合は、それが含まれていることを確認する必要があります。 |
| |
それから、その特定の値を超える予測収量も教えてください。つまり、4 番目の設計では、50、55、60 などで開始されました。 |
| |
したがって、データテーブルでは |
| |
ここで私が行うことは、以前の実験で使用された設計ポイントを選択することです。 したがって、それらが強調表示されていることを確認します。 そして、カスタム設計では、因子の追加に進むと、共変量と呼ばれるオプションがあります。 そしてまた、それは…と思います。 |
| |
多くの人はこれまで共変量を実際に見たことがありません。ここで言及したのは、おそらく共変量について話すだけで講演全体を費やすことができると思うからです。 |
| |
しかし、実際にはいくつかのブログ エントリが作成される予定です (このビデオが表示されるまでにブログ エントリがアップされていない場合は、おそらくこのビデオが表示されるまでに数日以内にアップされます)。 |
| |
ここでは、共変量を実際に使用する方法についてもう少し詳しく説明します。 しかし、候補セットというものを以前に聞いたことがあるかもしれませんが、そのアイデアは次のとおりです... |
| |
これは、以前に選択したものなどのサブセットであるこのデータ セットで、これらの設計ポイントのみを選択できることをカスタム デザイナーに伝えています。 |
| |
標準的な方法はできません。座標などの切り替えを試し続けます。 これは、JMP カスタム デザイナーに、これらの run をデザイン内で使用する必要があること、特に、 |
| |
共変量を使用するオプションの 1 つは、以前に選択した設計ポイントを強制的に組み込むことができるため、実際には設計の拡張を行っているようなものです。 |
| |
共変量を使用した後に候補を使用します。 |
| |
そしてもちろん、この場合...この場合、以前に実験した設計ポイントを実際に捨てることはできません。 実際のところ、私たちがやりたいのは次の 48 を選ぶことだけです。 |
| |
ただし、カスタム デザインについて考えてみると、ここでも言及しておきます。 |
| |
したがって、これらのそれぞれで、私が行っていたことは...つまり、2因子交互作用、そして可能であれば3因子交互作用です。 |
| |
しかし、実際には、デザイン空間を探索するためのメカニズムのようなものがありました。 私がフィッティングしていたモデル |
| |
事後的に XGBoost を使用していたので、設計が XGBoost モデルなどに最適化されていなかったということです。 |
| |
これはむしろ、予測収量が良好に見える設計空間を探索するというよりも、特にこれがカテゴリ要因を扱っていたため、適切なバランスが得られるようにすることを保証するためのものでした。 もう一つ言及しておきたいのは、 |
| |
必要に応じて...繰り返しますが、基礎となるモデル、XGBoost などを使用していないため、応答を使用できます。 したがって、この場合、彼らは別の共変量として収量を予測しました、そしてそれが行うことは、高収量と低収量の両方のより良いバランスを取得しようとすることです |
| |
デザインを作成しようとするときの応答。 |
| |
したがって、ここではそれについては検討しませんでしたが、将来的にはそれが有効であると思います。 |
| |
ということで、予想収量へ。 それで、私が...で述べたように、フィルが彼が試した他の機械学習テクニックについて話していたときだったと思います |
| |
私の???では、実際にはXGBoostを中心に焦点を当てました。 |
| |
左側を見てみると、私がそうしたことをした理由の 1 つは、 |
| |
K フォールドの相互検証を使用しますが、ここでは設計番号を使用します。これは基本的に各追加フォールドとしてのウェル プレートになります。 したがって、異なる K 個のフォールドをランダムに選択する代わりに、 |
| |
それは、「ウェルプレートを見て、それをそれぞれについて調べてみるつもりです」と言うでしょう。 最初のウェルプレートが 3 枚しかなかったときのことを想像してみてください。 |
| |
それらのウェルプレートをそれぞれ取り出して保持し、残りの 2 枚に基づいてどれだけ正確に予測できるかを確認する予定でした。 それで、10番目のウェルプレートに到達するまでに、それは実際には10倍のようなものになるでしょう。 |
| |
したがって、その理由の一部は、そのモデルをまだ見たことのない次のウェルプレートに対して堅牢なものにしようと考えることでした。 |
| |
そして実際には、これは特定のウェルプレートで何かが起こった場合にもあなたを守ることになるでしょう。 |
| |
そうすれば、それから少しは保護されるかもしれません。 |
| |
そして、私が XGBoost で行ったもう 1 つのことは、アドインなどを介して XGBoost プラットフォームを起動すると、上部にいわゆるチューニング設計のための小さなチェックボックスがあることがわかります。 |
| |
そして、そのチューニング設計により、 |
| |
実際には、カバーの後ろにスペースを埋めるデザインを取り付け、さまざまなハイパーパラメーターに対してそのすべてを実行しています。 |
| |
これを行うたびに私が何をしていたのか、 |
| |
私なら 50 回実行するためのチューニング設計を選択しますが、ハイパー パラメーター空間を探索する程度です。 そして、ラウンドごとに私が選ぶモデルは |
| |
検証 R 二乗が最も優れていたものでした。 繰り返しになりますが、この場合の検証 R の 2 乗は、実際には私が持っている設計ポイントのみを使用しています。 つまり、これは K フォールドを... |
| |
それらの異なるウェルプレートを使用します。 したがって、この場合、検証 R の 2 乗はそうではありません...まだ見ていないデータは使用しません。繰り返しになりますが、実際にはそのデータをまだ持っていないからです。 |
| |
しかし、これは、私がウェルプレートを使用していた検証テクニックを使用していると言っているだけです。 繰り返しになりますが、これが私が今回の大部分で XGBoost を使用していた理由のようなもので、何か違うことを試してみたかっただけです。 |
| |
K フォールド テクニックを使用するのと同様に、XGBoost に関しては、スペース充填を使用するのが本当に好きです。 |
| |
それでは、ここを見てみましょう。 ここで、これらが連続ラウンドを通じて獲得されるポイントであることがわかります。 今、 |
| |
貪欲なアプローチで何が起こっていたかを考えると、実際には左上に焦点が当てられていました。 |
| |
そうですね、しかし今、このハイブリッドアプローチを見ると、 |
| |
ラウンドに進み始めると、それらのポイントが少しずつ埋まっていくのがわかりますが、特に左側で、より良い…より良いポイントのサンプリングも得られます。 |
| |
そうです、その観点から考えると、現在では、これらの高収量地域には、より優れた代替手段が存在することになります。 |
| |
私はそう思います...実際と予測を見てみましょう。 |
| |
実際、私たちがより良い探査を行ったので、これもある程度の意味を持っていたと思います。 |
| |
それらの高収量地域では、おそらく |
| |
左下を見ると、実行可能な代替案となる可能性のあるものをいくつかピックアップするというハイブリッド モデルで、はるかに良い仕事ができたと思います。 |
| |
この方法の良い点の 1 つは、収量だけではなくそれ以上のことに集中できることです。 |
| |
そう、そう考えてみると・・・ |
| |
それが何らかの毒性であれ、費用であれ、そのようなものであれ、二次的な対応ができるかもしれません。 |
| |
これらの予測値を確認すると、収量だけではなくそれ以上のことに注目することができます。 それで、貪欲なアプローチのようなことを考えると、 |
| |
検討したい二次的な基準を追加し始めると、そのバランスを取り始めるのがはるかに困難になります。 一方、このサブセット アプローチでは、その際に二次応答を追加することはまったく難しくありません。 |
| |
結論を出すためにベンに渡してみようと思います。 |
| ベン・フランシス |
それで、 |
| |
私たちがこれに取り組む理由の背景を説明し、最終的には 2 つ、3 つの非常に優れた解決策と方法を提供してくれた David、Phil、Ryan に心より感謝いたします。 |
| |
私たちがこの問題にどのように取り組んでいるかをご覧ください。 そして、これらすべてのアプローチにおいて、JMP が科学者に価値を提供していることは明らかです。 したがって、実験に必要なリソースを 10 分の 1 に削減することができます。 実行の 10% のみを使用しました。 と |
| |
最終的に、それぞれの状況で私たちが可能にしたのは、仕様を満たし、実験から高収率のソリューションを提供する能力でした。 |
| |
しかしそれに加えて、このアプローチを採用する企業の目標と戦略に応じて、さまざまなレベルでプロセスを深く理解できる方法も示しました。 |
| |
さて、お気づきかと思いますが、私たち JMP の 3 人は、CatSci がこの問題にどのようにアプローチするかに非常に興味を持っています。 必ずしも摂取していたわけではありません |
| |
問題を CatSci から離れて自分たちで解決する。私たちは DOE の観点からこれに取り組むためのツールを提供しています。 これは、顧客としてのデイビッドとの素晴らしいコラボレーションでした。 |
| |
私とフィルは技術営業の側にいて、ライアンは製品開発の側にいます。ここで重要なのは、私たち全員がこれを異なる視点から見ているということです。 |
| |
先ほども述べたように、達成する必要のある目的に応じて、さまざまな方法でプロセスの深い理解に取り組むことができます。 |
| |
その過程でいくつかの発見がありました。これは私たち JMP にとって非常にエキサイティングであり、製品の改善につながり、それを皆さんに還元することになります。 |
| |
顧客として。 私たちは、機械学習のアプローチがこの大きな DOE の状況に適用できることを学びました。ご存知のとおり、JMP を使用すると、それらのアプローチは簡単に適用できます。 また、検証アプローチに関する注意点も学びましたので、さらに詳しく検討していきます。 |
| |
したがって、最終的に、DOE の大きな課題に関して、私たちはここでかなりの量の作業を提示しました。CatSci と同様に、この種の問題に取り組んでいる企業は世の中にたくさんあると確信しています。 |
| |
そこで、私たちがこれまで行ってきたこの取り組みをさらに詳しく調査してみてください。ここには、リソースとビデオを投稿するコミュニティに関する 2 つのリンクがあります。 |
| |
また、JMP パブリック投稿では、この中で使用されたデータを実際に入手することができます。 このプレゼンテーションにご参加いただいた皆様に、ご視聴いただきありがとうございました。 |
