Analytics With Confidence へようこそ。 このシリーズでは、最新のデータ分析で成功するための鍵である検証について探っています。 の最初の投稿、 Ron Kenett と Chris Gotwalt に、一般化の必要性について話しました。 この投稿では、一般化されていないモデルの問題について説明します。 これを行うには、モデルの「オーバーフィッティング」を防止する JMP の保護を回避する方法をハックする必要があります。
反応レシピ – 科学と工学の事例研究
高価値の化学製品を作るためのレシピの何千ものバリエーションを調査するケース スタディで、これを現実のものにしましょう [1]。 この反応には、次の 5 つの重要な成分が必要です。
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.私が手描きした反応回路図。 あなたが化学者でなくても心配しないでください - 重要なことは、可能なレシピがたくさんあるということです.
これらのそれぞれについて、4 つの求電子試薬、3 つの求核試薬、12 のリガンド、8 つの塩基、および 4 つの溶媒から選択できるいくつかのバリアントがあります。
これは、4608 通りのレシピ (4 x 3 x 12 x 8 x 4) があることを意味します。 最高の収量 (最終製品への最も完全な変換) をもたらす成分の選択の組み合わせは? なぜ？ 「最高の」原材料は、安全性や環境上の理由から高すぎるか、望ましくない可能性があります。
これらの質問に答えるのに役立つデータがあります。 テストされた 150 の可能なレシピがあり、% 収率が決定されました。 これらを視覚化することは良い出発点です:
収率の低いレシピは強いピンク色で、収率の高い反応は緑色で示されています。 周囲の空白は、まだ試していないすべてのレシピを表しています。 非常に多くの変数で確認するのは簡単ではありませんが、トリフルオロホウ酸求核剤は収率が低くなるようです (右 3 番目)。 他の求核試薬と 6-IQ を求電子試薬 (左上) として使用するレシピは、一般的に優れています。
JMP のインタラクティブな分布プロットは、最も収量の高いレシピに共通するものを示しています。
しかし、このような複雑なシステムでは、入力または「予測子」(ここでは青色) と %Yield の結果または「応答」(オレンジ色) の間のすべてのパターンを確認することは依然として困難です。
デシジョン ツリーまたは「パーティション」分析は、ビッグ データの状況で最も一般的な機械学習手法の基礎となっています。 アルゴリズムは、予測変数の 1 つを使用して、すべての観測値 (レシピはこちら) を 2 つに分割する最良の方法を検索します。 「最良」の分割では、2 つの分岐間の平均応答に最大の差があります。
You can launch the Partition platform from Analyze > Predictive Modeling. [分析] > [予測モデリング] からパーティション プラットフォームを起動できます。
ここで、最適な分割は求核試薬であることがわかります。ボロン酸エステルまたはボロン酸の平均収率は 49.3%、トリフルオロホウ酸の平均収率は 23.4% です。 これは、求核試薬の選択が重要であることを示していますが、正確な予測にはなりません。 ボロン酸エステルまたはボロン酸を使用すると、モデルは 49.3% の収率を予測します。 上のビジュアルの実際の値から、0 からほぼ 100% の範囲の利回りが期待できることがわかります。 そして、それは収量に対する他の要因の影響について何も教えてくれません:
新しいブランチごとに分割アルゴリズムを繰り返すことで、モデルを改善できます。 のRスクエアモデルの「適合」がどのように改善されているかを追跡するのに役立つ尺度です。 これは、応答の変動がモデル内の要因の影響によってどの程度説明されるかを示しています。 1 に近いほど、より多くの変動がモデルによって説明されます。
R2 乗は、2 回目の分割で 0.204 から 0.442 に増加します。 24 分割後は 0.825 です。
この時点で、最小分割サイズの制限である 5 に達したため、JMP はそれ以上の分割を停止します。 これは、ばかげたモデルを作成しないようにするための JMP のガードレールの 1 つです。 この例では、最小サイズを 1 に設定し、分割を続けます。
You can change the minimum size split from the red triangle menu.赤い三角形のメニューから分割の最小サイズを変更できます。
97 回の分割後は分割できなくなり、R2 乗は 0.985 となり、モデルが利回りの変動の 98.5% を捉えていることを意味します。 Split History を使用すると、モデルの複雑さが増すにつれて RSquare がどのように増加したかを確認できます。
予測プロファイラーからわかるように、モデルはより複雑になりました。
モデルを使用して、テストしていないレシピの収量を予測し、レシピを最適化し、レシピの変更が収量にどのように影響するかを理解できます。 どの予測因子が最も重要であるかを推測でき、因子が互いにどのように相互作用するかを確認できます。
このモデルはどれくらい良いですか？
RSquare と Actual vs Predicted プロットから、モデルがデータに非常によく適合していることがわかります。 つまり、モデルは、モデルのトレーニングに使用されたレシピの収量を正確に予測します。
しかし、それは一般化されていますか？ テストしていないレシピの予測について自信を持ってよいでしょうか?
この場合、自動化されたハイスループットスクリーニング実験を使用して 4,608 の可能なすべてのレシピが実行されたため、その質問に直接答えることができます。 使用した 150 のレシピは、例として完全なデータからランダムに抽出したものです。 モデル予測のヒートマップは、実際の収量とある程度の類似性を示していますが、明らかな違いも示しています。
分配モデルの予測に対する 4,608 のレシピすべての実際の %yield のプロットはあまり良くありません。
なんてこった！ 分配モデルは、実際の収量が 0 に近いいくつかのレシピで 100% に近い収量を予測しました (プロットの右下)。 R2乗は0.5です。 明らかに、この「過適合」モデルはまったく一般化されていません。
次の投稿では、JMP Pro の検証とその他のツールのいくつかが、一般化する予測モデルの構築にどのように役立つかを説明し、分析を自信を持って適用できるようにします。
[1] Perera D、Tucker JW、Brahmbhatt S、Helal CJ、Chong A、Farrell W、Richardson P、Sach NW からのデータ。 自動化されたナノモル スケールの反応スクリーニングとフロー中のマイクロモル スケールの合成のためのプラットフォーム。 化学。 2018 年 1 月 26 日;359(6374):429-434。ドイ: 10.1126/science.aap9112. PMID: 29371464。 サンプリングされた完全なデータセットは、JMP データ テーブルとして添付されます。
