自信を持って Analytics へようこそ。このシリーズでは、最新のデータ分析の成功の鍵である検証について探求します。 最初の投稿で、私は一般化可能性の必要性について Ron Kenett と Chris Gotwalt と話しました。この投稿では、一般化されないモデルの問題について説明します。これを行うには、モデルの「過剰適合」を防ぐ JMP の保護をハッキングする必要があります。
反応レシピ – 科学と工学のケーススタディ
これを、高価値の化学製品を製造するためのレシピの何千ものバリエーションを調査するケーススタディで現実にしてみましょう [1]。この反応には 5 つの重要な成分が必要です。
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.私が手描きした反応図式。化学者でなくても心配する必要はありません。重要なのは、さまざまなレシピが考えられるということです。
これらのそれぞれについて、4 つの求電子試薬、3 つの求核試薬、12 のリガンド、8 つの塩基、および 4 つの溶媒から選択できるいくつかのバリエーションがあります。
これは、4608 通りの可能なレシピがあることを意味します (4 x 3 x 12 x 8 x 4)。どのような成分を組み合わせれば、最高の収率 (最終製品への最も完全な変換) が得られますか?なぜ？ 「最高の」原料は高価すぎるか、安全性や環境上の理由から望ましくない可能性があり、同様に高い収量をもたらす可能性のある他の選択肢がある可能性があります。
これらの質問に答えるのに役立つデータがあります。 150 の可能なレシピがテストされ、収率が決定されました。これらを視覚化することが良いスタートとなります。
収率が低かったレシピは濃いピンク色で、収率が高かった反応は緑色で表示されています。周囲の空白は、まだ試されていないすべてのレシピを表します。変数が非常に多いため確認するのは簡単ではありませんが、トリフルオロボレート求核試薬では収率が低下するようです (右 3 番目)。他の求核試薬と求電子試薬として 6-IQ を使用するレシピ (左上) の方が一般的に優れています。
JMP のインタラクティブな分布プロットには、最も収率の高いレシピに共通するものが表示されます。
しかし、このような複雑なシステムでは、入力または「予測子」 (ここでは青色) と % 収量の結果または「応答」 (オレンジ色) の間のすべてのパターンを確認するのはまだ困難です。
デシジョン ツリーまたは「パーティション」分析は、ビッグ データの状況で最も一般的な機械学習手法の基礎となります。アルゴリズムは、予測子変数の 1 つを使用して、すべての観測値 (ここではレシピ) を 2 つに分割する最適な方法を検索します。 「最良の」分割では、2 つのブランチ間の平均応答の差が最も大きくなります。
You can launch the Partition platform from Analyze > Predictive Modeling.パーティション プラットフォームは、[分析] > [予測モデリング] から起動できます。
ここで、最良の分割は求核試薬であり、ボロン酸エステルまたはボロン酸の平均収率は 49.3%、トリフルオロボレートの平均収率は 23.4% であることがわかります。これは、求核試薬の選択が重要であることを示していますが、正確な予測はできません。ボロン酸エステルまたはボロン酸を使用した場合、モデルは 49.3% の収率を予測します。上の図の実際の値から、0 からほぼ 100% までの範囲の収率が期待できることがわかります。そして、他の要因が収量に与える影響については何も教えてくれません。
新しいブランチごとに分割アルゴリズムを繰り返すことでモデルを改善できます。 RSquare は、モデルの「適合性」がどのように改善されているかを追跡するのに便利な尺度です。これは、応答の変動がモデル内の要因の影響によってどの程度説明されるかを示します。 1 に近づくほど、モデルによって説明される変動が大きくなります。
2 回目の分割では RSquare が 0.204 から 0.442 に増加します。 24 回の分割後は 0.825 になります。
この時点で、最小分割サイズの制限である 5 に達したため、JMP はそれ以上の分割を停止します。これは、愚かなモデルの作成を防ぐための JMP のガードレールの 1 つです。この例では、最小サイズを 1 に設定し、分割を続けます。
You can change the minimum size split from the red triangle menu.赤三角のメニューから分割の最小サイズを変更できます。
97 回の分割の後はそれ以上分割できなくなり、R2 乗は 0.985 になります。これは、モデルが収量の変動の 98.5% を捉えていることを意味します。 Split History を使用すると、モデルの複雑さが増すにつれて RSquare がどのように増加したかがわかります。
予測プロファイラーからわかるように、モデルはさらに複雑になりました。
このモデルを使用して、レシピを最適化するためにテストしていないレシピの収量を予測し、レシピの変更が収量にどのような影響を与えるかを理解することができます。どの予測因子が最も重要であるかを推測でき、それらの因子がどのように相互作用するかを確認できます。
このモデルはどれくらい優れていますか?
RSquare と実際対予測のプロットから、モデルがデータに非常によく適合していることがわかります。つまり、モデルはほとんどの場合、モデルのトレーニングに使用されたレシピの収量を正確に予測します。
しかし、それは一般化するのでしょうか？テストしていないレシピの予測に自信を持っていいでしょうか?
この場合、4,608 の可能なレシピすべてが自動化されたハイスループット スクリーニング実験を使用して実行されたため、その質問に直接答えることができます。私たちが使用した 150 のレシピは、完全なデータから私がイラストとしてランダムに抽出したものです。モデル予測のヒートマップは、実際の収量とある程度の類似性を示していますが、明らかな違いも示しています。
4,608 レシピすべての実際の収率とパーティション モデルの予測のプロットは、あまり良くありません。
なんてこった！分割モデルは、実際には収率が 0 に近いいくつかのレシピについて 100% に近い収率を予測しました (プロットの右下)。 R2乗は0.5です。明らかに、この「オーバーフィット」モデルはまったく一般化できません。
次回の投稿では、JMP Pro の検証やその他のツールが、自信を持って分析を適用できるように一般化する予測モデルの構築にどのように役立つかを見ていきます。
もっと詳しく知る：
[1] Perera D、Tucker JW、Brahmbhatt S、Helal CJ、Chong A、Farrell W、Richardson P、Sach NW からのデータ。ナノモルスケールの反応スクリーニングとフロー内でのマイクロモルスケールの合成を自動化するためのプラットフォーム。科学。 2018 1 26;359(6374):429-434。土井: 10.1126/science.aap9112。 PMID: 29371464。サンプリングされたデータセットと完全なデータセットは、JMP データ テーブルとして添付されます。
問題ない。 データセットもとても気に入っています。 科学の研究開発現場から実際の「大きな」(「ビッグ」ではない) データを見つけるのは素晴らしいことです。 
素晴らしい事例ですね。
データセットを投稿していただきありがとうございます。
