歡迎回到充滿信心的分析。 在本系列中，我將探索現代數據分析成功的關鍵：驗證。 在第一個帖子，我與 Ron Kenett 和 Chris Gotwalt 討論了通用性的必要性。 在這篇文章中，我們將看到模型無法泛化的問題。 為此，我們需要破解 JMP 中防止“過度擬合”模型的保護措施。
反應配方——科學與工程案例研究
讓我們通過一個案例研究來實現這一點，該案例研究調查了用於製造高價值化學產品的配方的數千種變化 [1]。 該反應需要五種關鍵成分：
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.我手繪的反應示意圖。 如果您不是化學家，請不要擔心 - 重要的是有很多不同的可能配方。
對於其中的每一種，都有幾種變體可供選擇：四種親電子試劑、三種親核試劑、12 種配體、八種鹼基和四種溶劑：
這意味著有 4608 種可能的食譜（4 x 3 x 12 x 8 x 4）。 什麼樣的成分選擇組合會給我們帶來最高的產量（最完全地轉化為最終產品）？ 為什麼？ 出於安全或環境原因，“最好”的成分可能太貴或不受歡迎，而且可能還有其他選擇可以給我們帶來類似的高產量。
我們有數據可以幫助我們回答這些問題。 我們有 150 種可能的配方已經過測試並確定了 % 產量。 可視化這些是一個好的開始：
產量低的配方呈深粉色，產量較高的反應呈綠色。 周圍的空白代表所有沒有嘗試過的食譜。 有這麼多變量不容易看出，但三氟硼酸鹽親核試劑似乎會導致較低的產率（右三）。 使用其他親核試劑和 6-IQ 作為親電試劑（左上）的配方通常更好。
JMP 中的交互式分佈圖顯示了最高產量配方的共同點：
但在這樣一個複雜的系統中，仍然很難看到輸入或“預測變量”（此處為藍色）與 %Yield 結果或“響應”（橙色）之間的所有模式。
決策樹或“分區”分析是一些最流行的大數據機器學習方法的基礎。 該算法使用預測變量之一搜索將所有觀察結果（此處的食譜）一分為二的最佳方法。 “最佳”拆分在兩個分支之間的平均響應中具有最大差異。
You can launch the Partition platform from Analyze > Predictive Modeling.您可以從 Analyze > Predictive Modeling 啟動 Partition 平台。
在這裡，我們發現最好的分離是在親核試劑上，硼酸酯或硼酸的平均產率為 49.3%，三氟硼酸鹽的平均產率為 23.4%。 這告訴我們親核試劑的選擇很重要，但沒有給我們精確的預測。 如果我們使用硼酸酯或硼酸，模型預測產率為 49.3%。 從上圖中的實際值，我們可以看到我們可以預期收益率在 0 到幾乎 100% 的範圍內！ 它沒有告訴我們其他因素對產量的影響：
我們可以通過在每個新分支上重複分區算法來改進模型。 這R方是跟踪模型“擬合度”如何改進的有用度量。 它告訴我們有多少我們的響應變化是由模型中的因素的影響解釋的。 它越接近 1，模型解釋的變異越多。
二次分割後 R 方從 0.204 增加到 0.442。 24 次拆分後，它是 0.825：
此時 JMP 阻止我們進一步分裂，因為我們已經達到最小分裂大小 5 的限制。 這是 JMP 中防止您製作愚蠢模型的護欄之一。 對於這個例子，我們將最小尺寸設置為 1 並保持分裂。
You can change the minimum size split from the red triangle menu.您可以從紅色小三角菜單更改最小拆分大小。
97 次拆分後，我們不能再拆分了，R 方為 0.985，這意味著我們的模型捕獲了 98.5% 的收益率變化。 我們可以看到 RSquare 如何隨著拆分歷史的模型複雜性的增加而增加：
該模型現在復雜得多，正如我們從預測分析器中看到的那樣：
我們可以使用該模型來預測我們尚未測試的配方的產量，以優化配方並了解更改配方如何影響產量。 我們可以推斷出哪些預測因素最重要，並且我們可以看到這些因素如何相互作用。
這個模型有多好？
我們可以從 R 方和實際與預測圖看出模型與數據非常吻合。 也就是說，該模型主要對用於訓練模型的配方的產量做出準確預測。
但它能概括嗎？ 我們應該對未經測試的食譜的預測有信心嗎？
在這種情況下，我們可以直接回答這個問題，因為所有 4,608 種可能的配方都是使用自動化高通量篩選實驗執行的。 我們使用的 150 個食譜只是我從完整數據中隨機抽取的示例。 模型預測的熱圖顯示與實際產量有一些相似之處，但也有明顯差異。
所有 4,608 個配方的實際 % 產量與分區模型預測的對比圖看起來不太好：
不好了！ 對於實際產量接近 0 的幾種配方，分區模型預測的產量接近 100%（圖右下方）。 R 方為 0.5。 顯然，這種“過擬合”模型根本不能很好地泛化。
在下一篇文章中，我們將了解 JMP Pro 中的驗證和其他一些工具如何幫助我們構建可概括的預測模型，以便您可以自信地應用分析。
[1] 來自 Perera D、Tucker JW、Brahmbhatt S、Helal CJ、Chong A、Farrell W、Richardson P、Sach NW 的數據。 用於自動化納摩爾級反應篩选和微摩爾級流動合成的平台。 科學。 2018 年 1 月 26 日；359(6374)：429-434。 doi：10.1126/science.aap9112。 PMID：29371464。 採樣數據集和完整數據集作為 JMP 數據表附在附件中。
