歡迎回到充滿信心的分析。在本系列中，我正在探索現代資料分析成功的關鍵：驗證。在第一篇文章中，我與 Ron Kenett 和 Chris Gotwalt 討論了普遍性的必要性。在這篇文章中，我們將看到模型無法概括的問題。為此，我們需要破解 JMP 中的保護措施，防止模型「過度擬合」。
反應配方—科學與工程案例研究
讓我們透過一個案例研究來實現這一點，該案例研究調查了製造高價值化學產品的配方的數千種變化 [1]。此反應需要五種關鍵成分：
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.我手繪的反應示意圖。如果您不是化學家，請不要擔心 - 重要的是有很多不同的可能配方。
對於其中每一種，都有多種變體可供選擇：四種親電子試劑、三種親核試劑、12 種配體、八種鹼基和四種溶劑：
這意味著有 4608 種可能的配方 (4 x 3 x 12 x 8 x 4)。哪一種成分選擇組合將為我們帶來最高的產量（最完全轉化為最終產品）？為什麼？ 「最好的」成分可能太昂貴，或者出於安全或環境原因而不受歡迎，並且可能還有其他選擇可以為我們帶來類似的高產量。
我們有數據可以幫助我們回答這些問題。我們已經測試了 150 種可能的配方並確定了產率百分比。可視化這些是一個好的開始：
產量較低的配方呈深粉紅色，產量較高的反應呈綠色。周圍的空白代表所有沒有嘗試過的食譜。有這麼多的變數並不容易看出，但三氟硼酸鹽親核試劑似乎會導致產率較低（右第三）。使用其他親核試劑和 6-IQ 作為親電試劑（左上）的配方通常較好。
JMP 中的互動式分佈圖顯示了最高產量配方的共同點：
但在這樣的複雜系統中，仍然很難看到輸入或「預測變數」（此處為藍色）與％Yield結果或「反應」（此處為橘色）之間的所有模式。
決策樹或「分區」分析是一些最受歡迎的大數據情境機器學習方法的基礎。該演算法使用預測變數之一搜尋將所有觀察結果（此處為配方）一分為二的最佳方法。 「最佳」分割在兩個分支之間的平均響應中具有最大差異。
You can launch the Partition platform from Analyze > Predictive Modeling.您可以從“分析”>“預測建模”啟動分區平台。
在這裡，我們發現最好的分割是在親核試劑上，硼酸酯或硼酸的平均產率為 49.3%，三氟硼酸鹽的平均產率為 23.4%。這告訴我們親核試劑的選擇很重要，但並沒有給我們精確的預測。如果我們使用硼酯或硼酸，模型預測產率為 49.3%。從上圖中的實際值，我們可以看到，我們可以預期收益率在 0 到幾乎 100% 的範圍內！它沒有告訴我們其他因素對收益率的影響：
我們可以透過在每個新分支上重複分區演算法來改進模型。 R 方是追蹤模型「擬合度」如何改進的有用量測。它告訴我們模型中因素的影響可以解釋我們的反應有多少變化。它越接近 1，模型解釋的變化就越多。
第二次分割後，R 方從 0.204 增加到 0.442。 24 次分割後，為 0.825：
此時，JMP 阻止我們進一步拆分，因為我們已經達到了最小拆分大小 5 的限制。這是 JMP 中防止您製作愚蠢模型的護欄之一。對於此範例，我們將最小大小設為 1 並繼續拆分。
You can change the minimum size split from the red triangle menu.您可以從紅色小三角選單變更最小分割尺寸。
97 次分割後，我們無法再分割，R 方為 0.985，這意味著我們的模型捕捉了 98.5% 的收益率變化。我們可以透過分割歷史看到 R 方如何隨著模型複雜度的增加而增加：
正如我們從預測刻畫器中看到的那樣，模型現在更加複雜：
我們可以使用該模型來預測尚未測試的配方的產量，以優化配方並了解更改配方如何影響產量。我們可以推斷哪些預測因子最重要，並且可以看到這些因素如何相互作用。
這個模型有多好？
從 R 方和實際與預測圖中我們可以看到模型與數據非常吻合。也就是說，該模型主要對用於訓練模型的配方的產量進行準確的預測。
但它具有普遍性嗎？我們應該對我們尚未測試的食譜的預測充滿信心嗎？
在這種情況下，我們可以直接回答這個問題，因為所有 4,608 種可能的配方都是使用自動化高通量篩選實驗執行的。我們使用的 150 個食譜只是我從完整數據中隨機抽取的，作為說明。模型預測的熱圖顯示了與實際產量的一些相似之處，但也存在明顯的差異。
所有 4,608 種配方的實際百分比產量與分區模型的預測的關係圖看起來不太好：
不好了！分區模型預測幾種配方的產量接近 100%，而實際上產量則接近 0（圖右下角）。 R 方為 0.5。顯然，這種「過度擬合」模型根本無法很好地概括。
在下一篇文章中，我們將了解 JMP Pro 中的驗證和其他一些工具如何幫助我們建立泛化預測模型，以便您可以自信地應用分析。
了解更多：
[1] 資料來自 Perera D、Tucker JW、Brahmbhatt S、Helal CJ、Chong A、Farrell W、Richardson P、Sach NW。用於自動化納摩爾級反應篩選和微摩爾級流動合成的平台。科學。 2018 年 1 月 26 日；359(6374):429-434。 doi：10.1126/science.aap9112。 PMID：29371464。採樣資料集和完整資料集作為 JMP 資料表附加。
沒問題。 我也非常喜歡這個數據集。 從科學研發環境中找到真實的「大」（而不是「大」）數據是件好事。 
