最近建立更好的模型研討會上，有人問我，“如果你有一個與響應有一個彎曲關係的因素，可以使用決策樹模型來建模這種關係嗎？”為了表明這確實是可能的，我創建了一個簡單的模擬數據集200行，基於模型
哪裡一個 ， b ， C 是常數，和 Ë 是一個正態分佈的隨機變量。圖1顯示了數據圖以及擬合二次回歸模型。
那麼決策樹模型在適合這些數據時會是什麼樣子？為了找到答案，我使用了劃分平台（Analyze> Modeling> Partition）適合簡單的決策樹。決策樹模型的緊湊視圖如圖2所示。
檢查擬合模型的圖（圖3），我們看到決策樹模型捕獲了一般二次模型形狀。在X數據范圍內（-100 <100），該模型進行的預測與二次模型非常相似。實際上，兩個模型都具有相同的平均預測誤差，並且R 2 這兩個型號都是0.98。這很好，因為決策樹沒有假設Y和X之間關係的形狀。
重要的是要知道這裡適合的決策樹模型是可能的最大/最複雜的模型，唯一的限制是樹中的每個終端節點都需要至少有五個數據點。與該數據的整體可變性相比，該數據中的噪聲相對較小，這解釋了為什麼二次和分區模型都具有這樣的良好擬合。
但是，如果我們有更多噪音數據怎麼辦？考慮來自相同二次模型的第二個模擬數據集，但隨機誤差的標準偏差大10倍。您可以看到擬合的二次模型和完整的決策樹模型與圖4中的數據重疊。
在這種情況下，決策樹看起來不再像是在很好地捕獲數據的二次性質。這是因為分區模型是過擬合。 數據中存在的太多隨機錯誤被分配給模型，這導致模型過於復雜。
為了構建一個更好的決策樹模型，該模型將捕獲數據的基本性質而不會過度擬合，我們將使用隨機保留20％的數據作為驗證集，以幫助自動選擇決策樹模型的大小。這是內置的功能 JMP Pro ，JMP的高級分析版本。 基於驗證集選擇得到的模型，並且僅具有五個終端節點。 這個更簡單的決策樹模型（圖5）的疊加顯示決策樹現在正在捕獲數據的整體二次特性。因此，原始問題的答案仍然是“是的”，JMP Pro可幫助您以快速，自動的方式完成。
Eric Cai 中寫道：
薩姆你好，
感謝這篇非常明確且內容豐富的帖子。您能否解釋為什麼使用保持驗證而不是交叉驗證？是不是保持性驗證容易出現數據作為驗證集的變化？交叉驗證可以克服這種變化，這是我經常使用的驗證方法。我很樂意了解保持驗證的優點。
謝謝你的時間。
埃里克
