1152_zh-TW

liliconcom

JMP 分區/決策樹 - 使用測試集選擇模型和驗證論壇會員大家好，

我有以下問題。 我想使用 SAS Jmp Partition 進行分類。
資料集有 2 個類別：正類和負類。 我寫了一個載入的 JSL 腳本
文件中的資料集。 測試集是透過排除一定數量的行來定義的
並在訓練集（由所有包含的行給出）上對決策樹進行訓練。
訓練是透過 JSL 腳本點擊「Go」按鈕來完成的（即發送 Go
向分區實例發送訊息）。

現在我的問題是：SAS Jmp Partition 如何知道何時停止生長樹？
根據 r 平方圖，JMP 似乎利用測試集作為基礎
它決定停止種植這棵樹。 這顯然不能令人滿意，因為我想要
使用測試集效能（使用 ROC 曲線及其 AUC）來量化泛化
樹在未見過的資料上的效能。

或者停止點是由交叉驗證 ROC/AUC 決定的？ 但似乎
透過成長，交叉驗證運行的 AUC 可以最大化，在 0.999 附近沒有任何問題
樹無限大，這顯然是過度擬合。

我使用以下命令開始決策樹學習：

部分=分區（
最小分割尺寸（20），
顯示樹( 1 ),
ROC 曲線( 1 ),
專欄貢獻( 1 ),
分割歷史( 1 ),
Criterion(“最大化顯著性”),
K 折交叉驗證( 2 ),
發送到報告（....）
）；
部分 << ColorPoints << Go << LeafReport;

測試集行的選擇是使用以下命令完成的：

設定行狀態( [0,2,0,......] ）；

2 對排除的行進行編碼。

預先感謝您的任何提示

馬克回覆：JMP 分區/決策樹 - 使用測試集進行模型選擇和驗證來自 JMP 統計和圖表指南的第 816 頁（來自 JMP，幫助>書籍>JMP 統計和圖表指南）：

自動分割
當您啟用交叉驗證時，會出現 Go 按鈕（如圖 37.12 所示）。 這個做完了
透過使用 K Fold Crossvalidation 指令，或排除至少 20% 的行作為保留
樣本。
「Go」按鈕提供重複拆分，而無需重複點擊「Split」按鈕。
當點擊Go按鈕時，平台會進行重複的分割，直到交叉驗證通過
R-Square 比接下來 10 次分割得到的結果更好。 該規則可能會產生複雜的樹
不太可解釋，但具有良好的預測能力。
使用「執行」按鈕可開啟「拆分歷史記錄」指令。 另外，如果使用“Go”按鈕會產生一棵樹
如果節點超過 40 個，則關閉「顯示樹」指令。