取得 K 折交叉驗證的折疊外指標在使用 K 折交叉驗證(例如使用神經網路和支援向量機)時,有沒有辦法取得折疊外指標?據我所知,JMP 只報告性能最佳折疊的指標,這沒什麼用。
進階統計建模預測建模和機器學習回覆:取得 K 折交叉驗證的折疊外指標你好@CentroidError56 ,
是的,請使用平台模型篩選功能,勾選您想要測試的模型,以便在報告中查看驗證折疊結果。
訓練、驗證和測試適配度指標
在模型篩選平台選項中,您可以儲存 K 折交叉驗證結果表。
希望這個方法對您有幫助。
回覆:取得 K 折交叉驗證的折疊外指標嗨,維克多,
感謝您的回覆。據我所知,這似乎只適用於每種方法的預設值。我有一些來自調優設計的配置,想用折疊數據進行比較。看起來除非我手動運行每個折疊,否則無法實現,但這會非常耗時。是不是我遺漏了什麼?
回覆:取得 K 折交叉驗證的折疊外指標你好@CentroidError56 ,
你說得對,這個選項只能在預設超參數設定下使用。
以下是我針對相同折疊資料測試特定超參數配置的方法:
- 使用「建立驗證列」平台建立 K 折交叉驗證列。指定分層列(X 軸)和目標列(Y 軸)。然後,您可以定義折數並設定隨機種子。
- 啟動您選擇的建模平台,並在驗證角色中使用此 K 折交叉驗證列。
在這個例子中,我使用了 JMP 糖尿病資料集和 SVM 平台。我設計了一個調優方案,找到了 3 個合適的超參數設定(模型 2、3 和 20):

-
然後我按住 CTRL 鍵並點擊「發布預測公式」選項(位於任何模型旁邊的紅色三角形中)。此時會建立一個新的「公式庫」窗口,其中包含先前看到的三個模型的公式:

-
在 Formula Depot 旁邊的紅色三角形中,我點擊「模型比較」選項,然後選擇我的三個模型:

JMP 注意到我的 5 折驗證列用於所有模型,並詢問是否可以將其用作分組列,所以我點擊“是”,以便獲得每個折疊的單獨模型結果。
- 我現在可以獲得這三個模型各自的折疊性能指標:

無論使用何種建模平台,此方法都應該有效,因為它只使用模型的預測公式,因此您可以組合不同的模型類型。
希望這個答案能解決你的問題。
回覆:取得 K 折交叉驗證的折疊外指標嗨,維克多,
成功了!非常感謝!