我正在嘗試使用 Iris 樣本數據集作為我們數據集的 MWE 進行排列測試和蒙特卡洛交叉驗證。 我不確定我是否在正確地做事和解釋輸出。
1) 為置換檢驗的物種列創建新的公式列（隨機->無替換樣本）。
2) 創建一個驗證列（0.75/0.25 拆分）和一個新的公式列（隨機->無替換樣本）使用它進行蒙特卡羅交叉驗證
3) 運行帶有驗證列的判別平台並顯示 ROC 曲線。 在 ROC 曲線區域使用模擬平台
4.1) 對於排列測試-選擇 Species 作為要切換的列，並選擇 Shuffle[Species] 作為要切換的列。 輸入所需數量的隨機抽樣和隨機種子並運行模擬。
4.2) 查看分佈腳本並記下經驗 p 值。
5.1) 對於蒙特卡洛交叉驗證——選擇驗證作為要切換的列，選擇隨機[驗證]作為要切換的列。 輸入所需數量的隨機抽樣和隨機種子並運行模擬。
5.2) 查看分佈腳本並記下經驗 p 值。
6) 假設我所做的是正確的（測試 ROC 曲線的面積），排列測試的低 p 值是預期的，但是蒙特卡洛交叉驗證的大 p 值呢？ 這應該如何解釋？
謝謝
