我正在嘗試使用 Iris 樣本數據集作為我們數據集的 MWE 進行排列測試和蒙特卡洛交叉驗證。 我不確定我是否在做事並正確解釋輸出。
1) 為 Permutation Test 的 Species 列創建新的公式列 (Random->Sample without Replacement)。
2）創建一個驗證列（0.75/0.25拆分）和一個新的公式列（隨機->沒有替換的樣本）使用它進行蒙特卡羅交叉驗證
3) 運行帶有驗證列的判別平台並顯示 ROC 曲線。 在 ROC 曲線區域使用模擬平台
4.1) 對於置換測試-選擇 Species 作為列切換出來，Shuffle[Species] 作為列切換進來。 輸入所需的隨機採樣數和隨機種子並運行模擬。
4.2) 查看 Distributions 腳本並記下經驗 p 值。
5.1）對於蒙特卡洛交叉驗證——選擇Validation作為切換出的列，Shuffle[Validation]作為切換入的列。 輸入所需的隨機採樣數和隨機種子並運行模擬。
5.2) 查看 Distributions 腳本並記下經驗 p 值。
6）假設我所做的是正確的（測試 ROC 曲線的面積），來自置換測試的低 p 值是預期的，但是蒙特卡洛交叉驗證的大 p 值呢？ 這應該如何解釋？
謝謝
