데이터 세트의 MWE로 Iris 샘플 데이터 세트를 사용하여 순열 테스트와 Monte Carlo Cross Validation을 수행하려고 합니다. 내가 일을 하고 있고 출력을 올바르게 해석하고 있는지 잘 모르겠습니다.
1) 순열 테스트를 위한 종 열에 대한 새 수식 열(Random->Sample Without replacement)을 만듭니다.
2) Monte Carlo Cross Validation을 위해 이를 사용하여 유효성 검사 열(0.75/0.25 분할)과 새 수식 열(Random->Sample Without replacement)을 만듭니다.
3) 검증 열을 사용하여 판별 플랫폼을 실행하고 ROC 곡선을 표시합니다. ROC 곡선 영역에서 시뮬레이션 플랫폼 사용
4.1) 순열 테스트의 경우 전환할 열로 종을 선택하고 전환할 열로 Shuffle[Species]를 선택합니다. 원하는 무작위 샘플링 및 무작위 시드 수를 입력하고 시뮬레이션을 실행하십시오.
4.2) 분포 스크립트를 보고 경험적 p-값을 기록해 둡니다.
5.1) Monte Carlo Cross Validation의 경우 전환할 열로 검증을 선택하고 전환할 열로 Shuffle[Validation]을 선택합니다. 원하는 무작위 샘플링 및 무작위 시드 수를 입력하고 시뮬레이션을 실행하십시오.
5.2) 분포 스크립트를 보고 경험적 p-값을 기록해 둡니다.
6) 내가 한 일이 정확하다고 가정하면(ROC 곡선의 영역 테스트) 순열 테스트에서 낮은 p-값이 예상되지만 Monte Carlo 교차 검증의 경우 큰 p-값은 어떻습니까? 이것을 어떻게 해석해야 합니까?
감사해요
