ML 모델(예: 신경망 및 랜덤 포레스트)에서 k-겹 교차 검증을 수행하고 고정 테스트 데이터에서 모델 성능을 확인하는 방법은 무엇입니까?신경망과 랜덤 포레스트 모델을 적용하려는 분류 데이터 세트가 있습니다. 최고의 모델을 선택하기 위해 k-겹 교차 검증을 수행하고 있습니다. .
모델 성능을 테스트하려는 별도의 데이터(고정 테스트 데이터)가 있습니다. 해당 데이터를 JMP에 전달하고 분류 보고서를 받으려면 어떻게 해야 합니까?
예측 모델링 및 기계 학습Re: ML 모델(예: 신경망 및 랜덤 포레스트)에서 k-겹 교차 검증을 수행하고 고정 테스트 데이터에서 모델 성능을 확인하는 방법은 무엇입니까?안녕 @abhinavsharma91 ,
여러 기계 학습 모델에서 K-겹 교차 검증을 사용하려면 "모델 스크리닝" 플랫폼("분석", "예측 모델링", "모델 스크리닝"에서 액세스 가능)을 사용하고 시도하려는 알고리즘을 선택할 수 있습니다. (예: 신경망 및 Random Forest) 및 교차 검증에 사용되는 접기 수(5겹 교차 검증이 포함된 장난감 데이터 세트 "Diamonds Data"의 예):
테스트 데이터에는 다음과 같은 몇 가지 옵션이 있습니다.
- 데이터가 두 개의 데이터 세트(훈련용 하나, 테스트용 하나)로 분할된 경우 교차 검증을 통해 훈련 데이터 테이블에서 모델을 실행하고 가장 성능이 좋은 모델에 대한 수식을 저장한 다음 모델의 수식 열을 복사하여 붙여넣을 수 있습니다. 테스트 데이터 테이블에서 테스트 데이터에 대한 모델 성능을 편견 없이 평가하기 위해 데이터 유출이 발생하지 않도록 합니다.
- 동일한 데이터 테이블에 모든 데이터를 보관할 수도 있지만 테스트에 사용될 행을 "숨기고 제외"할 수도 있습니다. 이런 방식으로 모델은 훈련 및 교차 검증에 테스트 데이터를 사용하지 않지만 수식을 저장하면 숨겨진 행과 제외된 행에 대한 예측이 계속 유지됩니다(동일한 테이블에서).
이 답변이 도움이 되길 바라며,
