모델 심사안녕하세요.
제가 가지고 있는 질문은 데이터세트가 있고 이 데이터세트의 30%를 테스트용으로 분리하고 싶다는 것입니다. 모델 스크리닝을 사용하여 다양한 모델을 시도하고 싶지만 모델의 검증 부분에서는 모든 모델이 검증을 위해 정확히 동일한 테스트 데이터 세트를 사용하기를 원합니다.
이를 위해 어떻게 해야 합니까?
예측 모델링 및 기계 학습답: 모델 심사안녕하세요 @maryam_nourmand 님 ,
고정된 학습/검증/테스트 데이터 세트에서 재현 가능한 결과를 얻는 가장 쉬운 방법은 검증 열을 만드는 것입니다.
- 먼저 유효성 검사 열을 생성하기 위한 해당 메뉴로 이동합니다.
- 그런 다음 그룹이나 계층화를 지정할 수 있습니다(필요한 경우).
이 방법에는 여러 가지 옵션이 있습니다. 여기서는 필요에 맞는 기본 항목인 "검증 열 만들기"를 사용했으며 일부 변수를 계층화 열로 사용하여 모든 교육, 검증 및 테스트 세트가 유사한 분포/재분배를 갖도록 합니다. 이 열의 값입니다.
-
그런 다음 각 세트에 대한 데이터 비율을 지정하고 분석에서 완벽한 재현성을 갖도록 무작위 시드를 지정할 수 있습니다. 여기서는 고정 검증 유형을 선택했지만 수식 검증 열을 생성하여 2단계에서 지정한 것과 동일한 설정(그룹화, 계층화 등...)으로 다양한 훈련, 검증 및 테스트 세트를 시뮬레이션할 수도 있습니다. 데이터 비율은 훈련의 경우 70%, 검증의 경우 20%, 테스트의 경우 10%입니다(일반적인 값, 이 주제에 대한 자세한 정보 및 연구는 V. Roshan Joseph의 "Optimal Ratio for Data Splitting" 논문을 참조하세요: https //arxiv.org/pdf/2202.03326 ). 필요한 평가 정확도와 모델 선택, 사용 가능한 데이터/행 수에 따라 비율에 대한 적절한 절충안을 찾는 것이 중요합니다. 완료되면 "이동"을 클릭하여 테이블에 다음과 같은 새로운 유효성 검사 열을 만듭니다.
-
마지막으로 모델 스크리닝 플랫폼을 시작하고 "검증" 패널에서 새로 생성된 "검증 열"을 사용합니다. 또한 이 단계에서 무작위 시드를 수정하여 사용된 다양한 모델과 세트에 대해 재현 가능한 결과를 얻을 수도 있습니다.
검증과 테스트라는 용어에 대한 몇 가지 설명은 다음과 같습니다. 혼동을 안고 대체적으로 사용될 수 있는 경우가 많습니다.
- 훈련 세트 : 모델의 실제 훈련에 사용되며,
- 검증 세트: 모델 최적화(초매개변수 미세 조정, 특징/임계값 선택 등) 및 모델 선택에 사용됩니다.
- 테스트 세트 : 새로운/보이지 않은 데이터에 대해 선택한 모델의 일반화 및 예측 성능 평가에 사용됩니다.
따라서 검증 세트를 사용하면 여러 모델을 평가할 수 있지만 테스트 세트는 검증 단계에서 선택한 모델에 대해 한 번만 사용해야 합니다.
이 답변이 도움이 되길 바랍니다.
Re: 모델 스크리닝감사해요
Re: 모델 스크리닝JMP Pro가 있다면 검증 열을 만드는 플랫폼이 있으며, 다양한 모델링 플랫폼 내에서 어떤 행이 훈련 행이고 어떤 행이 검증 행인지를 나타내는 열을 지정할 수 있습니다.
표준 JMP를 사용하는 경우, 생성되는 유효성 검사 열의 수식에 Random Uniform() 함수를 사용하여 유효성 검사 열을 쉽게 생성할 수 있습니다. (열을 문자 열로 지정해야 합니다.)
If(randome uniform()>=.7, "Validation", "Training")
열을 만든 후에는 열 정보 화면으로 가서 열의 값을 정적으로 만드는 수식을 제거해야 합니다. 이렇게 하면 수식이 두 번째로 실행되어 값이 변경되는 일이 없습니다.
모델을 구축하는 동안 검증 행을 제외 및 숨길 수 있으며, 모드를 검증하려면 검증 행 숨기기 및 제외를 해제하고, 학습 행 숨기기 및 제외를 해제한 다음 모델을 다시 실행합니다.
