데이터를 모델 구축에 사용되는 데이터셋(훈련)과 모델의 예측 성능을 평가하는 데 사용되는 데이터셋(검증)으로 부분집합화하는 데 사용됩니다. 여러 모델을 학습시킬 경우, 검증 데이터에서 가장 우수한 성능을 보이는 모델이 선택되는 경우가 많습니다. 때로는 선택된 모델의 예측 성능을 새로운 데이터에서 평가하기 위해 세 번째 데이터셋(테스트)이 사용됩니다. 테스트 데이터셋은 모델 구축이나 선택 과정에 사용되지 않았기 때문에 모델의 향후 성능을 평가하는 더 정확한 방법으로 간주됩니다. 검증 열을 사용하는 것은 특히 데이터에 과적합되는 경향이 있는 모델을 구축하는 데 유용합니다. JMP의 일부 모델링 플랫폼에서는 모델 학습 시 검증 부분을 지정하는 옵션을 제공하므로 검증 열을 생성할 필요가 없습니다.
JMP Pro에서 검증 열(학습, 검증, 테스트) 생성하기
- 열려 있는 JMP 데이터 테이블에서 분석 > 예측 모델링 > 유효성 검사 열 만들기를 선택합니다.
- 계층화, 그룹화 및 분할점 열을 사용하여 파티셔닝을 사용자 지정할 수 있습니다. 간단한 유효성 검사 열이 필요한 경우 확인을 클릭하십시오.
- 나타나는 창에서 데이터가 훈련 세트, 검증 세트 및 테스트 세트에 어떻게 할당될지 나타내는 값(개수 또는 비율)을 입력합니다. 원하는 경우 동일한 무작위 할당을 재현하기 위해 난수 시드를 선택합니다. 확인을 클릭합니다. 새 열이 생성되고 지정된 비율(또는 개수)에 따라 0, 1, 2 값이 채워집니다.
• 관측치 3,576개(60%)(훈련 세트)가 모델 구축(훈련)에 사용됩니다.
• 관측치 1,758개(30%)(검증 세트)는 최적의 모델을 검증하고 선택하는 데 사용됩니다.
• 전체 관측치의 596개(10%)(테스트 세트)는 선택된 모델의 새로운 데이터 성능을 테스트하는 데 사용됩니다.
JMP에서 유효성 검사 열 만들기
- 열려 있는 JMP 데이터 테이블에서 '열' 메뉴의 ' 새 열'을 선택합니다.
- 결과적으로 나타나는 새 열 창에서 열 이름을 확인 으로 변경합니다.
- '데이터 초기화' 옆에 있는 화살표를 클릭하고 '랜덤'을 선택하세요.
- 랜덤 지표를 선택하세요. 원하는 비율을 입력하세요. 여기서는 0 50%(학습), 1 30%(검증), 2 20%(테스트)를 선택했습니다.
- 0, 1, 2 대신 '학습', '검증', '테스트' 레이블을 표시하려면 해당 열을 마우스 오른쪽 버튼으로 클릭하고 '열 속성' > '값 레이블'을 선택합니다. 원하는 값 과 레이블을 입력하고 '한 번에 하나의 값 추가 '를 클릭합니다.
- [적용]을 클릭하여 데이터 테이블에서 새 열을 확인하고 (원하는 대로 열이 생성되는지 확인) [좋아요]를 클릭하여 열을 생성합니다.
자세한 내용은 JMP 도움말 의 예측 및 특수 모델 > 유효성 검사 열 만들기 섹션을 참조하십시오.
