모델을 구축하는 데 사용되는 세트(학습)와 모델의 예측 성능을 평가하는 데 사용되는 세트(검증)로 데이터를 부분 집합으로 나누는 데 사용합니다. 여러 모델이 적합한 경우 검증 데이터에서 가장 우수한 성능을 보이는 모델이 선택되는 경우가 많습니다. 때로는 세 번째 세트(테스트)를 사용하여 선택한 모델의 새 데이터에서 예측 성능을 평가합니다. 테스트 세트는 모델 구축이나 선택 프로세스에 사용되지 않았으므로 이는 모델의 향후 성능을 평가하는 더 정확한 방법으로 간주됩니다. 검증 열을 사용하면 특히 데이터에 과적합되는 경향이 있는 모델을 구축하는 데 유용합니다. JMP의 일부 모델링 플랫폼은 모델을 적합할 때 검증 부분을 지정하는 옵션을 제공하므로 검증 열을 만들 필요가 없습니다.
JMP Pro에서 검증 열(Train, Validate, Test) 만들기
- 열려 있는 JMP 데이터 테이블에서 분석 > 예측 모델링 > 검증 열 만들기를 선택합니다.
- 계층화, 그룹화 및 절단점 열을 사용하여 분할을 조정할 수 있습니다. 간단한 유효성 검사 열이 필요한 경우 확인을 클릭하세요.
- 결과 창에 데이터가 훈련, 검증 및 테스트 세트에 어떻게 할당될지 나타내는 값(개수 또는 비율)을 입력합니다. 원하는 경우 동일한 무작위 할당을 재현하기 위해 난수 시드를 선택합니다. 확인을 클릭합니다. 지정된 비율(또는 개수)에 0, 1, 2 값이 입력된 새 열이 생성됩니다.
• 관찰값의 3,576개(60%)가 모델을 구축(훈련)하는 데 사용됩니다.
• 관찰치의 1,758개(30%)가 검증 세트에서 가장 적합한 모델을 검증하고 선택하는 데 사용됩니다.
• 관찰값의 596개(10%)(테스트 세트)는 새로운 데이터에 대한 선택된 모델의 성능을 테스트하는 데 사용됩니다.
JMP에서 검증 열 만들기
- 열려 있는 JMP 데이터 테이블에서 열 메뉴에서 새 열을 선택합니다.
- In the resulting 새로운 칼럼 window, change the 열 이름 to 확인.
- 데이터 초기화 옆에 있는 화살표를 클릭하고 무작위를 선택합니다.
- '무작위 지표'를 선택하세요. 원하는 비율을 입력하세요. 여기서는 50%가 0(학습), 30%가 1(검증), 20%가 2(테스트)를 선택했습니다.
- 0, 1, 2 대신 Train, Validate, Test 레이블을 표시하려면 열을 마우스 오른쪽 버튼으로 클릭하고 열 속성 > 값 레이블을 선택합니다. 값 과 원하는 레이블을 입력하고 한 번에 하나씩 값 추가를 클릭합니다.
- '적용'을 클릭하여 데이터 테이블에 새 열을 표시합니다(열이 원하는 대로 생성되는지 확인하기 위함). 그런 다음 '좋아요' 를 클릭하여 열을 만듭니다.
자세한 내용은 JMP 도움말 에서 예측 및 특수 모델 > 검증 열 만들기를 참조하세요.
