머신러닝의 위험 중 하나는 과적합입니다. 존 엘더의 타겟 셔플링은 모델을 매우 직관적으로 평가할 수 있는 방법입니다. 관련 자료는 많이 있으며, 아래는 그중 하나입니다. http://www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html JMP에 이러한 기능이 추가되면 좋을 것 같습니다.
저우 샤오지에zhou.x.1@pg.com- 샤론 우즈 혁신 센터, 신시내티
@chris_gotwalt1 님 의 설명에 따르면 이 방법은 이미 구현된 것으로 보입니다. 이 접근 방식과 관련하여 추가 기능이 필요한 경우, 위시리스트에 항목을 추가해 주시면 검토해 보겠습니다.
@SamGardner 개발팀에서 조사 중인 것 같은데, 상태를 변경해야 할까요?
시뮬레이션 기능은 JMP Pro 13.0에서 사용할 수 있습니다.
JMP Pro의 시뮬레이션 기능을 사용하면 다음의 간단한 단계를 따라 이 작업을 수행할 수 있습니다. 예를 들어, :Y라는 이름의 타겟에 대해 타겟 셔플링을 수행하려면 다음과 같이 하면 됩니다.
1) Y를 마우스 오른쪽 버튼으로 클릭하고 새 수식 열 -> 무작위 -> 비복원 추출을 선택합니다. 이렇게 하면 '셔플'이라는 새 수식 열이 생성됩니다. Y의 행들을 무작위로 섞습니다.
2) 원래 응답 열에 대해 모델을 실행합니다.
3) 보고서에서 관심 있는 모델 진단 지표(예: R 제곱, AIC, 오분류율 등)를 찾아 마우스 오른쪽 버튼으로 클릭합니다.
4) 나타나는 팝업 창에서 옵션 목록 하단에 있는 '시뮬레이션' 옵션을 선택합니다.
5) 나타나는 시뮬레이션 대화 상자에서 "교체할 열"에 대해 Y를 선택하고 섞기를 선택합니다. "전환할 열"의 경우. 그런 다음 확인을 클릭합니다. 원한다면 확인을 클릭하기 전에 결과의 재현성을 위해 난수 시드를 설정하거나 샘플 수를 2500이 아닌 다른 값으로 변경할 수 있습니다. 모델 학습에 시간이 오래 걸릴 경우 샘플 수를 줄이는 것이 좋습니다. 기본값을 그대로 사용해도 됩니다.
Simulate는 대상 변수들을 무작위로 섞는 작업을 수행하고, 섞인 R 제곱 값 또는 대상 변수 무작위화를 사용하여 평가하도록 선택한 다른 진단 값들을 포함하는 새 표를 생성합니다. 새 표에서 분포 스크립트를 클릭하면 보고서의 값을 '섞인' R 제곱 값의 분포와 비교할 수 있습니다.
존 엘더는 타겟 셔플링을 강력하게 옹호하지만, 타겟 셔플링의 본래 목적은 데이터에 과적합된 모델을 사용하는 것을 방지하는 것입니다. JMP의 신경망, 일반화 정규화, 부분 최소 제곱법, 분할 분석 플랫폼에 내장된 과적합 방지 알고리즘과 적절한 검증 절차를 통해 선택된 모델을 함께 사용하면 , 타겟 셔플링이 필수적인 R, SPSS, Statistica와 같은 다른 범용 통계 소프트웨어에서보다 덜 필요해집니다.
