이전 게시물에서 일반화 회귀(Genreg) 플랫폼을 사용했습니다. JMP 프로 에게 딸아이와 보드게임 하면서 수집한 데이터 분석 . 내 모델(Player)에는 하나의 효과만 있었기 때문에 Genreg에서 사용할 수 있는 변수 선택 방법을 과시할 수 없었습니다.
올가미 또는 정방향 선택과 같은 변수 선택 방법에 액세스하는 것은 응답이 숫자가 아닌 경우(예: 빨간색/파란색/녹색 또는 작음/중간/대형) 순서 및 명목 로지스틱 회귀 모델이 과대적합되기 쉬울 수 있기 때문에 특히 중요합니다. 여기에서는 응답을 모델링하기 위해 더 많은 효과를 고려하는 예를 살펴보겠습니다.
자료
우리는 Diabetes.jmp 파일을 사용할 것입니다. 이 파일은 JMP 샘플 데이터 폴더. 데이터 세트는 442명의 환자 샘플에서 각 개인의 연령, 성별 및 콜레스테롤 수치와 같은 속성을 사용하여 1년 동안의 당뇨병 진행을 측정합니다. 우리는 이러한 속성을 사용하여 각 환자의 당뇨병 중증도(낮음, 중간 또는 높음)에 레이블을 지정하는 "Y 서수"를 모델링하려고 합니다. 응답 열의 이름에서 알 수 있듯이 Genreg 버전 14의 새로운 기능인 순서형 로지스틱 회귀 모델을 사용하여 모델링합니다. 설명 변수 사이에 상호 작용이 있다고 의심하는 것이 합리적이므로 모델에 주효과와 2-요인 상호 작용을 포함할 것입니다. Fit Model 대화 상자에서 이 모델을 지정하는 것은 "Factorial to Degree" 매크로를 사용하면 쉽습니다.
Launching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes data 당뇨병 데이터에 대한 순서형 로지스틱 모델 출시
모델을 지정하고 실행 버튼을 누르면 일반화 회귀 플랫폼으로 이동합니다. Genreg는 훈련 데이터에 대해 자동으로 Maximum Likelihood 적합(전체 모델, 변수 선택 없음)을 수행합니다. 하지만 과적합이 걱정되어 MLE를 원하지 않습니다. 대신 Lasso를 사용하고 싶습니다. 새로운 데이터에 더 잘 맞는 보다 간결한 모델을 제공할 것이기 때문입니다.
Doing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in Genreg Genreg에서 올가미 맞추기
Lasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes data당뇨병 데이터에 대한 올가미 출력
출력에서 볼 수 있듯이 올가미는 원래 57개 후보 중 15개 매개변수만 사용하는 모델을 생성합니다. 그래서 우리는 MLE보다 해석/설명하기가 훨씬 쉬운 모델을 가지고 있습니다. 올가미 모델은 전체 57항 모델보다 새로운 관찰에 대해 얼마나 더 잘 수행됩니까? 모델 비교 플랫폼을 사용하면 가장 쉽게 확인할 수 있습니다. 우리는 전체 모델이 훈련 데이터에 매우 잘 맞고 검증 데이터에 끔찍하게 맞는다는 것을 알 수 있습니다(검증 R^2는 음수이고 항상 나쁜 신호임). 이것은 고전적인 경우이다. 과적합 . 한편, 올가미 모델은 검증 데이터에 대한 R^2 및 오분류 비율이 훨씬 더 좋습니다. 따라서 올가미 모델은 여기에서 가장 좋아하는 것입니다.
Lasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platform모델 비교 플랫폼을 사용하는 올가미 대 MLE
다항식 사례
에서와 같이 내 이전 게시물 , 우리의 응답에는 자연스러운 순서가 있습니다. 그러나 다항 문제에서 변수 선택을 할 수 있도록 지금은 무시합시다. 다항 모델은 너무 쉽게 과모수화되거나 과적합되기 때문에 변수 선택은 이 경우에 특히 중요합니다.
왜 이 모델이 과대적합되기 쉬운가? p개의 예측 변수가 있고 응답이 k 수준을 취하는 경우 피팅하는 모델에는 p*(k-1) 매개변수가 있습니다. 당뇨병 데이터의 경우 56개의 예측 변수와 3가지 수준의 반응이 있으므로 56*(3-1) = 112개의 매개변수를 고려해야 합니다. 이것은 빨리 통제에서 벗어날 수 있습니다! 이 모델에 대한 자세한 내용은 다음을 확인하십시오. JMP 도움말 .
Genreg는 이전과 똑같은 방식으로 시작합니다. 분포를 다항식으로 전환하기만 하면 됩니다.
Launching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in Genreg Genreg에서 다항식 시작
다시 추정 및 변수 선택을 위해 올가미를 사용할 것입니다. 이번에는 올가미가 25개의 변수만 있는 모델을 생성합니다. 이는 모델에서 거의 90개의 매개변수를 삭제했음을 의미합니다. 그리고 올가미 모델이 유효성 검사 데이터(약 .35)에 대해 일반화된 R^2가 크지 않은 것처럼 보일 수 있지만 전체 모델은 유효성 검사 세트에서 일반화된 R^2가 -2보다 나쁩니다!
Lasso summaryLasso summaryLasso summaryLasso summary 올가미 요약
Lasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso는 Multinomial의 경우 MLE를 훨씬 능가합니다.
직접 사용해 보세요!
Genreg의 순서 및 다항 응답에 대한 지원에 대해 기쁘게 생각합니다. JMP 프로 14. 이러한 유형의 데이터는 실제로 매우 일반적이지만 당뇨병 데이터에서 보았듯이 모델을 신중하게 구축해야 합니다. Genreg의 대화형 변수 선택 도구를 사용하면 더 잘 맞고 해석하기 쉬운 모델을 구축할 수 있습니다. 당신이 무슨 생각을하는지 제게 알려주세요.
