대체 컷오프 혼동 행렬나는 대체 차단 확률 혼동 행렬 추가 기능을 여러 번 사용해 왔습니다. 갑자기 일부 데이터 세트에서 무의미한 결과가 생성됩니다. 이전 데이터 세트에서 여전히 예상대로 작동하는지 확인했습니다. 첨부된 내용은 작동하지 않는 것으로 보이는 최근 데이터 세트 중 하나입니다. 대상 변수는 Stroke이고 검증 열과 모델링 방법의 이름에 따라 뇌졸중 확률로 레이블이 지정된 여러 예측 모델 확률이 있습니다(예: 부스팅 트리 또는 로지스틱 회귀 레이블이 붙은 열에서 제대로 작동하지 않습니다). 뇌졸중은 데이터 세트에서 매우 드물며(약 5%) 예측 모델에서 파생된 확률은 그에 따라 작습니다. 그러나 추가 기능과 0.1에서 0.9까지의 컷오프 확률 범위를 사용하면 뇌졸중에 대한 예측이 계속 0이 됩니다. 이는 이러한 모델의 확률 분포와 일치하지 않습니다. 하지만 0은 아닙니다). 왜 이런 일이 일어나는지 밝혀줄 수 있는 사람이 있나요?
감사해요.
데이터 탐색 및 시각화예측 모델링 및 기계 학습Re: 대체 컷오프 혼동 매트릭스안녕, @dale_lehman .
The Alternate Cut-off Confusion Matrix Add-In이 유용하다는 것을 알게 되어 기쁩니다.몇 년 전에 개발되었으며 파티션, 신경망(JMP Pro만 해당) 또는 모델 적합 보고서에서 저장된 예측(또는 확률) 열만을 기반으로 했습니다. 이것은 예측 값 열의 설명에 나와 있습니다. 여기 .다른 유형의 예측으로 표시되는 동작을 조사하게 되어 기쁩니다. 그리고 제가 발견한 내용으로 이 페이지를 업데이트하겠습니다.
Re: 대체 컷오프 혼동 매트릭스나는 궁금 @Wendy_Murphrey 대한 통찰력을 가질 수 있습니다. 대체 컷오프 혼동 매트릭스 추가 기능 여기.
Re: 대체 컷오프 혼동 매트릭스왜 작동이 멈췄는지 모르겠습니다. 누군가 그 부분을 알아낼 수 있다면 좋을 것입니다. 귀하가 제공한 데이터 테이블로 설명한 것과 동일한 동작을 확인할 수 있었습니다. 모델을 다시 실행할 때 왜 작동했는지 확실하지 않습니다. 공식과의 불일치 또는 재미있게 작동하게 만드는 어떤 것도 찾을 수 없었습니다.Re: 대체 컷오프 혼동 매트릭스디드리히
감사합니다. 답장을 해결책으로 표시하고 싶지만 왜 이런 일이 발생했는지 설명할 수 있는 사람이 있는지 정말 듣고 싶습니다.실제로 해당 모델을 다시 실행하면 추가 기능이 의도한 대로 작동하지만 해당 모델에서 생성된 확률이 올바른 혼동 행렬을 산출했어야 함에도 불구하고 내가 제출한 원본 파일에서는 작동하지 않았습니다.따라서 추가 기능이 갑자기 제대로 작동하지 않고 다시 작동하는 이유를 모르겠습니다.JMP Pro15.2.1도 실행하고 있습니다.
유효성 검사 세트가 너무 불균형하기 때문에 계층화에 대한 다른 요점에 동의합니다.이번에는 그렇게 하지 않았지만, 그렇게 하는 것이 합당한 이유를 충분히 알고 있었습니다.
Re: 대체 컷오프 혼동 매트릭스안녕 @dale_lehman ,
게시물에서 언급한 예측 열에서 대체 컷오프 혼란 매트릭스 추가 기능이 작동하지 않는 것을 확인할 수 있습니다. 그러나 나는 당신이 사용한 것과 동일한 예측자와 반응에 따라 Boosted Tree 플랫폼을 다시 실행했고 방정식이 동일하다는 것을 확인했지만 대체 컷오프 행렬 추가 기능이 이 새로운 공식에서 올바르게 작동했습니다. 맞는 명목 물류에서도 같은 것을 찾았습니다. 다시 실행하면(다른 방정식으로 끝남) 대체 컷오프를 실행할 수 있으며 예상대로 작동합니다. JMP Pro 15.2.1을 실행하고 있습니다. 당신의 두 핏에 뭔가 약간 맞지 않을 수 있습니다. 맞는 ROC 곡선을 확인하여 대각선 위에 있는지 확인했습니까? 테이블에 이 두 모델 수식에 대한 저장된 스크립트가 없으므로 적합이 얼마나 잘 작동하는지 평가하기 어렵습니다. 최신 방정식이 작동하는지 확인하기 위해 로지스틱 및 부스트 트리 모델을 다시 맞춤해 보셨습니까? 두 번째로 실행하면 추가 기능과 함께 작동합니다.
또 다른 메모에서 유효성 검사 열을 생성할 때 임의의 시드를 사용한 것을 확인했습니다. stroke==1의 인스턴스가 거의 없기 때문에 이것을 고려할 수 있도록 stroke에 계층화된 유효성 검사 열을 만드는 것을 고려할 수 있습니다. 또한 명목 로지스틱 적합을 수행할 때 뇌졸중의 가능성(뇌졸중==1)과 뇌졸중이 없을 가능성( 스트로크==0).
그냥 몇 가지 생각. 도움이 되었기를 바랍니다.
행운을 빌어요!,
DS
