대체 컷오프 혼동 행렬대체 컷오프 확률 혼동 행렬 추가 기능을 여러 번 사용했습니다.갑자기 일부 데이터 세트에서 말도 안되는 결과를 생성합니다.이전 데이터 세트에서 여전히 예상대로 작동하는지 확인했습니다.첨부 됨은 작동하지 않는 것으로 보이는 최근 데이터 세트 중 하나입니다.대상 변수는 Stroke이고 검증 열과 모델링 방법의 이름에 따라 뇌졸중 확률로 레이블이 지정된 여러 예측 모델 확률이 있습니다 (예 : 부스트 트리 또는 로지스틱 회귀로 레이블이 지정된 열에서 두 가지 예를보십시오. 제대로 작동하지 않음).데이터 세트에서 뇌졸중은 매우 드물며 (약 5 %) 예측 모델에서 파생 된 확률도 그에 따라 작습니다.하지만 추가 기능과 0.1에서 0.9까지의 컷오프 확률 범위를 사용하면 뇌졸중에 대한 예측이 0으로 계속 발생합니다.이 모델의 확률 분포와 일치하지 않습니다 (내가 말했듯이 낮음, 그러나 0은 아님).왜 이런 일이 일어나고 있는지 아무도 밝힐 수 있습니까?
감사.
해석학Re : 대체 컷오프 혼동 행렬안녕하세요 헉헉 ,
대체 컷오프 혼동 행렬 추가 기능이 게시물에서 언급 한 예측 열에서 작동하지 않음을 확인할 수 있습니다. 그러나 사용한 것과 동일한 예측 변수와 반응에 따라 Boosted Tree 플랫폼을 다시 실행하고 방정식이 동일한 지 확인했지만 대체 컷오프 행렬 추가 기능이이 새로운 수식에서 올바르게 작동했습니다. 나는 맞는 명목상 물류에서도 똑같은 것을 발견했습니다. 다시 실행하면 (다른 방정식으로 끝남) 대체 컷오프를 실행할 수 있으며 예상대로 작동합니다. JMP Pro 15.2.1을 실행하고 있습니다. 당신의 두 가지 핏에 약간의 문제가있을 수 있습니다. ROC 곡선을 확인하여 대각선 위에 있는지 확인하십시오. 테이블에이 두 가지 모델 공식에 대한 저장된 스크립트가 없으므로 적합도가 얼마나 잘 작동하는지 평가하기가 어렵습니다. 새로운 방정식이 작동하는지 확인하기 위해 로지스틱 및 부스트 트리 모델을 다시 피팅 해 보셨습니까? 두 번째로 실행하면 추가 기능과 함께 작동합니다.
또 다른 메모에서 유효성 검사 열을 생성 할 때 임의의 시드를 사용했음을 확인했습니다. stroke == 1 인스턴스가 거의 없기 때문에이를 고려할 수 있도록 스트로크에 계층화 된 유효성 검사 열을 만드는 것을 고려할 수 있습니다. 또한 명목 로지스틱 피팅을 수행 할 때 뇌졸중 가능성 (stroke == 1) 대 뇌졸중 발생 가능성 (stroke == 1)을 예측하려고 할 것이므로 목표 수준 : 0보다는 1을 모델링하는 것이 더 나을 수 있습니다. 스트로크 == 0).
약간의 생각. 도움이 되었기를 바랍니다.
행운을 빕니다!,
DS
Re : 대체 컷오프 혼동 행렬Diedrich
감사합니다. 답장을 해결책으로 표시하겠습니다.하지만이 문제가 발생한 이유를 누군가가 설명해 주시면 정말 듣고 싶습니다.실제로 이러한 모델을 다시 실행하면 추가 기능이 의도 한대로 작동하지만 제출 한 원본 파일에는 적용되지 않았습니다. 해당 모델에서 생성 된 확률이 올바른 혼동 행렬을 산출 했어야했지만.따라서 추가 기능이 갑자기 제대로 작동하지 않고 다시 작동하는 이유를 모르겠습니다.JMP Pro15.2.1도 실행 중입니다.
나는 그것이 너무 불균형하기 때문에 검증 세트를 계층화하는 것에 대해 당신의 다른 요점과 동의합니다.이번에는 그렇게하지 않았지만 그렇게하는 것이 타당한 이유를 잘 알고있었습니다.
Re : 대체 컷오프 혼동 행렬왜 작동을 멈췄는지 모르겠습니다. 누군가가 그 부분을 알아낼 수 있다면 좋을 것입니다. 귀하가 제공 한 데이터 테이블에서 설명한 것과 동일한 동작을 확인할 수있었습니다. 모델을 다시 실행할 때 왜 작동했는지 확실하지 않습니다. 나는 공식이나 그것이 재미있게 행동하게 만드는 어떤 불일치도 찾을 수 없었다.Re : 대체 컷오프 혼동 행렬나는 궁금 안녕하세요. 에 대한 통찰력을 가질 수 있습니다 대체 컷오프 혼동 행렬 추가 기능 여기.
