불균형 데이터 및 무게 분류여보세요,
불균형 한 오리지널 응답이있는 데이터베이스가 있습니다. 주요한 개인적 관심의 부류는 소수 계층입니다 (관찰의 5 % 정도이지만 드물지만 심각한 감염이있는 환자).
다른 oridinal 클래스의 분류는 강화 된 숲 나무 분류기와 잘 작동하지만이 클래스는 내가 관심을 가지거나 그렇지 않습니다 (심각한 감염이나 전혀 감염되지 않음). 소수 클래스에 더 많은 가중치를 부여하기 위해 "weight"옵션을 사용할 수 있는지 여부를 헤매고 있습니다. 또한 분류 기가 가장 적합한 "무게"의 최적 임계 값을 계산하려고합니다. 불균형 데이터에서 AUC ROC는 적절한 성능 측정치가 아닌 것 같습니다. F1- 점수 (가양 성 및가 음성 측정)가 더 적합 해 보입니다.
JMP에서 F1 점수의 자동 계산에 대해 아는 사람이 있습니까?
F1 점수를 최대화하기 위해 JMP 분류 모델의 옵션 "무게"를 고도의 불균형 데이터로 미세 조정하는 방법이 있습니까?
누군가이 문제를 해결하기 위해 다른 제안이 있습니까?
감사,
루
재 : 불균형 데이터 및 무게 분류분류 모델에 대해 혼동 행렬 옵션을 설정하면 오 탐지율 / 음수율을 얻을 수 있습니다.
포지티브 / 네거티브 분류에 대해 다른 컷오프를 설정할 수도 있습니다 (기본값은 0.5).재 : 불균형 데이터 및 무게 분류나는 또한 F1 점수에 관심이 있었지만 JMP에서 자동으로 계산된다고 생각하지 않습니다. 누군가 더 나은 아이디어가 없다면, 문제를 해결하기 위해 가중치를 사용하지 않는 것이 좋습니다. 무슨 일이 일어나고 있는지 알기가 어려울 것입니다. 내 자신의 성향은 반응 변수를 관심있는 질병과 다른 모든 두 가지 범주로 코딩하는 것입니다. 그런 다음 컷오프 확률을 수동으로 미세 조정할 수 있으며 (추가 기능이 매우 우수함) 관심있는 질병을 식별하는 데 가장 적합한 컷오프 확률이 무엇인지 확인할 수 있습니다. 그런 다음 반응 변수의 전체 분류로 돌아가서 컷오프 확률이 강력한 지 확인할 수 있습니다. 나를 위해 시행 착오가 문제에 대한 자동 해결책을 찾는 것보다 더 밝을 수 있습니다 (그러나 자동 방법론이 있다면 알고 싶습니다).
재 : 불균형 데이터 및 무게 분류여기에는 약간 다른 문제가 있다고 생각합니다. 하나는 데이터의 균형이 맞지 않는 것입니다. 일부 범주는 다른 범주보다 훨씬 일반적이므로 분류가 잘못된 간단한 비율은 숫자가 적은 범주를 "무시"할 수 있습니다. F1이 주로이 문제를 해결하는 방법이라고 생각합니다. 다른 문제는 오류의 비대칭입니다. 가양 성 및 가음 성은 결과가 매우 다를 수 있습니다. F1이 도움이 될 것이라고 생각하지 않습니다. 더 나은 모델과 확률 차단 만 변경하면 해당 문제를 해결할 수 있습니다. 두 문제 사이의 체계적인 관계를 알지 못합니다 (하나가있을 수 있으며 배우는 것이 매우 흥미로울 것입니다).재 : 불균형 데이터 및 무게 분류안녕하세요, 분류에 대한 최적의 임계 값을 정의하는 데 도움이되는 멋진 추가 기능을 찾았습니다 (아래 첨부). 또는 JMP 커뮤니티 웹 사이트의 파일 교환-애드 인에서 "혼동 매트릭스"를 검색하십시오.
재 : 불균형 데이터 및 무게 분류최근 간행물은 불균형 데이터에서도 분류 모델에 대한 최적의 성능 측정으로 Matthias Correlation Coëfficiënt (MCC)의 장점을 명확하게 설명합니다.
https://www.ncbi.nlm.nih.gov/pubmed/31898477
https://www.ncbi.nlm.nih.gov/pubmed/28574989
재 : 불균형 데이터 및 무게 분류죄송합니다. Matthews CC를 의미합니다
