모델 분류 임계값 탐색다운로드 및 실행 방법에 대한 지침입니다. 모델 분류 탐색기 추가 기능 이번 여름 JMP 인턴으로 만들었습니다. @KarenC 그리고 @mia_stephens .이 추가 기능은 모델 컷오프와 오류 트레이드오프를 동시에 시각화하는 통합 대시보드를 제공합니다. 모델 임계값을 대화식으로 변경하고 성능 측정, 혼동 행렬 및 ROC 곡선으로 전파된 결과를 즉시 확인할 수 있습니다.
참고: 매우 큰 데이터 세트에서는 속도가 느려지거나 정지될 수 있습니다.
1단계: 첨부된 .jmpaddin 파일과 예제 데이터 테이블을 다운로드합니다.
Data Selection DialogData Selection Dialog데이터 선택 대화 상자
1단계: Prob[Donut]를 X로, 소비를 Y로 캐스팅합니다. 이 두 열은 필수 항목입니다.
2단계: 모델이 예측하는 대로 목표 수준을 "도넛"으로 설정합니다.
3단계: 통계 분석을 위한 알파 레벨을 설정합니다. 기본값은 0.05입니다.
4단계: 다양한 측정의 레이블에 대한 순전히 시각적 옵션인 주어진 애플리케이션 필드를 기반으로 성능 용어를 선택할 수 있는 옵션이 오른쪽 상단에 있습니다. 이 경우 "일반"으로 둡니다.
5단계: 시각적 접근성 확인란은 그래프에서 색상을 구분할 필요 없이 결과를 해석할 수 있도록 그래픽 출력을 변경하는 기능입니다.
6단계: 이러한 모든 초기 매개변수가 설정된 상태에서 "확인"을 클릭하여 플랫폼을 시작합니다. 데이터 세트의 크기와 유효성 검사 열을 사용했는지 여부에 따라 시작하는 데 몇 초가 걸릴 수 있습니다.
Interactively Exploring CutoffsInteractively Exploring Cutoffs대화식으로 컷오프 탐색
의견이나 제안 사항이 있으면 알려주세요!
데이터 시각화생명 과학예측 모델링 및 데이터 마이닝통계Re: 모델 분류 임계값 탐색친애하는 카렌,
2x2 테이블을 다시 확인했는데 정확합니다. 맞습니다. 대신 IVD 성능 추가 기능을 사용할 수 있지만 이는 모든 데이터에 양수(임계값 미만) 또는 음수(위)로 태그를 지정하고 원래 숫자가 아닌 태그 결과를 분석해야 함을 의미합니다. 나는 이 스크립트의 멋진 "상태 대 점수" 비주얼을 얻지 못합니다.
하지만 IVD 성능 추가 기능을 사용하면 가장 필요한 수치를 얻을 수 있습니다.
많은 도움을 주셔서 감사합니다!
Re: 모델 분류 임계값 탐색안녕 Anne, 나는 정확히 확신하지 못합니다... 만약 당신이 올바른 TP, TN 등을 가지고 있다면 당신은 올바른 Se와 Sp를 가지고 있어야 합니다. 레이블을 올바르게 읽고 있는지 확인하기 위해 2x2 테이블을 주의 깊게 살펴보십시오. 도구가 임계값보다 오른쪽(보다 큼) 값을 양수로 사용하는 데 동의했습니다. 당신은 또한 내 IVD 성능 각각에 대해 긍정적인 것을 정의할 수 있는 두 개의 명목 열(테스트 및 진실)을 기반으로 성능을 제공하는 추가 기능. 임계값이 고정되면 더 잘 작동할 수도 있습니다(훨씬 빠르게 실행됨). 여전히 질문이 있으면 계속 질문하십시오.
여자 이름
Re: 모델 분류 임계값 탐색목표를 뒤집었지만 샘플이 양성으로 판정되기 때문에 아래에 특정 임계값, 결과는 예를 들어 특이성이 실제로 96.3%인 경우 3.7%의 결과를 얻습니다.
대상 뒤집기 이전 버전에서는 모든 값이 참양성, 거짓음성 등으로 올바르게 분류되었으며 민감도 및 특이도 값만 반전되었습니다. 반전 후 모든 참 긍정은 거짓 긍정으로 분류되고 모든 거짓 부정은 참 부정으로 분류됩니다...
Re: 모델 분류 임계값 탐색시작 창에서 목표 수준을 설정하는 옵션이 있습니다.
Re: 모델 분류 임계값 탐색그 버튼이 있으면 좋을 것 같습니다. 내 버전의 추가 기능에는 "오분류 임계값 최소화"가 없습니다. 일부 레이아웃 설정을 변경해야 합니까?
Re: 모델 분류 임계값 탐색"목표"라고 부르는 것을 뒤집습니다.
Re: 모델 분류 임계값 탐색친애하는 카렌,
유용한 추가 기능에 감사드립니다! 민감도, 특이도, PPV 및 NPV를 계산하는 데 사용하려고 합니다.
내가 얻은 수치는 정확하지만(내가 가지고 있는 기준 감도/특이성 데이터와 비교하여), 감도와 특이성 및 PPV를 NPV와 교환합니다.
내 응답 열에서 긍정적으로 지정한 결과가 1보다 높은 것이 아니라 정의된 임계값 아래에 있다는 사실과 이것이 관련이 있을 수 있다고 생각합니다. 이 문제를 해결하는 방법에 대한 조언이 있습니까?
Re: 모델 분류 임계값 탐색"오분류 최소화" 버튼을 보셨기를 바랍니다. 이 버튼은 Set Probability Threshold 개요에 있습니다.
Re: 모델 분류 임계값 탐색Addin에 메소드가 있습니까? 자동으로 분류 임계값을 최적화(= 오분류 비율 최소화)?
Re: 모델 분류 임계값 탐색"truth" 열이 문자가 아닌 경우 문자 유형으로 변경해 보십시오.
Re: 모델 분류 임계값 탐색예, 문제 없이 도넛 예제를 실행할 수 있습니다.
Re: 모델 분류 임계값 탐색@루
왜 그 오류가 발생하는지 잘 모르겠습니다. 추가 기능에서 도움말 버튼(오른쪽)을 클릭하면 사용자 설명서가 표시됩니다. 그렇지 않으면 더 많은 정보가 없으면 왜 문제가 발생하는지 알기가 어렵습니다. 도넛 예제 데이터를 실행할 수 있습니까?
여자 이름
Re: 모델 분류 임계값 탐색내 데이터에 추가 기능을 시도했지만 항상 다음 오류 메시지가 나타납니다. 액세스 또는 분석 평가에서 아래 첨자 범위.
Re: 모델 분류 임계값 탐색카렌 감사합니다! 성공했습니다! 다시 한 번, 많은 감사드립니다!
Re: 모델 분류 임계값 탐색안녕하세요 tsnow님
제 생각에는 앱이 데이터 양에 문제가 있는 것 같습니다. 우리는 정확히 얼마나 많은 행이 기계 구성에 따라 달라질 수 있는지 많은 수의 행에서 문제를 관찰했습니다. 그러나 모든 것이 손실되지는 않습니다. 그 크기의 데이터 테이블을 사용하면 임의의 샘플(다른 테이블로 하위 집합)을 가져온 다음 앱을 실행할 수 있다고 생각합니다. 10%로 시작하여 앱이 실행되는지 확인합니다. 그렇다면 10%의 4~5개의 다른 무작위 샘플을 보고 샘플에 관계없이 "유사한 지점에 착륙"하는지 확인합니다. 그렇다면 아마도 실용적인 질문에 대답할 수 있을 것입니다. 그렇지 않은 경우 크기 문제가 다시 발생할 때까지 샘플을 몇 개 더 실행하거나 더 큰 샘플 20%, 30%를 시도합니다.
도움이 되었기를 바랍니다. 또한 그래프 빌더의 모든 데이터를 사용하여 분포를 이해하고 문제에 대한 컷포인트가 의미가 있는 지점으로 점수 대 상태 플롯을 작성할 수 있습니다.
여자 이름
Re: 모델 분류 임계값 탐색안녕하세요 KarenC입니다. JMP 14를 사용하고 있습니다. 저는 윈도우를 사용하고 있습니다. 11,221개의 행이 있습니다. 응답하지 않는다는 메시지가 나옵니다. 친절하게 도와주세요.
감사
Re: 모델 분류 임계값 탐색안녕하십니까,
왜 문제가 발생하는지 잘 모르겠습니다. 더 많은 정보를 제공할 수 있습니까? 어떤 버전의 JMP를 사용하고 있습니까? 맥이나 윈도우? 충돌하거나 매달려 있습니까? 데이터 테이블의 행은 몇 개입니까?
감사
Re: 모델 분류 임계값 탐색나는 이것을 여러 번 시도했지만 매번 충돌합니다. 어떤 대안이 있습니까?
Re: 모델 분류 임계값 탐색아주 멋진! 나는 종종 화면에서 멀리 날아갈 방법을 찾고 있으므로 잠시 동안 회전하는 동안 당신의 조언을 따르고 주위를 순항할 것입니다.
감사합니다, 마르크스
Re: 모델 분류 임계값 탐색마르크스,
더 큰 데이터 세트에서 시도하려면 컴퓨터에서 잠시 떨어져 있을 때 실행한 다음 돌아올 때 가 실행되는지 확인하십시오. 기다리면 실행된다는 것을 알았습니다. 시작하기 위해 해야 할 초기 "작업"이 있을 뿐입니다.
여자 이름
Re: 모델 분류 임계값 탐색Tarik과 후속 Karen을 공유해 주셔서 감사합니다. 가능하면 더 큰 데이터 세트로 작업하는 데에도 관심을 가질 것입니다.
고마워, 마르크스
Re: 모델 분류 임계값 탐색안녕하세요 스티브,
예, 데이터 세트가 너무 크면(N < 1000 시도) 추가 기능이 JMP를 "정지"할 수 있습니다. 나는 충돌이 발생하지 않았으며 단지 당신이 경험한 대로 JMP가 잠깁니다. 이 성능 문제를 조사하고 있습니다. 그 동안 최소한 임계값 탐색을 시작하려면 관심 데이터의 임의 하위 집합을 시도하십시오. 계속 지켜봐 주세요!
감사,
여자 이름
Re: 모델 분류 임계값 탐색이 추가 기능은 JMP에 대한 훌륭한 추가 기능입니다. 14.1을 실행 중이며 Donut 데이터에서 제대로 작동합니다. 그러나 JMP를 잠근 다음 내가 선택한 거의 모든 다른 데이터 세트에서 충돌합니다. 무엇이 잘못될 수 있는지에 대한 제안이 있습니까?
감사.
스티브 파월
