불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?JMP가 로지스틱(일반화) 회귀에 대한 혼동 행렬과 ROC를 인쇄하는 점이 마음에 들지만 결과에서 몇 가지 중요한 측정항목이 누락된 것 같습니다. 정도 그리고 F1 점수 .출력에 자동으로 포함시키는 방법이 있나요? 또는 새로운 분류 모델을 다시 실행할 때 가능한 한 "자동으로" 계산되도록 하십시오.나는 각각의 새로운 모델에서 이를 수동으로 다시 계산하는 것을 피하려고 노력하고 있습니다.
업데이트: 질문에 대한 답변만 게시해 주세요. 나는 Precision과 F1을 사용할지 말지에 대한 의견을 찾고 있는 것이 아닙니다. 저는 JMP에서 이러한 값을 자동으로 계산하는 방법을 찾고 있습니다. 그러한 기술을 알지 못한다면 이것이 가능한지 여부를 고려하거나 아래에 아무것도 게시할 이유가 없습니다. 감사합니다 
소비자 및 시장 조사데이터 탐색 및 시각화예측 모델링 및 기계 학습결과 공유 및 전달Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?고마워요 짐. 이와 같은 구체적인 예가 제가 찾던 것입니다. 나는 이미 Python으로 되돌아갔지만 나중에 JSL 예제를 시도해 보겠습니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?예제는 File Exchange에서 사용할 수 있고, JMP를 설치할 때 설치되는 스크립트 예제는 스크립팅 가이드 책에서 직접 볼 수 있으며, JMP를 설치할 때 설치되기도 합니다. 그리고 여기에 출력에서 읽고 다음을 수행하는 샘플 스크립트가 있습니다. 출력의 일부로 다른 형식으로 표시합니다.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA\Big Class.jmp" );
// Run the Fit Y by X to get the XY plot
Biv = dt << Bivariate( Y( :height ), X( :weight ) );
// Run the distributions to get the stats
Dis = dt << Distribution( Continuous Distribution( Column( :height ) ), Continuous Distribution( Column( :weight ) ) );
// Extract the stats
heightMean = Report( dis )["Height"]["Summary Statistics"][Number Col Box( 1 )][1];
weightMean = Report( dis )["Weight"]["Summary Statistics"][Number Col Box( 1 )][1];
// Create the new display object
hlb = H List Box(
Text Box( "Mean of Height = " ),
Number Edit Box( heightMean ),
Spacer Box( size( 30, 0 ) ),
Text Box( "Mean of Weight = " ),
Number Edit Box( weightMean )
);
// Add the new object to the plot
Report(Biv)[Outline Box(1)] << Append( hlb );
Dis << close window;
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?케빈, 예를 들어주셔서 감사합니다.
모델을 실행하고 F1 및 Precision 점수를 직접 계산하는 데 문제가 없습니다. 그런데 JMP에서 이를 자동 계산하는 예가 있습니까(원래 요청한 것입니다)?
그동안 질문을 올리는 것보다 시간이 덜 걸린 Python을 코딩했습니다. 나중에 누군가 답변을 제공하면 기꺼이 다시 시도하겠습니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕, 올렉!
나는 당신의 원래 질문을 잘못 읽은 것 같지 않지만 그것은 단지 내 의견입니다 ...
시도해 볼 수 있는 예는 다음과 같습니다.
Big Class.jmp를 선택하세요. 성별을 반응으로 하고 나이, 키, 몸무게를 요인으로 하여 터무니없이 과적합된 신경망 분석을 실행해 보세요. 여성을 긍정적인 사례로 간주합니다.
다음과 같은 비상표가 있습니다.
데이터 테이블로 만들기를 선택합니다.
TP= 16. FP=2. FN=2.
F1은 2*TP/(2*TP+FP+FN)으로 계산할 수 있습니다. F1=0.89를 얻습니다.
이것은 스크립팅하기가 매우 쉬운 일이며(제 생각에는 스크립트를 사용하여 출력에 이 측정항목(및 기타 항목)을 자동으로 포함할 수도 있습니다. 한번 시도해 보세요. 실패할 경우 제가 도와드리겠습니다.
행운을 빌어요.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕 케빈.
이 "토론" 스레드가 StackOverflow와 같은 것이라면 명확한 질문에 대한 명확한 답변을 기대할 수 있습니다. 제가 틀렸다면 토론 게시 지침을 안내해 주시기 바랍니다. 나는 신문에서 다른 사람의 의견을 읽을 수 있다. 그러나 과학의 맥락과 "완료"라는 정신에서 명확하고 간결한 답변은 가치를 더합니다.
그런데 방금 제 질문에 대한 의견을 받았다고 인정하셨나요? ㅋㅋㅋ.
어쨌든, 이 문제에 대해서는 당신에게 도움을 구하는 것이 더 효과적일 것입니다.
F1 및 Precision을 스크립팅하는 데 도움이 되고 가급적이면 회귀 출력 페이지에 추가하는 데 도움이 되는 JSL 예제를 발견하셨나요?
건배!
영형.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕, 올렉!
아마도 언어가 낯설기 때문일 수도 있지만 토론(커뮤니티에 있는 이 사이트의 이름)이라는 단어는 단순한 질문과 답변 이상의 의미를 갖습니다. 여기에는 귀하의 바람과 관계없이 의견, 훈계, 탄원, 호언장담 및 기타 여러 형태의 대화가 정당하게 포함될 수 있습니다.
제가 통계(및 JMP!)에서 좋아하는 많은 점 중 하나는 정말 훌륭하고 창의적인 작업이 응용 과학과 예술 사이의 인터페이스에서 일어나는 것 같다는 것입니다. 보다? 내 의견.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?케빈, 당신은 내 원래 질문을 잘못 읽었을 수도 있습니다. 나는 바랐다 F1과 정밀도 모두에 대한 계산이 내장되어 있습니다.JSL은 합리적인 대안입니다.
제가 따를 수 있는 예가 있나요?
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?고마워요 짐.
1. 동의합니다
2. 지원팀에서 토론 그룹을 사용해달라고 요청하는데, 이것이 제가 시도하고 있는 것입니다.
3. 물론, JSL은 좋은 방향입니다. 나는 누군가가 이미 그것을 구현했고 예를 들어줄 수 있기를 바랐습니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕 케빈. 나는 Jim의 도움에 감사하며, 필요할 때마다 Jim에게 칭찬을 아끼지 않고 그의 해결책을 받아들였습니다. 그러나 나는 모든 점에서 그의 의견에 동의할 수는 없습니다. 이 스레드에서는 ML 세계의 유행에 대한 의견이 아니라 질문에 대한 답변을 기대합니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕, 올렉!
큰 그림은 다음과 같습니다. Jim Nelson은 이 커뮤니티의 수많은 문제를 해결했습니다. 그 사람에게 당신의 의견을 강요하지 마세요.
제 의견은 이렇습니다. 한 번 시도해 본 것처럼 행동하고 조금 덜 오만하게 도움을 요청하면 스크립팅에 대해 더 많은 도움을 받을 수 있습니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?짐, 토론 방법은 다음과 같습니다 JMP에 새로운 기능을 추가해야 하는 "타당한 이유"가 생겨납니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?내 이전 답변은 귀하가 해석한 것보다 훨씬 간단하게 작성되었습니다.
1. JMP는 완벽하지는 않지만 꽤 훌륭하고 개발자들이 작업 중인 영역을 실제로 따라가고 있으므로 그들이 제시하는 내용은 좋게 볼 가치가 있습니다.
2. 개선 요청이 JMP에 접수되었는지 확인하는 가장 좋은 방법은 해당 요청을 JMP로 보내는 것입니다.
support@jmp.com
3. F1에 대한 요청은 최근 토론 트랙에서 이미 다루었으므로 기성 솔루션을 가진 사용자가 없다고 가정합니다.따라서 JSL을 사용하여 솔루션을 코딩할 수 있는 JMP에서도 이 작업을 계속 수행할 수 있기를 바랍니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕하세요 케빈, 답장을 보내주셔서 감사합니다. F1 점수 사용에 대한 다른 사람들의 선호도가 이 토론에서 F1 점수의 필요성에 어떤 영향을 미치는지 이해가 되지 않습니다. 모든 지표에는 편향이 있습니다.수천 개의 (최근) 출판물이 있습니다. F1의 가치와 정밀 측정법을 찬양합니다.
결론적으로, 이 토론에서 나는 F1 및 정밀 점수를 자동 계산하는 데 도움을 구합니다. 예, 스크립트로 작성할 수 있습니다. 그리고 이 바퀴가 재발명되지 않도록 이미 구현한 사람의 도움에 크게 감사하겠습니다.
실제로 저는 이미 ROC를 사용하고 있지만 F1과 정밀도도 필요합니다. 최소한 내가 질문한 질문에 대한 답변(발견될 때마다)은 다른 사람들이 F1이나 정밀도 점수뿐만 아니라 모든 측정항목을 자동 계산하는 데 도움이 될 것입니다. 큰 그림을 염두에 두세요
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕하세요, 짐님, 귀하의 대답은 JMP가 완벽하고 필요한 것만 포함하고 있다는 것을 의미합니다(합당한 이유까지). 즉, JMP에 누락된 항목이 있으면 JMP에 있어야 할 이유가 없습니다. 흥미로운 주장이네요 
토론 자체에서 새로운 JMP 기능에 대한 "타당한 이유"가 많이 생성됩니다. F1(정밀도 아님)에 대한 질문이 게시되었지만 여전히 답이 없습니다. 그러나 이러한 측정은 Scientifica 간행물에서 널리 논의되고 사용됩니다.
지원팀에 이메일을 보내라는 귀하의 제안이 마음에 들지만 그들은 토론을 시작하도록 요청합니다. 당장은 아니더라도 커뮤니티에서 답변을 제공할 수 있기를 바랍니다.
제 질문이 개선될 수 있다고 생각하시면 귀하의 제안을 환영합니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?안녕, 올렉!
F1 점수(및 기타 정확도에 대한 "중요한" 인기 측정값)는 편향된 성능 때문에 기계 학습 커뮤니티의 일부 구석에서 더 이상 사용되지 않습니다. 수신기 작동 곡선의 유용성과 기타 측정 방법을 제안하는 첨부 파일을 참조하십시오.
그리고 Jim의 메모처럼 마음이 원하는 것은 무엇이든 대본을 작성할 수 있습니다.
Re: 불균형 데이터에 대한 모델의 정밀도와 F1 점수를 자동 계산하려면 어떻게 해야 합니까?JMP가 특정 분석에 대해 원하는 특정 통계를 제공하지 않는 경우 JMP 개발자가 이를 포함하지 않은 데에는 충분한 이유가 있습니다. JMP에서 모니터링하는 이 토론 그룹은 향후 릴리스에 통계를 포함시키는 가장 좋은 방법은 아닙니다. 다음 주소로 개선 요청을 보내야 합니다.
support@jmp.com
그들은 그러한 품목에 대한 공식적인 추적 시스템을 가지고 있습니다.
하지만 이제 JMP의 장점을 살펴보겠습니다.토론 커뮤니티에서는 귀하에게 필요한 솔루션을 찾을 수 있는 경우가 많습니다.그러나 이 주제는 이전에 논의되었기 때문에 F1 등에 대해서는 아무런 응답이 없습니다.솔루션을 사용할 수 없다고 가정합니다.그러나 이러한 요청의 대부분은 JSL을 통해 분석에 추가될 수 있습니다. 따라서 귀하의 질문에 대한 응답으로 이를 분석에 추가하는 스크립트를 작성할 수 있다고 확신합니다.
