如何自動計算不平衡數據模型的精度和 F1 分數?我喜歡 JMP 打印邏輯(廣義)回歸的混淆矩陣和 ROC,但結果中似乎缺少一些重要指標:精確和F1成績。有沒有辦法將這些自動包含在輸出中? 或者,當我重新運行新的分類模型時,盡可能“自動”計算它。我試圖避免在每個新模型中手動重新計算這些。
更新:請僅發布問題的答案。 我並不是在尋求關於我是否應該使用 Precision 和 F1 的意見。 我充滿信心地尋找一種在 JMP 中自動計算這些的方法。 如果您不知道這種技術,則沒有理由考慮這是否可行,或在下面發布任何內容。 謝謝 :)

消費者和市場研究數據探索和可視化預測建模和機器學習分享和交流結果回复:如何自動計算不平衡數據模型的精度和 F1 分數?謝謝吉姆。 我一直在尋找這樣一個具體的例子。 我已經恢復使用 Python,但稍後我會嘗試一下您的 JSL 示例。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?文件交換中提供了示例,安裝 JMP 時安裝的腳本示例,直接在腳本指南書中提供,安裝 JMP 時也安裝了等等。最重要的是,這裡是一個示例腳本,它從輸出中讀取並以不同的形式將其顯示為輸出的一部分。
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA\Big Class.jmp" );
// Run the Fit Y by X to get the XY plot
Biv = dt << Bivariate( Y( :height ), X( :weight ) );
// Run the distributions to get the stats
Dis = dt << Distribution( Continuous Distribution( Column( :height ) ), Continuous Distribution( Column( :weight ) ) );
// Extract the stats
heightMean = Report( dis )["Height"]["Summary Statistics"][Number Col Box( 1 )][1];
weightMean = Report( dis )["Weight"]["Summary Statistics"][Number Col Box( 1 )][1];
// Create the new display object
hlb = H List Box(
Text Box( "Mean of Height = " ),
Number Edit Box( heightMean ),
Spacer Box( size( 30, 0 ) ),
Text Box( "Mean of Weight = " ),
Number Edit Box( weightMean )
);
// Add the new object to the plot
Report(Biv)[Outline Box(1)] << Append( hlb );
Dis << close window;
回复:如何自動計算不平衡數據模型的精度和 F1 分數?凱文,謝謝你舉的例子。
我運行模型並手動計算 F1 和 Precision 分數沒有問題。 但是,有沒有一個例子可以在 JMP 中自動計算這些(這是我最初問的)?
與此同時,我編寫了這些 Python 代碼,這比發布問題花費的時間更少。 如果將來有人提供答案,我很樂意再試一次。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?嗨,奧列格!
我不認為我誤讀了你原來的問題...但這只是我的意見...
這是一個供您嘗試的示例:
參加大班.jmp。 以性別為響應,以年齡、身高和體重為因素,運行一些過度擬合的神經網絡分析。 將女性視為積極案例。 
我有一個列聯表,如下所示:

選擇“製作成數據表”。
TP=16。FP=2。 FN=2。
F1可以通過2*TP/(2*TP+FP+FN)計算。 我得到F1=0.89。
這是一個非常容易編寫腳本的事情(在我看來:),您甚至可以使用腳本在任何輸出中自動包含此指標(以及任何其他指標)。 嘗試一下,如果你失敗了,我會盡力幫助你。
祝你好運。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?嗨凱文。 
如果這個“討論”線程類似於 StackOverflow,那麼我希望對明確的問題給出明確的答案。 如果我錯了,請隨時指導我了解發布討論的指南。 我可以在報紙上閱讀其他人的觀點。 然而,在科學的背景下,本著“完成任務”的精神,清晰簡潔的答案是有價值的。
順便說一句,你剛剛承認我收到了對我的問題的意見嗎? 哈哈。
不管怎樣,在這件事上尋求你的幫助會更有效。
您是否遇到過任何 JSL 示例可以幫助我編寫 F1 和 Precision 腳本,並且最好將其添加到回歸輸出頁面?
乾杯!
奧。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?嗨,奧列格!
也許是對語言不熟悉,但“討論”這個詞(社區中該站點的名稱)的含義不僅僅是問題和答案。 它可以正確地包括意見、警告、懇求、咆哮和許多其他形式的對話,無論您的願望如何。
我喜歡統計學(和 JMP!)的眾多原因之一是,真正偉大的、創造性的工作似乎發生在應用科學和藝術之間的界面上。 看? 我的想法。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?凱文,你可能誤讀了我原來的問題。 我本來希望F1 和精度的內置計算。JSL 是一個合理的選擇。
你有我可以效仿的例子嗎?
回复:如何自動計算不平衡數據模型的精度和 F1 分數?謝謝吉姆。
1. 我同意
2.支持要求使用討論組,這就是我正在嘗試的。
3.當然,JSL是一個很好的方向。 我希望有人已經實現了它並且可以舉一個例子。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?嗨凱文。 我感謝吉姆的幫助,並給予他榮譽,並在適當的時候接受他的解決方案。 然而,我不能在所有觀點上都同意他的觀點。 在這篇文章中,我希望得到所提出問題的答案,而不是對 ML 世界流行趨勢的看法。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?嗨,奧列格!
總體情況如下:吉姆·尼爾森解決了這個社區中的許多問題。 請不要把你的意見強加給他。
我的觀點是:如果您表現得像嘗試過一樣,並且不那麼傲慢地尋求幫助,那麼您可能會在腳本編寫方面獲得更多幫助。 
回复:如何自動計算不平衡數據模型的精度和 F1 分數?吉姆,這是討論的方式為 JMP 添加新功能提供了“充分的理由”。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?我之前的回複本意是比您所理解的要簡單得多。
1. JMP並不完美,但它相當不錯,而且開發人員確實跟上了他們正在研究的領域,因此他們所展示的內容值得一看。
2. 確保您的增強請求已發送至 JMP 的最佳方法是將其發送至
support@jmp.com
3. F1 的請求已在最近的討論軌道中涵蓋,因此我假設沒有用戶提供現成的解決方案。因此,我鼓勵您仍然可以在 JMP 中完成此操作,您可以在其中使用 JSL 編寫解決方案
回复:如何自動計算不平衡數據模型的精度和 F1 分數?嗨,凱文,感謝您的回复。 我不明白其他人對使用 F1 分數的偏好會如何影響我在這次討論中對它的需求?
每個指標都有偏差。有數千種(更新的)出版物讚揚F1和精度度量的價值。
最重要的是,在本次討論中,我尋求自動計算 F1 和精度分數方面的幫助。 是的,可以編寫腳本;我非常感謝已經實現它的人的幫助,這樣這個輪子就不會被重新發明。
確實,我已經在使用 ROC,但我還需要 F1 和精度。 至少,我提出的問題的答案(無論何時發現)將幫助其他人自動計算,不僅是 F1 或精度分數,而且是任何指標。 請牢記大局:)
回复:如何自動計算不平衡數據模型的精度和 F1 分數?您好,Jim,您的回答意味著 JMP 是完美的,並且包含它所需要的內容(有充分的理由)。 也就是說,JMP 中缺少的任何內容都沒有充分的理由出現在 JMP 中。 一個有趣的主張;)這些討論本身為 JMP 新功能提供了大量“充分理由”。 有人提出了一個關於 F1(不是精度)的問題,但仍未得到解答,但這些測量方法在科學出版物中得到了廣泛討論和使用。
我喜歡您向支持人員發送電子郵件的建議,但他們要求發起討論。 我希望社區能夠提供答案,即使不是立即。
如果您覺得我的問題可以改進,我歡迎您的建議。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?嗨,奧列格!
F1 分數(以及其他“重要”流行的準確度衡量標準)因其在偏差下的表現而在機器學習社區的某些角落已被棄用。 請參考隨附的文件,其中建議了接收器操作曲線和其他一些措施的實用性。
正如吉姆所說,您可以編寫任何您想要的內容。
回复:如何自動計算不平衡數據模型的精度和 F1 分數?如果 JMP 沒有提供您想要的給定分析的具體統計數據,根據我的經驗,JMP 的開發人員有充分的理由不包含它。 該討論組雖然由 JMP 監控,但並不是將統計數據納入未來版本的最佳方式。 您需要將增強請求發送至
support@jmp.com
他們對此類物品有正式的跟踪系統。
現在我們來看看 JMP 的魅力。很多時候,討論社區都會提供您需要的解決方案。但是,由於這個話題之前已經討論過,所以在F1等方面沒有回應。我認為該解決方案不可用。然而,這些請求中的許多(如果不是大多數)都可以通過 JSL 添加到您的分析中。 因此,為了回答您的問題,我相信您可以編寫一個腳本將這些添加到您的分析中。