探索模型分類閾值這些是有關如何下載和運行模型分類瀏覽器加載項今年夏天,我作為 JMP 實習生創建了@KarenC和@mia_stephens .這個插件提供了一個統一的儀表板來同時可視化模型截止和錯誤權衡。 您可以以交互方式更改模型閾值,並立即查看在性能度量、混淆矩陣和 ROC 曲線中傳播的結果。
注意:對於非常大的數據集,這可能會很慢或凍結。
第 1 步:下載隨附的 .jmpadin 文件和示例數據表。
Data Selection DialogData Selection Dialog數據選擇對話框
第 1 步:將 Prob[Donut] 轉換為 X,將 Consumption 轉換為 Y。 這兩列是必需的。
第 2 步:將目標級別設置為“甜甜圈”,因為這就是模型所預測的。
第 3 步:設置統計分析的 alpha 水平,默認為 0.05。
第 4 步:您可以在右上角選擇基於給定應用領域的性能術語,這是不同度量標籤的純可視選項。 在這種情況下,我們將其保留為“常規”。
第 5 步:視覺可訪問性複選框是一項更改圖形輸出的功能,以便能夠解釋結果,而無需區分圖形上的顏色,我們現在將不再討論。
第 6 步:設置所有這些初始參數後,單擊“確定”啟動平台。 根據數據集的大小以及是否使用了驗證列,這可能需要幾秒鐘才能啟動。
Interactively Exploring CutoffsInteractively Exploring Cutoffs交互式探索截止
如果您有任何意見或建議,請告訴我!
數據可視化生命科學預測建模和數據挖掘統計數據回复:探索模型分類閾值親愛的凱倫,
我重新檢查了 2x2 表,它們是正確的。 沒錯,我可以改用 IVD 性能插件,但這意味著我必須將所有數據標記為正(低於閾值)或負(高於)並分析標籤結果而不是原始數字,所以我沒有得到這個腳本漂亮的“狀態與分數”視覺效果。

但我會使用 IVD 性能插件,它確實給了我最需要的數字。
非常感謝您的幫助!
回复:探索模型分類閾值嗨,安妮,我不太確定……如果你有正確的 TP、TN 等,那麼你應該有正確的 Se 和 Sp。仔細查看 2x2 表格,確保您正確閱讀標籤。 同意該工具將使用右側(大於)閾值的值作為正值。 你也可以看看我的體外診斷性能加載項將根據兩個名義列(測試和真相)提供性能,您可以在其中定義每個列的積極因素。 一旦您的閾值固定(也運行得更快),也許這會更好。 如果您仍有疑問,請繼續提問。
凱倫
回复:探索模型分類閾值我翻轉了目標,但因為我的樣本符合陽性以下某個閾值,結果是,例如,在特異性真正為 96.3 % 的情況下,我得到 3.7 % 的結果。
在目標翻轉之前的版本中,我所有的值都被正確分類為真陽性、假陰性等,只是靈敏度和特異性值被顛倒了。 翻轉後,每個真陽性都被歸類為假陽性,每個假陰性都被歸類為真陰性,依此類推……
回复:探索模型分類閾值在啟動窗口中有設置目標級別的選項。
回复:探索模型分類閾值有那個按鈕就好了。 在我的插件版本中,我發現沒有“最小化錯誤分類閾值”。 我應該更改一些佈局設置嗎?
回复:探索模型分類閾值翻轉你所謂的“目標”。
回复:探索模型分類閾值親愛的凱倫,
感謝有用的插件! 我正在嘗試用它來計算靈敏度、特異性、PPV 和 NPV。
雖然我得到的數字是正確的(與我擁有的參考靈敏度/特異性數據相比),但它可以將靈敏度與特異性以及 PPV 與 NPV 互換。
我懷疑這可能與我在響應欄中指定為陽性的結果低於定義的閾值而不高於一個這一事實有關。 你對如何解決這個問題有什麼建議嗎?
回复:探索模型分類閾值希望您注意到“最小化錯誤分類”按鈕......它位於“設置概率閾值”大綱中。
回复:探索模型分類閾值插件中有沒有方法自動地優化分類閾值(= 最小化誤分類率)?
回复:探索模型分類閾值如果您的“真相”列不是字符,請嘗試將其更改為字符類型。
回复:探索模型分類閾值是的,我可以毫無問題地運行甜甜圈示例。
回复:探索模型分類閾值@魯
我不確定您為什麼會收到該錯誤。 我單擊加載項中的“幫助”按鈕(右側),您將獲得用戶手冊。 否則,如果沒有更多信息,很難知道您遇到問題的原因。 你能運行甜甜圈示例數據嗎?
凱倫
回复:探索模型分類閾值在我的數據上嘗試了插件,但總是收到此錯誤消息:訪問或評估測定中的下標範圍。
回复:探索模型分類閾值謝謝凱倫! 這是成功的! 再次,非常感謝!
回复:探索模型分類閾值嗨tsnow,
我的猜測是該應用程序在數據量方面存在問題。 我們觀察到大量行的問題,具體多少行可能取決於機器配置。 然而,一切都沒有丟失。 使用這種大小的數據表,我認為您可以隨機抽取一個樣本(將其子集到另一個表中),然後運行該應用程序。 我會從 10% 開始,看看應用程序是否運行。 如果是這樣,那麼我會查看 4 - 5 個 10% 的不同隨機樣本,看看您是否“降落在相似的位置”,而不管樣本如何。 如果是這樣,您可能可以回答您的實際問題。 如果不是,那麼我會再運行幾個樣本和/或嘗試更大的樣本 20%、30%,直到您再次遇到尺寸問題。
希望這可以幫助。 您還可以使用 Graph Builder 中的所有數據構建分數與狀態圖,作為了解分佈以及切點可能對您的問題有意義的起點。
凱倫
回复:探索模型分類閾值嗨,凱倫 C。 我正在使用 JMP 14。 我正在使用窗戶。 我有 11,221 行。 彈出一條顯示“未響應”的消息。 請協助。
謝謝
回复:探索模型分類閾值你好,
我不知道你為什麼遇到問題,你能提供更多信息嗎? 您使用的是什麼版本的 JMP? Mac還是windows? 是崩潰還是掛起? 您的數據表中有多少行?
謝謝
回复:探索模型分類閾值這個我試了好幾次,每次都崩潰。 有什麼選擇嗎?
回复:探索模型分類閾值精彩的! 我經常在尋找一種離開屏幕的方法,所以我會聽從你的建議並在我讓它旋轉一會兒的時候四處遊蕩。
非常感謝,馬克思
回复:探索模型分類閾值馬克思,
如果您想在更大的數據集上嘗試它,請嘗試在您離開計算機一段時間時運行它,然後在您返回時查看是否已運行。 我發現如果我等待,它就會運行。 它只是有一些初始的“工作”要做。
凱倫
回复:探索模型分類閾值感謝分享 Tarik 和後續的 Karen,如果可用,我也會對使用更大的數據集感興趣。
謝謝,馬克思
回复:探索模型分類閾值嗨史蒂夫,
是的,事實證明,如果您的數據集太大(嘗試 N < 1000),則加載項可能會“凍結”JMP。 我沒有發生崩潰,只是 JMP 像您所經歷的那樣鎖定了。 我們正在研究這個性能問題。 同時,嘗試隨機抽取感興趣的數據子集,至少開始探索閾值。 敬請關注!
謝謝,
凱倫
回复:探索模型分類閾值這個插件是 JMP 的一個很好的補充。 我正在運行 14.1,它在甜甜圈數據上運行良好。 但是,它會鎖定 JMP,然後在我選擇的幾乎所有其他數據集上崩潰。 關於可能出現什麼問題的任何建議?
謝謝。
史蒂夫鮑威爾