替代截止混淆矩陣我已經多次使用替代截止概率混淆矩陣插件。突然，它在某些數據集上產生了荒謬的結果。我確認它仍然可以在舊數據集上正常工作。隨附的是其中似乎無效的最新數據集之一。目標變量為Stroke，我有一個Validation列，並在給定建模方法名稱的情況下，用中風概率標記了許多預測模型概率（例如，查看標記為boosted tree或logistic回歸的列中的兩個示例，無法正常工作）。筆劃在數據集中非常罕見（大約5％），並且從預測模型得出的概率相應較小。但是，當我使用外接程序以及從0.1到0.9的一系列截斷概率時，我總是得到零的筆劃預測-這與這些模型中的概率分佈不符（正如我所說的那樣，但不為零）。誰能說明為什麼會這樣？
謝謝。
分析工具回复：替代截止混淆矩陣你好@dale_lehman ，
我可以確認替代的截止混淆矩陣加載項不適用於您在帖子中提到的預測列。 但是，我按照與您使用的相同的預測變量和響應重新運行Boosted Tree平台，甚至驗證了方程式是相同的，但是替代截止矩陣插件在此新公式上正常工作。 我發現適合的名義物流也是一樣。 如果我重新運行它（最終得到一個不同的方程式），則可以運行替代截止值，並且它可以按預期運行。 我正在運行JMP Pro 15.2.1。 您的兩種配合可能有點問題。 您是否檢查了ROC曲線的擬合度，看它們是否在對角線上方。 表中沒有保存這兩個模型公式的腳本，因此很難評估擬合的效果。 您是否嘗試過重新擬合邏輯模型和增強樹模型以查看更新的方程式是否有效？ 當我第二次運行它們時，它可以與外接程序一起使用。
另一方面，我注意到您在生成驗證列時使用了隨機種子。 由於您只有很少的stroke == 1實例，因此您可以考慮創建一個對stroke進行分層的驗證列，以便可以將其考慮在內。 另外，在執行名義對數擬合時，最好對目標水平建模：1而不是0，因為您可能正在嘗試預測中風的可能性（stroke == 1）與無中風的可能性（筆劃== 0）。
只是一些想法。 希望這可以幫助。
祝你好運！，
DS
回复：替代截止混淆矩陣迪德里奇
謝謝-我會將您的回复標記為解決方案，但我真的很想听聽是否有人可以解釋為什麼會這樣。的確，如果我重新運行這些模型，則該加載項將按預期工作，但它不會在我提交的原始文件中顯示-即使這些模型產生的概率本應產生正確的混淆矩陣。因此，我不知道為什麼該加載項突然停止正常工作，然後又重新工作。我也在運行JMP Pro15.2.1。
我同意您關於分層驗證集的其他觀點，因為它太不平衡了。這次我沒有這樣做，但是我很清楚這樣做的合理性。
回复：替代截止混淆矩陣我不知道為什麼它停止工作，如果有人能弄清楚那部分會很好。 我能夠驗證您使用提供的數據表描述的相同行為。 不知道為什麼在重新運行模型時它可以工作。 我找不到與公式有任何出入，也沒有發現任何可笑之處。回复：替代截止混淆矩陣我懷疑是否@溫迪·墨菲可能對備用截止混淆矩陣加載項這裡。
