級別:高級
Michael Crotty, @michael_jmp ,JMP 高級統計作家,SAS
Colleen McKendry, @cozmck ,JMP 技術作家,SAS
Marie Gaudard, @marie_gaudard ,統計顧問
在以異常偵測為預測模型目標的情況下,基礎資料通常會表現出類別分佈不平衡。也就是說,異常類別的樣本量明顯小於非異常類別。建模目標通常是識別少數類別的成員。然而,直接應用預測建模技術可能會導致模型偏差且不準確。目前已提出了許多技術來解決這些問題。我們致力於指導 JMP Pro 使用者開發針對不平衡資料的預測模型。我們將介紹 JMP Pro 中用於將資料分類到代表性不足的類別的方法。首先,我們將描述不平衡類別問題的一般面向:偏差、效能指標以及解決建模問題的方法。然後,我們將討論我們在研究中使用的採樣方法;這些方法包括加權、欠採樣、過採樣和合成少數類過採樣技術 (SMOTE)。對於幾個類別比例不同的真實資料集,我們將比較使用這些取樣方法與 JMP Pro 分類平台中提供的預測模型所獲得的適合度。我們對有限範圍的模擬資料集進行了類似的採樣技術和預測模型探索。對於模擬資料集,我們嘗試確定標準模型在何種程度的代表性不足時開始受到類別不平衡的影響。我們也針對採樣方法和預測模型的相對性能得出了結論。
現已推出可執行本簡報中討論的分析的外掛程式: 不平衡分類外掛程式。該插件擴展了 Scripts_and_Results.zip 中腳本的功能。除其他特性外,該插件不依賴 R,它對包含名義和序數預測變數的資料集執行 SMOTE、Tomek 以及 SMOTE + Tomek 採樣,並透過對話框的「幫助」按鈕提供詳盡的文件。