異常檢測和JMP(R)Pro(2019-EU-45MP-115)等級:中級
工作職能:分析師/科學家/工程師
行業:跨行業
邁克爾克羅蒂,JMP高級統計作家,SAS
統計顧問Marie Gaudard
SAS的JMP技術作家Colleen McKendry
在異常檢測是預測模型的目標的情況下,基礎數據通常表現出不平衡的類分佈。即,異常類明顯小於非異常類。建模目標通常是識別少數群體的成員。然而,預測建模技術的直接應用可能導致偏差和不准確的模型。已經提出了許多技術來解決這些問題。我們尋求指導JMP Pro用戶開發不平衡數據的預測模型。我們討論了JMP Pro分類為代表性不足的類的方法。我們首先描述不平衡類問題的一般方面:偏差,性能測量和解決建模問題的方法。然後我們討論我們在研究中使用的採樣方法;這些包括加權,欠採樣,過採樣和合成少數過採樣技術(SMOTE)。對於表現出不同類別比例的幾個真實數據集,我們將使用這些採樣方法獲得的擬合與JMP Pro分類平台中可用的預測模型進行比較。我們對有限範圍的模擬數據集進行了類似的採樣技術和預測模型探索。對於模擬數據集,我們嘗試識別標準模型開始受類不平衡影響的代表性不足的程度。我們還提出了關於採樣方法和預測模型的相對性能的結論。