異常值檢測模型篩選
是什麼啟發了這個願望清單請求?
目前,異常值檢測技術在不同的菜單中可用:
- “篩選”->“探索異常值”中提供了一些單變量和多變量異常值檢測技術,
- 一些多元技術在“多元方法”->“多元”中可用,並且與篩選平台的其他檢測技術不同。
最後,文獻中使用的一些技術或模型(隔離樹/森林、一類 SVM、k 最近鄰...)在 JMP 中不直接可用。
您希望看到哪些改進?
遵循 Python 庫 pyOD ( pyod 1.0.7 文檔) 和其他庫/包,如果只有一個 JMP 菜單專門用於異常值檢測,使用多種方法組合,就像在“模型篩選”平台中一樣,其中有幾個選項可用:
- 如果數據集中存在響應並在“Y,列”對話框中使用,則所使用的重點和技術將受到監督(半監督或完全監督)。 如果在“Y,列”對話框菜單中沒有添加任何響應,則所使用的技術可能是不受監督的。
- 與“模型篩選”平台以自動 ML 方式提出多個模型的方式相同,如果 JMP 用戶可以選擇所有、幾種或僅提出的方法中的一種方法,那就太好了。 為了幫助用戶對不同的技術有更多的了解,將一些技術分組在組後面可能會有所幫助,比如對於異常類型,可以有幾組方法用於局部、全局、依賴和集群類型的異常. 在每個組下,用戶可以選擇或取消選擇任何技術,以獲得更大的自由度和靈活性。
- 最後,當使用不同的異常值檢測技術時,在“宏觀”和“微觀”視圖中獲得結果可能會很棒:
- “微觀”視圖:對於每種檢測技術,能夠知道哪些點被檢測為異常值,以便比較技術並查看方法之間的協議/分歧,
- “宏觀”觀點:對於檢測技術的集合,不是“硬投票”或像離群值與正常值這樣的二元結果,而是從不同模型的集合中獲得連續的“異常分數”(範圍從 0:從未將所有選定技術檢測為異常值到 1:始終檢測為異常值),以便在其他建模平台中以轉換方式(可能以“互惠”轉換:1/異常分數)將其用作“頻率”或“權重”變量,以創建考慮異常值但降低其重要性的“加權模型”。
為什麼這個想法很重要?
有兩點激發了這一請求:
- 在單個平台中統一和分組不同的異常值檢測技術可以幫助用戶了解所提出的不同技術,
- 將新模型添加到專注於異常值檢測方面的 JMP 平台可能是一個很好的起點。
數據探索和可視化