异常值检测模型筛选
是什么启发了这个愿望清单请求?
目前,异常值检测技术在不同的菜单中可用:
- “筛选”->“探索异常值”中提供了一些单变量和多变量异常值检测技术,
- 一些多元技术在“多元方法”->“多元”中可用,并且与筛选平台的其他检测技术不同。
最后,文献中使用的一些技术或模型(隔离树/森林、一类 SVM、k 最近邻...)在 JMP 中不直接可用。
您希望看到哪些改进?
遵循 Python 库 pyOD ( pyod 1.0.7 文档) 和其他库/包,如果只有一个 JMP 菜单专门用于异常值检测,使用多种方法组合,就像在“模型筛选”平台中一样,其中有几个选项可用:
- 如果数据集中存在响应并在“Y,列”对话框中使用,则所使用的重点和技术将受到监督(半监督或完全监督)。 如果在“Y,列”对话框菜单中没有添加任何响应,则所使用的技术可能是不受监督的。
- 与“模型筛选”平台以自动 ML 方式提出多个模型的方式相同,如果 JMP 用户可以选择所有、几种或仅提出的方法中的一种方法,那就太好了。 为了帮助用户对不同的技术有更多的了解,将一些技术分组在组后面可能会有所帮助,比如对于异常类型,可以有几组方法用于局部、全局、依赖和集群类型的异常. 在每个组下,用户可以选择或取消选择任何技术,以获得更大的自由度和灵活性。
- 最后,当使用不同的异常值检测技术时,在“宏观”和“微观”视图中获得结果可能会很棒:
- “微观”视图:对于每种检测技术,能够知道哪些点被检测为异常值,以便比较技术并查看方法之间的协议/分歧,
- “宏观”观点:对于检测技术的集合,不是“硬投票”或像离群值与正常值这样的二元结果,而是从不同模型的集合中获得连续的“异常分数”(范围从 0:从未将所有选定技术检测为异常值到 1:始终检测为异常值),以便在其他建模平台中以转换方式(可能以“互惠”转换:1/异常分数)将其用作“频率”或“权重”变量,以创建考虑异常值但降低其重要性的“加权模型”。
为什么这个想法很重要?
有两点激发了这一请求:
- 在单个平台中统一和分组不同的异常值检测技术可以帮助用户了解所提出的不同技术,
- 将新模型添加到专注于异常值检测方面的 JMP 平台可能是一个很好的起点。
数据探索和可视化