异常检测和 JMP® Pro (2019-US-45MP-218)级别:高级
迈克尔·克罗蒂, @michael_jmp , JMP 高级统计作家, SAS
科琳麦肯德里, @cozmck , JMP 技术作家, SAS
玛丽高达尔, @marie_gaudard , 统计顾问
在异常检测是预测模型目标的情况下,基础数据通常表现出不平衡的类别分布。 即,异常类明显小于非异常类。 建模目标通常是识别少数类的成员。 然而,预测建模技术的直接应用可能会导致有偏差和不准确的模型。 已经提出了许多技术来解决这些问题。 我们寻求指导 JMP Pro 用户开发不平衡数据的预测模型。 我们使用 JMP Pro 方法来分类到代表性不足的类别。 我们首先描述不平衡类问题的一般方面:偏差、性能测量和解决建模问题的方法。 然后我们讨论我们在研究中使用的抽样方法;这些包括加权、欠采样、过采样和合成少数过采样技术 (SMOTE)。 对于显示不同类别比例的几个真实数据集,我们将使用这些抽样方法获得的拟合与 JMP Pro 分类平台中提供的预测模型进行比较。 我们对有限范围的模拟数据集进行了类似的抽样技术和预测模型探索。 对于模拟数据集,我们试图确定标准模型开始受到类不平衡影响的代表性不足的程度。 我们还提出了有关抽样方法和预测模型的相对性能的结论。
执行本演示文稿中讨论的分析的插件现在可用:不平衡分类加载项.该插件扩展了 Scripts_and_Results.zip 中脚本的功能。除其他功能外,该插件不依赖于 R,它对包含名义和有序预测变量的数据集执行 SMOTE、Tomek 和 SMOTE 加 Tomek 采样,并通过对话框的“帮助”按钮提供大量文档。
爆发视频回复:异常检测和 JMP® Pro (2019-US-45MP-218)嗨纳塔利娅,
我只是想让你知道来自图森会议的不平衡数据脚本现在已经打包到一个插件中,你可以在这里找到它:
不平衡分类加载项.该插件具有扩展功能:除其他功能外,它不依赖于 R,它对包含名义和有序预测变量的数据集执行 SMOTE、Tomek 和 SMOTE 以及 Tomek 采样,并通过对话框的“帮助”按钮提供大量文档.
我们希望您觉得它有用!
玛丽
回复:异常检测和 JMP® Pro (2019-US-45MP-218)嗨纳塔利娅,
感谢你使用我们的脚本!听起来好像问题与 R 安装有关。在当前发布的脚本版本中,我们从 R 中获取 Precision Recall 曲线 AUC 值。然而,我们有一个新版本的脚本,它根本不使用 R,并且具有额外的功能,但它可能需要 JMP 15 才能运行。
如果您愿意,我可以将该版本打包为一个插件发送给您。但是,我找不到通过 JMP 社区将文件附加到此电子邮件的方法。如果您可以将您的电子邮件地址发送给我,那么我可以将新加载项的草稿发送给您。我的E-mail地址是mgaudard@tampabay.rr.com。
- 玛丽
回复:异常检测和 JMP® Pro (2019-US-45MP-218)非常感谢您提供此资源! 我对获取精度曲线的 AUC 有疑问。 我在 destop 上安装了 R,当我运行不平衡数据脚本时,它会创建数据集,然后说获取 Precison 曲线的 AUC 值。 它会让你等待大约 10-145 秒,然后弹出 JMP 错误。 它不会创建任何类型的报告。 在我安装 R 之前,它会创建报告(就像你的 powerpoint 显示的那样),但不会计算精度曲线的 AUC 值。 我究竟做错了什么? 希望自动计算那些。
谢谢