级别:中级
职位职能:分析师/科学家/工程师
Michael Crotty,SAS JMP 高级统计撰稿人
Marie Gaudard,统计顾问
Colleen McKendry,SAS JMP 技术作家
最佳受邀论文入围
在异常检测是预测模型目标的情况下,基础数据通常表现出不平衡的类别分布。即,异常类别明显小于非异常类别。建模目标通常是识别少数类别的成员。但是,直接应用预测建模技术可能会导致模型有偏差且不准确。已经提出了许多技术来解决这些问题。我们力求指导 JMP Pro 用户开发不平衡数据的预测模型。我们讨论 JMP Pro 分类到代表性不足的类别的方法。我们首先描述不平衡类别问题的一般方面:偏差、性能指标和解决建模问题的方法。然后,我们讨论我们在研究中使用的采样方法;这些方法包括加权、欠采样、过采样和合成少数过采样技术 (SMOTE)。对于表现出不同类别比例的几个真实数据集,我们将使用这些采样方法与 JMP Pro 分类平台中可用的预测模型进行比较。我们对有限范围的模拟数据集进行了类似的采样技术和预测模型探索。对于模拟数据集,我们尝试确定标准模型开始受到类别不平衡影响的代表性不足程度。我们还提出了有关采样方法和预测模型相对性能的结论。
现已推出一个可执行本演示文稿中讨论的分析的插件: 不平衡分类插件。该插件扩展了 Scripts_and_Results.zip 中脚本的功能。除其他功能外,该插件不依赖于 R,它对包含名义和序数预测器的数据集执行 SMOTE、Tomek 和 SMOTE plus Tomek 采样,并通过对话框的帮助按钮提供大量文档。