级别:高级
Michael Crotty, @michael_jmp ,JMP 高级统计作家,SAS
Colleen McKendry, @cozmck ,JMP 技术作家,SAS
Marie Gaudard, @marie_gaudard ,统计顾问
在以异常检测为预测模型目标的情况下,基础数据通常表现出类别分布不平衡。也就是说,异常类别的样本量明显小于非异常类别。建模目标通常是识别少数类的成员。然而,直接应用预测建模技术可能会导致模型出现偏差且不准确。目前已提出了许多技术来解决这些问题。我们致力于指导 JMP Pro 用户开发针对不平衡数据的预测模型。我们将介绍 JMP Pro 中用于将数据分类到代表性不足的类别的方法。首先,我们将描述不平衡类别问题的一般方面:偏差、性能指标以及解决建模问题的方法。然后,我们将讨论我们在研究中使用的采样方法;这些方法包括加权、欠采样、过采样和合成少数类过采样技术 (SMOTE)。对于几个类别比例不同的真实数据集,我们将比较使用这些采样方法与 JMP Pro 分类平台中提供的预测模型所获得的拟合度。我们对有限范围的模拟数据集进行了类似的采样技术和预测模型探索。对于模拟数据集,我们尝试确定标准模型在何种程度的代表性不足时开始受到类别不平衡的影响。我们还就采样方法和预测模型的相对性能得出了结论。
现已推出一个可执行本演示文稿中讨论的分析的插件: 不平衡分类插件。该插件扩展了 Scripts_and_Results.zip 中脚本的功能。除其他特性外,该插件不依赖于 R,它对包含名义和序数预测变量的数据集执行 SMOTE、Tomek 以及 SMOTE + Tomek 采样,并通过对话框的“帮助”按钮提供详尽的文档。