不平衡数据和权重分类你好，
我有一个原始响应高度不平衡的数据库。 个人主要兴趣类别是少数类别（罕见但严重感染的患者，约占观察的 5%）。
其他原始类的分类与增强的林树分类器一起工作得很好，但这些类或不符合我的兴趣（不太严重的感染或根本没有感染）。 我徘徊是否可以使用“权重”选项来给少数群体更多的权重。 此外，我想计算分类器在哪个“权重”的最佳阈值上表现最好。 在不平衡的数据中，AUC ROC 似乎不是合适的性能指标。F1 分数（衡量误报率和误报率）似乎更适合这一点。
有人知道 JMP 中 F1 分数的自动计算吗？
有没有办法在高度不平衡的数据中微调 JMP 分类模型中的选项“权重”以最大化 F1 分数？
有人有其他建议来解决这个问题吗？
谢谢，
鲁
回复：不平衡数据和权重分类抱歉，我是说 Matthews CC
回复：不平衡数据和权重分类最近的一份出版物清楚地描述了马蒂亚斯相关系数 (MCC) 作为分类模型的最佳性能度量的优势，即使在不平衡的数据中也是如此。
https://www.ncbi.nlm.nih.gov/pubmed/31898477
https://www.ncbi.nlm.nih.gov/pubmed/28574989
回复：不平衡数据和权重分类您好，我找到了一个不错的插件，它可以帮助定义分类的最佳阈值（附在下面）。 或在 JMP 社区网站的文件交换 - 插件中搜索“混淆矩阵”。
回复：不平衡数据和权重分类我认为这里有两个有些不同的问题。 一个是数据的不平衡性——你的一些类别比其他类别更常见，所以简单的错误分类率可能会“忽略”小数字的类别——我相信 F1 主要是解决这个问题的一种方法。 另一个问题是错误的不对称性——误报和误报可能会产生非常不同的后果。 我认为 F1 不会对此有所帮助——只有更好的模型和改变概率截止值才能解决这个问题。 我不知道这两个问题之间的系统关系（可能有一个，学习起来会很有趣）。回复：不平衡数据和权重分类我也对 F1 分数感兴趣，但不相信它们是在 JMP 中自动计算的。除非有人有更好的主意，否则我会避免使用权重来解决您的问题 - 我认为这会让您很难看到发生了什么。我自己的倾向是将您的响应变量重新编码为 2 类 - 您感兴趣的疾病和其他所有内容。然后你可以手动微调截止概率（这个插件非常好），看看哪个截止概率最能识别你感兴趣的疾病。然后，您可以返回响应变量的完整分类，看看该截止概率是否稳健。对我来说，反复试验可能比寻找问题的自动解决方案更具启发性（但如果有自动方法，我想知道它）。
回复：不平衡数据和权重分类如果您打开分类模型的混淆矩阵选项，您可以获得误报/误报率。
您还可以为正/负分类设置不同的截止值（默认为 0.5）。
