具有非对称成本/不平衡数据集的预测建模你好,
如何在JMP Pro(分区,随机森林等)上指示预测建模平台,以便为错误预测少数类别分配更高的成本。我有一个高度不平衡的数据集,假阴性成本高(急性患者的再入院率),当我使用分类器时,AUC很低,所有阳性病例都被错误分类。
请帮助解决此问题的工具。
谢谢
回复:具有非对称成本/不平衡数据集的预测建模正如已经指出的那样,改进AUC并结合不对称成本/收益是两回事。 AUC与模型正确分类的能力有关,而利润矩阵则将分类错误引导到损害最小的地方。 如果AUC测量值不错但分类出现代价高昂的错误(如未能对1个值中的任何一个进行分类),那么您应该尝试不同的分类截止概率 - 这就是利润矩阵会自动执行的操作,但是也可以手动改变截止概率来改变错误分类。 如果你仍然不喜欢你能得到的东西,那么你需要一个更好的模型 - 一个能产生更高AUC的模型。 关于错误分类成本的任何内容都不会提高AUC - 只有更好的模型才能提高AUC。 因此,如果您需要更好的模型,请尝试其他技术,转换变量,更改模型设置等。但不要使用利润矩阵来尝试改进模型本身。
回复:具有非对称成本/不平衡数据集的预测建模我尝试了所有模型,但由于这种不平衡的数据集,所有零个案例都被正确分类,并且所有一个案例都被错误分类。成本偏差在逻辑上应该能够优化AUC,但不理解为什么它不会影响它。这就是困扰我的事情。
回复:具有非对称成本/不平衡数据集的预测建模听起来现在你真的只是试图获得改进的AUC。到目前为止,你只谈到了基于树的模型。你尝试过神经网络技术吗?
回复:具有非对称成本/不平衡数据集的预测建模那怎么能帮我提高模型的灵敏度呢?和AUC?在确定结果分类时,确保AUC考虑成本的其他方法是什么?谢谢
回复:具有非对称成本/不平衡数据集的预测建模使用利润矩阵不会改变AUC。 它只会改变所选择的概率截止值 - 它会根据您指定的非对称利润/成本来选择。 基本上它是根据利润矩阵在ROC曲线上选择一个点(我不确定,但我认为这是误差的相对成本等于ROC曲线的斜率的最佳点)。 保存预测时,应该有其他列显示与最佳分类相关的盈利能力 - 并且该分类应与默认分类不同(假设成本不对称)。
回复:具有非对称成本/不平衡数据集的预测建模谢谢。我尝试了但是我的模型的AUC在不同的方法下仍然是相同的。它没有强迫模型赋予少数群体更高的重要性。
回复:具有非对称成本/不平衡数据集的预测建模利润矩阵可以在构建任何预测模型之前定义为列属性,并且应该按照您的要求执行。 但是,我会注意到我在填写利润矩阵时遇到了困难 - JMP帮助指南中的示例很清楚,但通常与实际情况不符。 如果您的决策问题是您可以准确指定误报和否定的成本,则利润矩阵应该有效。 例如,JMP示例用于进行空中预留的代理,其中错误的预测携带已知的代理额外成本。 另一方面,如果您预测的是客户保留等问题,那么错误预测的成本就不那么明显了。 如果您错误地预测客户将会丢失,那么您可能会因为试图留住客户而产生额外费用。 对于一些客户来说,这可以将他们从丢失转为保留,但肯定不会100%有效。 在这种情况下弄清楚在利润矩阵中放入什么变得很复杂 - 我建议不要使用该功能。 最好看看替代截止值和confusioin矩阵。
回复:具有非对称成本/不平衡数据集的预测建模对此有何帮助?
回复:具有非对称成本/不平衡数据集的预测建模我不确定我理解它是如何工作的。我的理解是,在运行模型后,利润矩阵出现了。我希望能够为少数类指定更高的成本,并确保模型在构建预测时考虑到这一点。
你能详细说明实现这个目标的程序吗?
谢谢
回复:具有非对称成本/不平衡数据集的预测建模看看吧利润矩阵 (并链接此)。