如何自动计算不平衡数据模型的精度和 F1 分数?我喜欢 JMP 打印逻辑(广义)回归的混淆矩阵和 ROC,但结果中似乎缺少一些重要指标:精确和F1成绩。有没有办法将这些自动包含在输出中? 或者,当我重新运行新的分类模型时,尽可能“自动”计算它。我试图避免在每个新模型中手动重新计算这些。
更新:请仅发布问题的答案。 我并不是在寻求关于我是否应该使用 Precision 和 F1 的意见。 我充满信心地寻找一种在 JMP 中自动计算这些的方法。 如果您不知道这种技术,则没有理由考虑这是否可行,或在下面发布任何内容。 谢谢 :)

消费者和市场研究数据探索和可视化预测建模和机器学习分享和交流结果回复:如何自动计算不平衡数据模型的精度和 F1 分数?谢谢吉姆。 我一直在寻找这样一个具体的例子。 我已经恢复使用 Python,但稍后我会尝试一下您的 JSL 示例。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?文件交换中提供了示例,安装 JMP 时安装的脚本示例,直接在脚本指南书中提供,安装 JMP 时也安装了等等。最重要的是,这里是一个示例脚本,它从输出中读取并以不同的形式将其显示为输出的一部分。
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA\Big Class.jmp" );
// Run the Fit Y by X to get the XY plot
Biv = dt << Bivariate( Y( :height ), X( :weight ) );
// Run the distributions to get the stats
Dis = dt << Distribution( Continuous Distribution( Column( :height ) ), Continuous Distribution( Column( :weight ) ) );
// Extract the stats
heightMean = Report( dis )["Height"]["Summary Statistics"][Number Col Box( 1 )][1];
weightMean = Report( dis )["Weight"]["Summary Statistics"][Number Col Box( 1 )][1];
// Create the new display object
hlb = H List Box(
Text Box( "Mean of Height = " ),
Number Edit Box( heightMean ),
Spacer Box( size( 30, 0 ) ),
Text Box( "Mean of Weight = " ),
Number Edit Box( weightMean )
);
// Add the new object to the plot
Report(Biv)[Outline Box(1)] << Append( hlb );
Dis << close window;
回复:如何自动计算不平衡数据模型的精度和 F1 分数?凯文,谢谢你举的例子。
我运行模型并手动计算 F1 和 Precision 分数没有问题。 但是,有没有一个例子可以在 JMP 中自动计算这些(这是我最初问的)?
与此同时,我编写了这些 Python 代码,这比发布问题花费的时间更少。 如果将来有人提供答案,我很乐意再试一次。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?嗨,奥列格!
我不认为我误读了你原来的问题...但这只是我的意见...
这是一个供您尝试的示例:
参加大班.jmp。 以性别为响应,以年龄、身高和体重为因素,运行一些过度拟合的神经网络分析。 将女性视为积极案例。 
我有一个列联表,如下所示:

选择“制作成数据表”。
TP=16。FP=2。 FN=2。
F1可以通过2*TP/(2*TP+FP+FN)计算。 我得到F1=0.89。
这是一个非常容易编写脚本的事情(在我看来:),您甚至可以使用脚本在任何输出中自动包含此指标(以及任何其他指标)。 尝试一下,如果你失败了,我会尽力帮助你。
祝你好运。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?嗨凯文。 
如果这个“讨论”线程类似于 StackOverflow,那么我希望对明确的问题给出明确的答案。 如果我错了,请随时指导我了解发布讨论的指南。 我可以在报纸上阅读其他人的观点。 然而,在科学的背景下,本着“完成任务”的精神,清晰简洁的答案是有价值的。
顺便说一句,你刚刚承认我收到了对我的问题的意见吗? 哈哈。
不管怎样,在这件事上寻求你的帮助会更有效。
您是否遇到过任何 JSL 示例可以帮助我编写 F1 和 Precision 脚本,并且最好将其添加到回归输出页面?
干杯!
奥。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?嗨,奥列格!
也许是对语言不熟悉,但“讨论”这个词(社区中该站点的名称)的含义不仅仅是问题和答案。 它可以正确地包括意见、警告、恳求、咆哮和许多其他形式的对话,无论您的愿望如何。
我喜欢统计学(和 JMP!)的众多原因之一是,真正伟大的、创造性的工作似乎发生在应用科学和艺术之间的界面上。 看? 我的想法。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?凯文,你可能误读了我原来的问题。 我本来希望F1 和精度的内置计算。JSL 是一个合理的选择。
你有我可以效仿的例子吗?
回复:如何自动计算不平衡数据模型的精度和 F1 分数?谢谢吉姆。
1. 我同意
2.支持要求使用讨论组,这就是我正在尝试的。
3.当然,JSL是一个很好的方向。 我希望有人已经实现了它并且可以举一个例子。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?嗨凯文。 我感谢吉姆的帮助,并给予他荣誉,并在适当的时候接受他的解决方案。 然而,我不能在所有观点上都同意他的观点。 在这篇文章中,我希望得到所提出问题的答案,而不是对 ML 世界流行趋势的看法。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?嗨,奥列格!
总体情况如下:吉姆·尼尔森解决了这个社区中的许多问题。 请不要把你的意见强加给他。
我的观点是:如果您表现得像尝试过一样,并且不那么傲慢地寻求帮助,那么您可能会在脚本编写方面获得更多帮助。 
回复:如何自动计算不平衡数据模型的精度和 F1 分数?吉姆,这是讨论的方式为 JMP 添加新功能提供了“充分的理由”。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?我之前的回复本意是比您所理解的要简单得多。
1. JMP并不完美,但它相当不错,而且开发人员确实跟上了他们正在研究的领域,因此他们所展示的内容值得一看。
2. 确保您的增强请求已发送至 JMP 的最佳方法是将其发送至
support@jmp.com
3. F1 的请求已在最近的讨论轨道中涵盖,因此我假设没有用户提供现成的解决方案。因此,我鼓励您仍然可以在 JMP 中完成此操作,您可以在其中使用 JSL 编写解决方案
回复:如何自动计算不平衡数据模型的精度和 F1 分数?嗨,凯文,感谢您的回复。 我不明白其他人对使用 F1 分数的偏好会如何影响我在这次讨论中对它的需求?
每个指标都有偏差。有数千种(更新的)出版物赞扬F1和精度度量的价值。
最重要的是,在本次讨论中,我寻求自动计算 F1 和精度分数方面的帮助。 是的,可以编写脚本;我非常感谢已经实现它的人的帮助,这样这个轮子就不会被重新发明。
确实,我已经在使用 ROC,但我还需要 F1 和精度。 至少,我提出的问题的答案(无论何时发现)将帮助其他人自动计算,不仅是 F1 或精度分数,而且是任何指标。 请牢记大局:)
回复:如何自动计算不平衡数据模型的精度和 F1 分数?您好,Jim,您的回答意味着 JMP 是完美的,并且包含它所需要的内容(有充分的理由)。 也就是说,JMP 中缺少的任何内容都没有充分的理由出现在 JMP 中。 一个有趣的主张;)这些讨论本身为 JMP 新功能提供了大量“充分理由”。 有人提出了一个关于 F1(不是精度)的问题,但仍未得到解答,但这些测量方法在科学出版物中得到了广泛讨论和使用。
我喜欢您向支持人员发送电子邮件的建议,但他们要求发起讨论。 我希望社区能够提供答案,即使不是立即。
如果您觉得我的问题可以改进,我欢迎您的建议。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?嗨,奥列格!
F1 分数(以及其他“重要”流行的准确度衡量标准)因其在偏差下的表现而在机器学习社区的某些角落已被弃用。 请参考随附的文件,其中建议了接收器操作曲线和其他一些措施的实用性。
正如吉姆所说,您可以编写任何您想要的内容。
回复:如何自动计算不平衡数据模型的精度和 F1 分数?如果 JMP 没有提供您想要的给定分析的具体统计数据,根据我的经验,JMP 的开发人员有充分的理由不包含它。 该讨论组虽然由 JMP 监控,但并不是将统计数据纳入未来版本的最佳方式。 您需要将增强请求发送至
support@jmp.com
他们对此类物品有正式的跟踪系统。
现在我们来看看 JMP 的魅力。很多时候,讨论社区都会提供您需要的解决方案。但是,由于这个话题之前已经讨论过,所以在F1等方面没有回应。我认为该解决方案不可用。然而,这些请求中的许多(如果不是大多数)都可以通过 JSL 添加到您的分析中。 因此,为了回答您的问题,我相信您可以编写一个脚本将这些添加到您的分析中。