586394_zh-CN

liliconcom

模型筛选：用于比较方法的图表和新指标：AICc/BIC、计算时间、CO2 排放量……？

嗨 JMP 团队和社区，

 

这是我的建议，主要针对“模型筛选”平台，但如果相关，它可能会扩展到其他平台。 我希望这些想法听起来不会太疯狂或太“离谱”。

 

• 是什么启发了这个愿望清单请求？
  • 通过“模型筛选”平台比较不同方法时，用于比较方法的指标是 R² 和 Mean/Std RASE。 即使它可能已经指导并强调了一些关于“最佳方法”的选择，但当几种方法的结果相似时，有时可能很难比较和做出选择。
  • 似乎没有迹象表明该平台中使用的方法的“复杂性”（可能通过 AICc/BIC 等信息标准，或简单的计算时间度量（红色三角形中提供的“经过时间”，但默认情况下不提供） )，如果模型要用于生产，这可能是一个有趣且重要的信息，其中模型的延迟可能是一个重要参数。
  • 最后，由于可持续性是当今最重要的优先事项之一，因此不仅要比较模型的“统计”性能，还要通过相关指标考虑计算时间/能源消耗，这可能会很有趣。

 

• 您希望看到哪些改进？  
  • 是否可以添加关于不同方法的 R² 演变的图表，也许还可以添加带有 Mean RASE（和 Std RASE 作为图中间隔）的图表以更好地评估方法之间的差异？
  • 是否可以添加其他评估指标，特别是关注模型复杂性的指标（默认情况下 AICc/BIC 和/或计算时间）？ 这可以通过提升最简单的模型来帮助整理出相似模型的性能（应该这样做，如果/在可能的情况下，始终支持简约/简单的模型）。
  • 由于计算时间很容易记录（“经过的时间”在红色三角形的选项中可用），最好在平台结果中突出显示此信息作为“模型的可持续性/复杂性”的指示。 如果可能，使用此信息和 JMP 使用的设备/设备/计算机的信息可以创建指标，例如“Code Carbon”开源计划，提供基于计算时间、GPU/CPU、能源的二氧化碳排放量消耗 ：动机 — CodeCarbon 2.0.0 文档 (mlco2.github.io)

 

• 为什么这个想法很重要？
  • 由于 JMP 以跨图形的交互性以及通过帮助非统计学家获取相关信息的有用图形易于使用/访问而闻名，因此考虑在“模型筛选”平台中添加一些可视化效果会很有趣，因为可用的图形是“仅”“预测的实际”和“分析器”。 关于方法选择的决策过程可能缺乏可视化。
  • 由于 JMP 面向工程师和科学家，因此清楚地了解模型的复杂性可能有助于在精度、可解释性和速度之间做出最佳折衷。 添加复杂性指标还可以帮助 JMP 用户考虑将其不仅用于探索/发现目的，还可以将其作为生产模式的原型设计工具，其中模型延迟是一个重要因素。
  • JMP 的社区中已经有很多致力于或热衷于环境的人。 “绿色数据”还强调了 JMP 对可持续性和环境的参与。 能够在该平台中提供可能突出影响并有助于根据相关指标区分方法的信息，这看起来是一个巨大的机会，与其他软件相比也是一个关键的差异化因素，同时也能够提高人们的认识。

 

期待知道您的反馈，如果有人有兴趣发表评论，请随时:)

新年快乐，万事如意，

 

 

数据探索和可视化统计与分析