模型筛选：用于比较方法的图表和新指标：AICc/BIC、计算时间、二氧化碳排放量...？
JMP 团队和社区大家好，
以下是我的建议，主要针对“模型筛选”平台，但如果相关的话，也许可以扩展到其他平台。 我希望这些想法听起来不会太疯狂或“离谱”。
- 是什么激发了这个愿望清单请求？
- 通过“模型筛选”平台比较不同方法时，用于比较方法的指标是 R² 和平均值/标准 RASE。 即使它可能已经指导和强调了有关“最佳方法”的一些选择，但当多种方法的结果相似时，有时可能很难进行比较并做出选择。
- 似乎没有迹象表明该平台中使用的方法的“复杂性”（可能通过 AICc/BIC 等信息标准，或简单的计算时间度量（红色三角形中提供“经过时间”，但默认情况下不提供） ），如果模型要在生产中使用，这可能是一个有趣且重要的信息，其中模型的延迟可能是一个重要参数。
- 最后，由于可持续性是当今最重要的优先事项之一，因此不仅比较模型的“统计”性能，而且还通过相关指标考虑计算时间/能耗，这可能会很有趣。
- 您希望看到哪些改进？
- 是否可以添加有关不同方法的 R² 演变的图表，也许还可以添加带有平均 RASE（和标准 RASE 作为图表中的间隔）的图表，以更好地评估方法之间的差异？
- 是否可以添加其他评估指标，特别是专注于模型复杂性的指标（默认情况下 AICc/BIC 和/或计算时间）？ 这可以通过推广最简单的模型来帮助整理相似的模型性能（应该这样做，如果/可能的话，总是支持简约/简单的模型）。
- 由于计算时间很容易记录（红色三角形的选项中提供“经过的时间”），因此最好在平台结果中突出显示此信息作为“模型的可持续性/复杂性”的指示。 如果可能，使用此信息以及 JMP 使用的设备/装置/计算机的信息可以创建指标，例如“Code Carbon”开源计划，根据计算时间、GPU/CPU、能源提供二氧化碳排放量消耗 ：动机 — CodeCarbon 2.0.0 文档 (mlco2.github.io)
- 为什么这个想法很重要？
- 由于 JMP 以其跨图形的交互性以及通过帮助非统计学家获取相关信息的有用图形的易用性/访问性而闻名，因此考虑在“模型筛选”平台中添加一些可视化效果会很有趣，因为可用的图形是“仅”“预测实际”和“分析器”。 关于方法选择的决策过程可能缺乏可视化。
- 由于 JMP 面向工程师和科学家，因此清楚地了解模型的复杂性可能有助于在精度、可解释性和速度之间选择最佳折衷方案。 添加复杂性指标还可以帮助 JMP 用户将其不仅用于探索/发现目的，还可以将其视为生产模式的原型工具，其中模型延迟是一个重要因素。
- JMP 社区中已经有很多致力于或热衷于环境的人。 “绿色数据”还强调了 JMP 对可持续发展和环境的参与。 与其他软件相比，能够在这个平台上提供可以突出影响并帮助区分基于相关指标的方法的信息，看起来像是一个巨大的机会和关键的差异化因素，并且能够提高认识。
期待了解您的反馈，如果人们有兴趣发表评论，请随意:)
新年快乐，万事如意，
数据探索和可视化回复：模型筛选：比较方法的图表和新指标：AICc/BIC、计算时间、二氧化碳排放量...？谢谢你的建议@Victor_G ，我已与开发人员共享以供考虑。
回复：模型筛选：比较方法的图表和新指标：AICc/BIC、计算时间、二氧化碳排放量...？你好@米亚斯蒂芬斯,
是的，这种图表对于可视化模型筛选平台的表现可能很有趣。
在 K 倍交叉验证（在钻石数据集上）的情况下，RASE 图形的另一个选项是通过使用 StdDev RASE 更好地评估预测的变异性：
可以进行 AICc 和 BIC 计算，感谢您的回复！
最好的，
回复：模型筛选：比较方法的图表和新指标：AICc/BIC、计算时间、二氧化碳排放量...？你好@Victor_G ,
您是否在模型筛选中寻找此类图表？ 或者，您还有其他例子吗？
关于模型复杂性，以下是开发人员的回应：“ AICc 和 BIC 不适用于许多方法，例如基于树的方法或神经方法，尽管有一些关于如何近似它的文献。 预测方法倾向于创建复杂的模型，这些模型受到提前停止使用验证集的限制，因此对复杂性有一定的限制。”
米娅
回复：模型筛选：比较方法的图表和新指标：AICc/BIC、计算时间、二氧化碳排放量...？ - 状态更改为：正在调查回复：模型筛选：比较方法的图表和新指标：AICc/BIC、计算时间、二氧化碳排放量...？ - 状态更改为：已确认你好@Victor_G ， 谢谢你的建议！ 我们已收到您的请求并将予以考虑。
回复：模型筛选：用于比较方法的图表和新指标：AICc/BIC、计算时间、二氧化碳排放量......？- 状态更改为：已确认
