是什么启发了这个愿望清单请求?
JMP 已使一系列机器学习算法变得随时可用 - 其中大多数算法的主要缺陷是缺乏预测的不确定性度量,尤其是分类模型。有许多工具可用于评估模型准确性(例如 ROC 曲线、混淆矩阵等),但很少有工具可用于评估预测中的不确定性。与传统统计模型(其中存在假定的误差结构)不同,预测中的不确定性程度通常不足。共形预测似乎是一种相对简单的方法,可以为各种机器学习方法提供这种不确定性。
您希望看到什么改进?
我希望看到 JMP 中采用的任何分类建模方法都具有共形预测功能。结果输出应显示(对于分类模型)预测的分类集,包括无法确保所需确定性水平的不确定集。
这个想法为什么重要?
共形预测已经存在至少 20 年了,但在我看来,它被不必要的数学描述所阻碍。我认为它比通常介绍的更直接。我还认为它是一种量化预测不确定性的非参数技术——随着机器学习模型的使用越来越多,这种技术非常有必要。缺乏量化预测不确定性(而不仅仅是准确性)限制了这些方法的实用性,并可能使它们的应用被误导(产生的预测可能很难区分可以可靠预测的观察结果和无法预测的观察结果。有关参考资料,请参阅https://arxiv.org/pdf/2107.07511.pdf 。