是什麼激發了這個願望清單請求?
JMP 已經提供了一系列機器學習演算法,其中大多數演算法的主要缺陷是缺乏預測的不確定性度量,尤其是分類模型。有許多工具可用於評估模型的準確性(例如,ROC 曲線、混淆矩陣等),但用於評估預測不確定性的工具卻很少。與經典統計模型(存在假設的誤差結構)不同,預測的不確定性程度通常是缺乏的。共形預測似乎是為各種機器學習方法提供此功能的相對簡單的方法。
您希望看到什麼改進?
我希望看到 JMP 中使用的任何分類建模方法都具有保形預測功能。結果輸出應顯示(對於分類模型)預測的分類集,包括無法保證所需確定性等級的不確定集。
為什麼這個想法很重要?
共形預測已經存在了至少 20 年,但(在我看來)該技術受到不必要的數學描述的阻礙。我認為它比通常呈現的更簡單。我還認為這是一種用於量化預測不確定性的非參數技術——隨著機器學習模型的使用越來越多,這是迫切需要的。缺乏量化預測不確定性(而不僅僅是準確性)限制了這些方法的有用性,並可能使它們的應用受到誤導(產生的預測可能幾乎無法區分可以可靠預測的觀測值和無法可靠預測的觀測數值。一份參考資料,請參閱https://arxiv.org/pdf/2107.07511.pdf 。