このウィッシュリストのリクエストのきっかけは何ですか?
JMP では、さまざまな機械学習アルゴリズムがすぐに利用できるようになっていますが、そのほとんどで大きな欠点となっているのは、予測、特に分類モデルの不確実性測定が欠けていることです。モデルの精度を評価するためのツールは数多くありますが (ROC 曲線、混同行列など)、予測の不確実性を評価するためのツールはほとんどありません。従来の統計モデル (想定されるエラー構造がある) とは異なり、予測の不確実性の程度が欠けていることがよくあります。コンフォーマル予測は、さまざまな機械学習手法でこれを実現する比較的簡単な方法であると思われます。
どのような改善を望みますか?
JMP で採用されている分類モデリング手法のいずれかに、適合予測機能が付加されることを望みます。結果の出力には (分類モデルの場合)、必要なレベルの確実性が保証できない不確定セットを含む、予測された分類セットが表示される必要があります。
このアイデアはなぜ重要なのでしょうか?
コンフォーマル予測は少なくとも 20 年前から存在していますが、この手法の不必要な数学的説明によって妨げられています (私の意見では)。一般的に提示されているものよりもわかりやすいと思います。また、予測の不確実性を定量化するノンパラメトリック手法でもあると思います。機械学習モデルの使用が増えるにつれて、この手法は切実に必要とされています。予測の不確実性を定量化できない (正確さだけでなく) ため、これらの手法の有用性が制限され、誤った適用 (確実に予測できる観測と予測できない観測を区別することがほとんどない予測を生み出す) になる可能性があります。参考文献として、 https://arxiv.org/pdf/2107.07511.pdfを参照してください。
