Qu'est-ce qui a inspiré cette demande de liste de souhaits ?
JMP a mis à disposition une gamme d'algorithmes d'apprentissage automatique. L'une des principales lacunes de la plupart d'entre eux est le manque de mesures d'incertitude pour les prédictions, en particulier pour les modèles de classification. Il existe un certain nombre d'outils disponibles pour évaluer la précision des modèles (par exemple, courbes ROC, matrices de confusion, etc.), mais peu pour évaluer l'incertitude des prédictions. Contrairement aux modèles statistiques classiques (où l’on suppose une structure d’erreur), le degré d’incertitude des prédictions fait souvent défaut. La prédiction conforme semble être un moyen relativement simple de fournir cela pour diverses méthodes d’apprentissage automatique.
Quelle est l’amélioration que vous souhaiteriez voir ?
J'aimerais voir la capacité de prédiction conforme attachée à l'une des méthodes de modélisation de classification utilisées dans JMP. Le résultat obtenu doit montrer (pour les modèles de classification) les ensembles de classification prévus, y compris un ensemble indéterminé pour lequel le niveau de certitude souhaité ne peut pas être assuré.
Pourquoi cette idée est-elle importante ?
La prédiction conforme existe depuis au moins 20 ans, mais elle est entravée (à mon avis) par une description inutilement mathématique de la technique. Je pense que c'est plus simple que ce qui est généralement présenté. Je pense également qu'il s'agit d'une technique non paramétrique permettant de quantifier l'incertitude des prédictions, ce qui est absolument nécessaire à mesure que les modèles d'apprentissage automatique sont de plus en plus utilisés. Le manque d’incertitude prédictive quantifiée (plutôt que la simple précision) limite l’utilité de ces méthodes et rend potentiellement leur application erronée (donnant des prédictions où il peut y avoir peu de distinction entre les observations qui peuvent être prédites de manière fiable de celles pour lesquelles cela ne peut pas être fait. Pour une référence, voir https://arxiv.org/pdf/2107.07511.pdf .
