¿Qué inspiró esta solicitud de lista de deseos?
JMP ha puesto a disposición una variedad de algoritmos de aprendizaje automático; una deficiencia importante en la mayoría de ellos es la falta de medidas de incertidumbre para las predicciones, particularmente para los modelos de clasificación. Hay varias herramientas disponibles para evaluar la precisión del modelo (por ejemplo, curvas ROC, matrices de confusión, etc.), pero pocas para evaluar la incertidumbre en las predicciones. A diferencia de los modelos estadísticos clásicos (donde se supone una estructura de error), a menudo falta el grado de incertidumbre en las predicciones. La predicción conforme parece ser una forma relativamente sencilla de proporcionar esto para una variedad de métodos de aprendizaje automático.
¿Cuál es la mejora que le gustaría ver?
Me gustaría ver la capacidad de predicción conforme adjunta a cualquiera de los métodos de modelado de clasificación empleados en JMP. El resultado resultante debe mostrar (para los modelos de clasificación) los conjuntos de clasificación previstos, incluido un conjunto indeterminado donde no se puede garantizar el nivel deseado de certeza.
¿Por qué es importante esta idea?
La predicción conforme existe desde hace al menos 20 años, pero se ve obstaculizada (en mi opinión) por una descripción innecesariamente matemática de la técnica. Creo que es más sencillo de lo que se suele presentar. También creo que es una técnica no paramétrica para cuantificar la incertidumbre en las predicciones, algo muy necesario a medida que se utilizan cada vez más modelos de aprendizaje automático. La falta de cuantificación de la incertidumbre predictiva (en lugar de solo la precisión) limita la utilidad de estos métodos y potencialmente hace que su aplicación sea equivocada (produciendo predicciones donde puede haber poco que distinga entre observaciones que se pueden predecir de manera confiable de aquellas para las que no se puede predecir). una referencia, consulte https://arxiv.org/pdf/2107.07511.pdf .
