¿Qué inspiró esta petición en la lista de deseos?
Esta página de ayuda ( https://www.jmp.com/support/help/en/19.1/#page/jmp/example-of-confidence-intervals-using-bagging.shtml ) describe un método para usar bagging y generar intervalos de confianza para un modelo predictivo de red neuronal. Creo que esto se puede extender fácilmente a intervalos de predicción usando el RASE como estimación de un término de error normal. Además, la nueva visualización del perfilador de puntos de datos e intervalos de predicción se puede usar con esta implementación de intervalos de predicción. Esto permitiría verificar visualmente la cobertura del modelo de puntos de datos. Actualmente, JMP solo verifica la predicción puntual del modelo. Esto ayudaría a asegurar que el término de error también se estime correctamente.
¿Qué mejora le gustaría ver?
Aquí se muestra una representación visual del resultado de los intervalos de confianza obtenidos mediante el método bagging:
Calculé los intervalos de predicción usando el error RASE y el error normal, luego manipulé las propiedades de la columna para usar la nueva visualización de intervalos de predicción de JMP 18 para producir un gráfico como este. Básicamente, me gustaría que la generación predeterminada del perfilador de intervalo de confianza de la red neuronal bagging genere un gráfico como el que se muestra a continuación en lugar del anterior. Adjunto una tabla jmp del ejemplo tiretread de la página de ayuda para que pueda ver mis cálculos e implementación. El primer script "Bagging Profiler" es idéntico al de la página de ayuda. El segundo perfilador, "Profiler of Pred Formula ABRASION", es mi perfilador personalizado con la adición de puntos de datos e intervalos de predicción.
Ahora que se han calculado los intervalos de predicción, puedo comprobar la cobertura de los puntos de datos tanto visualmente en el analizador de perfiles como numéricamente en la tabla.
¿Por qué es importante esta idea?
Me resulta extremadamente extraño que las redes neuronales y modelos predictivos similares de caja negra estén diseñados para predecir con precisión, pero que prácticamente ignoren la incertidumbre. Siempre quise intervalos de predicción para comprobar si el modelo, incluyendo el término de error, reproduce bien los datos existentes y los nuevos. El uso de la técnica de bagging para generar intervalos de confianza fue un paso en la dirección correcta, pero aún no se puede validar el modelo comparando los datos con los intervalos de confianza promedio. Es necesario comparar los datos con los intervalos de predicción. Este enfoque proporciona un método para verificar la validez del término de error y comparar los datos reales con los intervalos de predicción del modelo para asegurar que la mayoría de los puntos se encuentren dentro de ellos. Todo esto permitirá otro método de verificación del modelo e infundirá mayor confianza en él si el ajuste parece ser bueno y la cobertura del intervalo de predicción es adecuada. Lo mejor de todo es que debería poder utilizarse para la mayoría de los tipos de modelos que normalmente no poseen intervalos de confianza o de predicción, como las redes neuronales.
Gracias por enviar esta sugerencia. La estamos evaluando.
