Uno de los peligros del aprendizaje automático es el sobreajuste. La reorganización de objetivos de John Elder proporciona una evaluación muy intuitiva del modelo. Existen numerosas referencias. A continuación, se muestra solo una de ellas: http://www.kdnuggets.com/2014/02/3-maneras-de-probar-la-precisión-de-sus-modelos-predictivos.html . Sería muy útil contar con esta capacidad en JMP.
Xiaojie Zhouzhou.x.1@pg.com- Centro de Innovación Sharon Woods, Cincinnati
Basándome en la descripción de @chris_gotwalt1 sobre cómo hacerlo, creo que podemos darlo por cumplido. Si se necesitan características adicionales con respecto a este enfoque, por favor, añadan otra opción a la lista de deseos y la consideraremos.
@SamGardner Parece que Desarrollo está investigando esto. ¿Deberíamos cambiar el estado?
Simular estará disponible en JMP Pro 13.0.
Esto será posible usando la función Simular de JMP Pro siguiendo estos sencillos pasos. Para realizar la reorganización de objetivos en un objetivo llamado :Y, por ejemplo:
1) Haga clic derecho en Y y seleccione Nueva columna de fórmula -> Aleatorio -> Muestra sin reemplazo. Esto crea una nueva columna de fórmula llamada Aleatorio. que baraja aleatoriamente las filas de Y.
2) Ejecute el modelo en la columna de respuesta original.
3) Busque el diagnóstico del modelo que le interesa (por ejemplo, R cuadrado, AIC, tasa de clasificación errónea, etc.) y haga clic derecho sobre él en el informe.
4) En la ventana emergente que aparece, seleccione la opción Simular, cerca de la parte inferior de la lista de opciones.
5) En el cuadro de diálogo Simular que aparece , seleccione Y para “Columna para cambiar” y Reordenar para “Columna a cambiar”. Luego haga clic en Aceptar. Si lo desea, antes de hacer clic en Aceptar, puede configurar la semilla aleatoria si desea que los resultados sean reproducibles o cambiar el número de muestras a un valor distinto de 2500. Se podría requerir un número menor de muestras si el ajuste del modelo requiere mucho tiempo. También puede usar los valores predeterminados.
Simular realizará la redistribución de objetivos y creará una nueva tabla con los R cuadrados redistribuidos u otro diagnóstico que haya elegido para evaluar mediante la redistribución de objetivos. Haga clic en el script de distribución en la nueva tabla para comparar el valor del informe con la distribución de los R cuadrados redistribuidos.
Cabe señalar que, si bien John Elder es un firme defensor de la redistribución de objetivos, su objetivo principal es evitar el uso de un modelo que sobreajusta los datos. El uso de modelos seleccionados mediante prácticas de validación adecuadas, junto con los algoritmos de prevención de sobreajuste de las plataformas Neural, GenReg, PLS y Partition de JMP, suele hacer que la redistribución de objetivos sea menos necesaria que con otros programas estadísticos de propósito general como R , SPSS o Statistica, para los cuales es un componente esencial del proceso de evaluación de modelos.
