El modelado predictivo se trata de encontrar el modelo que predice con precisión el resultado de interés. Digamos, por ejemplo, que quiero predecir la progresión de una enfermedad en particular, en este caso, la diabetes, después de un año, en función de una serie de factores. Más específicamente, quiero identificar a los pacientes que tienen más probabilidades de tener una progresión alta de la enfermedad para que se puedan realizar las intervenciones adecuadas.
tengo JMP Pro, y sé que hay varios modelos predictivos posibles que puedo encajar. Por ejemplo, puedo ajustar un modelo de regresión, varios tipos de modelos basados en árboles o una red neuronal, por nombrar algunos. ¿Qué plataforma de modelado debo usar? ¿Qué tipo de modelo predecirá el resultado con mayor precisión? Para cualquier situación de modelado dada, el mejor modelo depende en gran medida de los datos: no existe un tipo de modelo que funcione mejor para todos los problemas.
Para encontrar el mejor modelo para el escenario de la diabetes, puedo ajustar todos los modelos posibles, uno a la vez, usando la validación cruzada. Puedo guardar los modelos individuales en la tabla de datos o en el almacén de fórmulas y luego usar la comparación de modelos para comparar el rendimiento de los modelos en el conjunto de validación para seleccionar el mejor. O puedo seleccionar la mejor combinación de modelos. Si bien este método hace más que el trabajo, requiere un poco de trabajo.
Ahora, con la nueva plataforma Model Screening en JMP Pro 16, lo hemos hecho mucho más fácil. Model Screening proporciona un flujo de trabajo eficiente para ajustar, comparar, explorar, seleccionar y luego implementar simultáneamente el mejor modelo predictivo.
Para ilustrar, usaré los datos de diabetes de la biblioteca de datos de muestra de JMP. La respuesta, o variable de resultado, es Y Binaria, que tiene dos valores posibles: Baja (para progresión de la enfermedad baja) y Alta. Los predictores, o factores, son Edad a través de Glucosa.
Selecciono Cribado de modelo en el menú Analizar > Modelado predictivo y especifico la respuesta y los factores. La columna Validación divide los datos en conjuntos de Entrenamiento y Validación, por lo que usaré esto para la validación del modelo.
La parte superior del cuadro de diálogo Model Screening se muestra aquí:
En la parte inferior del cuadro de diálogo, hay varios métodos de modelado diferentes para elegir, junto con muchas opciones diferentes de ajuste y validación cruzada. Tenga en cuenta que XGBoost es un método disponible, porque instalé el Complemento XGBoost desde el Comunidad de usuarios de JMP .
Usaré los modelos predeterminados, pero agregaré interacciones bidireccionales y configuraré la semilla aleatoria en 11111 para que mis resultados sean reproducibles.
Todos los modelos que tienen sentido para estos datos se ajustan y se proporcionan varias estadísticas de validación. Los modelos se ordenan en orden descendente de Generalized RSquare, pero para encontrar el modelo o los modelos que se destacan en todas las estadísticas de validación, haré clic en Seleccionar dominante.
Puedo ver que los mejores modelos, en general, son Neural Boost y Generalized Regression Lasso con interacciones bidireccionales.
Para explorar las clasificaciones de estos modelos, seleccionaré Umbral de decisión en el menú del triángulo rojo superior. Esta opción proporciona una gran cantidad de información para comparar la precisión de la clasificación de los modelos seleccionados. La sección superior muestra el desglose de clasificaciones verdaderas y falsas para cada modelo, y si cambio el umbral de probabilidad (ya sea arrastrando la línea deslizante o usando el cuadro de edición), puedo ver cómo cambian las clasificaciones y los errores de clasificación para diferentes puntos de corte.
La sección inferior tiene pestañas que muestran diferentes gráficos y métricas de clasificación. Aquí se muestra la pestaña Métricas para los datos de validación. En este escenario, quiero identificar a los pacientes que tienen más probabilidades de tener una alta tasa de progresión de la diabetes. Entonces, quiero encontrar el modelo que resulte en la tasa de falsos negativos más baja. Con un umbral de probabilidad de 0,42, el modelo de regresión generalizada tiene una tasa baja de falsos negativos, al tiempo que mantiene una tasa baja de falsos positivos en relación con el otro modelo.
Ahora, podría querer echar un vistazo más de cerca a este modelo. Model Screening hace que esto sea perfecto. Puedo ejecutar fácilmente el modelo seleccionado en una nueva ventana haciendo clic en Ejecutar seleccionado.
O bien, sin salir de Model Screening, puedo ver los resultados directamente en el esquema Detalles como se muestra aquí. En Model Screening tengo acceso a todas las opciones que vería en Regresión generalizada. Entonces, por ejemplo, puedo interactuar con la ruta de la solución y puedo guardar o publicar el modelo para su implementación. Incluso puedo ejecutar otros modelos para ver si puedo mejorar aún más la precisión del modelo.
Solo he tocado la superficie de Model Screening aquí, pero espero que pueda ver cómo este flujo de trabajo optimizado puede ayudarlo a ahorrar mucho tiempo y esfuerzo. Simplemente necesita especificar las variables en su modelo, seleccionar los modelos que desea ajustar y el método de validación, ¡y Model Screening hace el resto!
Para obtener más información sobre cómo ajustar y validar modelos predictivos en JMP Pro, vaya a la página de características clave en nuestro sitio web.
Lo que dicen los clientes
"Después de haber utilizado la detección de modelos en JMP Pro 16 beta en los últimos meses, ya se ha convertido en una parte indispensable de mi investigación de modelos predictivos de arrecifes de coral. Aunque los modelos se podían comparar con bastante facilidad en versiones anteriores de JMP Pro (p. ej., la plataforma de "comparación de modelos" de JMP Pro 15), esta nueva herramienta hace que sea aún más fácil para los usuarios probar simultáneamente muchos modelos diferentes (p. ej., gen-reg, PLS, discriminantes, redes neuronales, etc.) con el mismo conjunto de datos. Algo que antes me tomaba horas o incluso días, ahora se puede hacer en minutos (o incluso segundos).¡Vaya, qué gran característica! Esta seguramente debe ser la mayor mejora de la versión 15 a la 16, y estoy seguro de que muchos otros sentirán lo mismo".
- Anderson Mayfield, Administración Nacional Oceánica y Atmosférica (NOAA) y la Universidad de Miami
HOLA @patrickgiuliano , este fue un ejemplo relativamente superficial, y me decidí por 0,42 como umbral con fines ilustrativos. El objetivo aquí era encontrar un punto de corte que condujera a una tasa baja de falsos negativos mientras se mantenía una tasa baja de falsos positivos. Pero, ¿qué constituye tarifas aceptables? Esto depende en gran medida de la situación o problema de la investigación y de los "costos" de un tipo particular de error. Para una situación particular, puede estar dispuesto a aceptar una tasa de falsos positivos más alta si da como resultado una mejor tasa de falsos negativos.Los gráficos pueden ayudar a encontrar el punto ideal para equilibrar las dos tasas.
Este es un conjunto de datos pequeño, por lo que los resultados son bastante granulares. Pero, en el segundo gráfico aquí, veo que la tasa de falsos positivos para impulso neuronal comienza a crecer rápidamente después de alrededor de 0,45 o 0,5, y la tasa de falsos negativos cae rápidamente hasta alrededor de ese punto, y comienza a estabilizarse un poco.
La idea de agregar una opción de "configuración recordada" es convincente. ¿Estaría dispuesto a publicar esto en la lista de deseos de JMP?
¡Gracias!
Desaparecido en combate
@mia_stephens esto es genial, estoy intrigado por la función "Umbrales de decisión" y estoy tratando de entenderlo un poco mejor.En su ejemplo aquí, ¿seleccionó esencialmente la "intersección" en el Recuento de clasificación errónea frente al Umbral de probabilidad para curvas altas (el punto que marqué con un círculo negro en la imagen adjunta) al tomar la determinación de que el Umbral de probabilidad de 0.42 sería una buena opción? para minimizar los falsos negativos (¿manteniendo la tasa de falsos positivos aproximadamente al mismo nivel?)
Usé JMP 16 EA8 y ejecuté casi la misma configuración, excepto que especifiqué 'XGBoost' como una opción de ajuste del modelo en el diálogo de evaluación del modelo (mantuve la misma semilla aleatoria en 1111). 
Tal vez una característica útil aquí sería "recordar la configuración" de una manera similar a como se puede hacer en Prediction Profiler (donde genera un botón de opción para la configuración guardada de alcance) para que pueda alternar fácilmente entre diferentes umbrales de probabilidad para ver/ compare el efecto en los umbrales específicos que le interesen. Imagen de ejemplo adjunta.
