349255_es-ES

liliconcom

Re: Detección de modelos: simplificación del flujo de trabajo de modelado predictivo (2021-EU-30MP-781)

¡Esperamos el nuevo libro de modelado!

Detección de modelos: simplificación del flujo de trabajo de modelado predictivo (2021-EU-30MP-781)

Nivel: intermedio

 

Mia Stephens, directora principal de productos de JMP, SAS

 

El modelado predictivo se trata de encontrar el modelo, o la combinación de modelos, que predice con mayor precisión el resultado de interés. Pero no todos los problemas (y datos) son iguales. Para cualquier escenario dado, hay varios modelos predictivos posibles que puede ajustar, y ningún tipo de modelo funciona mejor para todos los problemas. En algunos casos, un modelo de regresión puede ser el de mejor desempeño; en otros, podría ser un modelo basado en árboles o una red neuronal.

En la búsqueda del modelo de mejor rendimiento, puede ajustar todos los modelos disponibles, uno a la vez, mediante la validación cruzada. Luego, puede guardar los modelos individuales en la tabla de datos o en el Depósito de fórmulas, y luego usar la Comparación de modelos para comparar el rendimiento de los modelos en el conjunto de validación para seleccionar el mejor. Ahora, con la nueva plataforma Model Screening en JMP Pro 16, este flujo de trabajo se ha simplificado. En esta charla, aprenderá a usar Model Screening para ajustar, validar, comparar, explorar, seleccionar y luego implementar simultáneamente el modelo predictivo de mejor rendimiento.

 

 

Transcripción generada automáticamente ...

 

Vocero	Transcripción
Mia Stephens	proyección de modelo.
	Si realiza algún trabajo con el modelado predictivo, encontrará que el cribado de modelos le ayuda a optimizar su flujo de trabajo de modelado predictivo.
	Entonces, en esta charla, brindaré una descripción general del modelado predictivo, hablaré sobre los diferentes tipos de modelos predictivos que podemos usar en JMP.
	Hablaremos sobre el flujo de trabajo de modelado predictivo dentro del flujo de trabajo de análisis más amplio y veremos cómo la selección de modelos puede ayudarnos a agilizar este flujo de trabajo.
	Hablaré sobre algunas métricas para comparar modelos de la competencia utilizando datos de validación y veremos un par de ejemplos en JMP Pro.
	Primero hablemos un poco sobre el modelado predictivo y qué es el modelado predictivo.
	Probablemente haya estado expuesto al análisis de regresión, y la regresión es un ejemplo de modelado explicativo. Y en la regresión, normalmente nos interesa construir un modelo.
	para una respuesta, o Y, en función de una o más X, y podríamos tener diferentes objetivos de modelado. Podríamos estar interesados en identificar variables importantes. Entonces, ¿cuáles son las X clave, o las variables de entrada clave,
	por ejemplo, en un entorno de resolución de problemas en el que podríamos centrarnos para abordar el problema.
	Podríamos estar interesados en comprender cómo cambia la respuesta, en promedio, en función de las variables de entrada.
	un cambio de una unidad en X está asociado con un cambio de cinco unidades en Y. Así que este es un modelo explicativo clásico y si has estudiado estadística en la escuela, probablemente así es como aprendes sobre la regresión.
	Ahora, en contraste, el modelado predictivo tiene un objetivo ligeramente diferente. En el modelado predictivo, nuestro objetivo es predecir o clasificar con precisión los resultados futuros.
	Entonces, si nuestra respuesta es continua, queremos poder predecir la próxima observación, el próximo resultado, de la manera más precisa o exacta posible.
	Y si nuestra respuesta es categórica, entonces estamos interesados en la clasificación. Y nuevamente estamos interesados en usar datos actuales para predecir lo que sucederá a nivel individual en el futuro.
	Y podríamos ajustar y comparar muchos modelos diferentes, y en el modelado predictivo también podríamos usar algunos modelos más avanzados. Podríamos utilizar algunas técnicas de aprendizaje automático como las redes neuronales.
	Y algunos de estos modelos pueden no ser tan fáciles de interpretar y muchos de ellos tienen muchos parámetros de ajuste diferentes que podemos configurar. Y como resultado, con el modelado predictivo podemos tener un problema de sobreajuste.
	Lo que significa sobreajuste es que nos adaptamos a un modelo que es más complejo de lo necesario.
	Entonces, con el modelado predictivo generalmente usamos la validación y hay varias formas diferentes de validación que podemos usar.
	Usamos la validación para la comparación y selección de modelos y, fundamentalmente, protege contra el sobreajuste pero también contra el desajuste.
	Y el desajuste es cuando ajustamos un modelo que no es tan complejo como debería ser. Realmente no está capturando la estructura en nuestros datos.
	Ahora, en el apéndice al final de las diapositivas, he sacado algunas diapositivas que ilustran por qué la validación es importante, pero para el enfoque de esta charla, simplemente usaré la validación cuando ajuste los modelos predictivos.
	Hay muchos tipos diferentes de modelos que podemos incluir en JMP Pro, y esta no es de ninguna manera una lista exhaustiva.
	Podemos ajustar varios tipos diferentes de modelos de regresión. Si tenemos una respuesta continua, podemos ajustar un modelo de regresión lineal.
	Si nuestra respuesta es categórica, un modelo de regresión logística, pero también podemos ajustar modelos lineales generalizados y penalizar los métodos de regresión, y estos son todos de la plataforma del modelo de ajuste.
	Hay muchas opciones en la plataforma de modelado predictivo, por lo que las redes neuronales, las redes neuronales con impulso y diferentes números de capas y nodos,
	árboles de clasificación y regresión, y métodos basados en árboles más avanzados, y varias otras técnicas.
	Y también hay un par de opciones de modelado predictivo de la plataforma de métodos multivariados, así que discrimina el análisis
	y los mínimos cuadrados parciales son dos diferentes ... dos tipos adicionales de modelos que podemos usar para el modelado predictivo. Y, por cierto, los mínimos cuadrados parciales también están disponibles en el modelo de ajuste.
	¿Y por qué tenemos tantos modelos?
	En el modelado predictivo, a menudo encontrará que ningún modelo
	o el tipo de modelado siempre funciona mejor. En ciertas situaciones, una red neuronal puede ser la mejor y las redes neuronales generalmente son bastante ... muy buenas.
	Pero puede encontrar en otros casos que un modelo más simple realmente funciona mejor, por lo que el tipo de modelo que se ajusta mejor a sus datos y predice con mayor precisión se basa en gran medida en su respuesta, pero también en la estructura de sus datos.
	Por lo tanto, puede ajustar varios tipos diferentes de modelos y comparar estos modelos antes de encontrar el modelo que se ajusta con mayor precisión o predice con mayor precisión.
	Entonces, dentro del flujo de trabajo analítico más amplio, donde comienza con algún tipo de problema que está tratando de resolver, y recopila datos, prepara los datos y explora los datos,
	el modelado predictivo está abajo en analizar y construir modelos. Y el flujo de trabajo de modelado predictivo típico podría tener este aspecto, en el que se ajusta un modelo con validación.
	Luego, guarda esa fórmula en una tabla de datos o la publica en el depósito de fórmulas.
	Y luego ajusta otro modelo y repite esto, por lo que puede ajustar varios modelos diferentes
	y luego compare estos modelos. Y en JMP Pro, puede usar la plataforma de comparación de modelos para hacer esto, y compara el rendimiento de los modelos en los datos de validación, y luego elige el mejor modelo o los mejores modelos de combinación y luego implementa el modelo.
	Y lo que es diferente con la selección de modelos es que todo el ajuste y la comparación del modelo, esta selección se realiza dentro de una plataforma, la plataforma de selección de modelos.
	Así que vamos a utilizar un ejemplo con el que quizás esté familiarizado, y hay un blog sobre la detección de modelos que utiliza estos datos que se publican en la Comunidad, y estos son los datos de la diabetes.
	Entonces, el escenario es que los investigadores quieren predecir la tasa de progresión de la enfermedad, un año después de la línea de base.
	Entonces, hay varias mediciones de línea de base y luego hay dos tipos diferentes de respuestas.
	La respuesta Y es la medida cuantitativa, una medida continua, por lo que esta es la tasa de progresión de la enfermedad y luego hay una segunda respuesta, Y Binaria, que es alta o baja.
	Entonces, Y Binary puede representar una alta tasa de progresión o una tasa baja de progresión.
	Y el objetivo del modelo predictivo aquí es predecir los pacientes que tienen más probabilidades de tener una alta tasa de progresión de la enfermedad, de modo que se puedan tomar las acciones correctivas.
	Para prevenir esto. Así que vamos a ... vamos a echar un vistazo a los modelos de ajuste en JMP Pro para ambas respuestas, y veremos cómo ajustar los mismos modelos utilizando la selección de modelos.
	Y antes de pasar a JMP, solo quiero hablar un poco sobre cómo comparamos los modelos predictivos.
	Comparamos modelos predictivos en el conjunto de validación o el conjunto de prueba. Entonces, básicamente, lo que estamos haciendo es ajustar un modelo a un subconjunto de nuestros datos llamados datos de entrenamiento.
	Y luego ajustamos ese modelo a los datos que se mantuvieron (normalmente los llamamos datos de validación) para ver qué tan bien funciona el modelo.
	Y si tenemos respuestas continuas, podemos usar medidas de error, por lo que la raíz significa error cuadrático (RMSE) o RASE, que es el error cuadrático promedio de ruta, por lo que esta es la medida del error de predicción.
	AAE, MAD, MAE, estas son medidas de error promedio y hay diferentes medidas de R cuadrado que podríamos usar.
	Para obtener respuestas categóricas, a menudo nos interesan las medidas de error o clasificación errónea.
	También podríamos estar interesados en mirar una curva ROC, mirar AUC (área bajo la curva) o sensibilidad, o especificidad, falsos positivos, tasa de falsos negativos.
	el F1-Score y MCC, que es el coeficiente de correlación de Matthews.
	Así que déjame cambiar a JMP.
	Guarde esto y abriré los datos de diabetes.
	Y déjame hacer esto a lo grande para que puedas verlo.
	Entonces estos son los datos. Hay ... hay información sobre 442 pacientes, y nuevamente, tenemos una respuesta Y, que es continua y esta es la cantidad de progresión de la enfermedad después de un año. Y comenzaremos mirando Y, pero luego también tenemos la segunda variable, Y Binary.
	Tenemos información de referencia.
	Y hay una validación de columna. Entonces, nuevamente la validación, cuando ajustamos modelos, vamos a ajustar los modelos solo usando los datos de entrenamiento y usaremos los datos de validación para decirnos cuándo dejar de hacer crecer el modelo y para darnos medidas de cuán bueno es el modelo realmente encaja.
	Ahora, para construir esta columna, hay una utilidad en el modelado predictivo llamada columna de validación del modelo.
	Y esto nos brinda muchas opciones para construir una columna de validación, de modo que podamos dividir sus datos en validación de entrenamiento y un conjunto de prueba.
	Y, en la mayoría de los casos, si usamos este tipo de técnica de dividir nuestros datos en subconjuntos,
	Se recomienda tener un equipo de prueba. Tener un conjunto de prueba le permite tener una evaluación del rendimiento del modelo en datos que no se usaron para construir los modelos o para detener el crecimiento del modelo, por lo que lo recomendaría, aunque no tengamos un conjunto de prueba en este caso.
	Entonces, digamos que quiero ... Quiero encontrar un modelo que prediga con mayor precisión la respuesta. Entonces, como vio, hay muchos modelos diferentes para elegir.
	Empezaré con el modelo de ajuste.
	Y este suele ser un buen punto de partida.
	Así que voy a construir un modelo de regresión con Y como nuestra respuesta, las X como efectos del modelo, y solo incluiré los efectos principales en este punto. Y voy a agregar una columna de validación.
	Ahora, desde el modelo de ajuste, el valor predeterminado aquí serán los mínimos cuadrados estándar, pero hay muchos tipos diferentes de modelos que podemos ajustar.
	Simplemente voy a ejecutar el modelo de mínimos cuadrados.
	Un par de cosas para señalar aquí. Observe el marcador aquí, V.
	Recuerde que ajustamos nuestro modelo a los datos de entrenamiento, pero también queremos ver qué tan bien se desempeña el modelo en los datos de validación, por lo que todos estos marcadores con una V son observaciones en el conjunto de validación.
	Debido a que tenemos validación, aquí hay una sección de validación cruzada, por lo que podemos mirar el cuadrado R en el conjunto de entrenamiento y también en el conjunto de validación y luego RASE.
	Y, a menudo, lo que verá es que las estadísticas de validación serán algo peores que las estadísticas de entrenamiento y, cuanto más lejos estén, mejor será la indicación de que su modelo está sobreajustado o desajustado.
	Quiero señalar otra cosa aquí que está realmente más allá del alcance de esta charla, y ese es este perfilador de predicciones.
	Y el perfilador de predicciones
	es en realidad una de las razones por las que comencé a usar JMP. Es una forma realmente poderosa de entender su modelo.
	Y entonces puedo cambiar los valores de cualquier X y ver qué sucede con la respuesta predicha, y este es el promedio, entonces con
	estos modelos, estamos prediciendo el promedio. Pero observe cómo estas bandas se despliegan para el colesterol total y LDL, HDL, ¿verdad? Y esto se debe a que no tenemos datos en esas regiones.
	De modo que la nueva característica, que quiero señalar muy rápidamente y nuevamente, esto está más allá del alcance de esta charla, es lo que se llama control de extrapolación. Y si enciendo una advertencia y arrastro
	colesterol total, observe que me dice que hay una posible extrapolación. Esto me dice que estoy tratando de predecir en una región donde realmente no tengo ningún dato, y si cambio
	este control de extrapolación activado, observe que trunca esta barra, esta línea, por lo que básicamente está diciendo que no puede hacer predicciones en esa región. Por lo tanto, es algo que quizás desee verificar si está ajustando modelos. Es una herramienta realmente poderosa.
	Entonces, digamos que he hecho todo el trabajo de diagnóstico. He reducido este modelo y quiero poder guardar mis resultados.
	Bueno, hay un par de formas de hacer esto. Puedo ir a la columna roja, guardar columnas, guardar la fórmula de predicción.
	Así que esto guarda el modelo lineal que acabo de construir en la tabla de datos. Entonces puedes verlo aquí en segundo plano. Y luego, si agrego nuevos valores a esta tabla de datos, predecirá automáticamente la respuesta.
	Pero es posible que desee guardar el modelo en otra forma, así que para hacer esto, podría publicar
	esta fórmula en el depósito de fórmulas. Y el depósito de fórmulas es en realidad independiente de mi tabla de datos, pero lo que esto me permite hacer es copiar el script y pegarlo en otra tabla de datos con nuevos datos para puntuar nuevos datos.
	O podría querer generar código en un lenguaje diferente para permitirme implementar esto dentro de algún tipo de sistema de producción.
	Voy a seguir adelante y cerrar esto. Este es solo un modelo. Ahora bien, ¿es posible, si me ajusto a un modelo más complicado o sofisticado, que pueda obtener un mejor rendimiento?
	Entonces podría encajar en otro modelo. Entonces, por ejemplo, podría ... solo presionaré para recordar. Podría cambiar la personalidad de mínimos cuadrados estándar para generalizar la regresión.
	Y esto me permite especificar diferentes distribuciones de respuesta. Y me quedaré con lo normal y haré clic en ejecutar.
	Entonces esto me permitirá ajustar diferentes métodos penalizados y también usar diferentes técnicas de selección de variables. Y si no ha comprobado la regresión generalizada,
	Es una plataforma de modelado moderna súper potente y súper flexible. Solo voy a hacer clic en ir. Y digamos que encajo con este modelo
	y quiero poder comparar este modelo con el modelo que ya guardé. Así que podría guardar la fórmula de predicción en la tabla de datos. Entonces ahora tengo otra columna en segundo plano en la tabla de datos.
	O tal vez quiera volver a publicar esto.
	a
	el detalle de la fórmula, así que ahora tengo dos modelos diferentes aquí. Y puedo seguir adelante. Entonces, este es solo un modelo de regresión generalizada. También puedo colocar varios tipos diferentes de
	modelos predictivos del menú de modelado predictivo, por ejemplo, redes neuronales o bosque de partición o arranque o árboles impulsados.
	Ahora, normalmente lo que tendría que hacer es ajustar todos estos modelos, guardar los resultados en la tabla de datos o en el depósito de fórmulas, y si los guardo en
	la tabla de datos, puedo usar esta plataforma de comparación de modelos para comparar los diferentes modelos de la competencia. Y puede que tenga muchos modelos, aquí solo tengo dos.
	Y en realidad ni siquiera tengo que especificar cuáles son los modelos, solo necesito especificar la validación. Y de hecho, me gusta poner la validación aquí en el campo by.
	Entonces, esto me da mis estadísticas de ajuste tanto para el conjunto de entrenamiento como para el conjunto de validación, y solo voy a mirar las estadísticas para el paso de validación. Entonces, usaría esto para ayudarme a elegir el modelo con mejor rendimiento.
	Y lo que me interesa es un valor más alto de R cuadrado, un valor más bajo de RASE (el error cuadrático promedio de la raíz) y un error absoluto promedio más bajo. Y entre estos dos modelos, parece que este modelo de regresión de mínimos cuadrados de ajuste es el mejor.
	Ahora, si tuviera que ajustar todos los modelos posibles, esto puede ... esto puede llevar bastante tiempo. Entonces, en lugar de hacer esto, lo nuevo en JMP Pro 16 es una plataforma llamada detección de modelos.
	Y cuando lanzo la selección de modelos, tiene un diálogo en la parte superior, tal como lo hemos visto, así que seguiré adelante y completaré esto.
	Y agregaré una validación, pero al lado, lo que ves es que puedo seleccionar varios modelos diferentes y adaptarlos todos a la vez.
	Entonces, árbol de decisión, bosque de arranque, árbol impulsado, K vecinos más cercanos, claro, puedo ajustar todos estos modelos.
	Y no ejecutará modelos que no tengan sentido, por lo que tengo una regresión logística de respuesta continua como una de mis opciones, no ejecutará un modelo de regresión logística
	con una respuesta continua. Tenga en cuenta que también tengo esta opción aquí, XGBoost.
	Y la razón que aparece es que hay un complemento y en realidad usa bibliotecas de código abierto, y si instala este complemento (está disponible en nuestra comunidad de usuarios de JMP,
	se llama XGBoost y solo funciona en JMP Pro), pero si instala este complemento, aparecerá automáticamente en el diálogo de selección del modelo.
	Así que voy a hacer clic en Aceptar, y cuando hago clic en Aceptar, lo que va a hacer es salir e iniciar cada una de estas plataformas.
	Y luego reunirá todos los resultados en una sola ventana. Así que hice clic en Aceptar. No tengo muchos datos aquí, así que es muy rápido.
	Y debajo de los detalles, estos son todos los modelos individuales que se ajustaron. Y si abro cualquiera de estos diálogos, puedo ver los resultados y tengo acceso a opciones adicionales que estarán disponibles en ese menú.
	Así que voy a esconder los detalles. Y, de forma predeterminada, lo que se hace es informar las estadísticas de los datos de entrenamiento, pero me muestra los resultados de los datos de validación, por lo que puedo ver R cuadrado y puedo ver RASE.
	Y, de forma predeterminada, se clasifica en orden de RASE, donde el más bajo es el mejor.
	Pero tengo algunas pequeñas opciones de atajos aquí, así que si quisiera encontrar los mejores modelos y podría ser que el cuadrado R sea mejor para algunos modelos, pero RASE es mejor para otros, haré clic en seleccionar dominante .
	Y en este caso, seleccionó el impulso neuronal, por lo que en todos estos modelos, el mejor modelo es el impulso neuronal. Y si quiero echar un vistazo más de cerca a este modelo, puedo ver los detalles aquí debajo de neuronal
	o, simplemente puedo decir, ejecutar seleccionado.
	Ahora no hablé de esto, pero en la ventana de diálogo hay una opción para establecer una semilla aleatoria.
	Y si establezco esa semilla aleatoria, los resultados que se lancen aquí serán idénticos a los que veo aquí. Así que esto es un ... esto es un
	modelo neuronal con tres nodos que utiliza la función TanH, pero también utiliza el impulso. Entonces, al diseñar esta plataforma, los desarrolladores hicieron muchas simulaciones para determinar el mejor punto de partida y la mejor configuración predeterminada para los diferentes modelos.
	Así que lo mejor es un impulso neuronal.
	Y
	si quiero poder implementar este modelo, ahora lo que puedo hacer es guardar el script
	o podría ejecutarlo, o puedo guardarlo en la fórmula más profunda.
	Entonces esto es con una respuesta continua y hay algunas otras opciones debajo del triángulo rojo. ¿Qué pasa si tengo una respuesta categórica? Para una respuesta categórica, puedo usar la misma plataforma. De nuevo, iré a la proyección de modelos.
	Haré clic en recordar, pero en lugar de usar Y, usaré Y Binary.
	Y no voy a cambiar ninguno de los métodos predeterminados. Pondré una semilla aleatoria, por ejemplo, 12345, solo estoy tomando un número aleatorio.
	Y lo que esto hará es darme repetibilidad. Entonces, si guardo algún modelo en la tabla de datos o en el depósito de fórmulas,
	las estadísticas serán las mismas en el modelo, el ajuste será el mismo. Algunas otras opciones aquí. Es posible que queramos desactivar algunas cosas como los informes.
	Es posible que deseemos utilizar un método de validación cruzada diferente, por lo que esta plataforma incluye la validación de K fold, pero también utiliza la validación de K fold anidada.
	Y podemos repetir esto. Tan realmente agradable. A veces, dividir nuestros datos en validación de entrenamiento y pruebas no es lo mejor y K veces
	en realidad, puede ser un poco mejor. Y hay algunas opciones adicionales en la parte inferior. Por lo tanto, es posible que deseemos agregar interacciones bidireccionales. Podríamos querer agregar efectos cuadráticos.
	Con métodos adicionales, esto se ajustará a métodos de regresión generalizados adicionales. Así que voy a seguir adelante y hacer clic en Aceptar.
	está bien. Ejecuta todos los modelos y, de nuevo, se trata de un pequeño conjunto de datos. Es muy rapido.
	Correcto, la apariencia es la misma, pero ahora las estadísticas son diferentes. Entonces tengo la tasa de clasificación errónea. Tengo un área debajo de la curva. También tengo algunas medidas de R cuadrado y luego el error cuadrático promedio de raíz.
	Voy a hacer clic en seleccionar dominante y, de nuevo, el método dominante es potenciado neuronal.
	Ahora, ¿qué pasa si quiero poder explorar algunos de estos diferentes modelos? Entonces, esa clasificación errónea aquí es una cantidad bastante menor que la de paso a paso.
	El AUC es algo similar, es el más bajo en general, pero tal vez no mucho mejor. Y déjame agarrar algunos de estos. Entonces, si hago clic en algunos de estos, tal vez ... tal vez seleccione estos cuatro, estos cinco.
	Puedo mirar curvas ROC, si estoy interesado en mirar curvas ROC para comparar los modelos.
	Y aquí hay algunos controles agradables que me permiten apagar modelos y concentrarme en ciertos modelos.
	Y una nueva característica que me entusiasma mucho es lo que se llama umbral de decisión.
	Y lo que el umbral de decisión nos permite mirar,
	y comienza mirando los datos de entrenamiento, nos está dando una instantánea de nuestros datos.
	Y la tasa de clasificación errónea se basa en un límite de 0,5 para la clasificación. Entonces, para cada uno de los modelos, me muestra los puntos que en realidad eran altos y bajos. Y si nos enfocamos en lo alto, los puntos verdes se clasificaron correctamente como altos.
	Y los que están en el área roja se clasificaron erróneamente, por lo que nos muestra clasificaciones correctas y clasificaciones incorrectas, y luego informa todas las estadísticas aquí al lado
	Y luego, a continuación, vemos varias métricas diferentes además de una gran cantidad de gráficos que nos permiten ver clasificaciones falsas y también clasificaciones verdaderas.
	Voy a cerrar esto y mirar el
	datos de validación.
	Entonces, ¿por qué es esto útil? Bueno, es posible que tenga un escenario particular en el que esté interesado en maximizar la sensibilidad
	manteniendo una cierta especificidad. Y sensibilidad ... y aquí hay algunas definiciones. La sensibilidad es la verdadera tasa positiva;
	la especificidad es la verdadera tasa negativa. Este es un ... este es un escenario en el que queremos observar la progresión de la enfermedad, por lo que queremos asegurarnos de que estamos ... estamos manteniendo una alta tasa de sensibilidad
	al mismo tiempo que nos aseguramos de que nuestra especificidad sea alta, está bien. Entonces, lo que podemos hacer con esto es que hay un control deslizante aquí, y podemos tomar este control deslizante,
	y podemos ver cómo cambian las clasificaciones a medida que cambiamos el límite para la clasificación.
	Así que creo que esta es una herramienta realmente poderosa cuando se buscan modelos de la competencia, porque es posible que algunos modelos tengan el valor general con un corte de .5, es posible que tengan la mejor tasa de clasificación errónea.
	Pero también puede tener escenarios en los que, si cambia el límite de clasificación, diferentes modelos pueden funcionar de manera diferente. Entonces, por ejemplo, si estoy en una región determinada aquí, podría encontrar que el modelo paso a paso es en realidad mejor.
	Ahora, para ilustrar más esto, quiero abrir un ejemplo diferente.
	Y este ejemplo se llama marketing de tarjetas de crédito.
	Y si vuelvo a mis diapositivas solo para presentar este escenario.
	Este es un escenario donde
	tenemos muchos datos basados en estudios de mercado sobre la aceptación de ofertas de tarjetas de crédito.
	La respuesta es, ¿se aceptó la oferta? Y este es un escenario en el que solo el 5,5% de las ofertas del estudio fueron realmente aceptadas.
	Ahora hay factores que nos interesan, por lo que se ofrecen diferentes tipos de recompensas,
	y hay diferentes tipos de correo. Así que este es en realidad un experimento diseñado. Vamos a, en cierto modo, en realidad, a ignorar esa parte ... ese aspecto de este estudio.
	Y también hay información financiera, así que vamos a ceñirnos a ... ceñirnos a un objetivo en este ejemplo, y ese es el objetivo de identificar a los clientes que tienen más probabilidades de aceptar la oferta.
	Y si podemos identificar a los clientes que son más probables, en este escenario podríamos enviar ofertas solo al subconjunto que tiene más probabilidades de aceptar la oferta e ignorar el resto. Así que ese es el escenario aquí.
	Y voy a abrir estos datos.
	Tengo 10,000 observaciones y mi respuesta es una oferta aceptada.
	Y ya guardé el script en la tabla de datos, así que tengo millas aéreas, tipo de correo, nivel de ingresos, calificación crediticia y algunos otros datos financieros.
	Está pasando por ... Ejecuté un guión guardado. Está pasando por ejecutar todos los modelos. Y neuronal, en este caso, tomará más tiempo porque está ejecutando una neuronal impulsada.
	Tardará unos segundos más. Está ejecutando máquinas de vectores de soporte. Las máquinas de vectores de soporte se agotarán y, en realidad, no se ejecutarán si tengo más de 10,000 observaciones.
	Le voy a dar otro segundo. Estoy usando la validación, así que estoy usando la validación estándar para esto, donde tengo una columna de validación. Y en este caso, tengo una columna de ceros y unos y JMP reconocerá los ceros para los datos de entrenamiento y los unos para los datos de validación.
	Bueno. Allá vamos. De acuerdo, se ejecutó, y si está tratando con una tabla de datos grande, hay un ... hay un informe que puede ejecutar
	para mirar los tiempos transcurridos. Y para este escenario, la máquina de vectores de soporte en realidad tomó más tiempo, y esta es la razón por la que, a veces, no se ejecutará si tenemos más de 10,000 observaciones.
	Así que miremos estos. Entonces, nuestro mejor modelo, si selecciono dominante, es un árbol de decisión y un impulso neuronal, pero quiero señalar algo aquí. Observe la tasa de clasificación errónea.
	La tasa de clasificación errónea es idéntica para todos los modelos, excepto las máquinas de vectores de soporte. ¿Y por qué es este el caso? Bueno, si ejecuto una distribución de oferta aceptada
	(déjeme hacer esto un poco más grande para que podamos verlo) y solo concéntrese en los datos de validación, observe que el punto .063% de nuestras observaciones fueron Sí. Esto es exactamente lo que predijo nuestro modelo.
	¿Y por qué está haciendo esto?
	Volveré a pedir el umbral de decisión.
	Y enfocándonos en este gráfico aquí, y este gráfico tiene muchos usos, y en este caso, lo que nos muestra es que nuestro límite para la clasificación es .5
	pero ninguna de nuestras probabilidades ajustadas estaba ni siquiera cerca de eso, ¿verdad? Entonces, como resultado, el modelo clasificó los no correctamente como no
	o clasificó los sí como no. Nunca clasificó nada como un sí, porque ninguna de las probabilidades era superior a 0,5. Entonces, si estiro a este tipo,
	Bien, puedo ver la diferencia en estos dos modelos. De modo que la probabilidad máxima era de alrededor de 0,25 para el árbol de decisión potenciado y de alrededor de 0,15.
	Y observe que para el árbol de decisión, el árbol de decisión básicamente está haciendo una serie de divisiones binarias y básicamente tengo varios valores predictivos, mientras que un impulso neuronal me muestra un patrón aleatorio agradable en los puntos. Así que déjame cambiar esto a algo así como .12.
	Correcto, y se cortó en .12, de hecho, si deslizo esto, noto que cuanto más bajo, en realidad empiezo a obtener (voy a activar las métricas aquí), comienzo a obtener algunos verdaderos positivos.
	Y empiezo a tener algunos falsos positivos. Así que mientras arrastro esto, puedes verlo en la barra, pero la barra es un poco pequeña, ¿verdad? Estimulado neuronal, estoy empezando a ver algunos verdaderos positivos y algunos falsos positivos.
	Y ahora empiezas a verlos. Tan pronto como supere este primer conjunto de puntos, empiezo a verlo como árbol de decisiones.
	Por lo tanto, usar un límite de .5 no tiene sentido para estos datos y, de nuevo, podría ... podría intentar encontrar un límite que me brinde la mayor sensibilidad, mientras mantengo un nivel decente de especificidad.
	En este caso, voy a señalar estas otras dos estadísticas.
	F1 es la puntuación de F1, y esta es realmente una medida de qué tan bien podemos capturar los verdaderos aspectos positivos.
	MCC es el coeficiente de correlación de Matthews, y esta es una buena medida de qué tan bien clasifica dentro de cada una de las cuatro posibilidades. Entonces tengo ...
	Puedo tener un falso positivo, un falso negativo, un verdadero positivo, un verdadero negativo.
	Y en realidad no dije eso correspondiente a las casillas aquí, pero tengo cuatro opciones diferentes. MCC es un coeficiente de correlación que cae entre menos uno y más uno, que mide cómo voy a predecir en cada cuatro ... en cada uno de esos cuatro cuadros.
	Por lo tanto, es posible que desee explorar el corte que le brinda el valor máximo de F1 o el valor máximo de MCC. Y digamos que arrastro de esta manera hacia abajo. Fíjate que
	la sensibilidad está creciendo rápidamente y la especificidad está empezando a caer, así que tal vez alrededor de .5, correcto, llego a un punto en el que estoy empezando a caer demasiado en la especificidad.
	Podría encontrar un corte y en la parte inferior hay esta opción para establecer una matriz de ganancias. Si establezco esto como mi matriz de ganancias, básicamente, lo que sucederá es que me permitirá obtener nuevos datos usando este límite.
	Entonces, si configuro esto aquí y presiono OK, correcto, cualquier predicción futura que haga, si guardo esto en la tabla de datos o en el depósito de fórmulas, usará ese límite.
	Y este es un escenario en el que podría tener alguna información financiera que podría incorporar a la matriz de ganancias.
	Entonces, por ejemplo, en lugar de usar el control deslizante para elegir el límite, tal vez tenga algún conocimiento del valor en dólares asociado con mis clasificaciones. Y tal vez si la respuesta real es un no,
	pero les envío una oferta, así que hay un sí, creo que van a ser sí y les envío una oferta. Tal vez esto me cueste $ 5, cierto, entonces tengo un valor negativo allí.
	Y tal vez tenga una idea de las ganancias potenciales, así que tal vez las ganancias ... las ganancias potenciales durante este período de tiempo sean de $ 100 y tal vez haya perdido alguna oportunidad. Tal vez digo, ya sabes, es -100 si
	la persona en realidad habría respondido, pero no les envié la oferta. Entonces, tal vez esta sea una oportunidad perdida y, a veces, lo dejamos en blanco. Ahora, si uso esto en su lugar,
	Tengo información adicional que aparece, por lo que reconoce que tengo una matriz de ganancias. Y ahora, si miro las métricas, puedo tomar decisiones sobre mi mejor modelo en función de este beneficio.
	Así que estoy aportando esta información adicional a la toma de decisiones y, a veces, tenemos una matriz de ganancias y podemos usarla directamente y otras veces no. Y este es uno de esos casos en los que puedo ver que el modelo con refuerzo neuronal me dará las mejores ganancias generales.
	Así que este es un adelanto de la selección de modelos y permítanme volver a mis diapositivas.
	¿Y qué hemos visto aquí? Bueno, hablamos de modelos predictivos.
	y cómo el modelado predictivo tiene un objetivo diferente al modelado explicativo. Entonces, nuestro objetivo aquí es predecir o clasificar con precisión los resultados futuros, por lo que queremos puntuar las observaciones futuras.
	Y normalmente vamos a ajustar y comparar muchos modelos mediante la validación y elegir el modelo o la combinación de modelos que hace el mejor trabajo, que predice con mayor precisión.
	La selección de modelos realmente agiliza este flujo de trabajo para que pueda adaptarse a muchos modelos diferentes, al mismo tiempo, con una plataforma.
	Y en realidad solo elegí el predeterminado, por lo que puedo colocar modelos mucho más sofisticados de los que realmente encajo allí. Hace que sea realmente fácil seleccionar los modelos dominantes, explorar los detalles del modelo. Podemos adaptarnos a nuevos modelos
	de los detalles. Este umbral de decisión, si está tratando con datos categóricos, le permite explorar los puntos de corte para la clasificación y también integra la capacidad de incluir una matriz de ganancias.
	Y para cualquier modelo seleccionado, podemos implementar el modelo en el depósito de fórmulas o guardarlo en la tabla de datos. Así que una nueva herramienta realmente poderosa.
	Para más información. Las métricas de clasificación, las sé antes de ver la puntuación F1 y el coeficiente de correlación de Matthews, esas estadísticas eran relativamente nuevas para mí.
	Para dar sentido a la sensibilidad y la especificidad, esta publicación de Wikipedia tiene algunos ejemplos realmente agradables y una discusión realmente agradable.
	También hay algunos recursos realmente buenos para el modelado predictivo y también el cribado de modelos. En la comunidad de usuarios de JMP, hay una nueva ruta, Learn JMP, que tiene acceso a videos,
	Dominando los videos de la serie JMP. Hubo una charla muy agradable el año pasado en el JMP Discovery en Tucson por Ruth Hummel y Mary Loveless sobre qué modelo y cuándo.
	Y esto hace un buen trabajo al hablar sobre diferentes objetivos de modelado y cuándo es posible que desee utilizar cada uno de los modelos.
	Si es nuevo en el modelado predictivo, nuestro curso en línea gratuito, STIPS, que es Pensamiento estadístico para la resolución de problemas industriales, el Módulo 7 es una introducción al modelado predictivo.
	Así que recomiendo esto. Hay un blog de detección de modelos que utiliza los datos de diabetes que señalaré, y también quiero señalar que hay una segunda edición de este libro, Building Better Models with JMP Pro,
	que saldrá en los próximos meses. Todavía no tienen una nueva portada, pero van a ... incluir la proyección de modelos en ese libro.
	Entonces eso es todo lo que tengo. No dude en publicar comentarios para esta publicación o hacer preguntas, y espero que disfrute el resto de la conferencia. Gracias.

Lo mejor de la cumbreFugarseModelado predictivo