| Vocero |
Transcripción |
| Mia Stephens |
selección de modelos. |
| |
Si trabaja con modelos predictivos, descubrirá que la selección de modelos le ayudará a optimizar su flujo de trabajo de modelos predictivos. |
| |
En esta charla voy a ofrecer una descripción general del modelado predictivo y hablar sobre los diferentes tipos de modelos predictivos que podemos usar en JMP. |
| |
Hablaremos sobre el flujo de trabajo de modelado predictivo dentro del flujo de trabajo de análisis más amplio, y veremos cómo la selección de modelos puede ayudarnos a optimizar este flujo de trabajo. |
| |
Hablaré de algunas métricas para comparar modelos competitivos utilizando datos de validación y veremos un par de ejemplos en JMP Pro. |
| |
Primero hablemos un poco sobre el modelado predictivo y qué es el modelado predictivo. |
| |
Probablemente hayas estado expuesto al análisis de regresión, y la regresión es un ejemplo de modelado explicativo. En la regresión, normalmente nos interesa construir un modelo. |
| |
Para una respuesta, o Y, en función de una o más X, podríamos tener diferentes objetivos de modelado. Podríamos estar interesados en identificar variables importantes. Entonces, ¿cuáles son las X clave, o variables de entrada clave? |
| |
por ejemplo, en un entorno de resolución de problemas, ¿en qué podríamos centrarnos para abordar el tema? |
| |
Podríamos estar interesados en entender cómo cambia la respuesta, en promedio, en función de las variables de entrada. |
| |
Un cambio de una unidad en X está asociado con un cambio de cinco unidades en Y. Así que este es un modelo explicativo clásico y si has estudiado estadística en la escuela, probablemente así es como aprendes sobre regresión. |
| |
En contraste, el modelado predictivo tiene un objetivo ligeramente diferente. En el modelado predictivo, nuestro objetivo es predecir o clasificar con precisión los resultados futuros. |
| |
Entonces, si nuestra respuesta es continua, queremos ser capaces de predecir la siguiente observación, el siguiente resultado, de la forma más precisa y exacta posible. |
| |
Y si nuestra respuesta es categórica, nos interesa la clasificación. Y, de nuevo, nos interesa usar los datos actuales para predecir qué sucederá a nivel individual en el futuro. |
| |
Podríamos ajustar y comparar muchos modelos diferentes, y en el modelado predictivo también podríamos usar modelos más avanzados. Podríamos emplear técnicas de aprendizaje automático como redes neuronales. |
| |
Algunos de estos modelos podrían no ser tan fáciles de interpretar, y muchos de ellos tienen muchos parámetros de ajuste diferentes que podemos configurar. Por lo tanto, con el modelado predictivo podemos tener problemas de sobreajuste. |
| |
Lo que significa sobreajuste es que ajustamos un modelo que es más complejo de lo que debería ser. |
| |
Entonces, con el modelado predictivo generalmente utilizamos la validación y hay varias formas diferentes de validación que podemos utilizar. |
| |
Utilizamos la validación para comparar y seleccionar modelos y, fundamentalmente, protege contra el sobreajuste, pero también contra el subajuste. |
| |
Y el subajuste ocurre cuando ajustamos un modelo que no es tan complejo como debería ser. No captura la estructura de nuestros datos. |
| |
Ahora, en el apéndice al final de las diapositivas, he seleccionado algunas diapositivas que ilustran por qué es importante la validación, pero para el foco de esta charla simplemente voy a utilizar la validación cuando ajuste modelos predictivos. |
| |
Hay muchos tipos diferentes de modelos que podemos incorporar en JMP Pro, y esta no es de ninguna manera una lista exhaustiva. |
| |
Podemos ajustar varios tipos de modelos de regresión. Si tenemos una respuesta continua, podemos ajustar un modelo de regresión lineal. |
| |
Si nuestra respuesta es categórica, un modelo de regresión logística, pero también podemos ajustar modelos lineales generalizados y penalizar métodos de regresión, y todos estos son de la plataforma de modelos de ajuste. |
| |
Hay muchas opciones bajo la plataforma de modelado predictivo, por lo que se pueden usar redes neuronales, redes neuronales con boosting y diferentes números de capas y nodos. |
| |
árboles de clasificación y regresión, métodos basados en árboles más avanzados y varias otras técnicas. |
| |
Y también hay un par de opciones de modelado predictivo desde la plataforma de métodos multivariados, por lo que el análisis discriminante |
| |
Y los mínimos cuadrados parciales son dos tipos de modelos diferentes... dos tipos adicionales que podemos usar para el modelado predictivo. Y, por cierto, los mínimos cuadrados parciales también están disponibles en el modelo de ajuste. |
| |
¿Y por qué tenemos tantos modelos? |
| |
En el modelado predictivo, a menudo encontrará que ningún modelo |
| |
El tipo de modelado siempre funciona mejor. En ciertas situaciones, una red neuronal puede ser la mejor opción, y las redes neuronales suelen tener un rendimiento bastante bueno. |
| |
Pero es posible que en otros casos descubra que un modelo más simple funciona mejor, por lo que el tipo de modelo que se adapta mejor a sus datos y predice con mayor precisión se basa en gran medida en su respuesta, pero también en la estructura de sus datos. |
| |
Por lo tanto, es posible que ajuste varios tipos diferentes de modelos y los compare antes de encontrar el modelo que se ajuste con mayor precisión o que prediga con mayor exactitud. |
| |
Entonces, dentro del flujo de trabajo analítico más amplio, donde comienzas con algún tipo de problema que estás tratando de resolver, y compilas datos, preparas los datos y exploras los datos, |
| |
El modelado predictivo se reduce en el análisis y la construcción de modelos. El flujo de trabajo típico de modelado predictivo podría ser similar a esto: se ajusta un modelo con validación. |
| |
Luego, guarda esa fórmula en una tabla de datos o publícala en el depósito de fórmulas. |
| |
Y luego ajustas otro modelo y repites esto, por lo que puedes ajustar varios modelos diferentes. |
| |
Y luego comparar estos modelos. En JMP Pro, puede usar la plataforma de comparación de modelos para esto: comparar el rendimiento de los modelos con los datos de validación, elegir el mejor modelo o la mejor combinación de modelos y luego implementarlo. |
| |
Y lo que es diferente con la selección de modelos es que todo el ajuste y la comparación de modelos, esta selección se realiza dentro de una plataforma, la plataforma de selección de modelos. |
| |
Entonces, vamos a utilizar un ejemplo con el que quizás estén familiarizados, y hay un blog sobre la evaluación de modelos que utiliza estos datos que está publicado en la Comunidad, y estos son los datos de diabetes. |
| |
Entonces, el escenario es que los investigadores quieren predecir la tasa de progresión de la enfermedad, un año después del inicio. |
| |
Entonces, hay varias mediciones de referencia y luego hay dos tipos diferentes de respuestas. |
| |
La respuesta Y es la medida cuantitativa, una medida continua, por lo que es la tasa de progresión de la enfermedad y luego hay una segunda respuesta, Y binaria, que es alta o baja. |
| |
Por lo tanto, el binario Y puede representar una tasa de progresión muy alta o una tasa de progresión baja. |
| |
Y el objetivo del modelado predictivo aquí es predecir qué pacientes tienen más probabilidades de tener una alta tasa de progresión de la enfermedad, para que se puedan tomar las acciones correctivas. |
| |
Para evitar esto, analizaremos cómo ajustar los modelos en JMP Pro para ambas respuestas y veremos cómo ajustarlos mediante el filtrado de modelos. |
| |
Y antes de ir a JMP, solo quiero hablar un poco sobre cómo comparamos los modelos predictivos. |
| |
Comparamos modelos predictivos en el conjunto de validación o de prueba. Básicamente, ajustamos un modelo a un subconjunto de nuestros datos, llamado datos de entrenamiento. |
| |
Y luego ajustamos ese modelo a los datos que teníamos disponibles (normalmente los llamamos datos de validación) para ver qué tan bien funciona el modelo. |
| |
Y si tenemos respuestas continuas, podemos usar medidas de error, como el error cuadrático medio (RMSE) o RASE, que es el error cuadrático medio de ruta, por lo que esta es la medida del error de predicción. |
| |
AAE, MAD, MAE, estas son medidas de error promedio y hay diferentes medidas de R cuadrado que podríamos usar. |
| |
Para obtener respuestas categóricas, lo más frecuente es que nos interesen las medidas de error o clasificación errónea. |
| |
También nos podría interesar observar una curva ROC, mirar el AUC (área bajo la curva) o la sensibilidad, o especificidad, falsos positivos, tasa de falsos negativos. |
| |
el F1-Score y el MCC, que es el coeficiente de correlación de Matthews. |
| |
Entonces déjame pasar a JMP. |
| |
Guarde esto y abriré los datos sobre la diabetes. |
| |
Y déjame hacerlo grande para que puedas verlo. |
| |
Estos son los datos. Hay información sobre 442 pacientes y, de nuevo, tenemos una respuesta Y, que es continua y representa la progresión de la enfermedad después de un año. Comenzaremos analizando Y, pero también tenemos la segunda variable, Y binaria. |
| |
Disponemos de información de referencia. |
| |
Y hay una validación de columna. De nuevo, la validación: al ajustar los modelos, lo haremos únicamente con los datos de entrenamiento. Los datos de validación nos indicarán cuándo detener el crecimiento del modelo y nos darán medidas de su ajuste real. |
| |
Ahora, para construir esta columna, existe una utilidad en el modelado predictivo llamada columna de validación del modelo. |
| |
Y esto nos da muchas opciones para construir una columna de validación, de modo que podamos dividir sus datos en una validación de entrenamiento y un conjunto de prueba. |
| |
Y, en la mayoría de los casos, si utilizamos este tipo de técnica de dividir nuestros datos en subconjuntos, |
| |
Se recomienda tener un conjunto de pruebas. Este permite evaluar el rendimiento del modelo con datos que no se utilizaron para construirlo ni para detener su crecimiento. Por lo tanto, lo recomiendo, aunque no tengamos un conjunto de pruebas en este caso. |
| |
Digamos que quiero encontrar un modelo que prediga la respuesta con la mayor precisión. Como vieron, hay muchos modelos diferentes para elegir. |
| |
Comenzaré con el modelo de ajuste. |
| |
Y éste suele ser un buen punto de partida. |
| |
Así que voy a construir un modelo de regresión con Y como respuesta, las X como efectos del modelo y, por ahora, solo incluiré los efectos principales. Además, voy a añadir una columna de validación. |
| |
Ahora, desde el modelo de ajuste, el valor predeterminado aquí serán los mínimos cuadrados estándar, pero hay muchos tipos diferentes de modelos que podemos ajustar. |
| |
Simplemente voy a ejecutar el modelo de mínimos cuadrados. |
| |
Un par de cosas que destacar. Observen el marcador, V. |
| |
Recuerde que ajustamos nuestro modelo a los datos de entrenamiento, pero también queremos ver qué tan bien funciona el modelo en los datos de validación, por lo que todos estos marcadores con una V son observaciones en el conjunto de validación. |
| |
Debido a que tenemos validación, aquí hay una sección de validación cruzada, por lo que podemos observar el R cuadrado en el conjunto de entrenamiento y también en el conjunto de validación y luego RASE. |
| |
Y muchas veces lo que verás es que las estadísticas de validación serán algo peores que las estadísticas de entrenamiento, y cuanto más alejadas estén, mejor indicación será de que tu modelo está sobreajustado o subajustado. |
| |
Quisiera señalar aquí otra cosa que realmente está más allá del alcance de esta charla, y es este perfilador de predicciones. |
| |
Y el perfilador de predicciones |
| |
De hecho, es una de las razones por las que empecé a usar JMP. Es una forma muy eficaz de comprender el modelo. |
| |
Y entonces puedo cambiar los valores de cualquier X y ver qué sucede con la respuesta prevista, y este es el promedio, así que con |
| |
En estos modelos, predecimos el promedio. Pero observe cómo estas bandas se despliegan para el colesterol total, el LDL y el HDL. Esto se debe a que no disponemos de datos en esas regiones. |
| |
La nueva función que quiero destacar rápidamente, y esto, repito, está fuera del alcance de esta charla, es el control de extrapolación. Si activo una advertencia y arrastro... |
| |
Colesterol total. Observe que me indica que existe una posible extrapolación. Esto me indica que estoy intentando hacer una predicción en una región donde realmente no tengo datos, y si giro... |
| |
Este control de extrapolación activado... observe que trunca esta barra, esta línea, lo que básicamente indica que no se pueden hacer predicciones en esa región. Así que es algo que podría interesarle revisar si está ajustando modelos. Es una herramienta realmente potente. |
| |
Digamos que ya realicé todo el diagnóstico. Reduje este modelo y quiero guardar los resultados. |
| |
Bueno, hay un par de maneras de hacerlo. Puedo ir a la columna roja, guardar columnas y guardar la fórmula de predicción. |
| |
Esto guarda el modelo lineal que acabo de crear en la tabla de datos. Puedes verlo aquí en segundo plano. Y luego, si añado nuevos valores a esta tabla de datos, predecirá automáticamente la respuesta. |
| |
Pero es posible que quiera guardar el modelo en otro formato, así que para ello, podría publicarlo. |
| |
Esta fórmula se envía al depósito de fórmulas. Este depósito es independiente de mi tabla de datos, pero esto me permite copiar el script y pegarlo en otra tabla con datos nuevos para obtener nuevos datos. |
| |
O tal vez quiera generar código en un lenguaje diferente para poder implementarlo dentro de algún tipo de sistema de producción. |
| |
Voy a cerrar esto. Este es solo un modelo. Ahora bien, ¿es posible que, si instalo un modelo más complejo o sofisticado, obtenga un mejor rendimiento? |
| |
Así que podría ajustar otro modelo. Por ejemplo, podría... simplemente pulsar "recordar". Podría cambiar la personalidad de mínimos cuadrados estándar a regresión generalizada. |
| |
Esto me permite especificar diferentes distribuciones de respuesta. Me quedaré con la normal y haré clic en "Ejecutar". |
| |
Esto me permitirá ajustar diferentes métodos penalizados y también usar diferentes técnicas de selección de variables. Y si aún no has revisado la regresión generalizada, |
| |
Es una plataforma de modelado moderna, súper potente y flexible. Simplemente haré clic en "Ir". Y digamos que encajo en este modelo. |
| |
Quiero comparar este modelo con el que ya guardé. Así que podría guardar la fórmula de predicción en la tabla de datos. Ahora tengo otra columna en segundo plano en la tabla de datos. |
| |
O quizás quiera publicar esto nuevamente |
| |
a |
| |
El detalle de la fórmula, así que ahora tengo dos modelos diferentes. Y puedo seguir. Este es solo un modelo de regresión generalizada. También puedo ajustar varios tipos diferentes de |
| |
modelos predictivos del menú de modelado predictivo, por ejemplo, redes neuronales o particiones o bosques bootstrap o árboles potenciados. |
| |
Ahora, normalmente lo que tendría que hacer es ajustar todos estos modelos, guardar los resultados en la tabla de datos o en el depósito de fórmulas y, si los guardo en |
| |
La tabla de datos me permite usar esta plataforma de comparación de modelos para comparar los diferentes modelos de la competencia. Aunque tengo muchos modelos, aquí solo tengo dos. |
| |
Ni siquiera tengo que especificar cuáles son los modelos; solo necesito especificar la validación. De hecho, prefiero incluir la validación aquí, en el campo "por". |
| |
Esto me da las estadísticas de ajuste tanto para el conjunto de entrenamiento como para el de validación, y solo analizaré las estadísticas del paso de validación. Así que usaré esto para elegir el modelo con mejor rendimiento. |
| |
Lo que me interesa es un valor más alto de R cuadrado, un valor más bajo de RASE (error cuadrático medio) y un error absoluto medio más bajo. Entre estos dos modelos, parece que este modelo de regresión por mínimos cuadrados es el mejor. |
| |
Ahora bien, si tuviera que ajustar todos los modelos posibles, esto podría llevar bastante tiempo. Por eso, en lugar de esto, la novedad de JMP Pro 16 es una plataforma llamada cribado de modelos. |
| |
Y cuando inicio la selección de modelos, aparece un diálogo en la parte superior, tal como hemos visto, así que seguiré adelante y lo completaré. |
| |
Y agregaré una validación, pero en el costado, lo que ves es que puedo seleccionar varios modelos diferentes y ajustar todos estos modelos diferentes a la vez. |
| |
Entonces, árbol de decisiones, bosque bootstrap, árbol potenciado, K vecinos más cercanos, correcto, puedo ajustar todos estos modelos. |
| |
Y no ejecutará modelos que no tengan sentido, así que tengo una regresión logística de respuesta continua como una de mis opciones, no ejecutará un modelo de regresión logística. |
| |
Con una respuesta continua. Fíjense que también tengo esta opción aquí abajo: XGBoost. |
| |
Y la razón por la que aparece es que hay un complemento y en realidad utiliza bibliotecas de código abierto, y si instala este complemento (está disponible en nuestra comunidad de usuarios de JMP, |
| |
Se llama XGBoost y solo funciona en JMP Pro), pero si instala este complemento, aparecerá automáticamente en el cuadro de diálogo de selección de modelos. |
| |
Entonces, simplemente voy a hacer clic en Aceptar, y cuando haga clic en Aceptar, lo que hará es salir y lanzar cada una de estas plataformas. |
| |
Y luego se mostrarán todos los resultados en una sola ventana. Así que hice clic en "Aceptar". No tengo muchos datos, así que es muy rápido. |
| |
En los detalles, se muestran todos los modelos individuales que se ajustaron. Si abro cualquiera de estos diálogos, puedo ver los resultados y acceder a opciones adicionales disponibles en ese menú. |
| |
Así que voy a ocultar los detalles. De forma predeterminada, reporta las estadísticas de los datos de entrenamiento, pero me muestra los resultados de los datos de validación, para que pueda ver el R cuadrado y el RASE. |
| |
Y de forma predeterminada, se ordena según RASE, donde el más bajo es el mejor. |
| |
Pero tengo algunas pequeñas opciones de atajo aquí abajo, así que si quisiera encontrar los mejores modelos y pudiera ser que R cuadrado sea mejor para algunos modelos, pero RASE sea mejor para otros, voy a hacer clic en seleccionar dominante. |
| |
En este caso, se seleccionó potenciado neuronalmente, por lo que, entre todos estos modelos, el mejor es potenciado neuronalmente. Si quiero analizar este modelo con más detalle, puedo consultar los detalles aquí arriba, en la sección de potenciado neuronal. |
| |
o simplemente puedo decir, ejecutar seleccionado. |
| |
Ahora no hablé de esto, pero en la ventana de diálogo hay una opción para establecer una semilla aleatoria. |
| |
Y si establezco esa semilla aleatoria, los resultados que se lanzan aquí serán idénticos a los que veo aquí. Así que esto es... esto es... |
| |
Modelo neuronal con tres nodos que utiliza la función TanH, pero también utiliza boosting. Por lo tanto, al diseñar esta plataforma, los desarrolladores realizaron numerosas simulaciones para determinar el mejor punto de partida y la configuración predeterminada óptima para los diferentes modelos. |
| |
Así que el potenciado neuronal es el mejor. |
| |
Y |
| |
Si quiero poder implementar este modelo, ahora lo que puedo hacer es guardar el script. |
| |
o podría ejecutarlo, o podría guardarlo en la fórmula más profunda. |
| |
Esto es con una respuesta continua y hay otras opciones bajo el triángulo rojo. ¿Qué pasa si tengo una respuesta categórica? Para una respuesta categórica, puedo usar la misma plataforma. De nuevo, pasaré a la selección de modelos. |
| |
Haré clic en recuperar, pero en lugar de usar Y, usaré Y binario. |
| |
No cambiaré ninguno de los métodos predeterminados. Incluiré una semilla aleatoria; por ejemplo, 12345, simplemente tomaré un número aleatorio. |
| |
Esto me dará repetibilidad. Así que, si guardo cualquier modelo en la tabla de datos o en el repositorio de fórmulas, |
| |
Las estadísticas serán las mismas en el modelo y el ajuste será el mismo. Hay otras opciones. Quizás queramos desactivar algunas funciones, como los informes. |
| |
Es posible que queramos utilizar un método de validación cruzada diferente, por lo que esta plataforma incluye validación cruzada de K pliegues, pero también utiliza validación cruzada de K pliegues anidada. |
| |
Y podemos repetir esto. ¡Qué bien! A veces, dividir nuestros datos en entrenamiento, validación y prueba no es la mejor opción. |
| |
De hecho, puede ser un poco mejor. Y hay algunas opciones adicionales en la parte inferior. Así que podríamos añadir interacciones bidireccionales. Podríamos añadir efectos cuadráticos. |
| |
En la sección de métodos adicionales, se incluirán métodos de regresión generalizados adicionales. Así que haré clic en Aceptar. |
| |
Bien. Ejecuta todos los modelos y, repito, se trata de un conjunto de datos pequeño. Es muy rápido. |
| |
Bien, la apariencia es la misma, pero ahora las estadísticas son diferentes. Así que tengo la tasa de clasificación errónea. Tengo un área bajo la curva. También tengo algunas medidas de R cuadrado y la raíz cuadrada del error medio. |
| |
Voy a hacer clic en seleccionar dominante y, nuevamente, el método dominante es potenciado neuronalmente. |
| |
Ahora bien, ¿qué pasa si quiero explorar algunos de estos diferentes modelos? De esta manera, el error de clasificación aquí es bastante menor que en el modelo escalonado. |
| |
El AUC es bastante similar; es el más bajo en general, pero quizás no mucho mejor. Y déjame tomar algunos de estos. Si hago clic en algunos, quizás... quizás seleccione estos cuatro, estos cinco. |
| |
Puedo mirar las curvas ROC, si estoy interesado en mirar las curvas ROC para comparar los modelos. |
| |
Y hay algunos controles interesantes aquí que me permiten apagar modelos y concentrarme en ciertos modelos. |
| |
Y una nueva característica que realmente me entusiasma es esta cosa llamada umbral de decisión. |
| |
¿Y qué nos permite mirar el umbral de decisión? |
| |
Y comienza mirando los datos de entrenamiento, nos da una instantánea de nuestros datos. |
| |
La tasa de clasificación errónea se basa en un valor de corte de 0,5. Por lo tanto, para cada modelo, se muestran los puntos que fueron realmente altos y bajos. Y si nos centramos en los puntos altos, los puntos verdes se clasificaron correctamente como altos. |
| |
Y los que están en el área roja fueron clasificados erróneamente, por lo que nos muestra clasificaciones correctas y clasificaciones incorrectas, y luego informa todas las estadísticas aquí en el lateral. |
| |
Y luego, más abajo, vemos varias métricas diferentes y muchos gráficos que nos permiten ver clasificaciones falsas y también clasificaciones verdaderas. |
| |
Voy a cerrar esto y mirar el |
| |
datos de validación. |
| |
¿Por qué es esto útil? Bueno, puede que tengas una situación particular en la que te interese maximizar la sensibilidad. |
| |
manteniendo cierta especificidad. Y sensibilidad... y hay algunas definiciones aquí. La sensibilidad es la tasa de verdaderos positivos; |
| |
La especificidad es la tasa de verdaderos negativos. Este es un escenario en el que queremos observar la progresión de la enfermedad, por lo que queremos asegurarnos de mantener una alta tasa de sensibilidad. |
| |
Mientras nos aseguramos de que nuestra especificidad sea alta, ¿de acuerdo? Entonces, lo que podemos hacer con esto es que hay un control deslizante aquí, y podemos tomarlo, |
| |
y podemos ver cómo cambian las clasificaciones a medida que cambiamos el punto de corte para la clasificación. |
| |
Por eso creo que esta es una herramienta realmente poderosa cuando se analizan modelos competitivos, porque es posible que algunos modelos tengan un valor de corte general de 0,5 y puedan tener la mejor tasa de clasificación errónea. |
| |
Pero también podrían darse situaciones en las que, al cambiar el punto de corte de la clasificación, los distintos modelos podrían tener un rendimiento distinto. Por ejemplo, si me encuentro en una región determinada, podría descubrir que el modelo escalonado es mejor. |
| |
Ahora, para ilustrar esto mejor, quiero abrir un ejemplo diferente. |
| |
Y este ejemplo se llama marketing con tarjetas de crédito. |
| |
Y si vuelvo a mis diapositivas sólo para presentar este escenario. |
| |
Este es un escenario en el que |
| |
Tenemos muchos datos basados en estudios de mercado sobre la aceptación de ofertas de tarjetas de crédito. |
| |
La respuesta es: ¿Se aceptó la oferta? Y este es un escenario donde solo el 5,5% de las ofertas del estudio fueron aceptadas. |
| |
Ahora bien, hay factores que nos interesan, por lo que se ofrecen distintos tipos de recompensas, |
| |
Y hay diferentes tipos de correo. Así que este es, en realidad, un experimento diseñado. Vamos a ignorar ese aspecto de este estudio. |
| |
Y también hay información financiera, así que nos vamos a centrar en un objetivo en este ejemplo, que es el objetivo de identificar a los clientes que tienen más probabilidades de aceptar la oferta. |
| |
Y si podemos identificar a los clientes con mayor probabilidad, en este escenario podríamos enviar ofertas solo al subconjunto con mayor probabilidad de aceptarlas e ignorar al resto. Ese es el escenario. |
| |
Y voy a abrir estos datos. |
| |
Tengo 10.000 observaciones y mi respuesta es: oferta aceptada. |
| |
Y ya he guardado el script en la tabla de datos, por lo que tengo millas aéreas, tipo de correo, nivel de ingresos, calificación crediticia y algunos otros datos financieros. |
| |
Está ejecutando... Ejecuté un script de guardado. Está ejecutando todos los modelos. Y el neuronal, en este caso, tardará más tiempo porque está ejecutando un neuronal potenciado. |
| |
Tardará unos segundos más. Se están ejecutando máquinas de vectores de soporte. Estas máquinas se quedarán sin tiempo de espera y no se ejecutarán si tengo más de 10 000 observaciones. |
| |
Voy a esperar un segundo. Estoy usando la validación estándar, donde tengo una columna de validación. En este caso, tengo una columna de ceros y unos, y JMP reconocerá los ceros para los datos de entrenamiento y los unos para los de validación. |
| |
Bien. Listo. Bien, se ejecutó. Si trabajas con una tabla de datos grande, hay un informe que puedes ejecutar. |
| |
Para observar los tiempos transcurridos. En este escenario, la máquina de vectores de soporte fue la que tardó más tiempo, y por eso, a veces, no funciona si tenemos más de 10 000 observaciones. |
| |
Analicemos esto. Nuestro mejor modelo, si selecciono dominante, es un árbol de decisión potenciado por neuronas, pero quiero señalar algo: observen la tasa de clasificación errónea. |
| |
La tasa de clasificación errónea es idéntica para todos los modelos, excepto para las máquinas de vectores de soporte. ¿Y por qué? Bueno, si ejecuto una distribución de oferta aceptada |
| |
(déjame hacer esto un poco más grande para que podamos verlo) y solo concéntrate en los datos de validación, nota que el punto .063% de nuestras observaciones fueron Sí. Esto es exactamente lo que nuestro modelo predijo. |
| |
¿Y por qué hace esto? |
| |
Voy a pedir nuevamente el umbral de decisión. |
| |
Y centrándonos en este gráfico aquí, y este gráfico tiene muchos usos, y en este caso, lo que nos muestra es que nuestro punto de corte para la clasificación es 0,5. |
| |
Pero ninguna de nuestras probabilidades ajustadas se acercaba siquiera a eso, ¿cierto? Entonces, como resultado, el modelo clasificó los "no" correctamente como "no". |
| |
o clasificó los síes como noes. Nunca clasificó nada como un sí, porque ninguna de las probabilidades era mayor que 0,5. Así que, si lo extiendo, |
| |
Bien, puedo ver la diferencia entre estos dos modelos. La probabilidad máxima fue de alrededor de 0,25 para el modelo neuronal potenciado y de alrededor de 0,15 para el modelo de árbol de decisión. |
| |
Observen que, para el árbol de decisión, este realiza una serie de divisiones binarias y, básicamente, tengo varios valores predictivos, mientras que un árbol potenciado neuronalmente muestra un patrón aleatorio preciso en los puntos. Así que cambiemos esto a algo como 0,12. |
| |
Correcto, y se cortó en .12, de hecho, si lo deslizo, note que cuanto más bajo llego, en realidad comienzo a obtener (voy a activar las métricas aquí) comienzo a obtener algunos verdaderos positivos. |
| |
Y empiezo a ver algunos falsos positivos. Al arrastrar esto, se puede ver en la barra, pero es un poco pequeña, ¿verdad? Gracias a la potencia neuronal, empiezo a ver algunos verdaderos positivos y algunos falsos positivos. |
| |
Y ahora empiezas a verlos. En cuanto supero este primer conjunto de puntos, empiezo a verlos como árbol de decisiones. |
| |
Entonces, usar un valor de corte de .5 no tiene sentido para estos datos y nuevamente podría... podría intentar encontrar un valor de corte que me brinde la mayor sensibilidad, mientras mantiene un nivel decente de especificidad. |
| |
En este caso, voy a señalar estas otras dos estadísticas. |
| |
F1 es la puntuación F1, y esto es realmente una medida de lo bien que podemos capturar los verdaderos aspectos positivos. |
| |
El MCC es el coeficiente de correlación de Matthews, y es una buena medida de su clasificación dentro de cada una de las cuatro posibilidades. Así que tengo... |
| |
Puedo tener un falso positivo, un falso negativo, un verdadero positivo, un verdadero negativo. |
| |
Y no dije que correspondiera a las casillas aquí, pero tengo cuatro opciones diferentes. MCC es un coeficiente de correlación que oscila entre -1 y +1, y mide la probabilidad de que se produzcan resultados en cada una de esas cuatro casillas. |
| |
Quizás quiera explorar el corte que proporciona el valor máximo de F1 o el valor máximo de MCC. Supongamos que arrastro hacia abajo. Observe que... |
| |
La sensibilidad está creciendo rápidamente y la especificidad está empezando a disminuir, así que tal vez esté alrededor de 0,5, cierto, llego a un punto en el que estoy empezando a disminuir demasiado en especificidad. |
| |
Podría encontrar un límite y, en la parte inferior, esta opción permite establecer una matriz de ganancias. Si la establezco como mi matriz de ganancias, básicamente, me permitirá puntuar nuevos datos usando este límite. |
| |
Entonces, si configuro esto aquí y presiono Aceptar, correcto, cualquier predicción futura que haga, si la guardo en la tabla de datos o en el depósito de fórmulas, utilizará ese límite. |
| |
Y este es un escenario en el que realmente podría tener alguna información financiera que podría incorporar a la matriz de ganancias. |
| |
Así, por ejemplo, en lugar de usar el control deslizante para seleccionar el valor de corte, tal vez tenga conocimiento del valor en dólares asociado a mis clasificaciones. Y tal vez, si la respuesta real es un no, |
| |
Pero les envío una oferta, así que dicen que sí, creo que van a decir que sí, y les envío una oferta. Quizás me cueste $5, ¿no? Así que tengo un valor negativo. |
| |
Y tal vez tenga una idea de la ganancia potencial, así que tal vez la ganancia potencial durante este período sea de $100 y tal vez haya perdido alguna oportunidad. Tal vez diga, ya sabes, es -100 si |
| |
La persona habría respondido, pero no le envié la oferta. Así que quizás se pierda esta oportunidad y a veces dejamos este espacio en blanco. Ahora bien, si uso esto en su lugar, |
| |
Tengo información adicional que se muestra, lo que permite reconocer que tengo una matriz de ganancias. Y ahora, si reviso las métricas, puedo tomar decisiones sobre mi mejor modelo basándome en estas ganancias. |
| |
Así que incorporo esta información adicional a la toma de decisiones. A veces tenemos una matriz de ganancias y podemos usarla directamente, y a veces no. Y este es uno de esos casos en los que veo que el modelo potenciado neuronalmente me proporcionará las mejores ganancias generales. |
| |
Así que este es un adelanto de la proyección de modelos y permítanme volver a mis diapositivas. |
| |
¿Y qué hemos visto aquí? Bueno, hablamos de modelado predictivo. |
| |
Y cómo el modelado predictivo tiene un objetivo diferente al del modelado explicativo. Nuestro objetivo es predecir o clasificar con precisión los resultados futuros, por lo que queremos puntuar las observaciones futuras. |
| |
Y normalmente ajustaremos y compararemos muchos modelos usando validación y elegiremos el modelo o la combinación de modelos que haga el mejor trabajo, que prediga con mayor precisión. |
| |
La selección de modelos realmente agiliza este flujo de trabajo, de modo que puedes adaptar muchos modelos diferentes al mismo tiempo con una sola plataforma. |
| |
Y realmente solo usé la configuración predeterminada, así que puedo incorporar modelos mucho más sofisticados de los que ya incluyo. Esto facilita mucho la selección de los modelos dominantes y la exploración de sus detalles. Podemos incorporar nuevos modelos. |
| |
A partir de los detalles. Este umbral de decisión, si se trabaja con datos categóricos, permite explorar puntos de corte para la clasificación y también integra la posibilidad de incluir una matriz de beneficios. |
| |
Y para cualquier modelo seleccionado, podemos implementarlo en el repositorio de fórmulas o guardarlo en la tabla de datos. Una herramienta realmente potente. |
| |
Para más información. Las métricas de clasificación, antes de ver la puntuación de F1 y el coeficiente de correlación de Matthews, las conocía relativamente bien. |
| |
Para dar sentido a la sensibilidad y especificidad, esta publicación de Wikipedia tiene algunos ejemplos realmente buenos y una discusión muy interesante. |
| |
También hay recursos muy útiles para el modelado predictivo y la evaluación de modelos. En la comunidad de usuarios de JMP, hay una nueva ruta, "Aprende JMP", que ofrece acceso a videos. |
| |
Vídeos de la serie "Dominando JMP". El año pasado, en el JMP Discovery de Tucson, Ruth Hummel y Mary Loveless dieron una charla muy interesante sobre qué modelo usar y cuándo. |
| |
Y este es un buen trabajo al hablar sobre diferentes objetivos de modelado y cuándo es posible que desees utilizar cada uno de los modelos. |
| |
Si eres nuevo en el modelado predictivo, nuestro curso gratuito en línea, STIPS, que es Pensamiento estadístico para la resolución de problemas industriales, Módulo 7, es una introducción al modelado predictivo. |
| |
Así que recomiendo esto. Hay un blog sobre detección de modelos que utiliza los datos de diabetes que mencionaré, y también quiero mencionar que hay una segunda edición de este libro, "Construyendo Mejores Modelos con JMP Pro". |
| |
Eso saldrá en los próximos meses. Todavía no tienen una nueva portada, pero van a... incluirán una selección de modelos en ese libro. |
| |
Bueno, eso es todo. No duden en comentar o hacer preguntas. Espero que disfruten del resto de la conferencia. Gracias. |
