Altavoz | Transcripción |
| Mia Stephens | probablemente no tomará 45 minutos. |
| Está bien, estamos bien. |
| Maldición, ¿por qué acaba de aparecer ese texto? |
| Jason WigginsJMP | ¿Viste? Solo iba a preguntar que había comenzado a grabar, pero que alguien entrará y recortará los comienzos en los extremos. |
| Mia Stephens | Diría que estás grabando. |
| Jason WigginsJMP | sí. |
| Puedo parar si quieres. |
| eh |
| Jason WigginsJMP | Muy bien, comenzó la grabación. |
| Mia Stephens | hola, mi nombre es MIA Stevens y soy gerente de producto de JMP. |
| Y hoy vamos a hablar sobre una nueva función que apareció por primera vez en la proyección de pantalla del modelo JMPed 16 o JMP pro 16. |
| En realidad, déjame empezar de nuevo. |
| Jason WigginsJMP | La grabación comenzó de nuevo. |
| Mia Stephens | Hola, soy Mia Stephens. |
| Y soy gerente de producto de JMP. Y hoy vamos a hablar sobre la selección de modelos. La selección de modelos es una nueva plataforma en JMP Pro 16 y le permite ajustar varios modelos al mismo tiempo, lo que le permite optimizar su flujo de trabajo de modelado predictivo. |
| Entonces, vamos a comenzar hablando un poco sobre lo que entendemos por modelado predictivo, y esto contrasta con el modelado más clásico o el modelado explicativo. |
| Veremos los tipos de modelos que puede crear en JMP Pro y hablaremos un poco sobre el flujo de trabajo de modelado predictivo. Y luego veremos cómo usar la selección de modelos para agilizar este flujo de trabajo. |
| Veremos varias métricas diferentes para comparar modelos de la competencia y usaremos dos ejemplos diferentes en JMP Pro, y usaré JMP Pro 16.1. |
| Primero, ¿qué entendemos por modelado predictivo? |
| La mayoría de nosotros hemos tenido cursos de estadística en la universidad o facultad oa través de su empresa, y normalmente, cuando nosotros... cuando aprendemos modelos estadísticos, es un modelo explicativo. |
| Y lo que queremos decir con esto es que estás interesado en estudiar alguna variable Y, alguna respuesta de interés, en función de varias X o variables de entrada. |
| Así que podríamos estar interesados en identificar variables importantes, tal vez estemos en una especie de situación de resolución de problemas en la que queremos tratar de identificar las X más importantes, las causas potenciales más importantes. |
| Entonces, como resultado del modelo explicativo, podríamos identificar, por ejemplo, que X1, X3 y X6 son causas potenciales de variación en Y, y esto podría llevarlo a estudiar más estas variables usando un experimento diseñado. |
| También podríamos estar interesados en cuantificar la naturaleza de la relación, por ejemplo, podríamos estar interesados en comprender cómo Y, nuestra respuesta, cambia en promedio, como una función de las X. |
| un cambio de una unidad en X está asociado con un cambio de cinco unidades en Y. |
| Entonces, esto es en lo que normalmente pensamos cuando hablamos de modelado o modelado estadístico o análisis de regresión. |
| Ahora, en contraste, el modelado predictivo se trata de predecir o clasificar con precisión los resultados futuros. |
| Entonces, en el modelado clásico, generalmente hacemos afirmaciones sobre la media, la media general. En el modelado predictivo, queremos saber qué sucederá a continuación. Entonces, por ejemplo, ¿este cliente abandonará? ¿Este cliente |
| aceptar la oferta de la tarjeta de crédito? ¿Se averiará la máquina? Así que estamos interesados en predecir lo que sucederá a continuación. Así que estamos interesados en la exactitud, la exactitud de nuestras predicciones. |
| En el modelado predictivo, tendemos a ajustar y comparar muchos modelos diferentes posibles y esto involucra o puede involucrar algunas técnicas muy avanzadas. |
| Y algunas de estas técnicas pueden no ser muy fáciles de interpretar. Entonces, si piensa en redes neuronales, las redes neuronales generalmente se consideran una especie de caja negra. |
| Y con estos modelos más complejos, el sobreajuste puede ser un problema, y lo que quiero decir con sobreajuste es que tendemos... podemos ajustar un modelo que es mucho más complejo de lo que necesitamos. |
| Entonces, en el modelado predictivo, tendemos a usar la validación del modelo. Usamos la validación del modelo para proteger contra el sobreajuste y también contra el ajuste insuficiente. Y lo que implica la validación del modelo es dividir nuestros datos, y una forma típica de dividir nuestros datos es tener algunos de nuestros datos retenidos... |
| bueno, algunos de nuestros datos se usan para entrenar nuestro modelo, algunos de nuestros datos se reservan y es posible que tengamos un tercer conjunto que también se reserva. Y la forma en que usamos estos datos es que ajustamos nuestros modelos usando los datos de entrenamiento |
| y luego vemos qué tan bien se desempeñó el modelo en los datos de validación. Y se podría usar el tercer paso, y esto a menudo se llama el conjunto de prueba, |
| porque validación... los datos de validación en JMP a menudo se usan para controlar qué tan grande se vuelve el modelo. Así que veremos esto en acción en unos minutos. |
| No entraré en muchos detalles sobre la validación, pero si este es un tema relativamente nuevo para usted, hay algunas diapositivas al final de esta presentación que tomé prestadas de nuestro curso en línea gratuito, STIPS, e ilustra por qué la validación es importante. |
| En JMP Pro hay muchos tipos diferentes de modelos predictivos que puede ajustar. |
| Algunos de estos están disponibles en el modelo de ajuste, por lo que si tiene una respuesta continua, puede ajustar un modelo de regresión lineal. Si tiene una respuesta categórica, puede encajar |
| un modelo de regresión logística. Puede ser un modelo de regresión ordinal, multinomial o binomial. Puede ajustar modelos lineales generalizados o modelos de regresión penalizados como red elástica y regresión de Lasso y cresta. |
| Hay un menú de modelado predictivo con muchos elementos, por ejemplo, redes neuronales. Y puede adaptar redes neuronales en JMP Pro con |
| dos capas, con múltiples nodos, múltiples funciones de activación, con impulso. Y generalmente en JMP, |
| puede ajustar modelos para respuestas categóricas o respuestas continuas usando la misma plataforma. Puede adaptarse a una variedad de diferentes tipos de árboles, árboles de clasificación si tiene un |
| respuesta categórica, árboles de regresión si tiene una respuesta continua. También puede colocar algunos tipos de árboles más complicados, como bosques de arranque y árboles potenciados. Y puede ver que también hay otros métodos disponibles. |
| Y hay un par de plataformas de modelado predictivo bajo métodos multivariados, así que análisis discriminado y mínimos cuadrados parciales. Así que esta no es una lista exhaustiva, y señalaré que los mínimos cuadrados parciales también están disponibles en el modelo de ajuste. |
| La pregunta es, ¿por qué necesitamos tantos modelos? En el modelado explicativo clásico, normalmente estamos aprendiendo sobre el análisis de regresión, pero claramente hay muchos, muchos más tipos de modelos que podemos ajustar. |
| Bueno, la razón es que ningún tipo de modelo es siempre el mejor. El mejor modelo a menudo depende de la estructura de sus datos. |
| Cuántas variables tiene, si tiene X puramente continuas o si tiene una mezcla de variables continuas y categóricas, si tiene un comportamiento no lineal. |
| Entonces, ningún tipo de modelo es siempre el mejor modelo para predecir con precisión. Por lo tanto, generalmente probamos varios modelos diferentes y elegimos el modelo o la combinación de modelos que hace el mejor trabajo. |
| Y pensamos en el modelado predictivo en el contexto del flujo de trabajo analítico más amplio. |
| Por supuesto, hay algún tipo de problema que estamos tratando de resolver, un problema comercial o un problema de ingeniería. |
| Pero compilamos datos, y estos podrían ser datos de una variedad de fuentes diferentes, y necesitamos emparejar estos datos, necesitamos curar los datos. |
| Exploramos y visualizamos los datos para obtener más información sobre lo que tenemos disponible y las necesidades de datos adicionales. Y el aspecto de modelado predictivo de esto es analizar datos y construir modelos y, en mi opinión, aquí es donde realmente comienza la diversión. |
| Entonces, el flujo de trabajo clásico dentro de JMP es ajustar un modelo con validación. |
| Y luego guarda la fórmula de predicción en la tabla de datos, o la publica en el almacén de fórmulas y lo veremos en unos momentos. |
| Y luego te ajustas a otro modelo. Por lo tanto, puede comenzar con un modelo de regresión y luego ajustar un modelo basado en árboles. Y luego repites esto y te ajustas a varios tipos diferentes de modelos. |
| Y luego use la comparación de modelos para evaluar el rendimiento de cada modelo en los datos de validación. Así que recuerde que usamos los datos de entrenamiento para ajustar el modelo, pero para comparar modelos y ver cuál predicción es más precisa, usamos la validación o los datos de prueba. |
| Y elegimos el mejor modelo o la mejor combinación de modelos. |
| Y luego implementamos el modelo, por lo que este es un flujo de trabajo típico. |
| Ahora, con la selección de modelos, lo que hace la selección de modelos es agilizar esto. Para que pueda colocar todos los modelos deseados dentro de la plataforma de selección de modelos, |
| compare esos modelos usando datos de validación, seleccione el mejor modelo. Puede explorar los modelos, incluso puede adaptar nuevos modelos a partir de la selección de modelos y luego puede implementar fácilmente el mejor modelo. |
| Entonces, para analizar esto más de cerca, vamos a usar un par de ejemplos, y el primer ejemplo es uno con el que quizás esté familiarizado, |
| los datos de diabetes, y estos están en el directorio de datos de muestra. Entonces, el escenario es que los investigadores quieren poder predecir la tasa de progresión de la enfermedad. |
| un año después de que se tomaron las medidas de referencia. Así que hay 10 variables de referencia y 442 pacientes, y hay dos tipos de respuestas que vamos a ver aquí. La respuesta Y es una medida cuantitativa que mide cuánto ha progresado la enfermedad en un año. |
| Y también hay una respuesta binaria, alta/baja, por lo que alta significa que hay una alta... alta tasa de progresión de la enfermedad y baja significa que hubo una baja tasa de progresión. |
| Y el objetivo del modelo aquí es predecir los pacientes con mayor probabilidad de tener una alta tasa de progresión de la enfermedad para que se puedan tomar medidas correctivas. |
| Entonces, en última instancia, lo que nos gustaría poder hacer es construir un modelo que nos permita clasificar a los futuros pacientes, según sus variables demográficas y la información de referencia que tenemos aquí. Entonces queremos poder |
| predecir con precisión si van a tener una alta tasa de progresión de la enfermedad o no, para que podamos tomar medidas. Bien, ese es el escenario. |
| Y antes de entrar en JMP, quiero hablar un poco sobre cómo decidimos qué modelo predice mejor. |
| Y mencioné que usamos el conjunto de validación o prueba para esto, y hay varios tipos diferentes de medidas que podemos usar. |
| Para respuestas continuas, usamos RMSE, que es el error cuadrático principal de la raíz, o RASE, que es una medida relacionada, el error cuadrático medio de la raíz, y este es el error de predicción, y aquí cuanto menor es mejor. |
| También podemos usar AAE (error absoluto promedio), MAD (desviación absoluta media) o MAE y para estos también, cuanto más bajo, mejor. Estas son... estas son... estas son una especie de medidas de error promedio. |
| Y luego, R cuadrado, y para R cuadrado, que en realidad es una medida de bondad de ajuste, más alto es mejor. |
| Así que tendemos a usarlos para respuestas continuas; hay muchos otros tipos de medidas disponibles. |
| Dado que las respuestas categóricas a menudo estaban interesadas en la clasificación errónea o la tasa de error o las tasas de precisión, podríamos estar interesados en la precisión. |
| Hay otras medidas, el área bajo la curva, que vemos en una curva ROC, la sensibilidad y la especificidad, y estas tienen varios tipos diferentes de nombres. |
| Y hay un par de otras medidas que hemos agregado en la selección de modelos que son buenas cuando tenemos datos desequilibrados. Hay una puntuación F1 y MCC, que es el coeficiente de correlación de Matthews, y este es un valor que adquiere... |
| o una métrica que toma algunos valores entre menos uno y más uno, y es buena para medir cuándo tiene datos categóricos, qué tan bien se clasifican los datos en las cuatro categorías posibles, verdadero positivo, verdadero negativo, falsos positivos y falsos negativos. |
| Así que... pasemos a JMP. |
| Y simplemente abriré los datos. |
| Así que estos son... y los haré un poco más grandes, estos son nuevamente los datos de la diabetes. |
| Y si quiere jugar con estos datos, hay un blog que usa estos datos, y también puede encontrarlos en ayuda y luego en datos de muestra. |
| Y nuevamente, tenemos una respuesta Y, permítanme hacerlo un poco más grande, que es nuestra medida continua de progresión de la enfermedad. Y luego tenemos una Y binaria con resultados de bajo o alto, y lo tomaremos... veremos cada uno de estos. |
| Entonces, para comenzar, echemos un vistazo a si... si tuviera JMP 15 o si no está utilizando la detección de modelos, ¿cómo ajustaría los modelos predictivos para predecir Y, la respuesta continua, si tiene JMP Pro? |
| Tenga en cuenta que tenemos varias variables demográficas. |
| Así que hay 10 de estos, y hay una columna de validación, y la columna de validación divide nuestros datos en datos de entrenamiento y validación. |
| Vamos a ajustar nuestro modelo usando los datos de entrenamiento y luego vamos a ver qué tan bien funciona el modelo cuando lo aplicamos a los datos de validación. |
| Para crear esta columna, hay una utilidad en analizar, modelado predictivo, hacer una columna de validación, y esto nos permite crear una columna de validación. |
| Es posible que tenga variables que desee utilizar como columnas de estratificación, por ejemplo, desee asegurarse de que los datos estén equilibrados en todo el |
| conjuntos de validación. Voy a hacer clic en Aceptar aquí. |
| Y esto nos permite asignar un cierto porcentaje de nuestros datos a los diferentes conjuntos. |
| Y hay algunas opciones adicionales aquí abajo que son útiles, por lo que la semilla aleatoria es muy buena si estás enseñando y quieres que todos tus estudiantes tengan la misma partición. |
| Así que esto se usó antes de |
| análisis, así que comencemos simplemente echando un vistazo a esta columna Y, la respuesta continua. Entonces, si estuviera ajustando modelos predictivos, un punto de partida natural es ajustar un modelo de regresión, y la regresión en JMP está por debajo del modelo de ajuste. |
| Mi respuesta es S, y simplemente ajustaré... comience ajustando un modelo de solo efectos principales. |
| Introduciré la validación aquí en este campo de validación y, de forma predeterminada, la personalidad es mínimos cuadrados estándar. Pero si está familiarizado con JMP y JMP Pro, sabe que hay muchas opciones diferentes disponibles en personalidad. |
| Cuando hago clic en ejecutar, |
| un cambio en JMP 16 es que si miramos el gráfico real por el predicho o cualquiera de los otros gráficos, observe que hay puntos... hay algunos puntos aquí con una V, en lugar de un punto. |
| Esto es para indicar que estos puntos en realidad se asignaron al conjunto de validación, por lo que básicamente estamos viendo, |
| ya sabes, qué tan bien predice el modelo en el ruido aleatorio alrededor de eso, y puedes ver que hay cierto grado de dispersión. Y |
| recuerde, estamos ajustando nuestro modelo a los datos de entrenamiento y estamos viendo qué tan bien se desempeña en los datos de validación. Así que hay algunas estadísticas abajo. Entonces, cada vez que tengamos una validación, verá algunas estadísticas adicionales para los conjuntos de capacitación y validación. |
| Y podemos ver que hay un par de medidas aquí. Está R Square y también está RASE. |
| Y, en general, cuando ajusta el modelo a un conjunto de datos y luego aplica ese modelo a nuevos datos, no funcionará tan bien en los nuevos datos. Entonces podemos ver que R cuadrado es más bajo para el conjunto de validación y RASE, el error, es un poco más alto. |
| Una vez... lo único que vemos aquí debajo del generador de perfiles de predicción |
| es ese aviso... observe que el colesterol total y el LDL realmente se dispersan en los extremos. |
| Y mientras arrastro |
| el valor del colesterol, observe cuán amplio se vuelve este intervalo de confianza para la media. Entonces, mientras lo arrastro al extremo inferior, |
| se vuelve súper ancho y lo mismo cuando lo arrastro hacia el extremo superior. De hecho, todos estos intervalos para cada uno de los predictores son muy amplios. |
| Y esto está más allá del alcance de esta charla, pero esto se debe a que en realidad no tenemos datos o muchos datos en esta región. Si tomé... echa un vistazo y solo voy a |
| tome estas dos variables, colesterol total y LDL como es un ejemplo... para el colesterol y LDL. |
| Tenga en cuenta que hay una correlación bastante fuerte entre estos. No tengo ningún dato en esta región y no tengo ningún dato en esta región. |
| Entonces, si alguna vez ajusta un modelo predictivo o cualquier tipo de modelo en el que vea que estas bandas realmente se abren en abanico, |
| es una indicación de que sus predicciones no van a ser muy precisas en esa región. Y hay una nueva función en JMP Pro, |
| llamado control de extrapolación, que puede advertirle si esto es un problema. Entonces, si arrastro esto, |
| fíjate que me dice oye, hay una posible extrapolación; sus predicciones pueden ser problemáticas aquí. Y si enciendo el control de extrapolación, |
| observe que trunca estas bandas, y básicamente dice que no puede hacer predicciones más allá de esos límites. Simplemente no es válido. |
| Así que esto está un poco más allá del alcance de esto, pero si alguna vez ve bandas en su generador de perfiles de predicción que se están desplegando, |
| a menudo se debe a que sus predictores están correlacionados entre sí, y es... podría ser que simplemente no tenga muchos datos para hacer predicciones en esas regiones. Así que es bueno ser consciente de eso. |
| Muy bien, volviendo a la tarea en cuestión, veamos, encajo este modelo y reduje el modelo y cómodo que es, este es mi modelo final. |
| Voy a guardar este modelo en mi tabla de datos guardando la fórmula de predicción. Y verá que agrega una nueva columna a la tabla de datos. Y acabo de construir un modelo lineal, por lo que guardó esa fórmula en la tabla de datos. |
| Y una alternativa es publicar esto, y lo publicaré en el depósito de fórmulas. |
| Entonces, en última instancia, lo que voy a hacer es adaptar varios tipos diferentes de modelos (y continuaré y cerraré esto) y quiero comparar esos modelos para poder usarlos... |
| Puedo hacerlo guardando la fórmula y yendo a analizar, modelado predictivo, comparación de modelos, y lo haré en un momento, o guardándola en el almacén de fórmulas. |
| Y la ventaja de guardarlo en el almacén de fórmulas es que ahora tengo el código de puntuación. Entonces, por ejemplo, si este fuera mi modelo final que quisiera aplicar a nuevos datos, |
| Podría copiar este script y aplicarlo para obtener nuevos datos |
| (y no lo haré aquí), o puedo crear código en una variedad de lenguajes diferentes, si quiero poder usar este modelo en un entorno de producción. |
| Así que ese era un modelo lineal simple. ¿Qué pasa si quiero adaptarme a un tipo diferente de modelo? |
| Podría encajar un modelo más complejo aquí en modelo de ajuste. |
| Así que puedo ajustar un modelo de regresión generalizado y tal vez quiera ajustar un modelo Lasso, así que haré clic aquí. |
| Y hay una comparación de modelos aquí dentro de la regresión generalizada, pero digamos que quiero guardar este modelo, ¿verdad? |
| Y no, no estoy prestando mucha atención a los detalles aquí, pero me voy a guardar este. Voy a guardar la fórmula de predicción. Quizás siga adelante y publique ese también. |
| Vaya aquí, publique este. |
| Y podría repetir esto, podría encajar en un modelo que tenga interacciones. Luego podría proceder a ajustar un modelo de red neuronal o un modelo de partición, un modelo basado en árbol y, si tengo una respuesta categórica, esto encajará |
| un árbol de clasificación. Si tengo una respuesta continua, se ajustará a un árbol de regresión. Podría encajar un bosque de arranque, que es una colección de árboles más pequeños o un árbol potenciado, por lo que hay varios tipos diferentes de modelos que puedo encajar. |
| Y una vez que obtenga mis modelos y guarde las fórmulas o las publique en el almacén de fórmulas, quiero encontrar qué modelo predice con mayor precisión. |
| Así que voy a usar la comparación de modelos. |
| Y simplemente voy a agregar validación como mi por variable, |
| porque quiero poder ver qué tan bien se desempeñó el modelo en los datos de validación. Y solo usando estos dos modelos y mirando los datos de validación (guardaré los datos de entrenamiento), |
| Puedo ver que tengo un error promedio más bajo para el modelo de mínimos cuadrados y mi RASE es un poco más alto para el modelo de mínimos cuadrados. |
| Y mi cuadrado R es un poco mejor para el Lasso generalizado. |
| Así que esta es la forma típica en que podemos hacer modelos predictivos si tenemos JMP 15 Pro o JMP Pro 15, o si no usamos la detección de modelos. Y lo que hace la selección de modelos es permitirnos hacer todo eso en un solo paso. Así que voy a entrar en el modelado predictivo y la detección del modelo de lanzamiento. |
| Y la selección de modelos, si miran hacia abajo en la esquina aquí, básicamente nos permite lanzar cada una de las plataformas que tiene sentido para el tipo de datos que tenemos. |
| y ejecutar automáticamente esos modelos. Así que no tenemos que entrar y seleccionar el modelo del menú, podemos ejecutarlo automáticamente desde aquí. Así que voy a ajustar el mismo tipo de modelo, por lo que es un modelo de solo efectos principales aquí. |
| Estas son mis X. Voy a usar la misma validación. |
| Y aquí hay un montón de opciones de las que hablaremos en un momento, y voy a hacer clic en Aceptar. Y observe que tengo un árbol de decisiones, un bosque de arranque, un árbol impulsado, K vecinos más cercanos. |
| Por defecto, Naive Bayes está desactivado, puedo ajustar un modelo neuronal. |
| Hay otros en la parte inferior aquí. Tenga en cuenta que obtuvo XGBoost, por lo que XGBoost está disponible porque instalé un complemento, el complemento XGBoost. |
| Entonces, este es un complemento gratuito que accede a bibliotecas de código abierto, y si lo tiene instalado en JMP Pro, puede iniciarlo desde la plataforma de evaluación de modelos. Así que lo dejaré desactivado y simplemente haré clic en Aceptar. |
| Así que está ejecutando los modelos y ahí está. Así que se apagó y en realidad se saltó un paso, ¿verdad? Ha ejecutado cada uno de estos modelos automáticamente. |
| Y hay algunas simulaciones que usa para determinar los mejores valores iniciales para los parámetros de ajuste, por lo que ajustamos todos estos modelos. |
| Y está informando el entrenamiento de validación y las estadísticas de validación para cada uno de los modelos. Y ahora a averiguar cuál de estos modelos es el mejor, |
| Seleccionar dominante. Y lo que hace básicamente Select Dominant es crear una frontera entre las métricas disponibles, así que presiono Select Dominant aquí. |
| Y encuentra que para estos datos, el mejor modelo es el modelo potenciado neuronal, y luego los detalles de ese modelo están aquí debajo de neuronal. |
| Entonces, todos los detalles son realmente solo el lanzamiento de la plataforma y la captura de toda la información, aquí mismo, dentro de esta plataforma. |
| Entonces, todos los detalles están aquí para neural, por lo que básicamente se ejecuta un TanH, con tres nodos que se potencian. Y puedo ver las estadísticas de entrenamiento y las estadísticas de validación y si quiero poder ver el modelo que realmente se ajustó, |
| aquí está el modelo subyacente. |
| Correcto, entonces este es... entonces este es mi modelo con mejor rendimiento. Si quiero poder echar un vistazo más de cerca a estos modelos, puedo explorarlos desde aquí y hay algunas opciones aquí, puedo ver la trama real por predicción. |
| Y puedo comparar estos modelos, por lo que, como era de esperar, hay un poco menos de variación en nuestros... en nuestros datos de entrenamiento que en los datos de validación y el gráfico real por predicción. Puedo desactivar ciertos modelos si quiero poder explorar esto. |
| Y también puedo iniciar el perfilador y si tienes 16.1, el perfilador es una opción. En realidad, es una opción oculta si tiene 16.0, y nuevamente estoy en Pro para esto. El generador de perfiles es bueno porque nos permite explorar los modelos que encajamos, así que he seleccionado tres modelos. |
| Y déjame hacer esto un poco más grande. |
| Tal vez no tan grande. |
| Así que tengo un bosque de arranque, que es un modelo basado en árboles, donde básicamente agrega los resultados de un montón de árboles diferentes. |
| Tengo un modelo potenciado, y los modelos neuronales captan muy bien los comportamientos no lineales. Y tengo el modelo Lasso, que es esencialmente un modelo lineal. |
| Y puedes ver estos modelos con bastante claridad. Observe con Lasso generalizado, a la derecha, tengo esta relación lineal entre el IMC |
| y la respuesta Con neuro potenciado, puedo ver que hay algo de curvatura. Puedo verlo aquí con LTG, y con bootstrap forest, puedo ver que tengo esta pequeña función de paso, así que en realidad se aproxima a esta relación no lineal que tenemos aquí. |
| Entonces, si decidimos que el modelo potenciado neuronal es el mejor, |
| luego, básicamente, podemos lanzar el modelo, lanzarlo desde aquí, y podemos guardar las fórmulas en la tabla de datos, o podemos publicarlas en el almacén de fórmulas para su implementación. |
| Por lo tanto, ahorra mucho tiempo y aún nos brinda la posibilidad de explorar nuestros modelos. |
| ¿Y si tenemos una respuesta categórica? Así que recuerda, tenemos Y binario. Podemos usar Y binario de la misma manera, así que voy a analizar, y nuevamente llamaré a la selección de modelos, y simplemente presionaré recordar y en lugar de Y voy a usar Y binario. |
| Podemos ejecutar los mismos tipos de modelos en él. Si cierto tipo de modelo no tiene sentido, no lo ejecutará. Entonces, por ejemplo, la regresión de mínimos cuadrados no tiene sentido aquí, por lo que en realidad no la ejecutará. |
| Hay algunas opciones aquí. Si selecciono un conjunto de semillas aleatorias, como 1, 2, 3, 4, 5, esto me dará repetibilidad y si lanzo un modelo a partir de los detalles, |
| tendrá... tendrá los mismos resultados. Tengo algunas opciones adicionales aquí para la validación. |
| Entonces resulta que en muchos casos, usando la partición clásica de entrenamiento, validación y prueba |
| en realidad no es el mejor, particularmente en pequeños conjuntos de datos. Entonces, es posible que desee usar la validación cruzada K fold en su lugar y también tenemos una validación cruzada anidada. |
| Y puede hacer una validación repetida de K fold. Así que esta es una buena opción, especialmente si tiene un conjunto de datos pequeño. |
| Y hay algunas opciones adicionales en la parte inferior. Por lo tanto, es posible que desee agregar interacciones bidireccionales o cuadráticas. |
| Si sabe que le faltan valores, es posible que desee utilizar valores faltantes informativos. Y los métodos adicionales se aplican a los métodos de regresión generalizados adicionales. Y si está en el programa de adopción temprana de JMP 17, notará que esta parte del diálogo del menú |
| o el diálogo de lanzamiento del modelo se ha reorganizado un poco para que fluya un poco mejor. Correcto, entonces voy a usar la configuración predeterminada aquí con una semilla aleatoria y haré clic en Aceptar. |
| Así que está ejecutando todos estos modelos. Una vez más, es muy, muy rápido. Bueno, y ahora, como tengo una respuesta binaria, tengo algunas métricas adicionales. tengo dos |
| R medidas cuadradas, tengo la tasa de clasificación errónea, esa área bajo la curva, RASE. Recuerde que esto está relacionado con el error cuadrático medio de la raíz. Nuevamente, haré clic en seleccionar dominante y nuevamente se encontró potenciado neuronal, y ese no es siempre el caso. |
| Si selecciono lo que creo que son los mejores modelos, las opciones debajo del triángulo rojo, puede mirar las curvas ROC para estos y, nuevamente, hay marcas de verificación que puedo activar y desactivar modelos. Déjame |
| selecciona esto. Y una de mis características nuevas favoritas, que también está disponible en la plataforma de comparación de modelos y en JMP 17 se agrega a cualquier plataforma de modelado que realice modelado de clasificación, es lo que se llama un umbral de decisión. |
| Creo que esta es una de... una de... una de las cosas más poderosas que agregamos en JMP 16. |
| Entonces, con estos tres modelos seleccionados, me dan un resumen de las clasificaciones para esos tres modelos. |
| Y voy a hacer esto un poco más grande, para que podamos ver un poco mejor. |
| Entonces, la forma en que leemos esto es que, si solo echamos un vistazo a la potenciación neuronal, nos muestra que hay dos categorías para la potenciación neuronal...neuronal y estamos prediciendo la probabilidad de que sea alta. Entonces estas son probabilidades ajustadas para alto. |
| Y el límite es 0,5, por lo que todo lo que esté por debajo de 0,5 se clasifica como bajo; cualquier valor por encima de 0,5 se clasifica como alto. |
| Entonces, si miramos este bloque rojo aquí, estos son todos los puntos que se clasificaron como bajos, pero en realidad eran altos, y podemos ver ese número aquí. Hubo 29 de esos, por lo que estos fueron los falsos negativos. |
| El recuadro rojo inferior, estos se clasificaron como altos, |
| pero en realidad eran mínimos. Así que estos son los falsos positivos, estos tipos aquí. |
| Y en la parte inferior hay algunas métricas, algunos gráficos que nos ayudan a entender esto, y nos ayudan a tomar algunas decisiones. Y también hay algunas métricas, así que podemos ver esos mismos valores aquí, los 29 falsos negativos, 17 falsos positivos. |
| Y también podemos ver los verdaderos aspectos positivos y negativos. Y lo que realmente me gusta de esto es que me permite explorar diferentes cortes. |
| Entonces, según sus objetivos de modelado, por ejemplo, podríamos estar interesados en tener una tasa de sensibilidad alta, pero realmente no queremos tener una tasa de especificidad baja. |
| Tasa de sensibilidad, y esta clave aquí es realmente útil, la sensibilidad es la verdadera tasa positiva; la especificidad es la verdadera tasa negativa. |
| Ya sabes, ¿podemos encontrar un corte que realmente funcione un poco mejor en ambos? Y al hacer clic y arrastrar, puede cambiar el límite de clasificación |
| e intente encontrar un corte que haga un mejor trabajo. Entonces, por ejemplo, en .26, y solo pondré un buen número redondeado aquí, en un punto de corte de .25, la sensibilidad es más alta, mientras se mantiene una alta especificidad. |
| Los gráficos que guardé también son realmente útiles para interpretar estos números, por lo que nos brindan una imagen general de la clasificación falsa. |
| por umbral, por porción, y luego verdadera clasificación. Entonces, si estoy tratando de encontrar un punto que equilibre la especificidad y la sensibilidad, puedo mirar este gráfico. |
| Entonces, estas líneas superiores son la sensibilidad, las líneas discontinuas son la especificidad y hay un punto en el que todavía estoy por encima de cierto valor de sensibilidad donde... |
| sensibilidad, donde mi especificidad se mantiene alta? Y podemos... podemos equilibrarlos. Entonces, si miro aquí, puedo ver que este es el punto en el que ambas líneas se cruzan. |
| Y esto se vuelve realmente importante si tenemos un caso en el que tenemos datos desequilibrados. Así que echemos un vistazo a otro ejemplo. Así que voy a cerrar esto y |
| no guardar esto. Y permítanme cerrar el depósito de fórmulas y, por cierto, el depósito de fórmulas es independiente, por lo que básicamente no está vinculado al conjunto de datos que estábamos usando. Por lo tanto, es muy fácil tomar un modelo y luego aplicarlo a nuevos datos. Voy a seguir adelante y cerrar esto. |
| Entonces, el escenario aquí para este próximo conjunto de datos, los datos llamados marketing de tarjetas de crédito, y el escenario es que |
| que estamos haciendo una investigación de mercado sobre la aceptación de ofertas de tarjetas de crédito. Y la respuesta es oferta aceptada. Y una salvedad es que solo el 5,5% de las ofertas, |
| utilizando datos históricos, han sido aceptados. En realidad, se trata de un experimento diseñado en el que analizamos diferentes recompensas, diferentes tipos de anuncios publicitarios, |
| información financiera diferente, pero el experimento diseñado es de tipo recompensa y correo. Nos vamos a centrar en este objetivo de modelado en particular. Queremos identificar a los clientes que tienen más probabilidades de aceptar la oferta de tarjeta de crédito. |
| Y al hacer esto vamos a tratar de |
| aplicar el modelo a los nuevos clientes y, en función de la clasificación de estos nuevos clientes, vamos a tomar una decisión sobre si enviarles la oferta o no. |
| Entonces, si no es muy probable que los clientes acepten la oferta, no se la enviaremos. Si es muy probable, se lo enviaremos. |
| Así que ese es el escenario, y volviendo a JMP, tenemos una oferta aceptada. Y voy a seguir adelante y ejecutar un script guardado aquí mientras hablo de los datos. |
| Tenemos 10 000 observaciones, así que esto llevará un poco más de tiempo, y en este momento está ejecutando esos modelos, y solo estoy usando la configuración predeterminada aquí. Así que tengo oferta aceptada, |
| el tipo de recompensa es millas aéreas, reembolso o puntos. El tipo de envío es carta o postal. Y luego el resto de estos son bancarios... información bancaria histórica y algo de información demográfica. |
| Verá que está ejecutando máquinas de vectores de soporte. Las máquinas de vectores de soporte pueden ser un poco lentas, especialmente en grandes conjuntos de datos y, de hecho, no se ejecutarán de manera predeterminada si tenemos más de 10,000 observaciones. |
| Podemos ver que tenemos un saldo promedio. Y los datos se solicitan para entrenamiento y validación, y JMP reconocerá automáticamente los ceros como entrenamiento y los unos como validación. Correcto, entonces se ejecutan todos los modelos. |
| Y si selecciono dominante, podemos ver que seleccionó ajuste paso a paso y árbol de decisión. |
| Pero quiero señalar esta tasa de clasificación errónea. |
| Así que esto es... esto es realmente algo que vemos muy a menudo cuando tratamos de buscar la aguja en el pajar, ¿verdad? Si echo un vistazo a estos datos, y solo voy a ejecutar una distribución de estos datos... |
| Permítanme hacer esto un poco más grande, para que podamos verlo un poco mejor, ¿verdad? Así que solo estoy mirando los datos de validación, observe que |
| 6,25, 6,2, 6,3% |
| de los valores fueron sí, respondieron a la oferta, y eso es exactamente lo que estamos obteniendo aquí para la tasa de clasificación errónea. |
| Y para comprender mejor esto, voy a activar el umbral de decisión. |
| Y haz esto un poco más grande. |
| Observe que el sí pronosticado es todo cero, y esto se debe a que las probabilidades pronosticadas fueron todas relativamente bajas. |
| Recuerde que en una matriz de confusión clásica, el límite es .5, y si tiene datos desequilibrados, es muy poco probable que clasifique muchas de las observaciones como sí, en este caso. |
| Mientras hago clic y arrastro, |
| y llego a este primer conjunto de puntos, luego empiezo a ver algunos síes predichos. De hecho, activaré las métricas. |
| Cuando tiene datos muy desequilibrados, las probabilidades previstas pueden ser muy bajas. |
| Entonces, tener este control deslizante le permite explorar cortes |
| que pueden afectar tanto su sensibilidad como su especificidad. Entonces, en un caso como este, podríamos decir algo como, bueno, si tuviéramos que enviar... |
| Solo pondré .05 aquí... si tuviéramos que enviar una oferta de tarjeta de crédito a las probabilidades pronosticadas, el 5% superior de las probabilidades pronosticadas de sí, correcto, nuestra sensibilidad |
| entre los dos modelos es de aproximadamente .72, .75 y nuestra especificidad sigue siendo bastante alta. Así que tener este... este corte, este control deslizante, le permite obtener más información útil de su modelo. |
| Entonces, si... en .5, puedo ver que estoy obteniendo algunos verdaderos positivos. También obtengo muchos falsos positivos, cierto, así que aquí hay una compensación. |
| Ahora, en un caso como este, también puede tener algunos impactos financieros. Correcto. Así que tiene sentido pensar en esto... |
| matriz de ganancias. Y hay un botón. |
| Hago clic en esto. |
| La matriz de ganancias es una propiedad de columna para una columna en particular, y podemos establecer |
| ese valor, que se corta del umbral de probabilidad, como una propiedad de columna, o también podemos conectar valores. Ya sabes, en el escenario clásico tal vez cueste $ 5 |
| si elegimos enviar a alguien una oferta. |
| Y si responden a la oferta, |
| tal vez valga $ 100. Entonces, si elegimos enviarle una oferta a alguien y no responde, perdemos $5. |
| Si elegimos enviarle una oferta a alguien y responde, tal vez ganemos un promedio de $100. Y tal vez hay alguna oportunidad perdida, tal vez decimos que perdemos $100 |
| si no responden. Y muchas veces el costo de esto es, esto se deja en blanco, solo ingresamos valores para los síes. Si aplico esto y hago clic en Aceptar, |
| luego se agregan algunos valores nuevos, a la derecha. Entonces, ahora tenemos una matriz de ganancias y si miro nuestras métricas, podemos ver las ganancias previstas. Asi que |
| en promedio, por cada cliente en este conjunto de datos, está diciendo que ganará $1.50 si aplicamos el modelo de árbol de decisión y un poco menos si aplicamos el modelo paso a paso. |
| Entonces, en una situación como esta con datos desequilibrados cuando hay algunos costos subyacentes, tiene sentido usar la matriz de ganancias. Si no tenemos costos subyacentes, |
| entonces este control deslizante nos ayuda a elegir un corte que nos permita alcanzar nuestro objetivo de modelado, ¿de acuerdo? Podría ser para maximizar la sensibilidad, maximizar la especificidad u otra cosa. |
| Así que eso es esencialmente una selección de modelo. |
| Permítanme cerrar esto y volver a la plataforma de diapositivas. |
| Así que hemos hablado un poco sobre el modelado predictivo y lo que queremos decir con modelado predictivo. |
| Y hemos visto que puede ajustar y comparar fácilmente muchos modelos mediante la validación, y la selección de modelos se trata de optimizar este flujo de trabajo. |
| Todavía puede salir y ajustar modelos individuales, si lo desea, pero la selección de modelos le permite ajustar todos los modelos al mismo tiempo en una plataforma y luego comparar estos modelos. |
| Para obtener más información, hay muchos tipos diferentes de métricas disponibles y muchas, muchas métricas para datos de clasificación. hay una muy buena |
| página en Wikipedia sobre sensibilidad y especificidad y todas las... todas las diversas métricas, y encontré esto realmente útil mientras intentaba profundizar y entender cómo interpretar las métricas que se proporcionan. |
| Hay muchos recursos sobre el modelado predictivo en general, y también sobre la detección de modelos en JMP Pro. |
| en nuestra... en nuestra comunidad de usuarios. Nuevamente haré referencia a STIPS. STIPS es nuestro curso de pensamiento estadístico para la resolución de problemas industriales. |
| Y el séptimo módulo es una introducción al modelado predictivo, por lo que si eres nuevo en el modelado predictivo, te recomiendo que le eches un vistazo. Y también hay un blog que utiliza los datos de diabetes que se publican en nuestra Comunidad. Y finalmente, ya sabes, cualquier característica nueva |
| tenderá a pasar por mejoras iterativas. La selección de modelos se introdujo en JMP Pro 16. Ya estamos trabajando en JMP Pro 17, y ya hay muchas mejoras en proceso. |
| Entonces, si está interesado en echar un vistazo a lo que viene, le brinda la oportunidad de proporcionar comentarios, |
| ya sabes, comunícate con nosotros para unirte al programa de adopción temprana y te ayudaremos a configurarlo. Gracias por su tiempo y espero que disfrute el resto de la conferencia. |
