476226_es-ES

liliconcom

Prediction Profiler y funciones de deseabilidad

Hola a todos,

 

JMP Pro 16.1.0.

 

Estoy usando Prediction Profiler para trabajar en algunas verificaciones del ajuste del modelo y me preguntaba si hay una manera de "engañar" a las funciones de deseabilidad para que hagan algo para lo que no están realmente diseñadas. Con la configuración estándar de deseabilidad, tiene la opción de Maximizar, Igualar objetivo, Minimizar o Ninguno.

 

Durante el proceso de ajuste del modelo, registro los valores de R^2 para el entrenamiento y la validación, así como la diferencia entre los dos. Una de las cosas que trato de buscar cuando ajuste el modelo es la configuración de parámetros que no solo maximiza R ^ 2 para AMBOS entrenamiento y validación, sino que minimiza la diferencia entre los dos. Por ejemplo, es mejor para mí si tengo un modelo que tiene un entrenamiento R^2 de 0,4 y una validación R^2 de 0,35 que tener un entrenamiento R^2 de 0,7 y una validación R^2 de 0,25. Es decir, cuanto más cerca estén los conjuntos de entrenamiento y validación, incluso si son más pequeños, tienden a funcionar mejor en mis situaciones.

 

El problema es que con Prediction Profiler, si configura tanto el entrenamiento como la validación R^2 para maximizar y minimizar la diferencia, el generador de perfiles sugiere configuraciones que dan como resultado un entrenamiento R^2 de 0.6 y una validación R^2 de 0.2 más o menos. No es lo que busco.

 

Lo que realmente me gustaría que hiciera el generador de perfiles es tratar de converger en el entrenamiento y la validación de R^2 que estén lo más cerca posible entre sí, y al mismo tiempo sean lo más grandes posible, para minimizar la diferencia y mantener un R grande. ^2 valores. Desafortunadamente, cambiar cosas como la importancia (0 a 1) o la meta realmente no logra lo que busco.

 

Si alguien sabe un truco sobre cómo hacer que Profiler haga algo como esto, sería genial saberlo. O, si no es posible, podría ser una característica nueva muy buena poder dirigir el generador de perfiles para intentar converger dos de las respuestas mientras las maximiza (o minimiza).

 

¡Gracias!,

SD

AnalíticaRe: Prediction Profiler y funciones de deseabilidad

Está utilizando las funciones Profiler y Deseabilidad correctamente. No está mal usar deseabilidad = (0,1), pero puede intentar usar valores como 1 para maximizar y 2 para diferencia y ver si eso lo acerca a lo que desea. La definición de las funciones (límites, importancia) es clave para decirle al generador de perfiles lo que está buscando.

 

Dicho esto, ¡no se garantiza que obtendrás lo que quieres!

Re: Prediction Profiler y funciones de deseabilidad

Supongo que no le importa si la diferencia de R2 es 0.01 o 0.1, pero gradualmente se preocupa más a medida que aumenta por encima de cierto umbral. Podría intentar hacer que la diferencia R2 sea una fórmula que sea plana cuando esté por debajo de cierto valor y luego disminuya gradualmente a medida que supere ese límite, o podría configurar la función de deseabilidad para describir esto.A menudo hago esto último con la métrica T2 en modelos multivariados.Puede ver un ejemplo de esto saltando aproximadamente a las 16:30 en el video vinculado a continuación.

 

Optimización de modelos multivariados: desde la recopilación de datos hasta las condiciones óptimas y los modelos de puntuación (2021-US-45MP-927)

Re: Prediction Profiler y funciones de deseabilidad

También puede cambiar la forma del gráfico de deseabilidad para indicar que una mayor diferencia es una mayor penalización. No tiene que ser lineal con un valor medio en el centro.

 

Nota: puede controlar el clic (Windows) o hacer clic en el comando (macOS) en la trama del gráfico de función y cambiar los valores rápidamente mientras prueba diferentes esquemas. Recomiendo NO cambiar la deseabilidad, sino solo cambiar los niveles de respuesta Mueva el valor central hacia un extremo para que no sea lineal.

Re: Prediction Profiler y funciones de deseabilidad

Hola @markbailey y @ih ,

 

@markbailey , su primera respuesta fue una que "hará que funcione". Desafortunadamente, no es un proceso de optimización automatizado, por lo que no encuentra iterativamente las condiciones óptimas. No obstante, ciertamente es bastante fácil cambiar manualmente la importancia relativa de cada respuesta.

 

Utilizando una mezcla de su sugerencia y @ih La sugerencia de está demostrando estar más en la línea de lo que creo que en última instancia me gustaría que hiciera. Solo hay muchos ajustes manuales de las funciones de deseabilidad, ya sea cambiando los números a mano o moviendo los pequeños cuadros en el gráfico. Sería bueno tener un método más automatizado y un poco menos subjetivo para obtener mi objetivo final.

 

@ih tiene razón en parte en que no me importa si el R2 Diff es 0.01 o 0.1, sin embargo, si tengo un R2 Diff de 0.1 y mi entrenamiento R2 es 0.8 y mi validación R2 es 0.7, prefiero eso a un R2 Diff de 0.01 si mi entrenamiento está en 0.31 y mi validación está en 0.3. En la práctica, mis conjuntos de datos tienden a comportarse más como lo último que como lo primero. ¡Ojalá pudiera hacer que mis dos R2 fueran tan altos como 0.8 y 0.7!

 

Mezclar las dos sugerencias me da mucho con lo que jugar, solo desearía que fuera un poco menos subjetivo.

 

¡Gracias por la respuesta!,

SD