Obtenga más información en nuestro curso en línea gratuito:
Pensamiento estadístico para la resolución de problemas industriales
En este video, mostramos cómo ajustar un modelo de regresión penalizado usando regresión generalizada en JMP Pro. Usamos el archivo Bodyfat 07.jmp y ajustamos un modelo para %Fat usando Lasso con validación.
Primero, ajustamos un modelo de regresión lineal para el % de grasa.
Para ello, seleccionamos Ajustar modelo en el menú Analizar. Seleccionamos % de grasa para la función Y, seleccionamos todos los predictores como efectos del modelo y usamos la columna de validación en la función Validación.
Luego seleccionamos Regresión generalizada del menú de Personalidad.
La distribución de respuesta predeterminada es Normal.Ejecutaremos este modelo con la distribución normal.
Puede ver que hemos ajustado un modelo de regresión de mínimos cuadrados estándar. Cuando observamos la tabla Estimaciones de parámetros, puede ver que tres de los predictores son significativos.
Sin embargo, echemos un vistazo a los VIF, o factores de inflación de varianza, para ver si hay un problema con la multicolinealidad.
Para hacer esto, hacemos clic derecho sobre la tabla Estimaciones de parámetros y seleccionamos Columnas y luego VIF. Puede ver que muchos de estos valores son mayores que 10 y dos de los valores son mayores que 100. Esto nos dice que la multicolinealidad es de hecho un problema con estos datos.
Cuando tiene predictores correlacionados, puede usar un método de estimación penalizado en lugar de una regresión de mínimos cuadrados.
El método predeterminado es Lasso, que es la abreviatura de Least Absolute Shrinkage and Selection Operator. El Lasso aplica una penalización para reducir las estimaciones de los parámetros. Debido a que puede reducir las estimaciones a cero, Lasso también se puede usar para la selección de variables.
Hay muchas opciones disponibles para Lasso, pero ejecutaremos el modelo con los valores predeterminados.
Usamos una columna de validación cuando especificamos el modelo, por lo que la columna de validación es el método de validación predeterminado.
Haremos clic en Ir para ejecutar este modelo.
Se muestra el mejor modelo, seleccionado por Lasso. Este es el modelo con el valor óptimo del parámetro de penalización, Lambda.
Comencemos con todos los términos del modelo. Esto es lo mismo que nuestro modelo de mínimos cuadrados. Para hacer esto, arrastramos la línea roja en la ruta de solución de estimaciones de parámetros completamente hacia la derecha.
La ruta de solución muestra la magnitud de las estimaciones de parámetros centradas y escaladas. Para mostrar estas estimaciones, seleccionamos Informes de regresión del triángulo rojo para el modelo y luego Estimaciones de parámetros para predictores centrados y escalados.
La línea superior es para la estimación del parámetro para el abdomen, que es 117,87.
La segunda línea desde arriba es el IMC. Esta estimación es 88,9.
A medida que arrastramos la línea roja de derecha a izquierda, aumentamos el valor del parámetro de penalización, Lambda. Puede ver que, a medida que hacemos esto, muchas de las estimaciones de parámetros se vuelven más pequeñas. Es decir, se encogen.
Por ejemplo, la estimación del IMC se ha reducido de 88,9 a 51,25. La estimación del parámetro para el peso se ha reducido a cero. Este término se elimina del modelo.
Aquí, se ha aplicado una gran penalización. Todo ha sido eliminado del modelo excepto la altura y el abdomen.
¿Cómo determina cuándo dejar de eliminar términos del modelo? Es decir, ¿cómo determinamos el valor óptimo del parámetro de penalización?
Este modelo se construyó usando una columna de validación, por lo que JMP usa una estadística llamada probabilidad logarítmica negativa escalada.
El modelo se construye utilizando los datos del conjunto de entrenamiento. El mejor modelo es el que tiene el valor mínimo de la verosimilitud logarítmica negativa escalada para el conjunto de validación.
Este modelo incluye varios parámetros. Las estimaciones de peso, IMC, muslo y rodilla se han eliminado del modelo.
Veamos este modelo reducido. Para ello, seleccionamos Mostrar expresión de predicción en el triángulo rojo del modelo.
Las estimaciones de los parámetros son simplemente coeficientes en un modelo lineal, tal como lo haría si hubiera ajustado un modelo de regresión lineal múltiple.
Esto hace que los modelos penalizados sean fáciles de interpretar y explicar.
