En el campo del aprendizaje automático, a menudo tratamos con datos con muchas variables y, al tratar con dichos datos, puede producirse multicolinealidad. En tales casos, se puede utilizar una regresión regularizada como Lasso, un método para evitar la multicolinealidad.
En JMP Pro, la regresión regularizada se puede utilizar como un método llamado "regresión generalizada", que permite una estimación de modelo estable que reduce los efectos de la multicolinealidad al reducir las estimaciones de parámetros (coeficientes de regresión) y seleccionar variables.
El siguiente gráfico muestra lo que sucede cuando los coeficientes de regresión se reducen mediante el método Lasso. Al observar el informe “Estimaciones de las variables explicativas originales”, podemos ver que las variables explicativas con efectos pequeños se han reducido a 0 (cero), lo que confirma que Lasso está realizando una selección de variables.
Entonces, ¿cómo funciona la regresión Lasso en presencia de multicolinealidad? En este artículo, utilizamos datos hipotéticos en los que la verdadera relación con la respuesta (Y) está predeterminada y examinamos qué tan bien la regresión Lasso, el análisis de regresión múltiple y los métodos escalonados pueden estimar el modelo verdadero.
Tabla de contenido
Datos virtuales
Variable de respuesta: Y
Variables explicativas: X1 a X20 (20 variables)
Y se genera a partir de números aleatorios normales donde la media es una combinación lineal de varias variables explicativas y un error estándar de 10.
Prepararemos dos tipos de datos en este formato y compararemos la efectividad de la regresión Lasso.
1. Datos con poca correlación entre variables explicativas
2. Datos con algún grado de correlación entre variables explicativas (multicolinealidad)
Esto nos permite examinar cómo la presencia o ausencia de multicolinealidad afecta la selección de variables y la estimación del modelo .
*Estos dos tipos de datos de muestra se adjuntan a este artículo.
1. Ejemplo de datos con poca correlación entre variables explicativas
Datos : "datos_sin_correlación.jmp"
Correlación entre variables explicativas (r) : -0,06 a 0,10
Utilizando estos datos, se ajustaron modelos mediante análisis de regresión múltiple, regresión escalonada (regla de detención: BIC mínimo) y regresión Lasso (método de validación: BIC), y los coeficientes de regresión obtenidos se resumen en la siguiente tabla. La columna "Ecuación verdadera" enumera los coeficientes verdaderos de las variables explicativas utilizadas para generar Y.
En el método paso a paso, los coeficientes de las variables no seleccionadas se muestran como 0, y en la regresión Lasso, si un coeficiente se reduce a 0 por regularización, también se muestra como 0.
Estos resultados confirman que ambos métodos estiman modelos cercanos a la ecuación real, con coeficientes para las variables ineficaces que son cero o muy pequeños.
En otras palabras, en datos con casi ninguna correlación entre las variables explicativas, el análisis de regresión múltiple, los métodos paso a paso y la regresión Lasso pudieron estimar la verdadera relación de respuesta con amplia precisión.
2. Ejemplo de datos con algún grado de correlación entre variables explicativas
Datos : "datos_sin_correlación.jmp"
Correlación entre variables explicativas (r)：-0.50～0.52
Con estos datos, la correlación entre variables explicativas puede fácilmente hacer que las estimaciones de los coeficientes de regresión sean inestables. Si ejecuta un análisis de regresión múltiple en estos datos, el VIF será muy grande y los efectos de la multicolinealidad serán evidentes.
Al igual que en el caso 1, ajustamos modelos utilizando análisis de regresión múltiple, regresión por pasos y regresión Lasso, y presentamos una tabla que resume los coeficientes obtenidos.
En el análisis de regresión múltiple, los efectos de la multicolinealidad dieron como resultado coeficientes que eran significativamente diferentes de los valores reales.
Incluso con el método paso a paso, no se seleccionaron variables importantes, se seleccionaron variables innecesarias y no se realizó la selección de variables correcta según la ecuación verdadera.
Por otra parte , con la regresión Lasso, como en el caso 1, pudimos reducir las variables explicativas ineficaces a 0 y obtener estimaciones casi precisas para las variables efectivas.
3. Simulación de coeficientes Lasso
En los ejemplos hasta ahora, hemos utilizado datos donde los valores Y se generaron a partir de un conjunto de números aleatorios normales utilizando la función Random Normal. Sin embargo, dado que se trata de números aleatorios, los resultados pueden variar según los números aleatorios seleccionados.
Al utilizar la función "Simulación" de JMP, puede repetir estimaciones basadas en una gran cantidad de conjuntos de números aleatorios normales para obtener una distribución simulada de los coeficientes de regresión. Esto nos permite evaluar la validez y confiabilidad de la selección de variables utilizando la regresión Lasso.
Aquí, utilizamos simulaciones para examinar con qué frecuencia las variables ineficaces se reducen a 0, y con qué frecuencia se estima que las variables efectivas son distintas de cero, al realizar una regresión Lasso en "datos algo correlacionados" (Caso 2).
Pasos para ejecutar una simulación en JMP
Al ejecutar una regresión Lasso, mostramos cómo ejecutar 500 simulaciones en las estimaciones.
- Haga clic con el botón derecho en el número "Valor estimado" en el informe Lasso "Estimaciones para variables explicativas originales" y seleccione "Simular".
- Aparecerá una ventana de simulación, así que configure la columna de origen en Y y la columna de destino en Y. Configure el número de muestras en 500 (el número de simulaciones) y el valor de semilla aleatoria en 123456 (un valor especificado para mayor comodidad a fin de reproducir los resultados).
Esto generará una nueva tabla de datos con la distribución de los coeficientes de regresión obtenidos de las 500 simulaciones.
Si ejecuta el script "Distribución Univariada" en la tabla de datos de salida, se mostrará la distribución simulada de cada variable. Además, en el informe "Estadísticas de resumen" se mostrarán el "Número de ceros" y el "Porcentaje de ceros".
El número de ceros y el porcentaje de ceros para cada variable obtenidos anteriormente se resumen en una tabla.
Las variables que no tienen efecto en la ecuación verdadera se reducen enormemente a 0 mediante la regresión Lasso. Por otra parte, las variables con valores absolutos grandes de coeficientes en la ecuación real (por ejemplo, X7, X12) nunca se redujeron a 0 en ninguna de las 500 simulaciones, lo que indica que siempre podrían incluirse en el modelo.
Las simulaciones confirmaron que la regresión Lasso puede eliminar variables ineficaces con una alta probabilidad y seleccionar de manera estable variables importantes, incluso en casos de datos multicolineales .
Sin embargo, en la práctica, tenga en cuenta que en datos con fuerte multicolinealidad, la regresión Lasso tiene una tendencia a seleccionar solo una variable explicativa altamente correlacionada y excluir las demás.
por Naohiro Masukawa (JMP Japón)
Naohiro Masukawa - Comunidad de usuarios de JMP
