La multicolinealidad es la existencia de un grado tan alto de correlación entre variables supuestamente independientes que se utilizan para estimar una variable dependiente que no se puede determinar la contribución de cada variable independiente a la variación de la variable dependiente.La alta multicolinealidad en su conjunto de datos significa que cualquier modelo que construya se ajustará casi con certeza a menos que use técnicas para mitigar este problema.Hay varias técnicas de modelado que se pueden usar para mejorar la probabilidad de construir un buen modelo predictivo al limitar la multicolinealidad.Estos incluyen Análisis de componentes principales y Mínimos cuadrados parciales, que están disponibles en JMP y Regresión generalizada, que está disponible en JMP Pro como una opción de ajuste de modelo.
Vea cómo:
- Realice un análisis de componentes principales (PCA) para usar una pequeña cantidad de componentes para modelar un conjunto de datos limitando la variabilidad y mitigando la multicolinealidad
- Los mejores conjuntos de datos para el análisis PCA son altos o anchos. Podrían ser ambos
- No interpreta las variables como entradas o salidas: trata en una sola matriz
- Extraer combinaciones lineales de variables que expliquen la mayor variabilidad posible
- Todo esto comienza con el 1er Componente Principal y el El algoritmo continúa hasta que se explica el 100% de la variación. Con suerte, este es un número mucho más pequeño que su conjunto original de variables
- Cada PC sucesiva explica tanta variación como sea posible y es ortogonal a los vectores de carga de los extraídos previamente.
- Examinar e interpretar diagramas de resumen y valores propios
- Guarde los componentes principales en la tabla de datos y realice una regresión de componentes principales utilizando Graph>Profiler ( Recordatorio: marque la casilla Expandir valores intermedios)
- Usar mínimos cuadrados parciales para ajustar modelos lineales basados en factores, es decir, combinaciones lineales de las variables explicativas (Xs)
- Estos factores se obtienen de forma que se intenta maximizar la covarianza entre las Xs y la respuesta o respuestas (Ys).
- PLS explota las correlaciones entre las X y las Y para revelar estructuras latentes subyacentes
- PLS funciona bien en situaciones en las que el uso de mínimos cuadrados ordinarios (OLS) no produce resultados satisfactorios, incluso cuando hay más variables X que observaciones; variables X altamente correlacionadas; un gran número de variables X; y varias variables Y y muchas variables X.
- PLS se puede utilizar cuando los predictores superan en número a las observaciones
- PLS se usa ampliamente para modelar datos de alta dimensión en áreas como espectroscopia, quimiometría, genómica, psicología, educación, economía, ciencias políticas y ciencias ambientales.
- Vea cómo usar JMP PLS para dos algoritmos de ajuste de modelos disponibles: mínimos cuadrados parciales iterativos no lineales (NIPALS) y una "modificación de PLS inspirada estadísticamente" (SIMPLS)
- Para una sola respuesta, ambos métodos dan el mismo modelo; para respuestas múltiples, hay ligeras diferencias
- PLS utiliza la prueba T2 de van der Voet y la validación cruzada para ayudarlo a elegir la cantidad óptima de factores para extraer.
- Interprete la gráfica Root Mean PRESS (suma de cuadrados residual pronosticada), que muestra la cantidad de factores con el valor PRESS más bajo, siendo ese modelo el menor de los mejores modelos que obtendrá para los datos
- Use la Gráfica de importancia de la varianza (VIP) para ubicar los factores para eliminar
- Interpretar gráficas de variación porcentual
- Las pruebas estadísticas de van der Voet T2 para determinar si un modelo con un número diferente de factores difiere significativamente del modelo con el valor mínimo de PRESS
- Una práctica común es extraer el menor número de factores para los cuales el nivel de significancia de van der Voet excede 0.10
- Utilice las técnicas avanzadas de regresión penalizada de JMP Pro Generalized Regression que son especialmente buenas para datos altamente correlacionados y/o no distribuidos normalmente y selección de variables
- Construya el modelo LASSO, interprete los resultados y comprenda algunas de sus limitaciones.
- Cree el modelo de red elástica e interprete datos altamente correlacionados y comprenda algunos de los beneficios sobre LASSO
- Use JMP Pro Generalized Regression para datos espectrales de alta densidad
- Examinar e interpretar gráficas de control multivariadas basadas en modelos PCA, gráficas de resumen de PCA en correlaciones y valores propios
- Examinar e interpretar los resultados de PLS
- Interpretar la regresión generalizada de red elástica, incluido el R cuadrado generalizado
- Use JMP Pro Generalized Regression para datos muy amplios e interprete los resultados
Nota: el archivo .jmpprj adjunto incluye scripts para ejecutar los análisis de la demostración.
Preguntas respondidas por Bill Worley @Bill_Worley y scott allen @scott_allen en el seminario web en vivo:
P: ¿Pred Formula Y1 proviene de la regresión de PCA?
R: Sí, las fórmulas de predicción para Y1 e Y2 se generaron mediante análisis de regresión de los componentes principales. Cuando crea el generador de perfiles con esta fórmula de predicción, puede marcar una casilla que le permite ver los efectos individuales en lugar de los componentes principales.
P: ¿Cuál sería su principal criterio para eliminar variables en el ejemplo de PCA?
R: Vea el video a continuación para ver un enfoque.
P: En PLS, ¿es necesario especificar las interacciones o las relaciones entre las variables se acomodan en el modelo subyacente (p. ej., NIPALS)?
R: Para PLS, debe especificar los efectos del modelo que desea probar interacciones u otros términos. En JMP estándar, puede ejecutar el análisis PLS solo con efectos principales. En JMP Pro, puede ejecutar PLS con otros efectos de modelo, como interacciones o polinomios, utilizando la personalidad de PLS en Fit Model.
P: ¿El conjunto de datos de gluten también está asociado con mucha multicolinealidad?
R: Sí. Cada longitud de onda depende de la siguiente, por lo que hay mucha colinealidad de longitud de onda a longitud de onda.
P: ¿Es posible decir si PLS o la regresión generalizada es generalmente superior con datos altamente correlacionados automáticamente o si simplemente depende del conjunto de datos? Fui amable pensando que PLS era mejor, pero parece que no necesariamente.
R: Depende de la situación, que puede depender un poco de los datos. Ambos dan buenos modelos muy cerca uno del otro.
P: ¿Cuál de estas opciones de modelado sería mejor para la predicción inversa?
R: Con datos amplios, es posible que tenga problemas para obtener la configuración correcta. Todas las opciones estarían bien para la predicción inversa.
P: ¿Podría repasar cómo guardó las fórmulas PCA en la tabla? Solo sé cómo guardar las coordenadas en sí.
R: Desde el triángulo rojo, Guardar fórmula en la tabla de datos.
P: Si utilizo el modelo PLS para la optimización con Prediction Profiler, ¿respetará la optimización la correlación entre las variables, o si el control de extrapolación está activado, entonces se cuidará la correlación entre las variables?
R: En PLS, puede hacer Selección de variables y luego usar los resultados para construir un modelo con las variables importantes. Luego, use Make Model with VIP y vuelva a ejecutar. Si guarda estos modelos en la tabla de datos, son grandes y tienen todas las variables.
P: ¿Sería útil la selección de modelos?
R: Sí,. Tomará un tiempo. Seleccione Métodos adicionales.Tenga en cuenta que al seleccionar eso, pasará a través de Elastic Net. También pasará por Ridge Regression y tomará tiempo si tiene K-folds y validación cruzada. Y, en Regresión generalizada y Selección de modelo PLS, puede agregar interacciones bidireccionales y encajará con y sin interacciones bidireccionales.
Recursos
- Documentación de JMP sobre regresión generalizada modelado
Documentación de JMP y secuencia de ejemplo para usar componentes principales para reducir la dimensionalidad de sus datos.El propósito es derivar un pequeño número de combinaciones lineales independientes ( principal componentes ) de un conjunto de variables medidas que capturan la mayor cantidad posible de variabilidad en las variables originales.Principal El análisis de componentes es una técnica de reducción de dimensiones, así como una herramienta exploratoria de análisis de datos.
- Documentación de JMP y secuencia de ejemplo para usar Mínimos cuadrados parciales a de desarrollar modelos usando correlaciones entre Ys y Xs. Por favor fi ts modelos lineales basados en factores, es decir, combinaciones lineales de las variables explicativas ( X s). Estos factores se obtienen de forma que se intenta maximizar la covarianza entre los X s y la respuesta o respuestas ( Y s). PLS explota las correlaciones entre los X s y el Y s para revelar estructuras latentes subyacentes.
