El vídeo se actualizó en agosto de 2024.
La multicolinealidad es la existencia de un grado tan alto de correlación entre variables supuestamente independientes que se utilizan para estimar una variable dependiente que no se puede determinar la contribución de cada variable independiente a la variación de la variable dependiente. Una multicolinealidad alta en su conjunto de datos significa que cualquier modelo que cree casi con certeza estará sobreajustado a menos que utilice técnicas para mitigar este problema. Existen varias técnicas de modelado que se pueden utilizar para mejorar la probabilidad de crear un buen modelo predictivo al limitar la multicolinealidad. Estas incluyen el análisis de componentes principales y los mínimos cuadrados parciales, que están disponibles en JMP, y la regresión generalizada, que está disponible en JMP Pro como una opción de modelo de ajuste.
Vea cómo:
- Realizar un análisis de componentes principales (PCA) para utilizar una pequeña cantidad de componentes para modelar un conjunto de datos limitando la variabilidad y mitigando la multicolinealidad.
PCA compara las variables entre sí, no con el resultado
PCA extrae combinaciones lineales de las variables que ayudan a explicar la variabilidad, tanta variabilidad como sea posible para reducir el número de variables importantes.
- Los mejores conjuntos de datos para el análisis de PCA son altos o anchos y podrían ser ambos.
- No interpreta las variables como entradas o salidas: trabaja con una única matriz
- Extraer combinaciones lineales de variables que expliquen la mayor variabilidad posible
- Todo comienza con el primer componente principal y el algoritmo continúa hasta que se explica el 100 % de la variación. Con suerte, este número será mucho menor que el conjunto original de variables.
- Cada PC sucesivo explica tanta variación como sea posible y es ortogonal a los vectores de carga de los extraídos previamente.
- Examinar e interpretar gráficos de resumen y valores propios
- Guarde los componentes principales en la tabla de datos y realice la regresión de componentes principales usando Gráfico>Perfilador ( Recordatorio: marque la casilla Expandir valores intermedios)
- Utilice mínimos cuadrados parciales para ajustar modelos lineales basados en factores, es decir, combinaciones lineales de las variables explicativas (X)
- Estos factores se obtienen de manera que se intenta maximizar la covarianza entre las X y la respuesta o respuestas (Y).
- PLS explota las correlaciones entre las X y las Y para revelar estructuras latentes subyacentes
- PLS funciona bien en situaciones donde el uso de mínimos cuadrados ordinarios (MCO) no produce resultados satisfactorios, incluso cuando hay más variables X que observaciones; variables X altamente correlacionadas; una gran cantidad de variables X; y varias variables Y y muchas variables X.
- PLS se puede utilizar cuando los predictores superan en número a las observaciones
- PLS se utiliza ampliamente en el modelado de datos de alta dimensión en áreas como espectroscopia, quimiometría, genómica, psicología, educación, economía, ciencias políticas y ciencias ambientales.
- Vea cómo utilizar JMP PLS para dos algoritmos de ajuste de modelos disponibles: mínimos cuadrados parciales iterativos no lineales (NIPALS) y una “modificación de PLS inspirada estadísticamente” (SIMPLS)
- Para una sola respuesta, ambos métodos dan el mismo modelo; para respuestas múltiples, hay ligeras diferencias.
- PLS utiliza la prueba T2 de van der Voet y la validación cruzada para ayudarle a elegir la cantidad óptima de factores a extraer.
- Interprete el gráfico de PRESS (suma de cuadrados residuales prevista) de la raíz media, que muestra la cantidad de factores con el valor de PRESS más bajo, siendo ese modelo el menor de los mejores modelos que obtendrá para los datos.
- Utilice el gráfico de importancia de varianza (VIP) para localizar los factores a eliminar
- Interpretación de gráficos de variación porcentual
- La estadística T2 de van der Voet prueba para determinar si un modelo con un número diferente de factores difiere significativamente del modelo con el valor PRESS mínimo
- Una práctica común es extraer el menor número de factores para los cuales el nivel de significancia de van der Voet excede 0,10.
- Utilice las técnicas de regresión penalizada avanzada de JMP Pro Generalized Regression que son especialmente buenas para datos altamente correlacionados y/o no distribuidos normalmente y para la selección de variables.
- Construir el modelo LASSO, interpretar los resultados y comprender algunas de sus limitaciones.
- Cree un modelo Elastic Net e interprete datos altamente correlacionados y comprenda algunos de los beneficios sobre LASSO
- Utilice la regresión generalizada de JMP Pro para datos espectrales de alta dimensión
- Examinar e interpretar gráficos de control multivariados basados en modelos PCA, gráficos de resumen de correlaciones PCA y valores propios
- Examinar e interpretar los resultados de PLS
- Interpretar la regresión generalizada de red elástica, incluido el R-cuadrado generalizado
- Utilice la regresión generalizada de JMP Pro para datos muy amplios e interprete los resultados
Nota: el archivo .jmpprj adjunto incluye scripts para ejecutar los análisis desde la demostración.
Preguntas respondidas por Bill Worley @Bill_Worley y Scott Allen @scott_allen en el seminario web en vivo:
P: ¿Qué quiso decir cuando afirmó que los datos preferidos para PCA son altos y anchos?
R: Puede pensar en los datos "altos" como una tabla de datos que tiene muchas filas y pocas columnas; los datos "anchos" tienen muchas columnas y menos filas (menos observaciones). Por otro lado, el PLS se utiliza a menudo cuando la cantidad de factores es mayor que la cantidad de observaciones.
P: Si tiene variables altamente correlacionadas y uno de los algoritmos sugiere una sobre otra, ¿cómo selecciona qué variable conservar o cuál no utilizar?
A: El factor de inflación de la varianza (VIF) es una forma de encontrar qué valores están altamente correlacionados. El VIF solo le brinda una indicación de qué tan altamente correlacionados están realmente con otras variables. Puede encontrar factores altamente correlacionados y, al eliminar uno, afectará el VIF. Luego, use el análisis multivariado para comprender mejor qué variables están altamente correlacionadas. Vea el video:
P: ¿Es mejor utilizar BIC en lugar de AIC en regresiones generalizadas?
R: Depende del objetivo de tu modelo. BIC penaliza más a los modelos con más parámetros que AICc, por lo que suele generar modelos con menos parámetros.
P: ¿El usuario tiene la opción de elegir qué modelo utilizar en lugar del modelo JMP seleccionado?
R: Puede ejecutar una comparación de modelos y examinar los mejores resultados de validación o prueba. También puede utilizar herramientas: elimine Elastic Net Alpha y JMP analizará tres opciones para mostrarle el mejor de los tres modelos. Puede llevar un tiempo ejecutarlas si tiene una gran cantidad de datos.
P: ¿Cómo utilizarías estas técnicas para datos de series de tiempo?
R: Los datos de series temporales se analizan mejor utilizando las herramientas de series temporales o FDE en JMP. Consulte la información sobre series temporales y un video sobre el análisis de datos curvos.
Preguntas respondidas en seminarios web anteriores sobre este tema:
P: ¿La fórmula Pred Y1 proviene de la regresión PCA?
R: Sí, las fórmulas de predicción para Y1 e Y2 se generaron mediante un análisis de regresión de los componentes principales. Cuando crea el generador de perfiles con estas fórmulas de predicción, puede marcar una casilla que le permite ver los efectos individuales en lugar de los componentes principales.
P: ¿Cuáles serían sus principales criterios para eliminar variables en el ejemplo de PCA?
A: Vea el video a continuación para ver un enfoque.
P: En PLS, ¿es necesario especificar las interacciones o las relaciones entre las variables se acomodan en el modelo subyacente (por ejemplo, NIPALS)?
R: Para PLS, debe especificar los efectos del modelo que desea probar en cuanto a interacciones u otros términos. En JMP estándar, puede ejecutar un análisis PLS solo con los efectos principales. En JMP Pro, puede ejecutar PLS con otros efectos del modelo, como interacciones o polinomios, utilizando la personalidad PLS en Ajustar modelo.
P: ¿El conjunto de datos de gluten también está asociado con mucha multicolinealidad?
R: Sí. Cada longitud de onda depende de la siguiente, por lo que hay mucha colinealidad entre longitudes de onda.
P: ¿Es posible decir si PLS o la regresión generalizada son generalmente superiores con datos altamente autocorrelacionados o si simplemente dependen del conjunto de datos? Pensé que PLS era mejor, pero parece que no necesariamente.
R: Depende de la situación, que puede depender en cierta medida de los datos. Ambos modelos ofrecen buenos resultados que se aproximan mucho entre sí.
P: ¿Cuál de estas opciones de modelado sería mejor para la predicción inversa?
R: Con datos amplios, es posible que tenga problemas para obtener la configuración correcta. Todas las opciones serían válidas para la predicción inversa.
P: ¿Podría explicarme cómo guardó las fórmulas de PCA en la tabla? Solo sé cómo guardar las coordenadas.
A: Desde el triángulo rojo, Guardar fórmula en la tabla de datos.
P: Si uso el modelo PLS para la optimización con Prediction Profiler, ¿la optimización respetará la correlación entre las variables o, si se activa el control de extrapolación, se tendrá en cuenta la correlación entre las variables?
R: En PLS, puede seleccionar variables y luego usar los resultados para crear un modelo con las variables importantes. Luego, use Crear modelo con VIP y vuelva a ejecutarlo. Si guarda estos modelos en una tabla de datos, son grandes y contienen todas las variables.
P: ¿Sería útil la selección de modelos?
R: Sí, llevará un tiempo. Seleccione Métodos adicionales. Tenga en cuenta que al seleccionar eso, pasará por Elastic Net. También pasará por Ridge Regression y llevará tiempo si tiene K-folds y validación cruzada. Y, en Generalized Regression y PLS Model Screening, puede agregar interacciones bidireccionales y se ajustará con y sin las interacciones bidireccionales.
Recursos
