Creación de modelos predictivos para datos correlacionados y de alta dimensionalidad.
El vídeo se actualizó en agosto de 2024.
La multicolinealidad es la existencia de un grado tan alto de correlación entre variables supuestamente independientes que se utilizan para estimar una variable dependiente, que la contribución de cada variable independiente a la variación de la variable dependiente no se puede determinar. Una alta multicolinealidad en su conjunto de datos significa que cualquier modelo que construya casi con seguridad estará sobreajustado a menos que utilice técnicas para mitigar este problema. Existen varias técnicas de modelado que pueden utilizarse para mejorar la probabilidad de construir un buen modelo predictivo limitando la multicolinealidad. Estas incluyen el Análisis de Componentes Principales y los Mínimos Cuadrados Parciales, ambos disponibles en JMP, y la Regresión Generalizada, que está disponible en JMP Pro como una opción de Ajuste de Modelo.
Vea cómo:
- Realizar un análisis de componentes principales (PCA) para utilizar un número reducido de componentes para modelar un conjunto de datos limitando la variabilidad y mitigando la multicolinealidad.
El PCA compara las variables entre sí, no con el resultado.
El PCA extrae combinaciones lineales de las variables que ayudan a explicar la variabilidad, tanta variabilidad como sea posible para reducir el número de variables importantes.
- Los mejores conjuntos de datos para el análisis PCA son altos o anchos, y podrían ser ambos.
- No interpreta las variables como entradas o salidas; trabaja con una sola matriz.
- Extraer combinaciones lineales de variables que expliquen la mayor variabilidad posible.
- Todo esto comienza con el primer componente principal y el algoritmo continúa hasta que se explica el 100% de la variación. Con suerte, este número será mucho menor que su conjunto original de variables.
- Cada PC sucesivo explica tanta variación como sea posible y es ortogonal a los vectores de carga de los previamente extraídos.
- Examine e interprete los gráficos resumen y los valores propios.
- Guarde los componentes principales en una tabla de datos y realice una regresión de componentes principales utilizando Gráfico > Perfilador ( Recordatorio: marque la casilla Expandir valores intermedios).
- Utilice el método de mínimos cuadrados parciales para ajustar modelos lineales basados en factores, es decir, combinaciones lineales de las variables explicativas (X).
- Estos factores se obtienen de manera que se intente maximizar la covarianza entre las X y la respuesta o respuestas (Y).
- PLS aprovecha las correlaciones entre las X y las Y para revelar estructuras latentes subyacentes.
- El método PLS funciona bien en situaciones donde el uso de mínimos cuadrados ordinarios (OLS) no produce resultados satisfactorios, incluyendo cuando hay más variables X que observaciones; variables X altamente correlacionadas; un gran número de variables X; y varias variables Y y muchas variables X.
- PLS se puede utilizar cuando el número de predictores supera al de observaciones.
- El método PLS se utiliza ampliamente para modelar datos de alta dimensión en áreas como la espectroscopia, la quimiometría, la genómica, la psicología, la educación, la economía, las ciencias políticas y las ciencias ambientales.
- Vea cómo usar JMP PLS para dos algoritmos de ajuste de modelos disponibles: mínimos cuadrados parciales iterativos no lineales (NIPALS) y una "modificación de PLS inspirada estadísticamente" (SIMPLS).
- Para una sola respuesta, ambos métodos dan el mismo modelo; para múltiples respuestas, existen ligeras diferencias.
- PLS utiliza la prueba T2 de van der Voet y la validación cruzada para ayudarle a elegir el número óptimo de factores a extraer.
- Interprete el gráfico de la raíz cuadrada de la media PRESS (suma de cuadrados residuales predicha), que muestra el número de factores con el valor PRESS más bajo; ese modelo es el menos bueno de los mejores modelos que obtendrá para los datos.
- Utilice el gráfico de importancia de la varianza (VIP) para localizar los factores que se deben eliminar.
- Interpretación de gráficos de variación porcentual
- La estadística T2 de van der Voet se utiliza para determinar si un modelo con un número diferente de factores difiere significativamente del modelo con el valor PRESS mínimo.
- Una práctica común es extraer el número más pequeño de factores para los cuales el nivel de significancia de van der Voet supera 0,10.
- Utilice la técnica de regresión penalizada avanzada de JMP Pro Generalized Regression, que es especialmente adecuada para datos altamente correlacionados y/o con distribución no normal y para la selección de variables.
- Construya un modelo LASSO, interprete los resultados y comprenda algunas de sus limitaciones.
- Construir un modelo Elastic Net e interpretarlo para datos altamente correlacionados y comprender algunos de los beneficios sobre LASSO.
- Utilice JMP Pro Generalized Regression para datos espectrales de alta dimensión.
- Examine e interprete los gráficos de control multivariante basados en modelos PCA, los gráficos resumen de correlaciones PCA y los valores propios.
- Examine e interprete los resultados de PLS.
- Interpretación de la regresión generalizada Elastic Net, incluyendo el R cuadrado generalizado.
- Utilice la regresión generalizada de JMP Pro para conjuntos de datos muy amplios e interprete los resultados.
Nota: el archivo .jmpprj adjunto incluye scripts para ejecutar los análisis de la demostración.
Preguntas respondidas por Bill Worley (@Bill_Worley) y Scott Allen (@scott_allen ) en el seminario web en directo:
P: ¿Qué quiso decir cuando afirmó que los datos preferidos para el PCA son altos y anchos?
A: Se puede pensar en los datos "altos" como una tabla de datos con muchas filas y pocas columnas; los datos "anchos" tienen muchas columnas y menos filas (menos observaciones). Por otro lado, el método PLS se suele utilizar cuando el número de factores es mayor que el número de observaciones.
P: Si tienes variables altamente correlacionadas y uno de los algoritmos sugiere una sobre otra, ¿cómo seleccionas qué variable conservar o cuál no utilizar?
A: El Factor de Inflación de la Varianza (VIF) es una forma de identificar valores altamente correlacionados. El VIF simplemente indica el grado de correlación entre estos valores y otras variables. Al identificar factores altamente correlacionados, la eliminación de uno de ellos afectará el VIF. Posteriormente, se puede utilizar el Análisis Multivariante para comprender mejor qué variables presentan una alta correlación.
P: ¿Es mejor usar BIC en lugar de AIC en regresiones generalizadas?
R: Depende del objetivo de tu modelo. El criterio BIC penaliza más a los modelos con más parámetros que el criterio AICc. Por lo tanto, suele dar lugar a modelos con menos parámetros.
P: ¿Tiene el usuario la opción de elegir qué modelo usar en lugar del modelo JMP seleccionado?
A: Puedes realizar una comparación de modelos y examinar los mejores resultados de validación o prueba. También puedes usar herramientas como Remove Elastic Net Alpha y JMP, que analizan tres opciones para mostrarte el mejor de los tres modelos. Si tienes muchos datos, estas pruebas pueden tardar un tiempo en ejecutarse.
P: ¿Cómo utilizaría estas técnicas para datos de series temporales?
A: Los datos de series temporales se analizan mejor utilizando las herramientas Series temporales o FDE en JMP. Consulte la información sobre Series temporales y un vídeo sobre análisis datos curvos.
Preguntas respondidas en seminarios web anteriores sobre este tema:
P: ¿La fórmula Pred Y1 proviene de una regresión PCA?
A: Sí, las fórmulas de predicción para Y1 e Y2 se generaron mediante análisis de regresión de los componentes principales. Al crear el perfilador con estas fórmulas de predicción, puede marcar una casilla que le permite ver los efectos individuales en lugar de los componentes principales.
P: En PLS, ¿es necesario especificar las interacciones o las relaciones entre las variables están contempladas en el modelo subyacente (por ejemplo, NIPALS)?
A: Para PLS, debe especificar los efectos del modelo que desea probar (interacciones u otros términos). En JMP estándar, puede ejecutar el análisis PLS solo con efectos principales. En JMP Pro, puede ejecutar PLS con otros efectos del modelo, como interacciones o polinomios, utilizando la opción "Ajustar modelo" en "PLS personality".
P: ¿El conjunto de datos sobre el gluten también está asociado con un alto grado de multicolinealidad?
R: Sí. Cada longitud de onda depende de la siguiente, por lo que existe mucha colinealidad entre las diferentes longitudes de onda.
P: ¿Es posible determinar si PLS o la regresión generalizada son generalmente superiores con datos altamente autocorrelacionados, o simplemente depende del conjunto de datos? Tenía la impresión de que PLS era mejor, pero parece que no necesariamente.
R: Depende de la situación, que puede depender en cierta medida de los datos. Ambos proporcionan buenos modelos muy similares entre sí.
P: ¿Cuál de estas opciones de modelado sería la mejor para la predicción inversa?
R: Con conjuntos de datos amplios, es posible que tengas problemas para configurar correctamente los ajustes. Todas las opciones serían válidas para la predicción inversa.
P: ¿Podrías explicarme cómo guardaste las fórmulas de PCA en la tabla? Yo solo sé cómo guardar las coordenadas.
A: Desde el triángulo rojo, Guardar fórmula en la tabla de datos.
P: Si utilizo el modelo PLS para la optimización con Prediction Profiler, ¿la optimización respetará la correlación entre las variables, o si se activa el control de extrapolación, se tendrá en cuenta la correlación entre las variables?
A: En PLS, puedes realizar una selección de variables y luego usar los resultados para construir un modelo con las variables importantes. Después, usa la función Crear modelo con VIP y vuelve a ejecutarlo. Si guardas estos modelos en una tabla de datos, serán muy grandes y contendrán todas las variables.
P: ¿Sería útil la selección de modelos?
A: Sí. Tomará tiempo. Seleccione Métodos adicionales. Tenga en cuenta que al seleccionarlo, se utilizará Elastic Net. También se utilizará Ridge Regression y tomará tiempo si tiene K-folds y validación cruzada. Además, en Regresión generalizada y selección de modelos PLS, puede agregar interacciones de dos vías y se ajustará con y sin dichas interacciones.
gail_massari_1-1731005860636.jpeg
Recursos
