526288_es-ES

liliconcom

Regresión múltiple con variables correlacionadas

Hola a todos,

 

¡Necesito ayuda con respecto a la regresión múltiple y realmente agradecería cualquier ayuda! Gracias de antemano

 

Aquí hay un problema en pocas palabras:

• Tengo continuas Y y 16 X
• Cuando ejecuto un análisis multivariante, puedo ver que algunos términos están correlacionados. Diga, X1 y X2 están correlacionados, solo puedo usar uno de ellos
• Del mismo modo, tengo muchos de esos pares.
• Sin embargo, quiero elegir arbitrariamente X1 sobre X2. Entonces, lo que estoy haciendo ahora es ejecutar la regresión primero con X1 y luego con X2. Luego, comparo los modelos con estos términos. Pero la cantidad de combinaciones que necesitaría ejecutar es simplemente demasiada, consume mucho tiempo al hacerlo manualmente y es propensa a errores.
• Quería comprobar si hay una forma más inteligente de resolver esto.
• Sé que esto se puede resolver escribiendo un script para ejecutar esto en una especie de bucle y resaltar los mejores modelos en base a:
  • R2, valor adj R2 y
  • V.F.I.
• Sin embargo, no tiene el conocimiento para escribir guiones.
• ¡Cualquier otro consejo, trucos también sería genial! (No tengo JMP Pro)

Mire adelante a la audiencia de usted.

 

Atentamente,

 

Vipul

GAMAOtrosecuencias de comandosRe: Regresión múltiple con variables correlacionadas

Muchas gracias @David_Burnham ! Muy agradecido por sus comentarios, fue muy útil. Muy apreciado.

 

Atentamente,

 

Vipul

Re: Regresión múltiple con variables correlacionadas

Gracias @statman por compartir tus pensamientos. Esto fue muy útil. Muy apreciado

 

Atentamente,

 

Vipul

Re: Regresión múltiple con variables correlacionadas

Gracias de nuevo, Víctor. Esta fue una retroalimentación muy útil. Probé el enfoque de regresión paso a paso y PCA y eso ya nos ayudó mucho.

 

Gracias otra vez.

 

Atentamente,

 

Vipul

Re: Regresión múltiple con variables correlacionadas

Hola @vipul ,

Diferentes modelos conducirán a diferentes enfoques y formas de tratar la multicolinealidad.
Considerando X1 y X2 como un par de predictores altamente correlacionados entre otros predictores, los modelos reaccionarán de manera diferente:

• Con un enfoque de regresión por pasos (o árbol de decisiones), el modelo eliminará los predictores altamente correlacionados del modelo y solo conservará los más informativos. En su caso, terminará con solo X1 o X2 (dependiendo de cuál le brinde el mejor modelado/rendimiento).
• Con un enfoque de Random Forest (o Predictor Screening para JMP), se construirán varios árboles de decisión, con un subconjunto de predictores para cada árbol. Eso significa que X1 y X2 se probarán en un número igual de subconjuntos de predictores, por lo que tendrán la misma posibilidad de ser recogidos en el modelo. Dependiendo de cuál traiga más información, uno de los dos predictores tendrá una característica más importante (contribución del modelo) que el otro, pero los dos pueden ser considerados en el modelo.
• Con un enfoque PLS/PCA, reduce la cantidad de predictores a un subconjunto más pequeño de predictores no correlacionados, por lo que conserva la mayor parte de la información de los predictores (según la cantidad de componentes principales que conserve). Sus entradas se transforman/combinan y no están correlacionadas (se puede crear una nueva X' como una combinación de X1 y X2).

 

El método que elija depende del rendimiento que pueda tener con los modelos, pero lo que es más importante, depende del conocimiento de dominio que tenga sobre el tema. Diferentes modelos pueden conducir a diferentes explicaciones y diferentes hipótesis sobre el significado o la importancia de diferentes predictores, por lo que el conocimiento del dominio debe guiarlo para seleccionar el modelo más apropiado/razonable.

 

Espero que te ayude,

Re: Regresión múltiple con variables correlacionadas

David ha dado algunas plataformas para probar. La combinación no es un procedimiento estadístico, sino un procedimiento de ingeniería/científico.

Déjame darte un ejemplo hipotético:

Imagina que estás tratando de determinar qué factores tienen un efecto en la distancia a la que se puede lanzar un proyectil usando una banda elástica (Y=distancia). Dos de las muchas variables de interés (masa del proyectil, geometría del proyectil, ángulo de lanzamiento, corrientes de aire ambiental, técnica de lanzamiento, etc.) son:

1. X1 = Longitud de la banda elástica estirada y

2. X2 = "Constante de resorte" que varía cambiando el ancho de la banda elástica

 

Estas dos variables aparecen correlacionadas en un conjunto de datos y ambas tienen un efecto directo sobre la cantidad de energía suministrada al sistema (hipótesis) Considerémoslas colineales. En lugar de tratarlos como variables independientes en un experimento, uno podría combinarlos en un factor cuyos niveles consisten en:

- = longitud corta de estiramiento y banda de ancho estrecho

+ = longitud larga de estiramiento y banda de ancho grueso

Y luego este "factor combinado" comparado con muchos otros en un experimento. Si este factor parece significativo, se pueden realizar experimentos posteriores para comprender mejor cómo administrar de manera más efectiva el energía en el sistema (esto se convierte en una nueva variable de respuesta).

Re: Regresión múltiple con variables correlacionadas

FYI, el procedimiento que describe para ajustar uno a la vez sobre todas las X lo realiza automáticamente el Evaluación de respuesta plataforma que se encuentra en Analizar> Cribado.

Re: Regresión múltiple con variables correlacionadas

También te puede interesar mirar el Variables de clúster utilidad en Analizar>Clustering.Las X que están correlacionadas se colocarán en el mismo grupo.Luego, para cada grupo, puede seleccionar una 'variable representativa' para incluir en una regresión.Incluso hay una opción de 'modelo de ajuste de lanzamiento' del triángulo rojo.

Re: Regresión múltiple con variables correlacionadas

Hola @statman ,

Gracias por tomarse el tiempo para compartir su perspectiva. ¿Podría dar más detalles sobre cómo combina varias X correlacionadas?

 

Gracias nuevamente de antemano.

 

Atentamente,

 

Vipul

Re: Regresión múltiple con variables correlacionadas

Hola @Victor_G

 

Gracias por tomarse el tiempo en responder. Me aseguraré de usar el módulo de detección de predictores de inmediato. Con la esperanza de que da algunas pistas.

 

Sin embargo, ¿crees que esto resolverá el problema de la multicolinealidad ya que (digamos) X1 y X2 volverán a aparecer como predictores más probables, verdad?

Re: Regresión múltiple con variables correlacionadas

Aquí están mis pensamientos: No hay procedimientos estadísticos. para recoger qué factores incluir en su estudio cuando la multicolinealidad está presente. La decisión debe ser tomada por el SME (experto en la materia). Las cosas que pueden influir en esto incluyen:

1. Facilidad o coste de gestionar las X

2. Base científica (hipótesis) para la inclusión o no (sugiero que se pronostiquen en lugar de desarrollarse después de obtener los datos)

3. Impacto en otros Y

Ahora, hay otras cosas que puedes hacer:

1. Combina las x correlacionadas en una X

2. Desarrollar variables de respuesta alternativas

3. Pruebe diferentes transformaciones (p. ej., PCA), aunque esto puede enturbiar las relaciones científicas

4. Ejecutar experimentos sobre los factores

Re: Regresión múltiple con variables correlacionadas

Hola @vipul ,

 

Tal vez usar la personalidad "Stepwise" en la plataforma "Fit Model" corresponda a su necesidad, ya que JMP intentará usar variables que tiendan a crear un modelo con BIC/AICc mínimo, o con un umbral de valor p. Al hacer clic en el triángulo rojo de la plataforma, también existe la opción de probar "Todos los modelos posibles", donde debe especificar la mayor cantidad de términos (factores) en sus modelos y la cantidad de mejores modelos para ver. Luego, JMP proporcionará una tabla con todos los modelos probados, con la cantidad de términos en cada modelo, R², RMSE, AICc y BIC, y puede ejecutar cualquiera de los modelos probados si encuentra alguno que sea lo suficientemente interesante.

 

Sin embargo, no creo que sea una buena idea con el problema de la multicolinealidad en su conjunto de datos. Si tiene JMP y un conjunto de datos con variables altamente correlacionadas, puede probar estas opciones, dependiendo de si está interesado en la explicabilidad y/o la previsibilidad:

• Use "Predictor de detección" (en Analizar -> Detección) para encontrar las variables que son las más importantes para su respuesta. Seleccione los n más importantes (puede variar el umbral n, la cantidad de variables importantes que desea mantener según la experiencia del dominio o el umbral arbitrario como "Quiero los 5 principales predictores"), haga clic en "Copiar seleccionado" y luego ejecute su modelo de regresión (Fit Model) con las variables que ha copiado.
• Utilice el análisis de componentes principales para reducir sus 16 X iniciales a un conjunto más bajo de variables independientes que contengan la mayor parte de la información inicial. Luego pruebe un modelo de regresión con sus componentes principales en lugar de las X originales.
• Use Mínimos cuadrados parciales (Analizar -> Multivariado -> Mínimos cuadrados parciales) para crear un modelo con variables correlacionadas.

 

Creo que estas opciones pueden ser más sólidas/confiables que tratar de adaptarse a todos los modelos posibles y elegir los mejores dependiendo de R² u otras métricas, ya que el enfoque original que mencionó eliminará algunas de las X correlacionadas que aún pueden contener valiosos información.
Hay muchas otras opciones posibles, pero disponibles en JMP Pro (con técnicas de modelo de regresión penalizadas, por ejemplo).

 

Creo que estas tres primeras opciones ya pueden ser útiles para ti