526288_es-ES

liliconcom

Regresión múltiple con variables correlacionadas

Hola a todos,

 

Necesito ayuda con respecto a la regresión múltiple y realmente agradecería cualquier ayuda. Gracias de antemano

 

Aquí hay un problema en pocas palabras:

• Tengo Y continua y 16 X.
• Cuando ejecuto un análisis multivariado, puedo ver que algunos términos están correlacionados. Digamos que X1 y X2 están correlacionados, solo puedo usar uno de ellos.
• Asimismo, tengo muchos de esos pares.
• Sin embargo, quiero elegir arbitrariamente X1 sobre X2. Entonces, lo que estoy haciendo ahora es ejecutar la regresión primero con X1 y luego con X2. Luego, comparo los modelos con estos términos. Pero la cantidad de combinaciones que necesitaría ejecutar es simplemente demasiada, lo que requiere mucho tiempo al hacerlo manualmente y es propenso a errores.
• Quería comprobar si existe una forma más inteligente de resolver esto.
• Sé que esto se puede resolver escribiendo un script para ejecutarlo en una especie de bucle y resaltar los mejores modelos como base:
  • R2, ajuste el valor de R2 y
  • VIF
• Sin embargo, no tienes los conocimientos necesarios para escribir guiones.
• ¡Cualquier otro consejo o truco también sería genial! (No tengo JMP Pro)

Esperamos tener noticias suyas.

 

Atentamente,

 

vipul

Automatización y secuencias de comandosDiseño de experimentosRe: Regresión múltiple con variables correlacionadas

Muchas gracias @David_Burnham ! Muy agradecido por tus comentarios, fue de gran ayuda. Muy apreciado.

 

Atentamente,

 

vipul

Re: Regresión múltiple con variables correlacionadas

Gracias @statman por compartir tus pensamientos. Esto fue muy útil. Muy apreciado

 

Atentamente,

 

vipul

Re: Regresión múltiple con variables correlacionadas

Gracias de nuevo, Víctor. Este fue un comentario muy útil. Probé el enfoque de regresión por pasos y PCA y eso ya nos ayudó mucho.

 

Gracias otra vez.

 

Atentamente,

 

vipul

Re: Regresión múltiple con variables correlacionadas

Hola @vipul ,

Diferentes modelos conducirán a diferentes enfoques y formas de abordar la multicolinealidad.
Considerando que X1 y X2 son un par de predictores altamente correlacionados entre otros predictores, los modelos reaccionarán de manera diferente:

• Con un enfoque de regresión por pasos (o árbol de decisión), el modelo eliminará los predictores altamente correlacionados del modelo y solo mantendrá los más informativos. En su caso, terminará con solo X1 o X2 (dependiendo de cuál le brindará el mejor modelado/rendimiento).
• Con un enfoque de bosque aleatorio (o detección de predictores para JMP), se construirán varios árboles de decisión, con un subconjunto de predictores para cada árbol. Eso significa que X1 y X2 se probarán en un número igual de subconjuntos de predictores, por lo que tendrán la misma probabilidad de ser recogidos en el modelo. Dependiendo de cuál aporta más información, uno de los dos predictores tendrá una mayor importancia de característica (contribución del modelo) que el otro, pero los dos pueden considerarse en el modelo.
• Con un enfoque PLS/PCA, se reduce el número de predictores a un subconjunto más pequeño de predictores no correlacionados, de modo que se conserva la mayor parte de la información de los predictores (dependiendo de cuántos componentes principales se conservan). Sus entradas se transforman/combinan y no están correlacionadas (se puede crear una nueva X' como una combinación de X1 y X2).

 

El método que elegirás depende del rendimiento que puedas tener con los modelos, pero más importante aún, depende del conocimiento que tengas sobre el tema. Diferentes modelos pueden conducir a diferentes explicaciones y diferentes hipótesis sobre el significado o la importancia de diferentes predictores, por lo que el conocimiento del dominio debe guiarlo para seleccionar el modelo más apropiado/razonable.

 

Espero que te ayude,

Re: Regresión múltiple con variables correlacionadas

David ha dado algunas plataformas para probar. La combinación no es un procedimiento estadístico, sino un procedimiento científico/de ingeniería.

Déjame darte un ejemplo hipotético:

Imagine que está tratando de determinar qué factores tienen un efecto en la distancia a la que se puede lanzar un proyectil usando una banda elástica (Y = distancia). Dos de las muchas variables de interés (masa del proyectil, geometría del proyectil, ángulo de lanzamiento, corrientes de aire ambiental, técnica de lanzamiento, etc.) son:

1. X1 = Longitud de la banda elástica que se estira y

2. X2 = "Constante de resorte" que se varía cambiando el ancho de la banda elástica

 

Estas dos variables aparecen correlacionadas en un conjunto de datos y ambas tienen un efecto directo sobre la cantidad de energía suministrada al sistema (hipótesis). Considerémoslas colineales. En lugar de tratarlos como variables independientes en un experimento, se podrían combinar en un factor cuyos niveles consistan en:

- = tramo corto de banda elástica y ancho estrecho

+ = longitud larga de banda elástica y ancha gruesa

Y luego este "factor combinado" se compara con muchos otros en un experimento. Si este factor parece significativo, se pueden realizar experimentos posteriores para comprender mejor cómo gestionar más eficazmente el energía en el sistema (Esto se convierte en una nueva variable de respuesta).

Re: Regresión múltiple con variables correlacionadas

Para su información, el procedimiento que describe para colocar una a la vez sobre todas las X se realiza automáticamente mediante el Evaluación de respuesta plataforma que se encuentra en Analizar> Detección.

Re: Regresión múltiple con variables correlacionadas

Quizás también te interese mirar el Variables de clúster utilidad en Analizar>Agrupación.Las X que estén correlacionadas se colocarán en el mismo grupo.Luego, para cada grupo, puede seleccionar una 'variable representativa' para incluirla en una regresión.Incluso hay una opción de "modelo de ajuste de lanzamiento" en el triángulo rojo.

Re: Regresión múltiple con variables correlacionadas

Hola @statman ,

Gracias por tomarse el tiempo para compartir su perspectiva. ¿Podría explicarnos más detalladamente cómo se combinan múltiples X correlacionadas?

 

Gracias de nuevo de antemano.

 

Atentamente,

 

vipul

Re: Regresión múltiple con variables correlacionadas

Hola @Victor_G

 

Gracias por tomarse el tiempo en responder. Me aseguraré de utilizar el módulo de detección de predictores de inmediato. Con la esperanza de que dé algunas pistas.

 

Sin embargo, ¿crees que esto resolverá el problema de la multicolinealidad ya que (digamos) X1 y X2 volverán a aparecer como predictores más probables, verdad?

Re: Regresión múltiple con variables correlacionadas

Aquí están mis pensamientos: no existen procedimientos estadísticos para recoger qué factores incluir en su estudio cuando hay multicolinealidad presente. La decisión debe ser una que tome el Pyme (Experto en la Materia). Las cosas que pueden influir en esto incluyen:

1. Facilidad o coste de gestionar las X

2. Base científica (hipótesis) para su inclusión o no (sugiero que se predigan en lugar de desarrollarse después de obtener los datos)

3. Impacto en otras Y

Ahora, hay otras cosas que puedes hacer:

1. Combina x correlacionadas en una X

2. Desarrollar variables de respuesta alternativas

3. Pruebe diferentes transformaciones (por ejemplo, PCA), aunque esto puede nublar las relaciones científicas.

4. Realizar experimentos sobre los factores.

Re: Regresión múltiple con variables correlacionadas

Hola @vipul ,

 

Quizás usar la personalidad "Stepwise" en la plataforma "Fit Model" corresponda a su necesidad, ya que JMP intentará usar variables que tiendan a crear un modelo con BIC/AICc mínimo, o con un umbral de valor p. Al hacer clic en el triángulo rojo de la plataforma, también existe la opción de probar "Todos los modelos posibles", donde debe especificar la mayor cantidad de términos (factores) en sus modelos y la cantidad de mejores modelos para ver. Luego, JMP proporcionará una tabla con todos los modelos probados, con el número de términos en cada modelo, R², RMSE, AICc y BIC, y podrá ejecutar cualquiera de los modelos probados si encuentra alguno que sea lo suficientemente interesante.

 

Sin embargo, no creo que esto sea una buena idea con el problema de la multicolinealidad en su conjunto de datos. Si tiene JMP y un conjunto de datos con variables altamente correlacionadas, puede probar estas opciones, dependiendo de si está interesado en la explicabilidad y/o previsibilidad:

• Utilice "Detección de predictores" (en Analizar -> Detección) para encontrar las variables que sean más importantes para su respuesta. Seleccione las n más importantes (puede variar el umbral n, la cantidad de variables importantes que desea conservar según la experiencia en el dominio o un umbral arbitrario como "Quiero los 5 predictores principales"), haga clic en "Copiar seleccionados" y luego ejecute su modelo de regresión (Fit Model) con las variables que ha copiado.
• Utilice el Análisis de componentes principales para reducir sus 16 X iniciales a un conjunto inferior de variables independientes que contengan la mayor parte de la información inicial. Luego pruebe un modelo de regresión con sus componentes principales en lugar de las X originales.
• Utilice mínimos cuadrados parciales (Analizar -> Multivariado -> mínimos cuadrados parciales) para crear un modelo con variables correlacionadas.

 

Creo que estas opciones pueden ser más sólidas/confiables que tratar de ajustar todos los modelos posibles y elegir los mejores dependiendo de R² u otras métricas, ya que el enfoque original que mencionaste eliminará algunas de las X correlacionadas que aún pueden contener valiosas información.
Hay muchas otras opciones posibles, pero disponibles en JMP Pro (con técnicas de modelo de regresión penalizadas, por ejemplo).

 

Creo que estas tres primeras opciones pueden resultarte útiles