ANOVA vs. GLM para experimento de campo ecológicoEstoy analizando datos de un experimento de campo ecológico, diseñado para Pruebe los efectos de la eliminación de herbívoros (lapa) y la adición de humedad sobre el cambio en la cubierta de un alga intermareal rocosa. El diseño experimental es de bloques al azar, de dos factores y completamente factorial. Adjunto un documento que detalla el diseño experimental y enumera los guiones y los resultados del modelo relacionados con tres preguntas para la discusión comunitaria:
- ¿Qué enfoque de modelado (ANOVA de mínimos cuadrados estándar o GLM) es preferible para modelar los resultados de un experimento de campo ecológico? Ver Antecedentes.
- ¿Los scripts que utilicé para ejecutar cada tipo de modelo están construidos correctamente? Ver guiones.
- Dado que los enfoques GLM (normal, identidad) y ANOVA suponen distribuciones normales, ¿por qué el GLM produce valores de p consistentemente más pequeños que el ANOVA? Consulte Salida del modelo.
Diseño de experimentosRe: ANOVA vs. GLM para experimento de campo ecológicoNuevamente, ¿no estoy seguro de haber entendido la pregunta? Si se trata de aprender a utilizar residuos para determinar la idoneidad de su modelo, existen muchos libros y artículos sobre el tema. Primero, un residual es la diferencia entre la predicción del modelo y el valor real. Independientemente de cualquier suposición requerida o implícita, para que el modelo sea útil, es de esperar que haga un Bastante bueno trabajo de predecir los resultados reales. Desde una perspectiva de desarrollo de modelos:
1. es de esperar que el modelo no esté sesgado hacia arriba o hacia abajo (los residuos se distribuirían alrededor de 0),
2. Es de esperar que los residuos tengan aproximadamente la misma variación en todo el modelo y que esta variación no fluctúe mucho (los residuos tienen una variación constante)
3. Es de esperar que no haya puntos de datos inusuales que el modelo no explique (ausencia de valores atípicos en los residuos)
4. Es de esperar que los residuos no formen algún patrón o estén relacionados entre sí (distribuidos de forma independiente)
Si algunos de estos esperanzas no estás satisfecho, debes tratar de entender por qué. Deberías cuestionar la efectividad de tu modelo y cómo puedes modificarlo para hacerlo más útil (y mejor aún, llegar a una mejor comprensión de lo que realmente está sucediendo).
Re: ANOVA vs. GLM para experimento de campo ecológico¿Cuál sería la mejor manera de aprender a utilizar los distintos residuos del GLM ajustado para comprobar si hay valores atípicos, observaciones influyentes y sesgos?Re: ANOVA vs. GLM para experimento de campo ecológico@statman describe bien el supuesto del modelo de regresión lineal. Los GLM no tienen tales suposiciones sobre los errores, por lo que su concepto de análisis residual no se traslada al GLM. Sin embargo, podemos utilizar los distintos residuos del GLM ajustado para comprobar si hay valores atípicos, observaciones influyentes y sesgos. El GLM supone que la respuesta sigue la distribución condicional que usted seleccionó (por ejemplo, Poisson, binomial, normal) y maximiza la probabilidad de las estimaciones de los parámetros del modelo.
Es diferente.
Re: ANOVA vs. GLM para experimento de campo ecológicoEstoy un poco confundido por esto " Nuestro entendimiento es que para probar el supuesto de normalidad en ANOVA". NO hay ninguna suposición de normalidad de los datos brutos analizados mediante ANOVA. Los únicos supuestos son NID(0, varianza). Eso es residuos distribuidos normal e independientemente con media 0 y varianza constante. Hay varias formas de analizar los residuos:
1. en una serie de tiempo,
2. frente a lo previsto
3. como distribución,
4. parcelas de apalancamiento
Hay varios tipos de residuos, como usted ha enumerado algunos. No hay el correcto usar. Es bastante fácil mirarlos a todos.
Re: ANOVA vs. GLM para experimento de campo ecológicoTenemos una pregunta de seguimiento sobre si se prueban los mismos supuestos sobre la normalidad en GLM que en ANOVA.
Entendemos que para probar el supuesto de normalidad en ANOVA, se prueba la normalidad de los residuos. Para hacer esto, guardaríamos los residuos en la tabla de datos y luego usaríamos la herramienta Distribución para probar la normalidad.
¿Existe un procedimiento correspondiente para GLM? Si es así, ¿qué salida residual utilizar: residuos de desviación, residuos de Pearson, residuos de desviación estudentizados o residuos de Pearson estudentizados?
Re: ANOVA vs. GLM para experimento de campo ecológicoNo, GLM no siempre producirá valores p más pequeños que OLS para el mismo modelo.
Re: ANOVA vs. GLM para experimento de campo ecológicoGracias. Esto es muy útil. ¿GLM siempre producirá mayores
significancia (p inferior) que ANOVA o esto dependería de la estructura de
los datos (por ejemplo, desviación del supuesto de normalidad)?
Re: ANOVA vs. GLM para experimento de campo ecológicoA Box también le gustaba hacer los diagramas de Bayes. Cuthbert Daniel fue el primero en utilizar los gráficos Half Normal para el análisis de experimentos. Esencialmente, si la nula es cierta para todos los efectos del tratamiento, entonces sus efectos deberían distribuirse normalmente (aleatoriamente) con una media de cero. El gráfico Normal muestra los efectos transformados de modo que los efectos que aparecen en una línea recta son efectos aleatorios y los puntos que se apartan de la línea son asignables. JMP añade la línea PSE de Lenth a la trama, pero hay que tener cuidado con la interpretación.Re: ANOVA vs. GLM para experimento de campo ecológicoCon respecto al punto 1, el principal beneficio del GLM es que no está restringido a un modelo de distribución normal de la respuesta. Si su respuesta tiene una distribución normal (condicionalmente), utilice OLS.
Re: ANOVA vs. GLM para experimento de campo ecológicoCon respecto al punto 3, MCO resuelve las ecuaciones normales directamente. Los resultados se basan en sumas de cuadrados. Esto lleva a la prueba F para todo el modelo. Las estimaciones de parámetros distribuidas normalmente conducen a pruebas t. Por otro lado, el GLM utiliza MLE. Los resultados se basan en -2LogLikelihood. Esto conduce a pruebas de chi cuadrado (pruebas de razón de verosimilitud).
Entonces la estimación y las pruebas utilizan diferentes métodos. No se espera que den valores p idénticos. Tenga en cuenta que estos valores generalmente coinciden, aunque no exactamente.
Re: ANOVA vs. GLM para experimento de campo ecológicoEn respuesta a su pregunta, sí, utilizamos herramientas JMP para buscar valores atípicos y heterogeneidad de variaciones entre las combinaciones de tratamientos 2x2. Las respuestas varían entre bloques (unidades espaciales), como se esperaba, de ahí la motivación para bloquear. No hay replicación de parcelas (combinaciones tmt) dentro de los bloques. El orden de ejecución no es relevante, porque los tratamientos se aplicaron al mismo tiempo a las cuatro parcelas dentro de cada bloque.
También trazamos medias, sems y valores de bloques individuales para todas las combinaciones de intervalo de respuesta x bloque x tratamiento (2 factores en x 2 niveles cada uno). Nuestro objetivo con estos modelos era determinar los fundamentos de patrones fácilmente visibles en los datos.
Re: ANOVA vs. GLM para experimento de campo ecológicoAdemás, el procedimiento de estimación difiere. La solución de mínimos cuadrados es una forma cerrada que se calcula directamente. La solución GLM es un método iterativo para estimaciones de máxima verosimilitud. Aquí está el mismo modelo estimado primero con la plataforma Fit Least Squares:
Aquí está el mismo modelo estimado con GLM usando la distribución normal para la respuesta con el vínculo de identidad:
La parametrización es la misma para las predicciones categóricas de edad y sexo, pero las rutinas de estimación difieren. El primero se basa en sumas de cuadrados con pruebas t y F, y el segundo se basa en probabilidad con pruebas de razón de chi cuadrado.
Los dos modelos producen predicciones idénticas de la respuesta:
Re: ANOVA vs. GLM para experimento de campo ecológicoGracias por su respuesta. Respondiendo a sus declaraciones numeradas:
1. Gracias por la aclaración de las diferencias entre ANOVA y GLM. GLM es un territorio relativamente nuevo para nosotros.
2. Adjuntamos una columna completa de datos de respuesta del conjunto de datos a continuación.
3. Tanto nuestro modelo ANOVA como GLM utilizan los mismos tratamientos y términos de error en el cuadro de diálogo Ajustar modelo. Si tiene tiempo de probar nuestros scripts, tal vez pueda explicar por qué los valores p difieren en las salidas.
4. Gracias por la introducción al módulo Detección de efectos, con sus opciones de trazado normal y de Pareto. No estoy seguro de cómo interpretar los efectos significativos, pero esto puede no ser relevante para nuestro caso.
Bloquear | lapas | Humedad | Cambiar/mes |
1 | +L | +M | 0,5 |
1 | +L | -METRO | 1.2 |
1 | -l | +M | 0,9 |
1 | -l | -METRO | 0,7 |
2 | +L | +M | 0,5 |
2 | +L | -METRO | 0,2 |
2 | -l | +M | 1.7 |
2 | -l | -METRO | 0.1 |
3 | +L | +M | -0,2 |
3 | +L | -METRO | 0,2 |
3 | -l | +M | -0,3 |
3 | -l | -METRO | -0,2 |
4 | +L | +M | -0,2 |
4 | +L | -METRO | 1.1 |
4 | -l | +M | 0,5 |
4 | -l | -METRO | 0.0 |
Re: ANOVA vs. GLM para experimento de campo ecológicoLos modelos pueden diferir por la parametrización de los factores categóricos. Por favor vea estos detalles .
Re: ANOVA vs. GLM para experimento de campo ecológicoGracias por tu respuesta, Marcos. Desafortunadamente, no es posible seleccionar una opción de error/vínculo diferente, porque los datos son valores de cambio (valores no enteros, incluidas numerosas observaciones menores que cero).
Estoy pegando los guiones que construimos para ANOVA y GLM. ¿Podría decirnos a partir de estos guiones en qué pueden diferir las especificaciones del modelo?
ANOVA
Modelo de ajuste(
Y( :My87Ja88Mo ),
Efectos ( :Blk#, :Limp, :Húmedo, :Limp * :Húmedo ),
Personalidad ("Mínimos cuadrados estándar"),
Énfasis ("Apalancamiento del efecto"),
Correr(
:My87Ja88Mo << {Resumen de ajuste( 1 ), Análisis de varianza( 1 ),
Estimaciones de parámetros( 1 ), Falta de ajuste( 0 ), Estimaciones ampliadas( 1 ),
Estimaciones escaladas (0), trazar lo real por lo previsto (1),
Trazar la regresión (0), Trazar el residuo según lo previsto (1),
Trazar residuos estudentizados (0), Trazar apalancamiento del efecto (1),
Trazar el residuo por cuantiles normales (0),
Transformación Box Cox Y (0)}
)
);
GLM
Modelo de ajuste(
Y( :My87Ja88Mo ),
Efectos ( :Blk#, :Limp, :Húmedo, :Limp * :Húmedo ),
Personalidad( "Modelo lineal generalizado"),
Distribución GLM( "Normal"),
Función de enlace ("Identidad"),
Pruebas e intervalos de sobredispersión (0),
Nombre( "Estimaciones ajustadas por sesgo de Firth" )(0),
Correr
);
Re: ANOVA vs. GLM para experimento de campo ecológicoPara añadir a @Mark_Bailey y @statman Comentarios/consejos de ¿Ha trazado los datos de manera significativa ANTES de modelar? Dado que realizó un diseño experimental, los gráficos de factor y bloque versus respuesta, la distribución simple de las respuestas y el orden de ejecución de respuesta versus experimental son un conjunto mínimo de gráficos que le sugiero que cree. Con miras a responder las siguientes preguntas, que en última instancia se utilizan para desarrollar la comprensión del proceso Y ayudar a garantizar que tengamos datos limpios para el modelado:
1. ¿Los diagramas de factores/bloques sugieren algo que va en contra de fenómenos biológicos/físicos conocidos? En el pasado, les sugería a los ingenieros que analizáramos estos gráficos. Si muestran el equivalente moral de "las tramas sugieren que el agua corre colina arriba, bueno, tenemos un problema".
2. ¿Existen respuestas atípicas que sugieran variables ocultas imprevistas que puedan haberse infiltrado en la realización del experimento?
3. ¿El gráfico de respuestas del orden de ejecución experimental sugiere una tendencia o patrón sospechoso de que nuevamente puede haber habido una variable oculta dentro de la conducta experimental?
Re: ANOVA vs. GLM para experimento de campo ecológicoMis pensamientos:
1. No hay correcto wa y para analizar los datos. Hay pros y contras de cualquier método de análisis. Para simplificar demasiado, ANOVA básicamente analiza la magnitud del efecto, mientras que GLM analiza tanto la magnitud como la dirección del efecto.
2. No evalué sus guiones porque no tenía el conjunto de datos.
3. No estoy seguro de lo que quieres decir con " Dado que los enfoques GLM (normal, identidad) y ANOVA asumen distribuciones normales". Hay una suposición de la distribución de los residuos, pero no del conjunto de datos real. ANOVA es bastante robusto a distribuciones no normales. Primero, no se enamore de la estadística del valor p. Es sólo una estimación. Es el resultado de una comparación de cuadrados medios. Media cuadrática del tratamiento al error cuadrático medio (ambos también son estimaciones). Si cambia las comparaciones o estimaciones, el valor p cambiará.
Algo que podrías intentar ya que eres tratando el bloque como un efecto fijo... saturar el modelo con Bloque, L, M, L*M, Bloque*L, Bloque*M, Bloque*L*M. Utilice diagramas normales y de Pareto para buscar efectos significativos. Esto elimina cualquier sesgo de error cuadrático medio.
Re: ANOVA vs. GLM para experimento de campo ecológicoEl GLM es una generalización de la regresión de mínimos cuadrados ordinarios. Deberían ser esencialmente equivalentes si su caso cumple con los supuestos de la regresión ordinaria. De lo contrario, utilice el GLM con una distribución de errores y una función de enlace diferentes.
Si obtiene valores p diferentes, entonces hay una diferencia en las especificaciones del modelo.
