774196_es-ES

liliconcom

ANOVA en GRANDES datos

Esta es una pregunta sobre un caso muy común.
La solución puede ser muy sencilla o no.
Me gustaría escuchar vuestras opiniones y experiencias.

1) Esto ocurre comúnmente cuando se aplica ANOVA a datos GRANDES (N es muy grande).
2) (En igualdad de condiciones) Pvalue se hace más pequeño a medida que N aumenta.

Fenómeno
Si hay muchos datos y la dispersión es pequeña, no es significativo en la práctica, pero ANOVA lo considera significativo.
--> En la práctica, es común cometer errores al observar únicamente los resultados de ANOVA.

¿Cómo debería explicarlo?
Método 1: Diferencias prácticas en lugar de significación estadística (diferencias en los intervalos de confianza, superposición, etc.)
(la variación dentro del grupo es muy grande) es más importante, por lo que no tiene significación estadística.

Método 2: observe Rsquare (varianza de regresión / varianza total), el valor es bajo.

Método 3: En este caso, ANOVA no es adecuado.

¿Alguna otra idea?

Re: ANOVA en GRANDES datos

El valor p de ANOVA le indica si las medias son estadísticamente diferentes. Como menciona, si tiene muchas observaciones, resulta más fácil lograr un valor p bajo para una diferencia de medias y una desviación estándar dadas.

Observar el Rsq le indicará en qué medida la variación se explica por esa diferencia media. Por eso es importante observar ambas métricas. En su ejemplo, la diferencia de medias representa el 16,8% de la variación, y es muy probable que las medias de esas dos distribuciones sean estadísticamente diferentes aunque la diferencia sea pequeña.

Re: ANOVA en GRANDES datosEn casos como este, desea agregar pruebas de equivalencia después del ANOVA. Esto puede suceder mucho en situaciones de gran volumen. Como dice Mark, con muchos datos se pueden detectar diferencias muy pequeñas. La pregunta aquí es: ¿puedes hacer algo al respecto? O, ¿a qué nivel las diferencias se vuelven tan pequeñas que ya no vale la pena perseguirlas?

METRORe: ANOVA en GRANDES datos

Hola @IkjuShin

Intenté explicarlo en un lenguaje no estadístico orientado al cliente de la siguiente manera:

En este análisis, encontramos una diferencia estadísticamente significativa entre los dos grupos con un valor p muy pequeño. Sin embargo, dado el gran tamaño de la muestra, es importante evaluar la importancia práctica de estos hallazgos. El valor de R cuadrado es bastante bajo, lo que indica que el modelo explica sólo una pequeña fracción de la varianza. Además, el tamaño del efecto es pequeño, lo que sugiere que la diferencia, aunque estadísticamente significativa, puede no serlo en la práctica. Al examinar los intervalos de confianza y visualizar las distribuciones de datos, podemos comprender mejor el grado de superposición y emitir un juicio más informado sobre la importancia práctica de los resultados.

______________________________comprensión más amplia de este problema________________________________

Esta pregunta aborda un problema común que se encuentra al realizar ANOVA en grandes conjuntos de datos. Aquí hay algunos puntos y métodos que puede considerar al explicar este fenómeno:

Explicación del fenómeno:

Cuando el tamaño de la muestra (N) es muy grande, incluso las pequeñas diferencias entre grupos pueden volverse estadísticamente significativas, lo que lleva a conclusiones potencialmente engañosas. Esto sucede porque el poder de la prueba aumenta con tamaños de muestra más grandes, lo que facilita la detección incluso de diferencias triviales. Por lo tanto, el valor p se vuelve muy pequeño, lo que sugiere diferencias significativas donde ninguna puede ser significativa en la práctica.

Métodos para abordar y explicar el problema:

Método 1: diferencias prácticas

Explicación: Enfatice la importancia de la significación práctica sobre la significación estadística. La significancia estadística no implica necesariamente una diferencia significativa o prácticamente significativa. Observe los intervalos de confianza y compruebe si se superponen.

Aplicación práctica: cuando la variación dentro del grupo es grande, la diferencia práctica puede no ser significativa a pesar de la significación estadística.

Método 2: valor R cuadrado

Explicación: Utilice el valor de R cuadrado para evaluar la proporción de la varianza explicada por el modelo. Un valor bajo de R cuadrado indica que el modelo explica sólo una pequeña porción de la varianza, lo que sugiere que las diferencias podrían no ser significativas en la práctica.

Aplicación práctica: resalte los casos en los que el valor de R cuadrado es bajo, lo que indica que el modelo no explica gran parte de la variabilidad de los datos.

Método 3: Idoneidad de ANOVA

Explicación: En los casos en los que el tamaño de la muestra es muy grande y las diferencias son menores, ANOVA podría no ser la prueba más adecuada.

Aplicación práctica: Considere métodos alternativos o análisis adicionales para evaluar la importancia práctica, como medidas del tamaño del efecto o intervalos de confianza.

Por lo tanto las Ideas adicionales serán:

Método 4: tamaño del efecto

Explicación: Informe los tamaños del efecto (p. ej., d de Cohen) junto con los valores p. El tamaño del efecto proporciona una medida de la magnitud de la diferencia, que puede ser más informativa que los valores p por sí solos.

Aplicación práctica: utilice el tamaño del efecto para comunicar la importancia práctica de los hallazgos. Un tamaño del efecto pequeño indica que la diferencia, aunque estadísticamente significativa, puede no ser de importancia práctica.

Método 5: representación gráfica

Explicación: utilice métodos gráficos como gráficos de violín o gráficos de densidad para inspeccionar visualmente la distribución de datos y las diferencias entre grupos.

Aplicación práctica: las visualizaciones pueden ayudar a transmitir el grado de superposición entre grupos y proporcionar una comprensión más intuitiva del significado práctico.

Re: ANOVA en GRANDES datos

Creo que @mzwald apunta en una dirección importante. Para mí, las "diferencias" no están bien definidas en las preguntas planteadas.

Siga el comentario de Mark, la siguiente pregunta probablemente será: ¿la "diferencia" para la que está diseñado ANOVA es lo mismo que lo que realmente nos concierne?

Re: ANOVA en GRANDES datos

Además de los comentarios ya esclarecedores, aquí hay algunas preguntas más profundas a considerar:

¿Cuáles son los objetivos reales del estudio?

¿Explicar o predecir? Los métodos estadísticos/pruebas de hipótesis/ANOVA/prueba t/límites de confianza/pruebas de equivalencia son buenos para explicar, mientras que el modelado predictivo/aprendizaje automático con validación cruzada es bueno para predecir. Los dos no son mutuamente excluyentes.

¿Hay datos/covariables adicionales disponibles? Con la tecnología de medición moderna, datos tan grandes como estos con un solo tratamiento medido son cada vez menos comunes. Las variables/características adicionales pueden hacer que el modelo estadístico y predictivo sea mucho más efectivo y explicar mucha más variabilidad.

¿Son las medidas realmente independientes? Por ejemplo, si hay variables de bloqueo/efectos de lote, entonces los modelos mixtos se vuelven muy relevantes. Si en realidad se trata de un diseño de parcelas divididas y los tratamientos se asignan a nivel de parcela completa, es posible que la potencia no sea tan alta como se pensaba originalmente.

Re: ANOVA en GRANDES datos

¡¡¡Excelentes y prácticos consejos !!!
-Tamaño de la muestra
-R Plaza
-Tamaño del efecto (Suma de cuadrados)
-Dentro de la variación
-Intervalo de confianza/predicción
-Visualización
Parece que todas estas cosas deben considerarse desde un punto de vista práctico.

Algunas personas parecen confundir "inconscientemente" el ANOVA con una prueba de diferencias en datos brutos en lugar de una prueba de diferencias en medias.