ANOVA dans le Big DataIl s'agit d'une question sur un cas très courant.
La solution peut être très simple ou non.
J'aimerais entendre vos opinions et expériences.
1) Cela se produit généralement lorsque l'ANOVA est appliquée à des données BIG (N est très grand).
2) (Toutes choses étant égales par ailleurs) La valeur P diminue à mesure que N augmente.
Phénomène
S’il y a beaucoup de données et que la dispersion est faible, elle n’est pas significative en pratique, mais est jugée significative par l’ANOVA.
--> En pratique, il est courant de commettre des erreurs en regardant uniquement les résultats de l'ANOVA.
Comment dois-je l'expliquer ?
Méthode 1 : Différences pratiques plutôt que signification statistique (différences dans les intervalles de confiance, chevauchement, etc.)
(la variation au sein du groupe est très importante) est plus importante, elle n’a donc pas de signification statistique.
Méthode 2 : Regardez Rsquare (Regression Variance / Total Variance), la valeur est faible.
Méthode 3 : Dans ce cas, l’ANOVA ne convient pas.
D'autres idées ?
Re : ANOVA dans le BIG dataLa valeur p de l'ANOVA vous indique si les moyennes sont statistiquement différentes. Comme vous le mentionnez, si vous avez beaucoup d'observations, il devient plus facile d'atteindre une faible valeur p pour une différence moyenne et un écart-type donnés.
L’examen du Rsq vous dira dans quelle mesure la variation s’explique par cette différence moyenne. Il est donc important d’examiner les deux mesures. Dans votre exemple, la différence moyenne représente 16,8 % de la variation, et les moyennes de ces deux distributions sont très probablement statistiquement différentes même si la différence est faible.
Re : ANOVA dans le BIG dataDans des cas comme celui-ci, vous souhaitez ajouter des tests d'équivalence après l'ANOVA. Cela peut se produire souvent dans des situations à volume élevé. Comme le dit Mark, avec beaucoup de données, vous pouvez détecter de très petites différences. La question ici est la suivante : pouvez-vous faire quelque chose à ce sujet ? Ou encore, à quel niveau les différences deviennent-elles si minimes qu’elles ne valent plus la peine d’être recherchées.
M.Re: ANOVA dans le BIG datasalut @IkjuShin
J'ai essayé de l'expliquer dans un langage non statistique destiné aux clients comme suit :
Dans cette analyse, nous avons trouvé une différence statistiquement significative entre les deux groupes avec une très petite valeur p. Cependant, étant donné la grande taille de l’échantillon, il est important d’évaluer la signification pratique de ces résultats. La valeur R au carré est assez faible, ce qui indique que le modèle n'explique qu'une petite fraction de la variance. De plus, l’ampleur de l’effet est faible, ce qui suggère que la différence, bien que statistiquement significative, pourrait ne pas être significative en pratique. En examinant les intervalles de confiance et en visualisant les distributions des données, nous pouvons mieux comprendre l'étendue du chevauchement et porter un jugement plus éclairé sur la signification pratique des résultats.
____________________________________________compréhension plus large de ce problème________________________________
Cette question répond à un problème courant rencontré lors de l'exécution d'une ANOVA sur de grands ensembles de données. Voici quelques points et méthodes que vous pouvez prendre en compte pour expliquer ce phénomène :
Explication du phénomène :
Lorsque la taille de l’échantillon (N) est très grande, même de petites différences entre les groupes peuvent devenir statistiquement significatives, conduisant à des conclusions potentiellement trompeuses. Cela se produit parce que la puissance du test augmente avec la taille des échantillons, ce qui facilite la détection de différences, même insignifiantes. Ainsi, la valeur p devient très faible, suggérant des différences significatives là où aucune ne peut être significative en pratique.
Méthodes pour résoudre et expliquer le problème :
Méthode 1 : différences pratiques
Explication : Insistez sur l'importance de la signification pratique plutôt que de la signification statistique. La signification statistique n’implique pas nécessairement une différence significative ou pratiquement significative. Examinez les intervalles de confiance et vérifiez leur chevauchement.
Application pratique : Lorsque la variation au sein du groupe est importante, la différence pratique peut ne pas être significative malgré la signification statistique.
Méthode 2 : valeur R au carré
Explication : utilisez la valeur R au carré pour évaluer la proportion de la variance expliquée par le modèle. Une faible valeur R au carré indique que le modèle n’explique qu’une petite partie de la variance, ce qui suggère que les différences pourraient ne pas être significatives dans la pratique.
Application pratique : mettez en évidence les cas où la valeur R au carré est faible, indiquant que le modèle n'explique pas une grande partie de la variabilité des données.
Méthode 3 : Adéquation de l’ANOVA
Explication : Dans les cas où la taille de l'échantillon est très grande et les différences mineures, l'ANOVA n'est peut-être pas le test le plus approprié.
Application pratique : Envisagez des méthodes alternatives ou des analyses supplémentaires pour évaluer l'importance pratique, telles que les mesures de l'ampleur de l'effet ou les intervalles de confiance.
Par conséquent, les idées supplémentaires seront les suivantes :
Méthode 4 : taille de l'effet
Explication : indiquez les tailles d'effet (par exemple, le d de Cohen) ainsi que les valeurs p. La taille de l’effet fournit une mesure de l’ampleur de la différence, qui peut être plus informative que les seules valeurs p.
Application pratique : utilisez l’ampleur de l’effet pour communiquer la signification pratique des résultats. Une petite taille d’effet indique que la différence, bien que statistiquement significative, peut ne pas avoir d’importance pratique.
Méthode 5 : représentation graphique
Explication : Utilisez des méthodes graphiques telles que les tracés en violon ou les tracés de densité pour inspecter visuellement la distribution des données et les différences entre les groupes.
Application pratique : les visualisations peuvent aider à comprendre l'étendue du chevauchement entre les groupes et fournir une compréhension plus intuitive de la signification pratique.
Re : ANOVA dans le BIG dataJe pense que @mzwald indique la direction importante. Pour moi, les « différences » ne sont pas bien définies dans les questions posées.
Suivez le commentaire de Mark, la prochaine question sera probablement : la « différence » que l'ANOVA est conçue pour résoudre est-elle la même que ce qui nous concerne réellement ?
Re: ANOVA dans le BIG dataEn plus de commentaires déjà perspicaces, voici quelques questions plus profondes à considérer :
Quels sont les véritables objectifs de l’étude ?
Expliquer ou prédire ? Les méthodes statistiques/tests d'hypothèses/ANOVA/test t/limites de confiance/tests d'équivalence sont bons pour expliquer, tandis que la modélisation prédictive/apprentissage automatique avec validation croisée est bon pour prédire. Les deux ne s’excluent pas mutuellement.
Existe-t-il des données/covariables supplémentaires disponibles ? Avec la technologie de mesure moderne, les données volumineuses comme celles-ci avec un seul traitement mesuré deviennent de plus en plus rares. Des variables/fonctionnalités supplémentaires peuvent rendre la modélisation statistique et prédictive beaucoup plus efficace et expliquer beaucoup plus de variabilité.
Les mesures sont-elles vraiment indépendantes ? Par exemple, s'il existe des variables bloquantes/des effets de lot, les modèles mixtes deviennent alors très pertinents. S’il s’agit en réalité d’une conception à parcelles divisées et que les traitements sont attribués au niveau de la parcelle entière, la puissance n’est peut-être pas aussi élevée qu’on le pensait initialement.
Re: ANOVA dans le BIG dataConseils formidables et pratiques !!!
-Taille de l'échantillon
-R Carré
-Taille de l'effet (somme des carrés)
-Dans la variation
-Intervalle de confiance/prédiction
-Visualisation
Il semble que toutes ces choses doivent être considérées d’un point de vue pratique.
Certaines personnes semblent confondre « inconsciemment » l'ANOVA avec un test de différences dans les données brutes plutôt qu'avec un test de différences dans les moyennes.
