Dans
mon post précédent , nous avons vu la relation entre ANOVA et régression linéaire simple. Bien que nous n'ayons pas constaté de relation linéaire significative entre l'année et le nombre de mots distincts dans les chansons de Rhianna, nous pouvons notamment vérifier s'il existe une différence entre les chansons de Rhianna antérieures à 2010 et celles de Rhianna d'après 2010. En regroupant (ou «binning») notre variable continue (année), nous pouvons transformer notre régression linéaire simple en une ANOVA. Cela peut souvent rendre les choses plus simples. Au lieu de nombreuses années, nous avons maintenant deux catégories bien ordonnées. Et j'ai dit que l'ANOVA et la régression linéaire sont à peu près la même chose, non?
Eh bien, en quelque sorte. Les modèles linéaires utilisés pour calculer une ANOVA ou une régression linéaire simple sont similaires, ils font en fait quelque chose de légèrement différent. Bien qu'il soit souvent courant de diviser nos variables continues en groupes, cela devrait être fait avec réservation, et je vais vous expliquer pourquoi, alors accrochez-vous bien et mettez votre casquette de division en groupe!
Avant de commencer, je tiens à vous rappeler que tous ces modèles linéaires sont comme des scies à chaîne. Ils prennent la distance totale entre les points de données et la moyenne globale et la divisent en différentes catégories.
Si vous vous en souvenez, à la fois dans l'ANOVA et dans la régression linéaire simple, nous calculons la somme totale des carrés de la même manière, prenons chaque point de données et calculons la différence entre celui-ci et la moyenne globale de tous les points de données. La somme totale des carrés (ou SST) est donc la même, que nous regardions les chansons de Rhianna de manière continue, année après année, ou avant et après 2010. Alors, où est la différence?
La différence réside dans le «modèle» des sommes des carrés (dans la régression, nous appelons cela la régression des sommes des carrés; dans ANOVA, nous appelons parfois ce groupe des sommes des carrés). Dans les deux cas, notre «modèle» est Comment nous pensons que X affectera notre Y, notre variable d’intérêt. Dans le cas de la régression, nous pensons que l’année aura un linéaire continu effet sur Y - chaque unité de X aura un effet supplémentaire sur Y. Dans le cas de l'analyse de la variance analysée, nous pensons qu'être avant ou après 2010 aura groupe effet sur Y.
N'oubliez pas que notre modèle Sums of Squares (SSM) pour régression prédit votre valeur Y (nombre de mots distincts dans une chanson de Rhianna) en fonction de l'année. Dans les données que nous avons observées, nous avons constaté une tendance générale à la baisse, car chaque année qui passe, les chansons de Rhianna tendent à être moins nombreuses. Notre meilleure estimation ce que la ligne de régression prédit, le nombre de mots distincts dans une chanson de Rhianna est erroné. L’erreur de notre modèle de régression est la distance entre le point de données et la ligne de régression.
Notre SSM pour ANOVA Ensemble, les bacs d’avant 2010 sont remplacés par un nombre plus élevé de mots distincts par rapport aux chansons d’après 2010. Sous ce modèle ANOVA, notre meilleure estimation pour toute chanson de 2010 serait la moyenne du groupe. Tout le reste est considéré comme une erreur.
Si nous avions réellement une relation linéaire entre l'année et le nombre de mots distincts, alors exécuter une ANOVA sur les deux groupes d'années regroupés surestimera la proportion de sommes des carrés due à une «erreur». Cela est dû au fait que les points extrêmes plus éloignés de la moyenne de chaque groupe auront tendance à être beaucoup plus éloignés de la moyenne du groupe qu'ils ne l'auraient été de la ligne de régression.
Dans notre exemple Rhianna, vous pouvez voir dans les tableaux ANOVA des modèles continu et dichotomisé qu’ils ont les mêmes sommes de carrés totales, mais les sommes de carrés du modèle (Année vs. Avant 2010) est beaucoup moins dans le modèle dichotomisé d’avant 2010. S'il existe une véritable relation linéaire, la puissance du modèle sera toujours plus forte en tant que modèle continu plutôt qu'en dichotomisation et en utilisant une ANOVA.
Dans un
JMP simulation
[1] , J’ai utilisé la relation linéaire approximative de nos données BadGirlRiri pour simuler l’évolution de la puissance statistique lorsque vous dichotomisez une de vos variables continues. Au fur et à mesure que la quantité d'erreur autour de la véritable relation linéaire devient de plus en plus petite, l'une ou l'autre méthode aura finalement une puissance proche de 100%. Lorsque la relation est si forte, même une réduction de puissance due à la dichotomisation permettra une détection presque parfaite des effets.
En revanche, lorsque la relation linéaire varie énormément, les modèles dichotomisé et continu ont du mal à détecter un effet en raison de l’erreur disproportionnée autour de la relation. À ce stade, l'erreur autour du modèle l'emporte sur toute relation linéaire qui pourrait s'y cacher (rappelez-vous que les tests statistiques mesurent l'ampleur de la variation due au modèle et la comparent à l'ampleur de la variation qui n'est pas due au modèle)
[2] .
La plupart des expérimentateurs visent 80% de puissance comme seuil
[3] . Cela signifie que s’il ya vraiment un effet de cette taille, l’expérience permettra à notre modèle statistique de détecter cet effet 80% du temps. Un examen rapide de la puissance statistique vous aidera à vous rappeler que quatre facteurs principaux peuvent influer sur votre puissance: la taille de l’échantillon, la taille de l’effet, la variance de la population et le coefficient alpha (critère de seuil de signification). Malheureusement, la taille de votre effet, la variance de population et l'alpha sont normalement définis, mais la taille de l'échantillon est le jouet de la chercheuse. Cependant, les cultures de cellules, les sujets humains et les isotopes radioactifs coûtent de l'argent et du temps. Vous voulez donc le test le plus puissant possible avec la plus petite taille d'échantillon.
La distance verticale entre les points surlignés en rouge et en bleu est la différence moyenne de puissance lorsque vous dichotomisez ou laissez votre variable continue. Lorsque votre modèle continu a une puissance de 80% (n = 20), votre modèle dichotomisé n'a qu'une puissance d'environ 65% - soit une réduction de 15% de la puissance! Pour avoir 80% de puissance avec votre modèle dichotomisé, vous aurez besoin de plus de cellules, d'êtres humains ou d'isotopes, et NSF ne paiera pas pour cela!
Comme on pouvait s'y attendre, lorsqu'il n'y a aucune relation statistique, les deux ont la même chance de 5% de signaler faussement la présence d'un effet lorsqu'il n'en existe pas. Lorsque nous définissons notre critère de seuil alpha, nous choisissons un pourcentage du temps pendant lequel notre modèle trouvera un effet même s’il n’y en a pas.
Qu'avons-nous appris? Tu ne diviseras pas une variable continue en groupes s’il ya des raisons de suspecter une relation véritablement linéaire. Pensez à vos données et à ce que vous attendez de la relation entre votre X et votre Y. Si vous souhaitez scinder votre variable continue en groupes, assurez-vous qu'il existe une raison théorique de le faire et ne vous limitez pas à des divisions dichotomiques. Souvent, les utilisateurs se divisent à la médiane, mais cela n’a peut-être pas de sens pour vos données. Écoutez vos données.
[1] n pour chaque simulation est 20; chaque niveau ou erreur a été simulé 1 000 fois. Des modèles continus et des modèles dichotomisés ont été utilisés pour les mêmes données et le nombre de réponses positives a été enregistré. Plus d'informations sont dans les scripts ci-joints. Les versions Python et R sont disponibles.
[2] Il convient de noter que si vous avez une taille d’échantillon arbitrairement élevée, ces choses ne se produiront pas aussi rapidement. En effet, peu importe l’erreur que vous commettez, vous la divisez par n-1; aussi, si n approche un nombre arbitrairement grand, votre MSerror pourrait toujours être assez petit comparé à votre MSmodel. TL; DR, plus la taille de votre échantillon est grande, plus il doit y avoir de variation avant d’obtenir une puissance de 0% pour les deux modèles.
[3] Pour un examen du pouvoir, voir ceci.
article .
