Avez-vous déjà été confus quand quelqu'un a dit qu'un
ANOVA c'est la même chose que
régression ? Ou avez-vous ressenti du ressentiment envers le professeur de mathématiques qui vous a dit que vous utiliseriez un jour la forme d'interception de pente ? Eh bien, prépare-toi à envoyer une énorme boîte de chocolat à ton ancien professeur d'algèbre, car Y = mx + b est de retour, bébé. Ou plutôt, il n'est jamais parti.
Maintenant que l’ANOVA est dans votre boîte à outils d’analyse, faisons un bref récapitulatif. Ce qui se cache réellement sous le capot d’une ANOVA est une équation linéaire : Y = mx + b. Si je veux savoir si les personnes de plus de 40 ans ont plus d’obturations dentaires que celles de moins de 40 ans, j’utiliserais cette équation :
Dans un ANOVA , la variable ( X ) est ce que nous appelons une « variable factice ». Il ne peut prendre que les valeurs 0 ou 1 (vous avez ou non moins de 40 ans). Le codage 0/1 des groupes est appelé variable-indicateur codage, l'un des rares types de schémas de codage - comme codage des effets - que vous puissiez voir dans JMP .
Si quelqu'un a moins de 40 ans, nous lui donnons un 0 pour X , et s'ils ont plus de 40 ans, nous leur donnons un 1.Âge est la différence entre le nombre moyen de remplissages pour chaque groupe.
Régression utilise exactement la même équation, mais elle permet au coefficient d'être n'importe quel nombre réel, comme au collège !Le m (ou pente) dans le cas d’une régression signifie « nous attendons Oui changer autant à chaque fois que nous augmentons X par 1 unité. »
Le m (ou pente) dans une ANOVA est la même, mais vous ne pouvez augmenter que de 1 unité puisque vous ne pouvez avoir qu'un 0 ou un 1 pour X (notre changement attendu dans Oui est la différence entre les moyennes).
Dans un régression , au lieu de tester si les moyennes de deux groupes ou plus sont significativement différentes, nous testons si la pente d'une droite est significativement différente de zéro (nous faisons toujours cela dans une ANOVA, mais la « pente » dans une ANOVA est la différence entre les deux moyennes).
Un exemple de « travail »
Les tests de signification pour les régressions sont exactement les mêmes que pour les ANOVA. Je vais examiner la relation entre le nombre de mots uniques dans les chansons de Rhianna par année de sortie. [1] (il n’y a qu’un nombre limité de fois où l’on peut dire « travail » dans une seule chanson).
Sommes des carrés totales (SST)
Tout d’abord, nous devons calculer la variance totale des données. Cela se fait de la même manière que dans une ANOVA : nous prenons la somme des carrés des différences entre chaque point et la moyenne. [2]
Régression des sommes des carrés (SSR)
Deuxièmement, nous calculons la variance due au « groupe » comme nous l'avons fait dans l'ANOVA, mais nous n'avons pas de groupes. Au lieu de cela, nous avons une ligne qui prédit les valeurs de Oui basé sur les valeurs de X on calcule donc la régression des sommes des carrés ( RSS ). Pour chaque valeur de X , nous soustrayons la valeur prédite pour X à partir de la moyenne de toutes les valeurs (la moyenne générale).
Erreur sur les sommes des carrés (SSE)
Tout comme avant, le SST = RSS - ESS ce qui veut dire que nous pourrait calculer l'erreur des sommes des carrés en prenant SST et soustraire RSS mais, juste pour nous amuser, allons-y sur le long terme.
Tout ce que nous faisons, c'est prendre la valeur réelle à X moins la valeur prévue à X (dans l'ANOVA, nous faisons cela aussi, mais nos valeurs attendues dans l'ANOVA sont des moyennes de groupe). N'oubliez pas, encore une fois, que la régression (comme l'ANOVA) prend le montant total de la variance, le répartit dans différents groupes et les compare. Ici, nous comparons la variance due à régression et l'écart dû à erreur . Ensemble, ceux-ci constituent le montant total de la variance ; si ce n’est pas dû à une régression, c’est imputé à une erreur.
Le test F
Maintenant que nous avons toutes nos sommes des carrés, il ne reste plus que le test F !
Tout comme dans une ANOVA, nous prenons la quantité de variance due à régression et erreur et divisez-les par leurs degrés de liberté respectifs [3] pour obtenir les carrés moyens (MS) pour chacun de nos termes.
Notre statistique F est calculée en divisant MS pour la régression par le MS pour l'erreur. Essentiellement, cela nous indique le rapport de variabilité que le régression représente la variabilité que nous n'avons pas modélisée - ou erreur variance. Si nous ne tenons compte que de la variabilité et de l’erreur aléatoire, nous ne pensons pas que notre effet soit significatif.
Pour faire cela dans JMP , ouvrir BadGirlRiRi.jmp (ci-joint).
En utilisant le Analyser > Ajuster Y par X, Traîner Mots uniques vers la case Y, et Année à la boîte X.
Cliquez sur D'accord et la fenêtre de sortie apparaîtra. En utilisant le triangle rouge ci-dessous Ajustement bivarié pour sélectionner Ligne d'ajustement .
Remarquez le Analyse de la variance Le tableau affiche nos sommes des carrés, nos degrés de liberté (DF), nos carrés moyens et notre test F. Puisque notre F est relativement proche de 1 et que notre valeur p est bien supérieure à 0,05, nous n'avons aucune preuve qu'il existe une relation statistiquement significative entre le nombre de mots uniques dans les chansons de Rhianna et l'année, mais je garde un œil. à toi, Riri....
ANOVA table from Fit LineANOVA table from Fit LineANOVA table from Fit LineANOVA table from Fit LineTableau ANOVA de Fit Line
Voilà donc en un mot la régression linéaire, et pourquoi l'ANOVA n'est qu'un cas particulier de régression — j'ai bien peur qu'il s'agisse de tortues linéaires… je veux dire de modèles… jusqu'au bout.
Vous avez un sujet que vous souhaitez aborder ?
N'hésitez pas à nous contacter sur Twitter @chelseaparlett ! La forme de demande préférée est « Qu'est-ce que c'est que _________ ? »
Remarques[1] Pour le Jupyter Notebook qui extrait les données de Rhianna, voir ce dépôt.
[2] Si vous souhaitez suivre les calculs, voir ce feuille.
[3] Pourquoi faisons-nous cela ? Les degrés de liberté représentent essentiellement des informations « nouvelles ». Nous voulons obtenir le plus de « bang » pour notre « argent » d'information, c'est-à-dire que nous voulons que la plus grande variabilité soit expliquée pour le moins de degrés de liberté. En divisant la variabilité totale par les degrés de liberté, nous obtenons la quantité de variabilité « par degré de liberté ». Il n'est pas juste de comparer le degré de variabilité qu'un facteur avec 89 éléments d'information représente au degré de variabilité qu'un facteur avec un élément d'information représente. Pour un aperçu des degrés de liberté, voir ce article.
Félicitations pour l'explication! J'ai lu beaucoup de textes et personne n'était aussi didactique que toi. Merci beaucoup!
C'est génial !
Je serai un grand fan de toi à partir de maintenant.
Chul-Hee
Super blog ! Je me sentais beaucoup plus jeune aujourd'hui en tant que "1" contre le jeune en "0"
