La puissance statistique est votre capacité à détecter un effet s’il en existe un dans une population. Supposons que vous testiez si le Firebolt est plus rapide que le Nimbus 2001 – ce qui est évidemment le cas, mais faisons-le statistiquement. La puissance statistique serait la probabilité que vous rejetiez la valeur nulle (H0 : il n'y a pas de différence de vitesse) alors qu'il y a réellement une différence de vitesse du balai.
Tests d'hypothèse
Pour comprendre le pouvoir, vous devez comprendre les tests d’hypothèses. Lorsque nous utilisons des tests inférentiels de base comme le test t ou le test F, nous nous demandons si la différence que nous observons est suffisamment extrême pour dire que nous sommes joli bien sûr, cela ne vient pas d'une population sans différence. Nous décidons si c'est suffisamment rare en comparant a) la probabilité que nous obtenions cet échantillon de données si nous tirions au hasard dans une population où il n'y a pas de différence avec b) un seuil que nous choisissons — appelé alpha (généralement 0,05, soit 5 %).
J'ai trouvé une différence moyenne de 12 MPH entre le Firebolt et le Nimbus (c'est nul, Malfoy) ; s'il n'y avait aucune différence entre l'Éclair de Feu et le Nimbus dans la population, quelle est la probabilité que nous obtenions des échantillons où la différence est de 12 ou plus ? C'est notre valeur p. Ensuite, nous comparons notre valeur p à notre alpha. Si notre valeur p est inférieure à alpha, nous rejetons l’hypothèse nulle.
Erreur de type I (alpha)
Dans l'image ci-dessous, la ligne verticale représente notre niveau alpha. Il est placé de telle sorte que 5 % de la surface dans la distribution nulle (H0) se trouve à droite de la ligne verticale. Lorsque nous choisissons notre alpha, nous savons que si la valeur nulle était vraie et qu'il n'y avait aucune différence entre le Firebolt et le Nimbus, 5 % du temps nous obtiendrons des exemples de données qui auraient une différence suffisamment grande pour nous amener à rejeter la valeur nulle. même si la valeur nulle est vraie. C'est ce qu'on appelle un Erreur de type I — la probabilité de rejeter la valeur nulle même si c'est vrai. Notre taux d’erreur de type I est sous notre contrôle ; ce sera toujours l'alpha que nous choisirons !
Erreur de type II (bêta)
Également sur cette image, vous voyez la distribution des hypothèses alternatives, Ha. Dans notre exemple, ce serait la répartition des différences entre le Firebolt et le Nimbus s'il y avait une certaine différence entre leurs vitesses. Elle chevauche la distribution nulle et, plus important encore, la ligne verticale. Indépendamment des distributions, toute différence de vitesse par rapport à la gauche de la ligne verticale nous empêchera de rejeter le nul, et tout ce qui se trouve sur le droite de la ligne verticale nous fera rejeter le nul. Ainsi, parfois, nous pouvons échouer à rejeter la valeur nulle même si nous devrions la rejeter (parce que Ha est vrai). Cela se produit dans la région quadrillée de l'image ci-dessus (étiquetée B ). B représente notre Erreur de type II — la probabilité de ne pas rejeter la valeur nulle même si elle est fausse dans la population.
Prendre la bonne décision
Les erreurs de type I et II se produisent lorsque nous prenons une décision qui n’est pas cohérente avec la population, mais nous pouvons aussi faire le bon choix ! On peut soit conserver correctement l’hypothèse nulle — si c'est faux — ou nous pouvons correctement rejeter l'hypothèse nulle — si c'est vrai. La proportion de la distribution nulle à gauche de la ligne représente les moments où la valeur nulle est vraie et nous conservons correctement la valeur nulle. La probabilité que cela se produise lorsque la valeur Null est vraiment vraie est de 1 alpha.
Nous pouvons également rejeter correctement la valeur nulle alors qu'elle est réellement fausse dans la population. La distribution alternative représente les moments où l'hypothèse nulle est fausse, donc tout ce qui se trouve dans cette distribution à droite de la ligne représente les moments où nous rejetons correctement l'hypothèse nulle. C'est... un roulement de tambour... c'est notre pouvoir statistique — la capacité de détecter correctement un effet s'il y en a vraiment un, et sa probabilité est de 1-Beta.
La puissance est assez importante si vous voulez prendre le temps de diriger un groupe de participants, de faire voler un groupe de balais ou de faire pousser un tas de plats de cellules. Vous voulez vous assurer que, s'il y a réellement une différence, vous serez en mesure de la détecter statistiquement. Visuellement, vous pouvez voir que plus les distributions se chevauchent, moins il y aura de puissance puisqu'une plus grande partie de la distribution alternative sera à gauche de la coupure alpha.
Quelques éléments peuvent affecter le chevauchement des distributions — et donc le pouvoir. Passons-les en revue :
Taille de l'effet : La taille de l'effet affectera l'espacement entre les deux distributions. Si nos balais ont une différence de 12 MPH, elle sera plus facile à détecter qu'une différence de 4 MPH mais plus difficile à détecter qu'une différence de 34 MPH. Nous ne pouvons pas contrôler la taille de l'effet, je vais donc lui donner 1 étoile sur 5 pour notre capacité à l'utiliser pour modifier la puissance.
Alpha : Alpha est le niveau de comparaison de votre valeur p. Si nous avions alpha = 0,10, alors nous déplacerions la ligne vers la gauche, ce qui signifie qu'une plus grande partie de la distribution alternative se trouverait à droite de la ligne, augmentant ainsi la puissance. Cependant, nous augmenterions également nos chances de commettre une erreur de type I. Les champs ont généralement leurs propres normes pour l'alpha (0,05 est une norme populaire), donc la seule véritable façon de modifier l'alpha est de passer d'un test bilatéral à un test unilatéral.
Lorsque nous effectuons un test bilatéral, nous divisons en fait notre alpha en deux, une partie pour la queue inférieure et une pour la queue supérieure. Si votre alpha est de 0,05, alors les 2,5 % supérieurs de votre distribution et les 2,5 % inférieurs de votre distribution seront dans la zone « rejeter le nul ». Ne pas le diviser signifierait que les 5 % pourraient être répartis sur un seul — ce qui signifie que des valeurs moins extrêmes se trouveraient toujours dans la région de rejet. Tout ce qui se trouve dans la zone bordée mais non quadrillée ci-dessous sont des exemples d'échantillons pour lesquels vous ne rejetteriez pas la valeur nulle avec un test bilatéral, mais le feriez avec un test unilatéral. Parfois, cela est justifié, mais les gens peuvent être sceptiques lorsqu’on utilise un test unilatéral.
Taille de l'échantillon : Ah, taille de l'échantillon. Le meilleur ami du chercheur. L'augmentation de la taille de votre échantillon est entièrement sous votre contrôle et réduira vos distributions nulles et alternatives et les rendra plus minces (pensez à l'entraînement de la taille Kardashian). Plus ils sont fins, moins ils auront tendance à se chevaucher. En effet, les moyennes des échantillons plus grands ont tendance à être plus proches de la moyenne de la population que les moyennes des échantillons plus petits (plus de données signifie que nous sommes moins susceptibles d'estimer incorrectement la moyenne de la population — une propriété appelée « cohérence asymptotique »). Encore meilleure nouvelle : la distribution des moyennes sera distribuée plus normalement lorsque les échantillons sont plus grands même si la population n'est pas normalement distribuée ; #retour sur le Théorème Central Limite.
La raison mathématique est que le terme d'erreur dans une distribution des moyennes d'échantillon est l'erreur type ou (écart type regroupé pour les différences), qui ont tous deux n au dénominateur de leur dénominateur. — ouais, c'est une bouchée ! Fondamentalement, plus n est grand, plus l'erreur type/l'écart type groupé sera petit (ce qui resserre les distributions ; rappelez-vous, plus de données, c'est mieux). Plus ces termes d’erreur sont petits, plus la valeur t sera grande, même si la différence entre vos deux groupes est la même !
Lorsque vous collectez des données, certaines de ces valeurs vous sont généralement transmises (généralement, l'alpha et la taille de l'effet sont définis pour vous) et vous pouvez calculer le reste. Combien de cornets de crème glacée dois-je tester pour avoir 80 % de chances de détecter une différence de 1 oz dans la taille des cornets ? En intégrant des chiffres pour ces facteurs (alpha, n, taille de l'effet, écart type), nous pouvons calculer notre puissance statistique. Ou nous pouvons spécifier une puissance cible (à quelle fréquence dois-je pouvoir détecter un effet s'il y en a un ?) et calculer la taille d'échantillon nécessaire. Mais avant de sortir votre crayon et votre calculatrice, toutes ces choses peuvent être faites en utilisant JMP c'est Calculateur de taille d’échantillon et de puissance !
Remarque : Une version de cet article a été initialement publiée sur notre amis Partiellement dérivé .
