Idées clés
Importance pratique versus importance statistique, faible puissance
Arrière-plan
John Kerrich était un mathématicien anglais qui s'est retrouvé dans un camp de prisonniers au Danemark pendant la Seconde Guerre mondiale. Cela a considérablement libéré son calendrier. Pour occuper son temps, il a effectué une série d'expériences de probabilité.
La plupart des statisticiens affirment que les pièces sont équitables, ce qui a donné à Kerrich une chance de tester cette affirmation. Il a eu le temps de lancer une pièce 10 000 fois, ce qui a donné 5 067 têtes et 4 933 piles ( La pratique de la statistique dans les sciences de la vie , 2e édition, Baldi et Moore, page 209).
La tâche
Déterminez s'il s'agit d'une pièce équitable. « Équitable » signifie que les têtes et les queues sont également susceptibles de se produire.
Les données Kerrich.jmp
L'ensemble de données contient le résultat et les comptes pour chaque résultat.
Résultat Pile ou face
Compter Le nombre de pile et face dans les 10 000 lancers
Analyse
Nous commençons par explorer la fréquence des têtes et des queues dans les 10 000 flips.
Pièce 1 Répartition des résultats
(Analyser > Distribution ; sélectionnez Résultat comme Y, Colonnes et Compter comme Freq, puis cliquez sur OK.Pour une disposition horizontale, sélectionnez Empiler sous le triangle rouge supérieur.)
Certes, la pièce apparaît pour être juste - il y a à peu près le même nombre de pile et face dans l'échantillon.
L'intervalle de confiance à 95 % (tableau 2) indique que les probabilités les plus plausibles de face vont de 0,4969 à 0,5165.
Figure 2 Intervalles de confiance pour le résultat
(Depuis la sortie Distribution, cliquez sur le triangle rouge inférieur et sélectionnez Intervalle de confiance > 0,95.)
Ces données sont cohérentes avec les résultats que nous verrions avec une pièce équitable. Cependant, nous NE POUVONS PAS affirmer que la pièce est juste - nous ne pouvons pas affirmer l'hypothèse nulle.
Le test d'hypothèse est un test d'adéquation :
Ho: La pièce est équitable.
Ha: La pièce n'est pas juste.
Les tests d'ajustement (pièce 3) donnent tous deux des valeurs de p de 0,1802. Nous n'avons aucune preuve que la pièce n'est pas juste. Encore une fois, le double négatif est nécessaire pour éviter d'affirmer l'hypothèse nulle.
Pièce 3 Test d'adéquation de l'ajustement pour le résultat
(Dans la sortie Distribution, cliquez sur le triangle rouge inférieur et sélectionnez Probabilités de test. Entrez 0,5 sous Hypoth Prob pour Pile et Face, puis cliquez sur Terminé.)
Fonctionnement des tests d'adéquation de l'ajustement
Le rapport de vraisemblance et les tests de Pearson comparent les nombres observés ( o je ) aux nombres attendus (e je ). Dans ce cas, les dénombrements observés sont de 5 067 pour les têtes ( o têtes ) et 4 933 pour les queues ( o queues ). Les comptes attendus pour les têtes et les queues ( e têtes et e queues ) sont 5 000.
Vous pouvez vérifier (un exercice) que la statistique du test du rapport de vraisemblance est :
et la statistique du test de Pearson est :
Puissance et taille de l'échantillon
Bien qu'une analyse de base des données dans cette situation soit assez simple, elle offre l'occasion d'explorer certaines idées importantes dans un contexte simple. Considérons deux autres ensembles de données, avec des tailles d'échantillon très différentes.
Pièce 4 Un petit échantillon (petit nombre) et un très grand échantillon (grand nombre)
Pour le petit ensemble de données, la tête de proportion d'échantillon est de 0,62, tandis que la proportion d'échantillon est de 0,502 pour le grand ensemble de données. Qui fournira des preuves plus solides que la pièce est injuste ? Jusqu'à ce que vous vous familiarisiez avec certains aspects des tests d'hypothèses, les résultats pourraient être surprenants.
Analyse du grand échantillon
Certes, la pièce a l'air juste (pièce 5). Il est difficile de dire à partir du graphique qui se produit le plus souvent, pile ou face. Les têtes ne se sont produites que 50,2% du temps. Cette pièce apparaît, pour les non-initiés, encore plus juste que celle retournée par John Kerrich.
Pièce 5 Distribution de Résultat
L'inférence raconte une histoire différente. En fait, il existe des preuves solides de l'affirmation selon laquelle la pièce n'est pas juste (pièce 6).La valeur p est de 0,0047 !
Pièce 6 Inférence pour le grand échantillon
Est-ce une erreur ? Non. L'intervalle de confiance soutient en fait cette affirmation. L'estimation de l'intervalle est que la pièce atterrit face, à long terme, entre 50,006% et 50,34% du temps. L'intervalle exclut 50%, donc la pièce est chargée sur les têtes d'atterrissage.
Si cela semble être un résultat bizarre, alors vous ne connaissez peut-être pas l'impact des grands échantillons sur les tests d'hypothèse. Les tests statistiques ont le pouvoir de détecter de très petits écarts par rapport à l'hypothèse nulle lorsque la taille des échantillons est grande. Ici, l'hypothèse nulle est que la pièce est juste et que la pièce ne semble pas être juste. Bien sûr, la pièce n'est pas très injuste, mais elle semble avoir un léger biais vers les têtes. Cela peut ou non être ce que vous entendez vraiment par une pièce équitable. Si vous et votre colocataire utilisez cette pièce pour déterminer qui sort les poubelles, cette pièce peut être parfaitement juste. Mais, si un casino utilise cette pièce pour parier sur face, tandis que les clients parient sur pile, et qu'il y a 100 000 paris de 10 $ par heure, cela peut faire du casino une fortune.
En statistique, la puissance d'un test d'hypothèse est la probabilité que le test rejette l'hypothèse nulle lorsqu'elle est fausse. Lorsque la taille des échantillons est grande, les tests ont beaucoup de puissance. En fait, lorsque la taille des échantillons est très grande, le rejet de l'hypothèse nulle peut être routinier. Cela fait la différence entre l'importance pratique et la signification statistique. Mesures indiquant l'importance pratique telles que les intervalles de confiance, R 2 , etc. peuvent être plus importantes que les valeurs de p lorsque la taille des échantillons est grande.
Analyse pour un très petit échantillon
Maintenant, nous considérons les résultats pour le petit échantillon.
D'après le graphique à barres et la distribution des fréquences de la pièce 7, il semble que la pièce tombe bien plus sur pile que sur face. La pièce a en fait atterri face 62% du temps dans l'échantillon, contre 50,67% pour les données de Kerrich. Mais, comme auparavant, l'inférence racontera une histoire différente.
Pièce 7 Distribution de Résultat , Très petit échantillon
En fait, les valeurs de p sont toutes deux supérieures au niveau de signification de 0,05, nous ne pouvons donc pas rejeter l'hypothèse nulle selon laquelle la pièce est équitable.
Pièce 8 Inférence pour le très petit échantillon
L'examen de l'intervalle de confiance du tableau 8 est à nouveau révélateur. Comme la taille de l'échantillon est petite, l'intervalle de confiance est très large. L'intervalle pour l'estimation à long terme de la proportion du temps où la pièce tomberait face est de 0,48 à 0,74. Cet intervalle comprend des valeurs supérieures et inférieures à 0,50, nous n'avons donc vraiment pas suffisamment de preuves pour exclure une pièce équitable.
Le moral
La taille de l'échantillon joue un rôle important dans l'inférence statistique. Lorsque la taille des échantillons est grande, nous pouvons détecter une différence, mais la différence peut ne pas avoir d'importance pratique. Lorsque la taille des échantillons est petite, nous pouvons ne pas être en mesure de détecter une différence (entre notre échantillon et l'hypothèse nulle) même s'il semble que quelque chose se passe. Les grands échantillons signifient généralement que nous avons beaucoup de puissance pour détecter les différences, tandis que les petits échantillons entraînent généralement une faible puissance.
Un exemple utilisant des données générées aléatoirement, des diagrammes de dispersion et une régression illustre davantage cette idée.
Pour générer les données dans Kerrich Power.jmp :
Tout d'abord, 2 000 lignes de valeurs normales aléatoires ( erreur ) ont été produites à l'aide de l'éditeur de formules JMP, avec une moyenne de zéro et un écart type de 1.
Ensuite, x valeurs ( x_big ) ont été générés. Ces valeurs sont des nombres entiers aléatoires de 1 à 8.
Enfin, les valeurs y ( y_big ) ont été générés à partir des valeurs normales aléatoires ( les erreurs ) et les valeurs x ( x_big ).
Il peut sembler qu'une ligne ne corresponde pas à ces données, mais les grands ensembles de données (n = 2 000) produisent quelques surprises. Voyez-vous une tendance dans le nuage de points de la pièce 9 ?
Pièce 9 Nuage de points pour un grand ensemble de données ( y_big et x_big )
(Analyser, Ajuster Y par X ; utiliser y_big comme Y, Réponse et x_big comme X, Facteur.) Dans la figure 10, nous ajustons une droite de régression aux données. Une ligne correspond-elle aux données ?
Pièce 10 Régression pour un grand ensemble de données ( y_big et x_big )
(Dans la sortie Bivariate Fit, cliquez sur le triangle rouge et sélectionnez Fit Line.)
Alors que R 2 n'est que de 0,056, indiquant seulement 5,6 % de la variation de y_big s'explique par la régression utilisant x_big , la valeur de p est inférieure à 0,0001 (l'hypothèse nulle est qu'il n'y a pas de tendance dans les données, l'alternative est qu'il y a une tendance dans les données).
C'est la puissance des grands échantillons ; une petite tendance est détectée. Cependant, la tendance peut ne pas avoir d'importance pratique. Certes, si c'est à ce rythme que mon salaire augmente, je ne serais pas impressionné !
Examinons maintenant un très petit échantillon, avec des valeurs y et x tirées du grand échantillon. Colonnes y_small et x_small contiennent cinq observations.
Dans le graphique de la pièce 5, il semble qu'il y ait une forte tendance linéaire dans les données. Mais, gardez à l'esprit que la tendance claire dans les données, mais la taille de l'échantillon est très petite (n = 5).
Pièce 10 Régression pour un très petit ensemble de données ( y_small et x_small )
Je suis sûr que vous avez peut-être deviné où tout cela mène.
Alors que le R 2 est de 64,2 %, ce qui indique qu'une grande partie de la variation y_small s'explique par la régression sur x_small , la valeur p est de 0,1031. Cela signifie qu'il n'y a que de faibles preuves (au mieux) qu'une ligne correspond aux données. Alors que se passe-t-il ?
Avec un petit ensemble de données, bien qu'une ligne semble correspondre aux données, nous ne pouvons pas exclure le hasard comme explication alternative du modèle apparent. Les valeurs P sont un moyen d'évaluer la probabilité que le hasard ait pu produire un modèle comme celui-ci. Bien qu'il semble y avoir un modèle, il y a 10,04 % de chances que nous aurions pu obtenir un modèle aussi fort, voire plus fort, si les points étaient simplement produits au hasard sans véritable relation entre x_small et y_small .
Résumé
Aperçus statistiques
De grands échantillons peuvent détecter des modèles subtils, parfois ces modèles n'ont aucune importance pratique. De très petites valeurs de p ne signifient pas toujours que quelque chose d'important se passe, en particulier lorsque la taille de l'échantillon est grande. De petits échantillons peuvent indiquer un modèle relativement clair, mais nous ne pouvons pas être sûrs que le modèle est réel et non produit par une variation aléatoire. De grandes valeurs de p ne signifient pas toujours qu'il ne se passe rien, en particulier lorsque la taille de l'échantillon est petite.
Conséquences
Certains des résultats scientifiques les plus informatifs se produisent lorsque les résultats semblent contredire ce que nous avons dit sur la puissance et la taille de l'échantillon. Souvent, une étude pilote avec un très petit échantillon trouve un effet observable. Dans de tels cas, les scientifiques sont souvent encouragés même si la valeur p n'est peut-être pas particulièrement petite, car quelque chose a été trouvé malgré la faible puissance du test. De tels résultats valent souvent la peine d'être approfondis par une étude plus large.
D'un autre côté, parfois plusieurs études portant sur des échantillons de grande taille ne parviennent pas à trouver un effet. Bien que nous ne puissions jamais affirmer l'hypothèse nulle, lorsque plusieurs très grandes études ne produisent aucune preuve d'un effet, à un moment donné, nous devrions être très sceptiques quant à l'affirmation.
Par exemple, de nombreux fans de basket-ball (sinon la plupart) pensent que certains joueurs ont des séquences de tirs chauds et froids. Un groupe de psychologues cognitifs a utilisé plusieurs grands ensembles de données de la NBA pour tester différentes versions de cette affirmation. Ils n'ont trouvé aucune preuve de tirs consécutifs ("The Cold Facts About the 'Hot Hand' in Basketball," Amos Tversky et Thomas Gilovich, Chance, Vol. 2,1989, Pages 16-21). Bien que nous ne puissions pas dire qu'il n'y a pas de tir de séquence (cela signifierait affirmer l'hypothèse nulle), le nombre d'ensembles de données différents, la grande taille de l'échantillon des ensembles de données, augmentés de leur explication de la raison pour laquelle les gens perçoivent mal les modèles aléatoires se combinent pour produire un scepticisme extrême. vers le tir de série comme un phénomène.
Lorsque la taille des échantillons est petite (et par conséquent, la puissance est faible), il peut être important de trouver des preuves d'un effet. Lorsque la taille des échantillons est grande (donc la puissance est élevée), l'échec à trouver un effet mérite d'être noté.
JMP ® Caractéristiques et conseils
Ce cas a utilisé la plate-forme de distribution pour produire des graphiques à barres et des distributions de fréquence, créer des intervalles de confiance pour les proportions et effectuer des tests d'adéquation.
L'éditeur de formule a été utilisé pour générer des données aléatoires afin d'illustrer la relation avec la taille et la puissance de l'échantillon dans une situation de régression. Nous avons utilisé Fit Y by X pour générer des diagrammes de dispersion et ajuster des lignes de régression.
Des exercices
- Pour l'exercice de lancer de pièces Kerrich ( Kerrich.jmp ), quelle est la population et quel est l'échantillon ? L'échantillon est-il un échantillon aléatoire simple ? Si l'échantillon n'est pas un échantillon aléatoire simple, pensez-vous qu'il s'agit d'un échantillon représentatif ? Pourquoi ou pourquoi pas? Pensez-vous que les lancers de pièces sont indépendants ?
- Karl Pearson, un célèbre statisticien qui a donné son nom à la statistique du test de Pearson, a lancé une pièce 24 000 fois, ce qui a donné 12 012 faces. Créez une table de données dans JMP et effectuez une analyse de ces données similaire à celle effectuée ci-dessus. Quelle est votre hypothèse nulle ? Quelles conclusions pouvez-vous tirer?
- Dans l'exemple du grand échantillon, nous avons observé 251 000 têtes et 249 000 queues. Nous nous serions attendus à voir (pour une pièce équitable) 250 000 têtes et 250 000 queues.
- Vérifiez le rapport de vraisemblance et les statistiques du test de Pearson à l'aide des formules données :
- De nombreux manuels utilisent la statistique de test suivante pour effectuer un test impliquant une proportion (pour une pièce équitable):
Ho : p = p o contre
Ha : p ≠ p o
Pour ce test, la statistique de test est : Où est la proportion de têtes dans l'échantillon, est la proportion hypothétique de têtes, et n est la taille de l'échantillon.
Calculer z et vérifier. En d'autres termes, confirmez qu'il s'agit simplement d'une autre forme de statistique du test de Pearson (vous pouvez également vérifier que les valeurs de p sont les mêmes).
