Idées clés
Importance pratique par rapport à l'importance statistique, faible consommation
Arrière-plan
John Kerrich était un mathématicien anglais qui s'est retrouvé dans un camp de prisonniers au Danemark pendant la Seconde Guerre mondiale. Cela a considérablement libéré son calendrier. Pour occuper son temps, il a réalisé une série d’expériences probabilistes.
La plupart des statisticiens affirment que les pièces sont équitables, ce qui a donné à Kerrich l'occasion de tester cette affirmation. Il a eu le temps de lancer une pièce 10 000 fois, ce qui a donné 5 067 faces et 4 933 faces ( La pratique des statistiques dans les sciences de la vie , 2e édition, Baldi et Moore, page 209).
La tâche
Déterminez s’il s’agit d’une pièce équitable. « Passable » signifie que pile et face ont la même probabilité de se produire.
Les données Kerrich.jmp
L'ensemble de données contient le résultat et les décomptes pour chaque résultat.
Résultat Pile ou face
Count Le nombre de pile et face dans les 10 000 lancers
Analyse
Nous commençons par explorer la fréquence des pile et face dans les 10 000 lancers.
Pièce 1 Répartition des résultats
(Analyser > Distribution ; sélectionnez Résultat comme Y, colonnes et Compter comme Freq, puis cliquez sur OK.Pour une disposition horizontale, sélectionnez Pile sous le triangle rouge supérieur.)
Certes, la pièce apparaît pour être honnête, il y a à peu près le même nombre de têtes et de queues dans l’échantillon.
L'intervalle de confiance de 95 % (tableau 2) indique que les probabilités les plus plausibles de tomber sur face vont de 0,4969 à 0,5165.
Tableau 2 Intervalles de confiance pour les résultats
(À partir de la sortie Distribution, cliquez sur le triangle rouge inférieur et sélectionnez Intervalle de confiance > 0,95.)
Ces données sont cohérentes avec les résultats que nous verrions avec une monnaie équitable. Cependant, nous NE POUVONS PAS affirmer que la pièce est équitable – nous ne pouvons pas affirmer l’hypothèse nulle.
Le test d’hypothèse est un test d’adéquation :
Ho : La pièce est juste.
Ha: La pièce n'est pas juste.
Les tests d'adéquation (figure 3) donnent tous deux des valeurs p de 0,1802. Nous n’avons aucune preuve que la pièce n’est pas juste. Là encore, la double négation est nécessaire pour éviter d’affirmer l’hypothèse nulle.
Tableau 3 : Test d'adéquation pour le résultat
(À partir de la sortie Distribution, cliquez sur le triangle rouge inférieur et sélectionnez Tester les probabilités. Entrez 0,5 sous Hypoth Prob pour Pile et Face, puis cliquez sur Terminé.)
Comment fonctionnent les tests d'adéquation
Le rapport de vraisemblance et les tests de Pearson comparent les décomptes observés ( o je ) aux comptes attendus (e je ). Dans ce cas, les décomptes observés sont de 5 067 pour les têtes ( o têtes ) et 4 933 pour les queues ( o queues ). Le nombre attendu pour les piles et les queues ( e têtes et e queues ) sont 5 000.
Vous pouvez vérifier (un exercice) que la statistique du test du rapport de vraisemblance est :
et la statistique du test de Pearson est :
Puissance et taille de l'échantillon
Bien qu’une analyse de base des données dans cette situation soit assez simple, elle offre l’occasion d’explorer certaines idées importantes dans un contexte simple. Considérons deux autres ensembles de données, avec des tailles d'échantillon très différentes.
Pièce 4 Un petit échantillon (petit nombre) et un très grand échantillon (grand nombre)
Pour le petit ensemble de données, la proportion d’échantillons de têtes est de 0,62, tandis que la proportion d’échantillon est de 0,502 pour le grand ensemble de données. Qu’est-ce qui fournira une preuve plus solide que la pièce est injuste ? Tant que vous ne serez pas familiarisé avec certains aspects du test d’hypothèse, les résultats pourraient être surprenants.
Analyse du grand échantillon
Certes, la pièce semble juste (pièce 5). Il est difficile de dire à partir du graphique ce qui se produit le plus souvent, face ou face. En réalité, les têtes ne se sont produites que dans 50,2 % des cas. Cette pièce apparaît, aux non-initiés, encore plus juste que celle lancée par John Kerrich.
Pièce 5 Distribution de Résultat
L’inférence raconte une autre histoire. En fait, il existe des preuves solides à l’appui de l’affirmation selon laquelle la pièce n’est pas équitable (pièce 6).La valeur p est de 0,0047 !
Pièce 6 Inférence pour le grand échantillon
Est-ce une erreur ? Non. L’intervalle de confiance confirme en fait cette affirmation. L'estimation de l'intervalle est que la pièce atterrit, à long terme, entre 50,006 % et 50,34 % du temps. L'intervalle exclut 50 %, la pièce est donc chargée sur les têtes d'atterrissage.
Si cela vous semble bizarre, c’est que vous n’êtes peut-être pas familier avec l’impact des grands échantillons sur les tests d’hypothèse. Les tests statistiques ont le pouvoir de détecter de très petits écarts par rapport à l’hypothèse nulle lorsque la taille des échantillons est grande. Ici, l’hypothèse nulle est que la pièce est juste, et la pièce ne semble pas être juste. Bien sûr, la pièce n’est pas très injuste, mais elle semble avoir un léger biais en faveur de face. Cela peut ou non être ce que vous entendez réellement par une pièce équitable. Si vous et votre colocataire utilisez cette pièce pour déterminer qui sort les poubelles, cette pièce peut être parfaitement juste. Mais si un casino utilise cette pièce pour parier sur face, tandis que les clients parient sur face, et qu'il y a 100 000 paris de 10 $ par heure, cela peut faire du casino une fortune.
En statistique, la puissance d'un test d'hypothèse est la probabilité que le test rejette l'hypothèse nulle lorsqu'elle est fausse. Lorsque la taille des échantillons est importante, les tests ont beaucoup de puissance. En fait, lorsque la taille des échantillons est très grande, il peut être courant de rejeter l’hypothèse nulle. Cela fait la différence entre l’importance pratique et la signification statistique. Mesures indiquant une importance pratique telles que les intervalles de confiance, R 2 , etc. peuvent être plus importants que les valeurs p lorsque la taille des échantillons est grande.
Analyse pour un très petit échantillon
Considérons maintenant les résultats pour le petit échantillon.
D’après le graphique à barres et la distribution des fréquences de la figure 7, cela semble être une preuve claire que la pièce tombe bien plus sur face que sur face. La pièce a en fait atterri sur face 62 % du temps dans l'échantillon, contre 50,67 % pour les données de Kerrich. Mais comme auparavant, l’inférence racontera une histoire différente.
Pièce 7 Distribution de Résultat , Très petit échantillon
En fait, les valeurs p sont toutes deux supérieures au niveau de signification de 0,05, nous ne pouvons donc pas rejeter l’hypothèse nulle selon laquelle la pièce est juste.
Pièce 8 Inférence pour le très petit échantillon
L’examen de l’intervalle de confiance présenté dans le tableau 8 est à nouveau révélateur. La taille de l’échantillon étant petite, l’intervalle de confiance est très large. L’intervalle pour l’estimation à long terme de la proportion de temps pendant laquelle la pièce atterrirait face est de 0,48 à 0,74. Cet intervalle comprend des valeurs supérieures et inférieures à 0,50, nous n'avons donc pas suffisamment de preuves pour exclure une pièce équitable.
Le moral
La taille de l'échantillon joue un rôle important dans l'inférence statistique. Lorsque la taille des échantillons est grande, nous pouvons détecter une différence, mais celle-ci peut ne pas avoir d’importance pratique. Lorsque la taille des échantillons est petite, nous ne serons peut-être pas en mesure de détecter une différence (entre notre échantillon et l'hypothèse nulle) même s'il semble que quelque chose se passe. Les grands échantillons signifient généralement que nous disposons de beaucoup de puissance pour détecter les différences, tandis que les petits échantillons entraînent généralement une faible puissance.
Un exemple utilisant des données générées aléatoirement, des nuages de points et une régression illustre davantage cette idée.
Pour générer les données dans Kerrich Power.jmp :
Tout d'abord, 2 000 lignes de valeurs normales aléatoires ( erreur ) ont été produits à l'aide de JMP Formula Editor, avec une moyenne de zéro et un écart type de 1.
Ensuite, les valeurs x ( x_big ) ont été générés. Ces valeurs sont des entiers aléatoires de 1 à 8.
Enfin, les valeurs y ( y_big ) ont été générés à partir des valeurs normales aléatoires ( les erreurs ) et les valeurs x ( x_big ).
Il se peut qu’une ligne ne corresponde pas à ces données, mais les grands ensembles de données (n = 2 000) réservent quelques surprises. Voyez-vous une tendance dans le nuage de points de la figure 9 ?
Pièce 9 Nuage de points pour un grand ensemble de données ( y_big et x_big )
(Analyser, ajuster Y par X ; utiliser y_big comme Y, réponse et x_big comme X, facteur.) Dans le tableau 10, nous ajustons une droite de régression aux données. Une ligne correspond-elle aux données ?
Pièce 10 Régression pour un grand ensemble de données ( y_big et x_big )
(À partir de la sortie Bivariate Fit, cliquez sur le triangle rouge et sélectionnez Fit Line.)
Alors que R 2 n'est que de 0,056, ce qui indique seulement 5,6 % de la variation de y_big s'explique par la régression utilisant x_big , la valeur p est inférieure à 0,0001 (l'hypothèse nulle est l'absence de tendance dans les données, l'alternative est qu'il existe une tendance dans les données).
C’est la puissance des grands échantillons ; une petite tendance est détectée. Toutefois, cette tendance n’a peut-être aucune importance pratique. Certes, si c’est à ce rythme-là que mon salaire augmente, je ne serais pas impressionné !
Examinons maintenant un très petit échantillon, avec les valeurs y et x tirées du grand échantillon. Colonnes y_small et x_petit contiennent cinq observations.
Dans le graphique de la pièce 5, il semble y avoir une forte tendance linéaire dans les données. Mais gardez à l’esprit que la tendance est claire dans les données, mais que la taille de l’échantillon est très petite (n = 5).
Pièce 10 Régression pour un très petit ensemble de données ( y_small et x_petit )
Je suis sûr que vous avez peut-être deviné où tout cela nous mène.
Alors que le R 2 est de 64,2 %, ce qui indique qu'une grande partie de la variation y_small peut s'expliquer par la régression sur x_petit , la valeur p est de 0,1031. Cela signifie qu’il n’existe que de faibles preuves (au mieux) qu’une ligne correspond aux données. Alors que se passe-t-il ?
Avec un petit ensemble de données, même si une ligne semble correspondre aux données, nous ne pouvons pas exclure le hasard comme explication alternative de la tendance apparente. Les valeurs P sont un moyen d’évaluer la probabilité que le hasard ait pu produire un modèle comme celui-ci. Bien qu'il semble y avoir une tendance, il y a 10,04 % de chances que nous aurions pu obtenir une tendance aussi forte, voire plus forte, si les points avaient été produits au hasard, sans véritable relation entre les deux. x_petit et y_small .
Résumé
Informations statistiques
Les grands échantillons peuvent détecter des modèles subtils, parfois ces modèles n'ont aucune importance pratique. Des valeurs p très faibles ne signifient pas toujours que quelque chose d’important se produit, en particulier lorsque la taille de l’échantillon est grande. De petits échantillons peuvent indiquer une tendance relativement claire, mais nous ne pouvons pas être sûrs que cette tendance est réelle et n'est pas produite par une variation fortuite. Des valeurs p élevées ne signifient pas toujours que rien ne se passe, en particulier lorsque la taille de l’échantillon est petite.
Conséquences
Certains des résultats scientifiques les plus instructifs se produisent lorsqu’ils semblent contredire ce que nous avons déclaré concernant la puissance et la taille de l’échantillon. Souvent, une étude pilote avec un très petit échantillon révèle un effet observable. Dans de tels cas, les scientifiques sont souvent encouragés, même si la valeur p n'est pas particulièrement faible, car quelque chose a été trouvé malgré la faible puissance du test. De tels résultats méritent souvent d’être approfondis dans le cadre d’une étude plus vaste.
D’un autre côté, il arrive parfois que plusieurs études impliquant des échantillons de grande taille ne parviennent pas à trouver un effet. Bien que nous ne puissions jamais affirmer l’hypothèse nulle, lorsque plusieurs études de très grande envergure ne produisent toutes aucune preuve d’un effet, à un moment donné, nous devrions être très sceptiques quant à cette affirmation.
Par exemple, de nombreux fans de basket-ball (sinon la plupart) pensent que certains joueurs ont des séquences de tirs chaudes et froides. Un groupe de psychologues cognitifs a utilisé plusieurs grands ensembles de données de la NBA pour tester différentes versions de cette affirmation. Ils n'ont trouvé aucune preuve de tirs consécutifs (« The Cold Facts About the 'Hot Hand' in Basketball », Amos Tversky et Thomas Gilovich, Chance, Vol. 2, 1989, Pages 16-21). Bien que nous ne puissions pas dire que les séquences de tir ne se produisent pas (cela signifierait affirmer l'hypothèse nulle), le nombre d'ensembles de données différents, la grande taille de l'échantillon des ensembles de données, complétés par l'explication des raisons pour lesquelles les gens perçoivent mal les modèles aléatoires, se combinent pour produire un scepticisme extrême. vers le tir en série en tant que phénomène.
Lorsque la taille des échantillons est petite (et que, par conséquent, la puissance est faible), il peut être important de trouver des preuves d'un effet. Lorsque la taille des échantillons est grande (donc la puissance est élevée), il convient de noter l’incapacité à trouver un effet.
JMP ® Fonctionnalités et astuces
Ce cas a utilisé la plateforme de distribution pour produire des graphiques à barres et des distributions de fréquences, créer des intervalles de confiance pour les proportions et effectuer des tests d'ajustement.
L'éditeur de formules a été utilisé pour générer des données aléatoires afin d'illustrer la relation avec la taille et la puissance de l'échantillon dans une situation de régression. Nous avons utilisé Fit Y by X pour générer des nuages de points et ajuster les droites de régression.
Des exercices
- Pour l’exercice de lancer de pièces de Kerrich ( Kerrich.jmp ), quelle est la population et quel est l’échantillon ? L’échantillon est-il un échantillon aléatoire simple ? Si l’échantillon n’est pas un échantillon aléatoire simple, pensez-vous qu’il s’agit d’un échantillon représentatif ? Pourquoi ou pourquoi pas? Pensez-vous que les tirages au sort sont indépendants ?
- Karl Pearson, un statisticien célèbre qui a donné son nom aux statistiques du test de Pearson, a lancé une pièce de monnaie 24 000 fois, ce qui a donné 12 012 faces. Créez un tableau de données dans JMP et effectuez une analyse de ces données similaire à celle effectuée ci-dessus. Quelle est votre hypothèse nulle ? Quelles conclusions pouvez-vous tirer?
- Dans l’exemple du grand échantillon, nous avons observé 251 000 têtes et 249 000 queues. Nous nous serions attendus à voir (pour une pièce raisonnable) 250 000 face et 250 000 face.
- Vérifiez le rapport de vraisemblance et les statistiques du test de Pearson à l'aide des formules données :
- De nombreux manuels utilisent la statistique de test suivante pour effectuer un test impliquant une proportion (pour une pièce équitable) :
Ho : p = p o contre
Ha : p ≠ p o
Pour ce test, la statistique du test est la suivante : Où est la proportion de têtes dans l'échantillon, est la proportion hypothétique de têtes, et n est la taille de l’échantillon.
Calculer z et vérifier. En d’autres termes, confirmez qu’il ne s’agit que d’une autre forme de statistique du test de Pearson (vous pouvez également vérifier que les valeurs p sont les mêmes).
