Nous avons tous entendu quelqu'un dire quelque chose qui n'est pas "juste". Parfois, vous laissez tomber, soit parce que ce n'est pas assez important pour être contesté, soit parce que vous ne voulez pas créer de conflit avec l'orateur.
C'est le premier d'une série d'énoncés statistiques que je considère comme « louables ». Je publie initialement ces déclarations sur le forum de discussion communautaire pour obtenir les commentaires des autres. Heureusement, plusieurs d'entre vous (merci aux membres de la communauté @dale_lehman , @P_Bartell , @statman , @ih , @Georg , et @brady_brady ) a donné des réponses très réfléchies et perspicaces. Continuez s'il vous plaît la discussion ! Trouvez la deuxième discussion Cringeworthy Statistics, que j'ai publiée aujourd'hui!
Et lisez la suite pour savoir pourquoi cette première déclaration est louable.
Introduction
L'une de mes « bêtes noires » dans le monde des statistiques concerne les déclarations les plus élémentaires relatives à un test d'hypothèse. Souvent, si un test t (ou ANOVA) aboutit à un facteur p relativement élevé, le statisticien/analyste dira : "Nous avons p>0,05, nous ne pouvons donc pas prouver que les moyennes des deux populations sont différentes. Par conséquent, NOUS CONCLUS QUE LES MOYENS DE POPULATION SONT LES MÊMES."
La première moitié de cette déclaration est correcte. Si p>0,05 (et on recherche une confiance de 95%, et les échantillons proviennent de populations normalement distribuées, et...), alors on ne peut pas conclure que les moyennes des deux populations sont différentes.
Mais cela NE SIGNIFIE PAS que les moyens des deux populations soient LES MÊMES ! J'entends cette déclaration tout le temps, même de la part de personnes qui devraient probablement en savoir plus. C'est tellement facile de tomber dans cette fausse conclusion. Et cela peut être dommageable, si l'auditeur n'est pas familier avec les statistiques !
Un exemple simple : la taille moyenne des hommes par rapport aux femmes
Comme exemple simple, disons que nous voulons déterminer si la taille des hommes adultes est différente de la taille des femmes adultes. Nous avons des ressources limitées, nous ne pouvons donc mesurer que la taille de trois hommes et de trois femmes dans ce test. Nous arrêtons au hasard trois hommes et trois femmes dans la rue et mesurons leur taille (voir ci-dessous) :
Nous utilisons JMP de la plateforme Fit Y by X pour effectuer un test t afin de comparer les moyennes des deux échantillons. La valeur p résultante est de 0,7096. En supposant que nous voulons une confiance de 95 % dans notre conclusion, et puisque p>0,05, nous concluons que nous ne pouvons pas être sûrs à 95 % que les échantillons proviennent de populations avec des moyennes différentes. En d'autres termes, sur la base de cet échantillon, nous ne pouvons pas dire que la taille moyenne des hommes est différente de celle des femmes.
Mais cela NE SIGNIFIE PAS QUE LES HOMMES ET LES FEMMES ONT LA MÊME TAILLE MOYENNE. (Vous pouvez le consulter... Selon Nouvelles médicales aujourd'hui , en 2017 la taille moyenne des hommes était de 67". Et selon le Clinique de Cleveland , en 2018, la taille moyenne des femmes était de 64".)
Pourquoi est-ce arrivé? Pourquoi le test t n'a-t-il pas prouvé que les hommes sont (en moyenne) plus grands que les femmes ? C'est à cause de l'échantillonnage. Nous ne pouvons pas mesurer tous les hommes et toutes les femmes, nous avons donc choisi de n'en prélever que trois de chaque pour ce test. Il se trouve que nous avons choisi trois hommes de taille moyenne, mais les trois femmes choisies au hasard étaient un peu plus grandes que la moyenne. La combinaison de cela avec la plage des mesures a entraîné une certaine incertitude quant à la véritable taille moyenne des hommes et des femmes, d'où la valeur p élevée.
Est-ce un "gros problème ?"
Oui, je crois que cela peut en effet être un gros problème! Prenons un exemple plus pratique, industriel. Disons que vous avez une machine qui remplit des flacons avec une poudre. Votre entreprise souhaite augmenter sa capacité, vous achetez donc une deuxième machine. Vous êtes invité à vous assurer que la machine B remplit le même poids que la machine A.
Vous exécutez un test rapide, échantillonnez plusieurs flacons de la machine A et plusieurs de la machine B, et exécutez un test t. Il revient avec une valeur p de 0,35. Devriez-vous aller voir le patron et lui dire que les machines produisent le même niveau de remplissage ? NON! Si vous faites cela, vous risquez de faire une erreur. Si tous les flacons provenant de la machine B ont en fait un poids de remplissage moyen supérieur à celui de la machine A, vous coûtez de l'argent à l'entreprise en donnant du matériel "gratuit". Si B a en fait un poids de remplissage moyen inférieur à A, vous risquez de mécontenter vos clients.
Que pouvons-nous y faire?
Si vous voulez plus de certitude dans les moyennes, vous augmenterez la taille des échantillons. Cela donnera également une évaluation plus précise de la comparaison des tailles des hommes et des femmes. Mais vous êtes toujours confronté à la seule possibilité de déclarer que les deux populations sont soit prouvées différentes, soit non prouvées différentes. Vous n'êtes pas en train de conclure qu'ils sont "les mêmes".
Vous pouvez également exécuter un test d'équivalence (impliquant plusieurs tests t). Si intéressé, je vous orienterai ici pour plus d'informations . Je vais en rester là, car les tests d'équivalence dépassent le cadre de cet article.
Conclusion
Donc, la conclusion est que même si vous pouvez utiliser un test t (ou ANOVA) pour prouver que quelque chose est DIFFÉRENT, vous ne pouvez pas l'utiliser (par lui-même au moins) pour prouver que quelque chose est LE MÊME. Soyez prudent avec vos termes et conclusions pour éviter de faire des erreurs dans vos candidatures !
Ne vous sentez pas mal si vous avez fait ces déclarations dans le passé. D'après mon expérience, c'est une erreur extrêmement facile et courante à commettre. (Divulgation complète : j'ai été coupable de l'avoir fait moi-même !) Donc, même si cela a été dit à plusieurs reprises par de nombreuses personnes avant moi, je pense que cela mérite d'être répété.
