Nous avons tous déjà entendu quelqu'un dire quelque chose de déplacé. Parfois, on laisse tomber, soit parce que ce n'est pas assez important pour être contesté, soit parce qu'on ne veut pas créer de conflit avec l'interlocuteur.
Ceci est la première d'une série de déclarations statistiques que je trouve « embarrassantes ». Je les publie initialement sur le forum de discussion communautaire afin de recueillir les commentaires des autres. Heureusement, plusieurs d'entre vous (merci aux membres de la communauté @dale_lehman , @P_Bartell , @statman , @eux , @Georg et @brady_brady ) ont apporté des réponses très pertinentes et pertinentes. Poursuivez la discussion ! Retrouvez la deuxième discussion sur les statistiques embarrassantes, publiée aujourd'hui !
Et lisez la suite pour connaître mon point de vue sur les raisons pour lesquelles cette première déclaration est gênante.
Introduction
L'une de mes bêtes noires en statistique concerne les affirmations les plus élémentaires relatives aux tests d'hypothèse. Souvent, si un test t (ou une ANOVA) aboutit à un facteur p relativement élevé, le statisticien/analyste dira : « Nous avons p > 0,05, nous ne pouvons donc pas prouver que les moyennes des deux populations sont différentes. Par conséquent, nous concluons que les moyennes des populations sont identiques. »
La première moitié de cette affirmation est correcte. Si p>0,05 (et que nous recherchons un intervalle de confiance de 95 %, et que les échantillons proviennent de populations normalement distribuées, et…), alors nous ne pouvons pas conclure que les moyennes des deux populations sont différentes.
Mais cela ne signifie pas que les moyennes des deux populations sont identiques ! J’entends cette affirmation tout le temps, même de la part de personnes qui devraient sans doute être plus avisées. Il est tellement facile de tomber dans cette fausse conclusion. Et cela peut être préjudiciable si l’on n’est pas familier avec les statistiques !
Un exemple simple : la taille moyenne des hommes par rapport à celle des femmes
Prenons un exemple simple : nous souhaitons déterminer si la taille des hommes adultes diffère de celle des femmes adultes. Nos ressources étant limitées, nous ne pouvons mesurer que la taille de trois hommes et de trois femmes. Nous arrêtons trois hommes et trois femmes au hasard dans la rue et mesurons leur taille (voir ci-dessous) :
Nous utilisons la plateforme Fit Y by X de JMP pour réaliser un test t afin de comparer les moyennes des deux échantillons. La valeur p obtenue est de 0,7096. En supposant que nous souhaitons une confiance de 95 % dans notre conclusion, et puisque p > 0,05, nous concluons que nous ne pouvons pas être certains à 95 % que les échantillons proviennent de populations ayant des moyennes différentes. Autrement dit, sur la base de cet échantillon, nous ne pouvons pas affirmer que la taille moyenne des hommes est différente de celle des femmes.
Mais cela ne signifie pas que les hommes et les femmes ont la même taille moyenne. (Vous pouvez vérifier... Selon Actualités médicales aujourd'hui , en 2017, la taille moyenne des hommes était de 67 pouces et selon la Clinique de Cleveland , en 2018, la taille moyenne des femmes était de 64 pouces.)
Pourquoi cela s'est-il produit ? Pourquoi le test t n'a-t-il pas prouvé que les hommes sont (en moyenne) plus grands que les femmes ? C'est dû à l'échantillonnage. Nous ne pouvons pas mesurer tous les hommes et toutes les femmes, nous avons donc choisi de n'échantillonner que trois individus de chaque groupe pour ce test. Nous avons choisi trois hommes de taille moyenne, mais les trois femmes choisies au hasard étaient légèrement plus grandes que la moyenne. L'association de ce résultat à l'étendue des mesures a entraîné une certaine incertitude quant à la taille moyenne réelle des hommes et des femmes, d'où la valeur p élevée.
Est-ce que c'est un « gros problème » ?
Oui, je pense que cela peut être un véritable défi ! Prenons un exemple industriel plus concret. Imaginons que vous possédez une machine qui remplit des flacons de poudre. Votre entreprise souhaite augmenter sa capacité et vous achetez une deuxième machine. On vous demande de vous assurer que la machine B remplit au même poids que la machine A.
Vous effectuez un test rapide en échantillonnant plusieurs flacons de la machine A et plusieurs de la machine B, puis vous effectuez un test t. Le résultat est une valeur p de 0,35. Devriez-vous dire à votre responsable que les machines produisent le même niveau de remplissage ? NON ! Vous risquez de commettre une erreur. Si tous les flacons de la machine B ont un poids de remplissage moyen supérieur à celui de la machine A, vous faites perdre de l'argent à l'entreprise en offrant du matériel « gratuit ». Si le poids de remplissage moyen de la machine B est inférieur à celui de la machine A, vous risquez de mécontenter vos clients.
Que pouvons-nous faire à ce sujet ?
Pour obtenir des moyennes plus fiables, il faudrait augmenter la taille des échantillons. Cela permettrait également une évaluation plus précise de la comparaison des tailles des hommes et des femmes. Cependant, vous ne pouvez toujours affirmer que les deux populations sont différentes ou non. Vous ne concluez pas qu'elles sont « identiques ».
Vous pouvez également effectuer un test d'équivalence (impliquant plusieurs tests t). Si cela vous intéresse, je vous renvoie ici pour plus d'informations . Je m'arrête là, car ce test d'équivalence dépasse le cadre de cet article.
Conclusion
En conclusion, si un test t (ou une ANOVA) peut être utilisé pour prouver la DIFFÉRENCE d'une donnée, il ne peut pas (du moins, seul) prouver la IDENTITÉ d'une donnée. Soyez prudent dans vos termes et conclusions afin d'éviter toute erreur dans vos applications !
Ne vous sentez pas coupable si vous avez déjà fait ces déclarations. D'après mon expérience, c'est une erreur extrêmement facile et courante. (À vrai dire, je l'ai moi-même commise !) Même si cela a été dit à maintes reprises par de nombreuses personnes avant moi, je pense qu'il est utile de le répéter.
