T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!Les tests T sont faciles à exécuter, mais les résultats peuvent être déroutants ! Dans mon article de blog précédent, J'ai décrit un scénario dans lequel un ingénieur était chargé de déterminer si un changement de processus affectait la résistance d'une pièce. L'ingénieur a choisi d'échantillonner trois pièces avec le nouveau traitement (Traitement A) et de les comparer à trois pièces standards (Contrôle). Les résultats ont été analysés avec un test t standard et la valeur p résultante était supérieure à 0,05 (pour un niveau de confiance de 95 %). Le nouveau processus a donc été abandonné.
Au cours de ma carrière d'ingénieur, j'ai vu ce scénario à plusieurs reprises et j'affirme que l'ingénieur a peut-être abandonné une bonne amélioration de processus.
Pourquoi je dis ça ? Pour commencer, je pense que le test a peut-être été mal planifié et exécuté en raison d'un manque de compréhension des tests t et d'un manque de clarté sur ce que nous essayions d'accomplir. En d’autres termes, le traitement A aurait pu être une solution viable à notre désir d’augmenter la résistance des pièces !
Examinons le test t, ce que nous pouvons en attendre et comment les résultats sont souvent mal interprétés.
Que pouvons-nous attendre d’un test t ?
Qu'essayons-nous de faire avec un test T ? Les ingénieurs utilisent souvent des tests t pour tenter de détecter les différences entre les moyennes (ou moyennes) de deux grands groupes de pièces (ou populations). Les populations sont trop grandes pour que nous puissions mesurer toutes les parties, c'est pourquoi nous prélevons un nombre limité d'échantillons dans chacune des populations, en espérant qu'ils soient représentatifs de l'ensemble. Mais comme la taille des échantillons est limitée, les moyennes des échantillons seront presque toujours différentes de celles des populations d’origine. En fait, ils peuvent être assez loin ! (Par exemple, nous pourrions accidentellement tirer trois échantillons élevés d'une population, de sorte que la moyenne de l'échantillon pourrait être beaucoup plus élevée que la moyenne de la population.) Comparer uniquement les moyennes de l'échantillon peut certainement être trompeur, c'est pourquoi nous appliquons certaines statistiques (c'est-à-dire le t- test) pour permettre à certains "Le vent du Kentucky" à titre de compensation pour les moyens d'échantillonnage.
Une interprétation typique (et mal informée) du test t
Dans notre scénario, l’ingénieur a prélevé trois échantillons de chaque type de pièce. (Nous ne savons pas pourquoi il a fait cela… c'était peut-être juste une tradition dans son entreprise.) Nous indiquons à notre logiciel combien d'échantillons ont été collectés et quel niveau de confiance (souvent 95 % de confiance) que nous voulons avoir dans le résultats. Nous laissons ensuite notre logiciel exécuter le calcul du test t et nous obtenons un « facteur p ». Ce facteur p évalue si nous devons « réfuter l’hypothèse nulle ». (Pourquoi les statisticiens ne peuvent-ils pas parler dans un anglais simple, n'est-ce pas ?) Dans notre scénario, pour un niveau de confiance de 95 %, nous avons besoin d'un facteur p inférieur à 0,05, ce que nous n'avons pas atteint. Nous avons donc abandonné l'amélioration.
Le problème avec cette interprétation
Niveaux de confiance, facteurs p, hypothèses nulles… c'est un jargon statistique souvent difficile à comprendre et qui peut conduire à des conclusions erronées. Déballons-le un peu en termes simples.
- Ce que le test t (avec un facteur p supérieur à 0,05) nous dit, c'est que compte tenu de nos exemples de données (y compris la taille de l'échantillon), nous JE NE PEUX PAS DIRE avec 95% de certitude qu'il existe une différence de moyens entre les deux grandes populations.
- Qu'est-ce que le test T NE DIT PAS c'est que les populations partagent les mêmes moyens ! C’est très subtil mais extrêmement important ! Nous n’avons pas pu prouver qu’ils sont différents, mais ils peuvent en fait l’être encore ! La variance (ou le bruit) de nos données a rendu impossible la détection de la différence dans ce test. Mais peut-être que si nous avions collecté cinq échantillons chacun (ou 10 ou 100), nous aurions pu détecter une différence !
Ainsi, la première erreur que j'ai constatée est de conclure à partir de l'échec du test t (c'est-à-dire avec un facteur p élevé) que les moyennes de la population sont les mêmes. N'oubliez pas que les tests T peuvent uniquement indiquer si les moyennes de la population sont différentes !
(Une deuxième erreur que j'ai passée sous silence était que nous n'avions pas défini explicitement le niveau de confiance nécessaire dans les résultats.Un niveau de confiance de 95 % est typique dans le monde de l'ingénierie, mais une confiance beaucoup plus élevée est souvent nécessaire dans les études de médecine, etc.)
Passons à la prochaine erreur…
Quelle est la différence importante pour vous ?
Rappelons que l'ingénieur s'est lancé dans l'expérience en cherchant simplement s'il existait une différence entre les moyennes des deux populations. Mais dans la plupart des scénarios pratiques, nous souhaitons savoir si le traitement A (dans notre exemple) nous apporte au moins une certaine amélioration par rapport à la norme. Dans notre scénario, une amélioration de la résistance de 0,00001 % est-elle importante pour nous ? Peut-être, mais probablement pas. Une amélioration de 1% serait-elle importante pour nous ? Ou 10% ?
Cette « différence importante » se résume en réalité à la voix du client, car (généralement) une amélioration de processus doit être jugée par rapport à ce que veut le client, et donc à ce pour quoi il est prêt à payer. Cela pourrait également impliquer plusieurs autres considérations pour la société de production.
Dans notre scénario, rien n’a été dit sur ce que signifie pour nous la différence de population. En fait, nous n'avons même pas dit explicitement que nous voulions que la moyenne de la population du traitement A soit supérieure à celle de la population témoin ! (Dans ce cas, il semble évident que nous souhaitons augmenter la résistance des pièces, mais peut-être que la pièce est surconçue et que nous souhaitons réduire la résistance pour réduire les coûts.) Le fait que nous recherchions une augmentation ou une diminution est également pris en compte dans la calculs statistiques, il est donc important de le préciser. L'équipe d'ingénierie, ainsi que la direction, doivent décider quelle différence est importante et s'il s'agit d'une augmentation ou d'une diminution, avant de pouvoir commencer la planification des tests.
Ainsi, la deuxième erreur que je constate souvent est que l’ampleur de la différence importante n’a pas été spécifiée, ni la direction (croissante ou décroissante) de la différence.
Comment ces erreurs ont-elles affecté notre scénario de test ?
Si nous avions réfléchi à ces points, nous aurions pu repenser notre test et parvenir à une conclusion totalement différente concernant le traitement A. Mais en raison de notre manque de connaissances sur le test t et de notre mauvaise définition de ce que nous essayions d'accomplir , nous avons ignoré le traitement A comme solution viable.
Nous parlerons davantage d'autres aspects de la planification des tests dans le prochain article de blog, culminant dans Posez la question complète, qui peut aider à éviter bon nombre de ces erreurs. J'espère que vous pourrez écouter la troisième partie dans environ une semaine !
Regarder vers l'avant
J'ai l'intention d'aborder tous les sujets suivants au fur et à mesure. J'espère que vous pourrez me rejoindre pour toute la série !
- Établir un scénario typique
- Que nous dit réellement le test t ? (ce post)
- Autres considérations relatives au test et posez la question complète
- Votre jauge est-elle capable (et que faire si ce n’est pas le cas) ?
- Planification et exécution du test : de la taille des échantillons aux meilleures pratiques
- Analyse des résultats (y compris les déchets entrants = les déchets sortants)
- Conclusion finale
