Déclaration statistique gênante n°2 expliquée : signification statistique contre importance pratique
Nous avons tous déjà entendu quelqu'un dire quelque chose qui n'était pas « correct ». Parfois, on laisse tomber, soit parce que ce n'est pas assez important pour être remis en question, soit parce qu'on ne veut pas provoquer de conflit avec l'interlocuteur.
Il s'agit du deuxième épisode de la série de blogs « Statistiques gênantes ». En général, voici comment cela fonctionne : tout d'abord, je poste une question liée aux statistiques dans un fil de discussion de la communauté JMP . Les utilisateurs de la communauté sont encouragés à répondre. Au bout d'une semaine environ, je donne mon avis sur ce qui ne va pas dans l'affirmation dans un article de blog comme celui-ci.
Voici un tableau des sujets de discussion et des articles de blog à ce jour. Un grand merci à ceux qui répondent à chaque article de discussion (et/ou ajoutent des commentaires au blog !)
Alors, regardons la deuxième déclaration embarrassante que j’ai publiée…
Mon avis sur Cringeworthy #2
Rappelons dans notre scénario qu'une étude a été réalisée pour tenter de déterminer pourquoi le rendement avait chuté dans un processus de production. Un test t a été effectué pour étudier les différences entre les sous-ensembles de deux fournisseurs. En effet, le test t a montré une valeur p très faible, ce qui donne une confiance élevée dans une différence dans les moyennes des pièces des deux fournisseurs.
Le chef d'équipe a voulu s'attaquer au fait que la valeur p était faible. Il voulait immédiatement commencer une étude sur les raisons pour lesquelles les moyennes des deux populations étaient différentes. (Peut-être était-il motivé par l'expérience passée selon laquelle une différence entre ces fournisseurs avait déjà causé un problème.) Mais le chef d'équipe n'a pas mentionné si la différence était « pratiquement importante ».
D’après mon expérience, les gens confondent souvent « signification statistique » et « importance pratique ».
- La signification statistique est simplement une affirmation mathématique selon laquelle nous pouvons détecter une certaine différence dans les moyennes des deux populations à un certain niveau de confiance . C'est une bonne chose, mais cela ne dit rien sur le fait que cette différence soit importante pour nous.
- L'importance pratique dépend de votre jugement, de votre expérience et de votre sagesse . Le test statistique détecte peut-être une différence de 0,1 unité entre les deux traitements. Une différence de 0,1 est-elle importante pour votre application ? Si ce n'est pas le cas, il serait peut-être préférable de consacrer des ressources à la découverte de la source de cette différence en recherchant d'autres sources susceptibles d'entraîner un rendement médiocre.
Il est peut-être regrettable que le terme « importance » puisse être interprété comme « signifiant » dans la langue anglaise. Je ne connais pas de meilleur mot que « signifiant », mais il peut être trompeur pour certaines personnes.
Morale de cette histoire : assurez-vous de comprendre la différence entre la signification statistique et l’importance pratique lors de l’interprétation des résultats d’analyse statistique !
Maintenant, venez à la discussion Cringeworthy #3 !
« C'est statistiquement significatif ! Nous devrions consacrer des ressources à ce problème ! »
Cette déclaration vous fait-elle grincer des dents ? Jetez un œil à la raison pour laquelle je pense que cette déclaration est embarrassante, dans ce résumé de mon deuxième sujet de discussion.
Re : Énoncé de statistiques loufoques n° 2 expliqué : signification statistique par rapport à l'importance pratiqueJ'utilise maintenant la différence perceptible et l'importance pratique. Ça va mieux. Espérons que d'autres suivront. Vous avez raison. C'est un langue Anglaise problème. Les synonymes de significatif sont importants, cruciaux, critiques, significatifs, critiques, sérieux et vitaux. L'utilisation abusive du terme a donc un sens.
Comment amener un pourcentage significatif de la population à utiliser une expression, un énoncé, un terme ou un mot plus approprié ?
Je ne suis pas si doué avec les mots. Je vais coller des chiffres. J'ai mis beaucoup trop de temps à écrire cette dernière phrase. Je n'ai pas pu choisir le bon expression, énoncé, terme ou mot. Alors, je les ai tous utilisés.
Merci encore, @JerryFish ,
Rob
Re : Énoncé de statistiques loufoques n° 2 expliqué : signification statistique par rapport à l'importance pratiqueLol merci @DirtyDataCoLLC !
J'ai aussi entendu de @Craige_Hales , Qui a envoyé ce lien concernant le même sujet de discussion.Dans ce document, l'auteur recommande "Discernable Difference" au lieu de "Statistical Significance", en raison des implications trompeuses de SS.Cela a beaucoup de sens pour moi!
Re : Énoncé de statistiques loufoques n° 2 expliqué : signification statistique par rapport à l'importance pratique
Je connais beaucoup de gens qui vont apprécier votre explication de l'importance statistiquement significative par rapport à l'importance pratique.Il y a quelques années, la FDA ne partageait pas votre sagesse et une section entière d'un BLA a dû être réécrite. L'avis de la FDA a mis un an à réviser.
Cependant, quelqu'un pourrait dire qu'un an est trivial si nous pensons au temps à l'échelle de l'évolution humaine. Donc je suppose que ce n'était pratiquement pas significatif.
