Pourquoi s’agit-il d’une déclaration statistique digne de ce nom ? #1Je vais lancer quelques fils de discussion au cours des prochaines semaines et j'invite tout utilisateur de JMP à participer
avec leurs pensées.Ces discussions tourneront autour de « Déclarations statistiques dignes de mention ».
Veuillez envisager de contribuer.Après quelques jours, Je résumerai mes réflexions dans un article de blog , et introduire une autre déclaration digne d'intérêt !
Voici la déclaration n°1 digne de ce nom :
Nous effectuons un test t pour comparer les moyennes de deux populations.Nous voulons une confiance de 95 % dans les résultats.Nous effectuons le test et la valeur p revient à 0,63.Nous faisons la déclaration " Puisque p n’est pas inférieur à 0,05, nous concluons qu’il n’y a pas de différence dans les moyennes de ces populations. "
Pourquoi cette déclaration est-elle digne d'intérêt ????
Ingénierie Qualité et ProcédésPartager et communiquer les résultatsRe : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Pour moi, cela ne reflète tout simplement pas un niveau de compréhension adéquat, mais au moins c'est plus ou moins la « bonne interprétation ».
Quelques personnes ont discuté de quelque chose dans le sens de ce que j'aime appeler la « méthode de la valeur p » et la « méthode de l'intervalle de confiance » pour l'exécution d'un test T.J'aime considérer ces deux méthodes d'analyse comme fondamentalement la même chose et je proposerai ici (et n'hésitez pas à être en désaccord avec moi) qu'elles sont en fait, différentes manières (d'exprimer mathématiquement) la même chose .JMP est très intelligent pour vous fournir une présentation statistique dans les deux sens dans la plupart des cas, et j'aime vraiment ça ! L'interprétation utilisant des intervalles de confiance (dans le contexte des tests T simples, des tests de non-infériorité, des tests d'équivalence et de supériorité) a toujours été plus interprétable pour moi.
Un de mes chers amis m'a donné une belle référence de manuel qui, je pense, parle de ceci :
Bluman, Statistiques élémentaires (7e édition), 2015
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Je ne qualifierais pas l'interprétation : "Je suis sûr à 95 % que la différence moyenne de l'échantillon n'est pas inférieure à l'IC inférieur et pas supérieure à l'IC supérieur" "fausse" en soi, en fait, je pense que c'est une manière parfaitement appropriée de la formuler. cela est "correct" et facile à formuler, mais je dirais que l'interprétation est simplement "souvent mal comprise" @dale_lehman comme vous le soulignez.
Comme @julien dit dans Prise de décision avec des données (STIPS) - Section 4.1 Estimation {et vous pouvez l'obtenir à partir de la transcription où j'ai saisi à l'écran la référence du module approprié ci-dessous intitulée " Démo : Comprendre le niveau de confiance et le risque alpha "}
"Nous allons cliquer sur Réinitialiser les échantillons, modifier le nombre d'échantillons à 100, puis cliquer sur Dessiner des échantillons supplémentaires. Alors que nous continuons à prélever des échantillons, notez que la moyenne des échantillons est proche de la vraie moyenne. Notez également que près de 95 % des intervalles de confiance contiennent la vraie valeur moyenne du QI, et qu'environ 5 % des intervalles de confiance n'incluent pas la vraie moyenne."
"C'est ce que nous entendons par le terme "confiance". En moyenne , pour un 95 % de confiance intervalle, 9 5 % du temps où cette méthode d'intervalle est utilisée, l'intervalle capture la vraie valeur du paramètre ".
Bien sûr, l'inférence porte sur la population, mais elle est basée sur les données d'un échantillon. C'est ce que nous faisons lorsque nous faisons des statistiques inférentielles en général. L’ensemble de l’entreprise consiste à faire des déductions sur la population sur la base des échantillons de données dont nous disposons. Encore une fois, dans le même Prise de décision avec des données Module 4, regardez la section 4.1 Introduction à l'inférence statistique .Ici, @mia_stephens en parle de manière claire, précise et directe.
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Je ne pense pas que mon exemple ait vraiment quelque chose à voir avec l'analyse bayésienne vs fréquentiste ou les valeurs p (au moins directement).Vous avez bien sûr raison de dire que dire que je suis sûr à 95 % de la vraie valeur dans cet intervalle de confiance de 95 % est incorrect : la confiance réside dans la procédure, et non dans un intervalle de confiance particulier.La vraie valeur est ou n'est pas dans cet intervalle particulier.
Mais ce que je veux dire, c'est que 95 % est la meilleure estimation que je puisse donner pour savoir si mon intervalle particulier est ou non l'un des 95 % de "bons" qui contiennent la vraie valeur ou l'un des 5 % qui donneraient la mauvaise. conclusion.Vous trouverez peut-être la mauvaise interprétation digne d’intérêt, mais pas moi.En fait, je trouve l’interprétation correcte quelque peu embarrassante, car il s’agit d’un ensemble de mots qui font pleurer la plupart des gens.Et je pense que cela contribue à la pratique bien pire (et plus ignoble) consistant à ignorer complètement l’incertitude et à traiter l’estimation ponctuelle comme la vraie valeur.
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1En plus des autres problèmes évoqués dans les posts précédents,
1) Lors du test d’équivalence de moyennes, le caractère latéral du test doit être précisé a priori. Sauf indication contraire, le test d'équivalence moyenne implique généralement un test bilatéral, auquel cas alpha, la probabilité d'erreur de type I de 5 %, est la somme de l'aire des queues supérieure et inférieure de la distribution nulle. Dans presque tous les cas, cette probabilité est divisée de manière égale, de sorte que la zone de queue à laquelle la valeur p doit être comparée doit être alpha/2, soit 0,025 et non 0,05.
** EDIT : JMP s'en charge pour vous en doublant la queue trouvée à l'aide de la statistique critique, mais si vous faisiez cela "à la main", vous finiriez par rejeter une zone à queue unique < 0,025.
2) « 95 % de confiance dans les résultats » est digne de ce nom car il comprend mal l'idée principale derrière un test d'hypothèse. Vous pouvez être sûr à 100 % qu'en exécutant un test d'hypothèse au niveau de signification de 0,05, vous aurez utilisé une certaine procédure (si vous avez fait les choses correctement). Lorsque les moyennes des 2 distributions sont en réalité les mêmes, sur le long terme (et en supposant que toutes les hypothèses soient vérifiées), 5 % du temps, cette procédure produira une statistique de test qui aboutira à une conclusion de moyennes différentes, en raison de la variabilité d'échantillonnage.
3) Il n'y a que 2 conclusions possibles pour un test d'hypothèse de cette nature : 1) "Les données de l'échantillon fournissent une preuve (convaincue) que l'hypothèse nulle est fausse" et 2) "Les données de l'échantillon ne fournissent pas de preuve convaincante que l'hypothèse nulle est fausse". c'est faux". La déclaration "Sur la base des échantillons de données, nous concluons que l'hypothèse nulle est vraie" est particulièrement absente. Généralement, lorsque vous voulez prouver quelque chose, vous définissez ce que vous essayez de prouver comme une hypothèse alternative, en espérant que les données soutiennent le rejet de la valeur nulle en faveur de l'alternative. Si le chercheur tente de démontrer l’équivalence des moyennes, deux tests unilatéraux seraient alors plus appropriés.
4) D’autres l’ont mentionné, mais cela mérite d’être répété : la signification statistique et la signification pratique ne sont pas nécessairement la même chose, et ne le sont généralement pas. La signification pratique doit être discutée et convenue à partir de la case départ, voire de la case zéro.
@dale_lehman mentionne que "Le problème avec une interprétation correcte est qu'elle ne nous permet pas de dire quoi que ce soit sur l'échantillon dont nous disposons réellement."Je ne suis pas d'accord, mais je sais où il veut en venir. Chaque technique statistique répond à une question particulière. En particulier dans le cas d'une hypothèse nulle que les données n'ont pas réussi à rejeter, l'un des principaux problèmes que rencontrent les non-statisticiens (et les statisticiens bayésiens, d'ailleurs) avec les tests d'hypothèse fréquentiste est qu'une valeur p répond à une question qui est une question question peu naturelle à poser, à savoir : « Sous l'hypothèse nulle, quelle est la probabilité que j'observe des résultats aussi extrêmes, voire plus extrêmes, que les résultats que j'ai réellement observés ? » Les bayésiens diront que leurs méthodes répondent à des questions plus naturelles, mais les techniques bayésiennes ont leurs propres problèmes : il n’existe pas de panacée. Rien ne remplace la compréhension des techniques les mieux adaptées pour répondre à certaines questions et le choix d’une technique bien adaptée à la question à laquelle vous essayez de répondre. La réaction récente (ish) contre la valeur p, en particulier dans le domaine de la recherche médicale, me semble un peu comme une réaction contre les fourchettes lorsqu'elles sont utilisées comme cache-œil. Une valeur p est un outil comme un autre. Utilisez-le de la bonne manière, pour le bon travail, et tout ira bien... utilisez-le dans le mauvais sens et "vous vous arracherez l'œil !".
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1J'aime vraiment @Georg » la dernière phrase de sa réponse ci-dessus. En tant que statisticien travaillant dans des équipes de commercialisation de procédés/produits ou d'actions correctives depuis plus de 20 ans dans l'industrie, je disais souvent aux ingénieurs, scientifiques et gestionnaires avec lesquels j'ai travaillé : « Le jour où vous m'avez laissé, moi, statisticien, vous dire comment gérer votre processus est le jour où commence votre chemin vers la ruine. Vous avez oublié bien plus de vos processus/produits que je ne le saurai jamais."
Ou comme l'a écrit Walter Shewhart (paraphrasé par moi) : "La contribution à long terme des statistiques ne dépend pas tant de la création d'un groupe de statisticiens que de la création d'un groupe d'ingénieurs, de scientifiques, de personnel de production et autres ayant un esprit statistique."
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Pour élargir un peu la discussion, cela ne me semble pas digne de ce nom dès le début. À mon avis, cela peut encore être une décision valable. Bien sûr, comme d’autres l’ont déjà souligné, il manque peut-être de nombreuses informations supplémentaires pour faire confiance à cette décision. Donc, à mes yeux, cela dépend du contexte de la déclaration et de qui l'a formulée. Et, au fait, quelle serait la bonne déclaration avec le même nombre de mots ?
De plus, même si j'aime parfois les discussions sur la bonne formulation - les termes sont importants, je n'aime pas ériger un mur entre les statisticiens et les ingénieurs de procédés qui n'ont pas des connaissances approfondies en statistiques. Mais ces derniers connaissent leurs données et leurs processus. Et comme nous pouvons l’imaginer, il y a beaucoup de choses qui sont encore plus importantes sous le simple tableau des chiffres. Cela pourrait être l'environnement d'échantillonnage des données ainsi que les conséquences de la décision prise, comme @P_Bartel déjà dit. Les décisions doivent toujours être prises par des humains et non par des machines.
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1+ Aucune mention d'un contrôle de normalité
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Merci @statman !Encore du bon fourrage pour les prochains articles.
Continuez les commentaires !!
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Hé @P_Bartel !Je suis content d'avoir de tes nouvelles!
Merci pour la réponse!!Nous mettrons ces idées dans ma liste (croissante) de déclarations dignes de mention et les évoquerons dans les prochains articles !
Portez-vous bien, mon ami !
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Je vais jouer... Mon préféré est en fait assez simple... Utiliser l'expression « statistiquement significatif » appliquée n'importe où sans contexte. Il est intéressant de noter que si vous demandez à quelqu'un s'il est plus susceptible de croire quelque chose lorsque la phrase statistiquement significatif est ajouté, ils répondent oui sans rien savoir des comparaisons faites.
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Où est-ce que je commence? Taille de l'échantillon (aucune indication... pourrait tout simplement être trop petite pour donner au signal une chance de dépasser le bruit) ? Quel est le risque alpha choisi («... 95 % de confiance dans les résultats...» est une déclaration dénuée de sens par rapport au risque alpha. Que signifie cette déclaration) ? Quelle est l'hypothèse nulle (aucune énoncée) ? Quelle est l’erreur de mesure (connue ou même supposée) ? Quel était le plan d’échantillonnage (aléatoire, de commodité, premier/dernier échantillonné, stratifié ou autre) ? Quel est le risque de représentation... pas seulement le risque statistique ? Et ainsi de suite.
Re : Pourquoi s'agit-il d'une déclaration statistique digne de mention ? #1Je suis d'accord avec cet exemple de grivoiserie - une incompréhension classique selon laquelle l'absence de preuve ne signifie pas une preuve d'absence.Veuillez considérer le classique, mais moins simple : "l'intervalle de confiance à 95 % va de x à y, ce qui signifie que je suis sûr à 95 % que le véritable effet se situe entre x et y."Je pense qu'il est acceptable de dire cela, même si je sais que l'affirmation correcte est que "95 % de tous les échantillons aléatoires construits de cette manière contiendront le véritable effet".Bien sûr, nous ne savons pas si notre échantillon fait partie de ces 95 % ou de ces 5 % qui ne contiennent pas le véritable effet de population, et c'est le cas ou non.Mais, étant donné le seul échantillon dont nous disposons, je pense que le mieux que nous puissions dire est la première déclaration citée, même si elle n’est techniquement pas correcte.
J'aimerais entendre ce que d'autres personnes pensent de cet exemple.Les statisticiens aiment souligner à quel point cette mauvaise interprétation de l’intervalle de confiance est courante, alors que je peux tout à fait la comprendre.Et j'avoue donner aux étudiants la liberté de mal l'interpréter (même si au moins je souligne quelle est la bonne interprétation).Le problème avec une interprétation correcte est qu’elle ne nous permet pas de dire quoi que ce soit sur l’échantillon dont nous disposons réellement.
