Si vous avez raté l'épisode de mars de Statistiquement parlant , vous pouvez le regarder sans vous inscrire ! Nous pensons que les perspectives et les exemples présentés par Jessica Utts et Dick De Veaux - les brillants statisticiens, professeurs, auteurs et boursiers ASA primés - sont si convaincants que leurs exposés devraient être vus de loin.
De plus, nous avons manqué de temps avant de pouvoir répondre à toutes les questions de suivi. Heureusement, Jessica et Dick ont fourni des réponses détaillées ; nous leur sommes reconnaissants d'avoir pris le temps d'approfondir ce sujet important.
Question : Qu'en est-il du gaspillage inutile lors de la mise en place d'une analyse ?Nous voyons tant de gens faire encore des expériences sur un facteur à la fois, ce qui n'est en réalité que des essais et des erreurs inutiles. Cela nous ramène-t-il au point de Jessica sur l'enseignement de la littératie statistique ?
Jessica : Je ne pense pas qu'une discussion sur la conception d'une expérience ou d'une analyse corresponde à mon idée de la culture statistique, car je m'intéresse surtout à la culture des consommateurs de statistiques. Mais cela nous amène à un point très important. Le problème de faire des expériences avec un facteur à la fois va au-delà du gaspillage. Le problème est que les résultats peuvent être très trompeurs si des interactions existent mais ne sont pas prises en compte. Et les interactions ne peuvent être mesurées qu'en étudiant plusieurs facteurs dans la même expérience.
Par exemple, certaines études montrent que consommer de la caféine avant de s'entraîner aide à la performance sportive. Mais d'autres études montrent le contraire. Une explication qui a été proposée est que cela dépend si quelqu'un est génétiquement un métaboliseur rapide ou lent de la caféine. Donc, si une étude de ce type ne tenait pas compte de cette différence génétique, les résultats pourraient être assez trompeurs.
Lorsque les consommateurs lisent des résultats d'une étude qui ne semblent pas avoir de sens (ou même des résultats qui en ont !), une bonne stratégie consiste à réfléchir aux variables supplémentaires qui pourraient conduire à des interactions. Par exemple, dans ce webinaire, j'ai discuté des résultats de la Women's Health Initiative, qui semblaient montrer que la prise d'un traitement hormonal substitutif après la ménopause augmentait le risque de maladie coronarienne. Mais des recherches de suivi ont montré que le tableau n'est pas si simple. Selon le Comité de pratique gynécologique de l'American College of Obstetricians and Gynecologists :
«Des analyses récentes suggèrent que l'HT [hormonothérapie] n'augmente pas le risque de coronaropathie [coronarienne] chez les femmes en bonne santé qui ont récemment connu la ménopause. Il existe certaines preuves qui appuient l'hypothèse du timing, qui postule que des avantages cardiovasculaires peuvent être dérivés lorsque l'ET [thérapie œstrogénique] ou l'HT est utilisée près du début de la ménopause.
En d'autres termes, non seulement les hormones sont peu susceptibles de provoquer une maladie coronarienne chez les femmes qui commencent à les prendre à la ménopause, mais elles pourraient en fait être bénéfiques pour réduire les maladies cardiaques ! Le problème est que l'âge moyen des femmes dans l'étude originale était de 63 ans, et la plupart d'entre elles avaient dépassé de nombreuses années la transition de la ménopause et n'avaient jamais utilisé d'hormones. Un ami médecin m'a expliqué que cela signifiait qu'elles avaient peut-être eu le temps d'accumuler de la plaque dans leurs artères après la ménopause, et lorsqu'elles ont commencé les hormones plusieurs années plus tard, la plaque s'était relâchée, provoquant une maladie coronarienne. Si elles avaient pris des hormones immédiatement après la ménopause, la plaque ne se serait pas accumulée et les hormones les auraient protégées des maladies cardiaques. Dans cet exemple, le moment du début des hormones en termes de nombre d'années après la transition de la ménopause était une variable d'interaction importante. Si les consommateurs avaient consulté l'article de recherche original, ils auraient remarqué que les femmes qui ont participé à l'étude n'étaient pas représentatives de la façon dont l'hormonothérapie est utilisée dans la pratique. Dans le "monde réel", l'hormonothérapie est presque toujours prescrite dès la ménopause.
Si vous concevez des expériences ou des études d'observation, il est très important de réfléchir à la manière dont combinaison des variables explicatives peuvent affecter le résultat. Si des interactions sont probables, il est non seulement inutile, mais aussi potentiellement trompeur d'étudier les facteurs un par un.
Question : La signification pratique devrait-elle être définie par un seuil de taille d'effet spécifique, tel que 0,5, que les psychologues définissent comme un « effet moyen » ?
Jessica : Non! La signification pratique doit être considérée dans son contexte. Les tailles d'effet sont cependant utiles, en particulier pour déterminer si un résultat est répliqué d'une étude à l'autre. C'est parce que, contrairement à p - valeurs, les tailles d'effet ne dépendent pas de la taille de l'échantillon. (Cependant, comme pour toute estimation statistique, plus l'échantillon est grand, plus l'estimation de la taille réelle de l'effet sera précise.) Donc, si une variable de résultat particulière montre systématiquement la même ampleur de la taille de l'effet d'une étude à l'autre, c'est une meilleure indicateur de réplication que si des études de taille très variable trouvent systématiquement des p similaires - valeurs.
Une façon simple de penser à une taille d'effet est qu'il s'agit de la différence entre les moyennes de deux groupes en termes de nombre d'écarts types. Par exemple, les tailles moyennes des hommes et des femmes diffèrent d'environ 5 pouces et, au sein de chaque groupe, l'écart type est d'environ 2,5 pouces. Ainsi, la différence de 5 pouces a une taille d'effet de 5/2,5 = 2, qui est la différence de hauteurs moyennes en termes de nombre d'écarts-types "au sein du groupe". Les tailles d'effet ont été classées comme petites si elles sont d'environ 0,2, moyennes autour de 0,5 et grandes si elles sont de 1,0 ou plus. En gros, on dit qu'une grande taille d'effet est perceptible par tout le monde, qu'un effet moyen est perceptible par un expert observateur et qu'un petit effet n'est pas vraiment observable sans utiliser de statistiques, même s'il peut être important. En utilisant l'exemple ici, une différence de hauteur moyenne dans deux groupes de 2,5 pouces ou plus (taille d'effet de 1) devrait être perceptible pour tout observateur, une différence de hauteur moyenne de 1,25 pouces (taille d'effet de 0,5) ne serait probablement pas perceptible à moins que quelqu'un mesure souvent des hauteurs dans un but précis, et une différence d'un demi-pouce (taille d'effet de 0,2) serait très difficile à détecter sans résumés statistiques.
Mais la signification pratique dépend toujours du contexte. Par exemple, supposons qu'une étude soit menée pour déterminer si la prise d'un supplément à base de plantes particulier sans effets secondaires pourrait aider à réduire le cholestérol. Diverses sources rapportent que l'écart type de la population pour le cholestérol plasmatique total est d'environ 40 mg/dl. Ainsi, même une taille d'effet relativement petite de 0,25 (¼ d'un écart type) représente une réduction moyenne du cholestérol de 10 mg/dl, ce qui pourrait avoir une signification clinique significative. D'un autre côté, supposons qu'un médicament anti-cholestérol ait des effets secondaires graves. Dans ce cas, une réduction moyenne de seulement 10 mg/dl à la suite de la prise du médicament ne serait probablement pas suffisante pour justifier le risque d'effets secondaires. Et comme l'illustrent les exemples de taille et de cholestérol, la valeur numérique d'une taille d'effet dépend de la variabilité naturelle au sein d'un groupe. Si la variabilité naturelle des taux de cholestérol dans la population n'était que de 5 mg/dl au lieu de 40 mg/dl, alors une réduction de 10 mg/dl représenterait une taille d'effet de 10/5 = 2,0, répondant au critère d'un « grand effet."
Un autre exemple est lorsqu'il s'agit de déterminer si un effet existe. Par exemple, des études en laboratoire pour tester si la perception extrasensorielle est possible ont systématiquement trouvé de petites tailles d'effet, généralement entre 0,15 et 0,2. Mais toute taille d'effet cohérente non nulle dans ce contexte serait significative, car elle indiquerait que la perception extrasensorielle est possible.
Donc, pour résumer, déterminer si un résultat d'étude a une signification pratique nécessite une expertise contextuelle. Les tailles d'effet peuvent servir de guide, mais ce qui est considéré comme ayant une importance pratique dépendra toujours d'autres facteurs, au-delà des mesures statistiques.
Question : Comment définissez-vous la signification pratique/biologique, par rapport à la signification statistique ?
Queue : C'est une excellente question, et qui revient fréquemment. Je vais d'abord répondre à la question en général, puis donner quelques réponses. La «significativité» statistique est un terme étroit qui décrit la situation dans laquelle les données observées s'éloignent «suffisamment» de ce que prédit le modèle proposé. Donc, si nous supposons qu'une pièce est juste et que nous la lançons 100 fois et que la fréquence observée des faces est suffisamment éloignée de 0,5, nous dirons que le résultat est statistiquement significatif, ce qui signifie que la probabilité que cela se produise sous ce modèle est faible ( c'est la valeur p). Lorsque la valeur de p est suffisamment petite, nous disons qu'il existe des preuves contre le modèle (ou l'hypothèse), que la différence réelle par rapport à 0,5 soit suffisamment éloignée pour être pratiquement intéressante ou non. La signification pratique/biologique décrit un résultat qui est significative au scientifique ou à un autre chercheur. Un résultat peut être pratiquement significatif mais pas statistiquement significatif ou (pire encore), vice versa.
Un étudiant est venu me voir hier avec une théorie sur la façon dont les insectes visitent les plantes. Ont-ils tendance à venir seuls ou viennent-ils en groupe ? Nous avons utilisé un modèle de Poisson pour modéliser les occurrences de 0, 1, 2, 3… insectes arrivant à la fleur, puis nous avons utilisé un test du chi carré pour voir si les occurrences réelles correspondent au Poisson. En rendant la période de temps très petite, et donc en augmentant le nombre de périodes de temps, nous avons pu rejeter assez facilement le modèle de Poisson (et donc les arrivées indépendantes). Mais nous n'avons pas répondu à la question de savoir si les arrivées étaient suffisamment éloignées pour vraiment répondre à la question biologique. Quelle différence par rapport aux nombres attendus par Poisson donnerait vraiment la preuve que les insectes « s'apparient ». Ce n'est pas une question à laquelle un statisticien peut répondre.
Une autre Exemple vient d'un laboratoire de Princeton qui essayait de montrer que les humains peuvent influencer (ou au moins prédire) le résultat d'un générateur de nombres aléatoires. Ils ont généré un nombre aléatoire (uniforme) entre 0 et 1, puis ont demandé aux sujets de dire s'il était inférieur ou supérieur à 0,5. Ils ont collecté des dizaines de milliers de ces observations et ont annoncé que le pourcentage était clairement statistiquement significatif (avec une valeur de p < 0,00001).Le pourcentage de réussite réel (environ 0,5002) était un si petit écart que au mieux cela influencerait deux à trois résultats sur 10 000. Bien sûr, le directeur du laboratoire a fait valoir que quelconque différence, aussi petite soit-elle, serait intéressante. Même si les résultats étaient vrais, et non le résultat d'anomalies expérimentales ou d'erreurs aléatoires, je laisserai au lecteur le soin de décider si les résultats sont pratiquement significatifs.
Si un médicament a un taux de réussite suffisamment supérieur à celui d'un placebo pour qu'il soit peu probable qu'il se soit produit par hasard, nous dirons qu'il s'agit d'un résultat statistiquement significatif. Mais si la différence réelle était, disons, de guérir 31% des patients, au lieu des 30% du placebo, je soupçonne que le service marketing aurait du mal à faire la publicité de cette amélioration même si cette différence était statistiquement significative.
Question : Pensez-vous que toute personne ayant un intérêt ou un intérêt dans un résultat d'une étude devrait toujours être examinée ou identifiée dans une étude ?
Queue : Plus que jamais, les données sont faciles à trouver sur presque tous les sujets sur lesquels nous nous soucions de faire des recherches. Mais, bien sûr, toutes les données ne sont pas égales. Un résultat d'un essai clinique contrôlé par placebo en double aveugle est toujours préférable à une information anecdotique. Lorsque la source des données ne peut être identifiée, il peut être impossible de distinguer les deux scénarios. Le pedigree des données, y compris la manière dont elles ont été collectées, dans quelles conditions, par qui et dans quel but, est essentiel avant de prétendre à ce que les données impliquent sur le monde en général.
Nous sommes intéressés à entendre d'autres exemples que vous pourriez avoir sur éthique en science des données , où une attention particulière a été accordée à une analyse éthique, une analyse où l'éthique faisait clairement défaut, ou un dilemme éthique où la meilleure façon de procéder n'est pas claire. Merci encore à Jessica et Dick d'avoir partagé leur sagesse et leur expertise sur ce sujet, si pertinent à notre époque.
