Si vous avez manqué l'épisode de mars deStatistiquement parlant, vous pouvez le regarder sans vous inscrire ! Nous pensons que les perspectives et les exemples présentés par Jessica Utts et Dick De Veaux – les brillants statisticiens, professeurs, auteurs et membres de l’ASA primés – sont si convaincants que leurs conférences devraient être vues partout.
De plus, nous avons manqué de temps avant de pouvoir répondre à toutes les questions complémentaires. Heureusement, Jessica et Dick ont fourni des réponses complètes ; nous leur sommes reconnaissants d'avoir pris le temps d'approfondir ce sujet important.
Question : Qu'en est-il des pertes inutiles lors de la mise en place d'une analyse ? Nous voyons encore beaucoup de gens faire des expériences à un seul facteur à la fois, ce qui n'est en réalité qu'une simple méthode d'essais et d'erreurs inutiles. Cela nous ramène-t-il à la remarque de Jessica sur l'enseignement de la culture statistique ?
Jessica: Je ne pense pas qu'une discussion sur la manière de concevoir une expérience ou une analyse corresponde à mon idée de la culture statistique, car je m'intéresse principalement à la culture des consommateurs de statistiques. Mais cela nous amène à un point très important. Le problème des expériences à un seul facteur à la fois va au-delà du gaspillage. Le problème est que les résultats peuvent être très trompeurs si des interactions existent mais ne sont pas prises en compte. Et les interactions ne peuvent être mesurées qu'en étudiant plusieurs facteurs dans la même expérience.
Par exemple, certaines études montrent que la consommation de caféine avant l’entraînement améliore les performances sportives. Mais d’autres études montrent le contraire. Une explication a été avancée : cela dépend du fait que la personne métabolise génétiquement la caféine de manière rapide ou lente. Si une étude de ce type ne tenait pas compte de cette différence génétique, les résultats pourraient être assez trompeurs.
Lorsque les consommateurs prennent connaissance des résultats d'une étude qui ne semblent pas avoir de sens (ou même des résultats qui en ont !), une bonne stratégie consiste à réfléchir aux variables supplémentaires qui pourraient conduire à des interactions. Par exemple, dans ce webinaire, j'ai discuté des résultats de la Women's Health Initiative, qui semblaient montrer que la prise d'un traitement hormonal substitutif après la ménopause augmentait le risque de maladie coronarienne. Mais des recherches ultérieures ont montré que la situation n'était pas aussi simple. Selon l'Comité de pratique gynécologique de l'American College of Obstetricians and Gynecologists:
« Des analyses récentes suggèrent que l’hormonothérapie n’augmente pas le risque de maladie coronarienne chez les femmes en bonne santé qui ont récemment connu la ménopause. Certaines données étayent l’hypothèse du timing, selon laquelle un bénéfice cardiovasculaire peut être obtenu lorsque l’hormonothérapie ou l’hormonothérapie est utilisée à proximité du début de la ménopause. »
En d’autres termes, non seulement les hormones sont peu susceptibles de provoquer une maladie coronarienne chez les femmes qui commencent à les prendre à la ménopause, mais elles pourraient en fait être bénéfiques pour réduire les maladies cardiaques ! Le problème est que l’âge moyen des femmes de l’étude originale était de 63 ans, et la plupart d’entre elles avaient dépassé de nombreuses années la transition de la ménopause et n’avaient jamais utilisé d’hormones. Un ami médecin m’a expliqué que cela signifie qu’elles ont peut-être eu le temps d’accumuler de la plaque dans leurs artères après la ménopause, et lorsqu’elles ont commencé à prendre des hormones plusieurs années plus tard, la plaque s’est détachée, provoquant une maladie coronarienne. Si elles avaient pris des hormones immédiatement après la ménopause, la plaque ne se serait pas accumulée et les hormones les auraient protégées contre les maladies cardiaques. Dans cet exemple, le moment du début des hormones en termes de nombre d’années après la transition de la ménopause était une variable interactive importante. Si les consommateurs avaient consulté l’article de recherche original, ils auraient remarqué que les femmes qui ont participé à l’étude n’étaient pas représentatives de la façon dont l’hormonothérapie est utilisée dans la pratique. Dans le « monde réel », l’hormonothérapie est presque toujours prescrite immédiatement après la ménopause.
Si vous concevez des expériences ou des études d'observation, il est très important de réfléchir à la manière dont la combinaison des variables explicatives peut affecter le résultat. Si des interactions sont probables, il est non seulement inutile, mais aussi potentiellement trompeur d'étudier les facteurs un par un.
Question : La signification pratique devrait-elle être définie par un seuil de taille d’effet spécifique, tel que 0,5, que les psychologues définissent comme un « effet moyen » ?
Jessica: Non ! La signification pratique doit être considérée dans son contexte. Les tailles d'effet sont toutefois utiles, notamment pour déterminer si un résultat est répliqué d'une étude à l'autre. En effet, contrairement aux valeurs de p, les tailles d'effet ne dépendent pas de la taille de l'échantillon. (Toutefois, comme pour toute estimation statistique, plus l'échantillon est grand, plus l'estimation de la taille réelle de l'effet sera précise.) Ainsi, si une variable de résultat particulière présente systématiquement la même ampleur de taille d'effet d'une étude à l'autre, cela constitue un meilleur indicateur de réplication que si des études de tailles très variables trouvent systématiquement des valeurs de p similaires.
Une façon simple de penser à la taille de l'effet est de la considérer comme la différence entre les moyennes de deux groupes en termes de nombre d'écarts types. Par exemple, les tailles moyennes des hommes et des femmes diffèrent d'environ 5 pouces, et au sein de chaque groupe, l'écart type est d'environ 2,5 pouces. Ainsi, la différence de 5 pouces a une taille d'effet de 5/2,5 = 2, ce qui correspond à la différence des tailles moyennes en termes de nombre d'écarts types « au sein du groupe ». Les tailles d'effet ont été classées comme petites si elles sont d'environ 0,2, moyennes autour de 0,5 et grandes si elles sont de 1,0 ou plus. En gros, on dit qu'une taille d'effet importante est perceptible par n'importe qui, qu'un effet moyen est perceptible par un expert observateur, et qu'une petite taille n'est pas vraiment observable sans utiliser de statistiques, même si elle peut être importante. En utilisant l'exemple ici, une différence de taille moyenne dans deux groupes de 2,5 pouces ou plus (taille d'effet de 1) devrait être perceptible pour tout observateur, une différence de taille moyenne de 1,25 pouce (taille d'effet de 0,5) ne serait probablement pas perceptible à moins que quelqu'un mesure souvent les hauteurs pour une raison quelconque, et une différence d'un demi-pouce (taille d'effet de 0,2) serait très difficile à détecter sans résumés statistiques.
Mais la signification pratique dépend toujours du contexte. Par exemple, supposons qu’une étude soit menée pour déterminer si la prise d’un supplément à base de plantes médicinales particulier sans effets secondaires pourrait aider à réduire le cholestérol. Diverses sources indiquent que l’écart type de la population pour le cholestérol plasmatique total est d’environ 40 mg/dl. Ainsi, même une taille d’effet relativement faible de 0,25 (¼ d’écart type) représente une réduction moyenne du cholestérol de 10 mg/dl, ce qui pourrait avoir une signification clinique significative. D’un autre côté, supposons qu’un médicament réduisant le cholestérol ait des effets secondaires graves. Dans ce cas, une réduction moyenne de seulement 10 mg/dl résultant de la prise du médicament ne serait probablement pas suffisante pour justifier le risque d’effets secondaires. Et comme l’illustrent les exemples de la taille et du cholestérol, la valeur numérique d’une taille d’effet dépend de la variabilité naturelle au sein du groupe. Si la variabilité naturelle des taux de cholestérol dans la population n’était que de 5 mg/dl au lieu de 40 mg/dl, alors une réduction de 10 mg/dl représenterait un effet de 10/5 = 2,0, répondant ainsi au critère d’un « effet important ».
Un autre exemple est celui de la détermination de l’existence d’un effet. Par exemple, les études en laboratoire visant à tester la possibilité d’une perception extrasensorielle ont systématiquement révélé de faibles tailles d’effet, généralement comprises entre 0,15 et 0,2. Mais toute taille d’effet non nulle cohérente dans ce contexte serait significative, car elle indiquerait que la perception extrasensorielle est possible.
En résumé, pour déterminer si les résultats d’une étude présentent une signification pratique, il faut une expertise contextuelle. Les tailles d’effet peuvent servir de guide, mais ce qui est considéré comme ayant une signification pratique dépendra toujours d’autres facteurs, au-delà des mesures statistiques.
Question : Comment définissez-vous la signification pratique/biologique, par rapport à la signification statistique ?
Queue: C'est une excellente question, qui revient souvent. Je vais d'abord répondre à la question en général, puis donner quelques réponses. La « signification » statistique est un terme restreint qui décrit la situation dans laquelle les données observées s'éloignent « suffisamment » de ce que prédit le modèle proposé. Ainsi, si nous supposons qu'une pièce est équitable et que nous la lançons 100 fois et que la fréquence observée de faces est suffisamment éloignée de 0,5, nous dirons que le résultat est statistiquement significatif, ce qui signifie que la probabilité que cela se produise selon ce modèle est faible (c'est la valeur p). Lorsque la valeur p est suffisamment faible, nous disons qu'il existe des preuves contre le modèle (ou l'hypothèse), que la différence réelle par rapport à 0,5 soit suffisamment importante pour être intéressante sur le plan pratique ou non. La signification pratique/biologique décrit un résultat qui est significatif pour le scientifique ou un autre chercheur. Un résultat peut être significatif sur le plan pratique mais pas statistiquement significatif ou (pire encore), vice versa.
Un étudiant est venu me voir hier avec une théorie sur la façon dont les insectes visitent les plantes. Ont-ils tendance à venir indépendamment ou viennent-ils en groupe ? Nous avons utilisé un modèle de Poisson pour modéliser les occurrences de 0, 1, 2, 3… insectes arrivant à la fleur, puis nous avons utilisé un test du Chi carré pour voir si les occurrences réelles correspondaient au modèle de Poisson. En réduisant la période de temps et en augmentant ainsi le nombre de périodes de temps, nous avons pu rejeter assez facilement le modèle de Poisson (et donc les arrivées indépendantes). Mais nous n'avons pas répondu à la question de savoir si les arrivées étaient suffisamment éloignées pour vraiment répondre à la question biologique. La différence par rapport aux nombres attendus par Poisson prouverait vraiment que les insectes se « mettent en couple ». Ce n'est pas une question à laquelle un statisticien peut répondre.
Un autreexempleL'article provient d'un laboratoire de Princeton qui essayait de montrer que les humains peuvent influencer (ou au moins prédire) le résultat d'un générateur de nombres aléatoires. Ils ont généré un nombre aléatoire (uniforme) compris entre 0 et 1, puis ont demandé aux sujets d'indiquer s'il était inférieur ou supérieur à 0,5. Ils ont recueilli des dizaines de milliers de ces observations et ont annoncé que le pourcentage était clairement statistiquement significatif (avec une valeur p < 0,00001). Le pourcentage de réussite réel (autour de 0,5002) était un écart si faible qu'il influencerait au mieux deux à trois résultats sur 10 000. Bien sûr, le directeur du laboratoire a fait valoir que toute différence, aussi petite soit-elle, serait intéressante. Même si les résultats étaient vrais, et non le résultat d'anomalies expérimentales ou d'erreurs aléatoires, je laisserai au lecteur le soin de décider si les résultats sont pratiquement significatifs.
Si le taux de réussite d'un médicament est suffisamment élevé par rapport à celui d'un placebo pour qu'il soit peu probable qu'il soit le fruit du hasard, nous dirons que le résultat est statistiquement significatif. Mais si la différence réelle consistait, disons, à guérir 31 % des patients, au lieu des 30 % du placebo, je pense que le service marketing aurait du mal à faire la promotion de cette amélioration, même si cette différence était statistiquement significative.
Question : Pensez-vous que toute personne ayant un intérêt ou un enjeu dans le résultat d’une étude devrait toujours être examinée ou identifiée dans une étude ?
Queue:Plus que jamais, les données sont faciles à trouver sur presque tous les sujets qui nous intéressent. Mais, bien sûr, toutes les données ne se valent pas. Un résultat issu d’un essai clinique en double aveugle contrôlé par placebo est toujours préférable à une information anecdotique. Lorsque la source des données ne peut être identifiée, il peut être impossible de distinguer les deux scénarios. La généalogie des données, y compris la manière dont elles ont été collectées, dans quelles conditions, par qui et dans quel but, est essentielle avant de pouvoir affirmer ce que les données impliquent sur le monde en général.
Nous aimerions connaître d’autres exemples que vous pourriez avoir sur l’éthique dans la science des données , où une analyse éthique a été soigneusement étudiée, une analyse où l’éthique faisait clairement défaut, ou un dilemme éthique où il n’est pas clair comment procéder au mieux. Merci encore à Jessica et Dick d’avoir partagé leur sagesse et leur expertise sur ce sujet, qui est si pertinent à notre époque.
