Conférencier
|
Transcription
|
| |
Hey. |
| Jordan Hiller |
Pouvez-vous m'entendre. |
| Russ Wolfinger |
Salut Jordan, tu m'entends. |
| Jordan Hiller |
Je peux dire comment vas-tu. |
| Russ Wolfinger |
Super oh merde, laissez-moi avoir mon expérience, est-ce que ça marche ? J'ai fini dans mon sous-sol. |
| Jordan Hiller |
D'accord, d'accord, prends ton temps, nous avons beaucoup de temps où. |
| |
nous sommes un peu en avance et ouais. |
| |
Tout va. |
| Russ Wolfinger |
vraiment bien, euh ouais, je voulais en quelque sorte vous rattraper parce qu'il y a de l'action en cours maintenant sur le front de la génomique. |
| Jordan Hiller |
à droite à droite à droite ouais j'ai entendu un peu que j'ai vu que certaines des choses génétiques apparaissaient dans l'évaluation environnementale. |
| |
D'abord ouais. |
| Russ Wolfinger |
Parce que. |
| |
ce n'est vraiment pas encore prêt, mais johnson travaille sur et Luciana Silva. |
| |
Et ils plaisantaient, c'est comme si Jordan avait mis la main dessus. |
| Jordan Hiller |
Ben ouais tu connais mon. |
| |
les sourcils se sont levés quand je dis oh c'est très intéressant. |
| Russ Wolfinger |
Non, oui, nous sommes vraiment enthousiasmés par les nouvelles orientations et essayons juste d'y aller étape par étape. |
| Jordan Hiller |
tout de suite. |
| Russ Wolfinger |
Et en fait, nous avons un nouveau, vous savez, Jeff a déménagé RD pour remplacer Kelsey. |
| |
Maintenant, nous sommes en train d'interviewer pour combler le poste de Jeff. |
| |
Dans la gestion des produits, ce sera la prochaine pièce du puzzle sur laquelle cliquer, nous avons quelqu'un pour aider parce que. |
| |
nous avons des questions autour. |
| |
Marketing de marque, je veux dire qu'ils aiment ce que nous avons mentionné, je veux dire que ce n'est même pas clair ce que les marchés aiment de nos jours et. |
| |
Nous l'avons compris, nous voulons être prudents et je l'ai fait, nous avons vraiment, vraiment, vraiment apprécié Je n'ai pas lu tout ce que vous avez écrit sur notre sondage, j'apprécie vos commentaires perspicaces là-bas. |
| Jordan Hiller |
Eh bien, vous savez que je suis hors du marché depuis un moment maintenant, alors vous savez prendre tout ce que je dis avec un grain de sel. |
| Russ Wolfinger |
Juste un peu, mais nous voulons commencer un peu, tout le monde a un bon petit aperçu de son coin de bois et va mettre en place un bon plan de match si nous sommes à l'écoute de tout le monde. |
| Jordan Hiller |
à droite ouais. |
| Russ Wolfinger |
Tu ne sais même pas comment je fais. |
| |
Comment puis-je l'activer en arrière-plan maintenant, je ne vois pas. |
| Jordan Hiller |
ouais je peux, je peux vous dire où c'est donc par l'icône de la caméra où il est dit, dit probablement arrêter la vidéo à droite. |
| Russ Wolfinger |
Oui. |
| Jordan Hiller |
il y a une petite carotte ça. |
| Russ Wolfinger |
D'accord, j'ai compris l'arrière-plan virtuel, c'est parti. |
| |
Oh ne charge pas. |
| |
charger smart virtual accrocher ça m'a Je ne sais pas ce qui s'est passé parce que j'ai généralement un arrière-plan standard qui vient de la moto mis à jour ou quelque chose du genre. |
| |
On y va. |
| |
Ouais. |
| Jordan Hiller |
Joli. |
| Russ Wolfinger |
ouais, c'est juste que je pense que c'est en train de construire, c'est peut-être en train de démonter l'autre extrémité. |
| Jordan Hiller |
oui très sympa. |
| |
D'accord, donc j'ai quand vous êtes prêt, j'ai une petite liste de contrôle à parcourir juste pour nous assurer que tout est prêt à partir. |
| Russ Wolfinger |
ouais Comment mes angles vidéo et audio et mon éclairage et tout va bien. |
| Jordan Hiller |
Tout a l'air bien qui a l'air bien. |
| |
Voyons voir si nous sommes au bon endroit au bon moment, enregistrant la bonne chose. |
| |
Vous savez que cela est enregistré, je n'ai pas à m'inquiéter de votre permission verbale, c'est très bien. |
| |
oui, votre microphone sonne bien, allez-vous avoir un bruit de fond, là où vous êtes semble assez calme. |
| Russ Wolfinger |
Je devrais être bon à moins que mon. |
| |
c'est en fait une journée un peu dégoûtante, donc je ne pense pas que mon voisin allumera une tondeuse à gazon. |
| Jordan Hiller |
Bon, voyons si la notification du téléphone portable et de l'ordinateur est silencieuse, avez-vous Outlook en cours d'exécution ou des équipes en cours d'exécution ou quelque chose comme ça. |
| Russ Wolfinger |
Permettez-moi de fermer tout ça maintenant. |
| |
Je suis sur le point d'avoir environ 5 millions. |
| |
les onglets du navigateur s'ouvrent, je sais bien et que vous avez un peu le processeur. |
| |
ouais donc j'ai ouvert mon PowerPoint en zoom en ce moment. |
| Jordan Hiller |
D'accord, c'est super, pourriez-vous juste me confirmer votre résolution d'affichage pour moi. |
| Russ Wolfinger |
Oh d'accord, vous voulez que je regarde les paramètres d'affichage. |
| Jordan Hiller |
Oui, les paramètres d'affichage devraient montrer que, où est-il. |
| |
où est-ce que ça va montrer les paramètres d'affichage et d'affichage. |
| |
Oui. |
| Russ Wolfinger |
c'est sur mon ordinateur portable 1920 par 10 à. |
| Jordan Hiller |
Parfait, c'est ce qui devrait aller, l'autre conseil est, si vous le pouvez, de masquer automatiquement la barre des tâches de Windows si vous ne le faites pas normalement. |
| Russ Wolfinger |
D'accord. |
| Jordan Hiller |
Hé, pourquoi ne commencez-vous pas à partager votre écran dès maintenant. |
| |
Alors que nous pouvons. |
| Russ Wolfinger |
Ok ouais ouais c'est bien assurez-vous de partager l'écran. |
| |
Voilà, c'est l'écran. |
| |
Je clique dessus oh partage d'accord, on y va. |
| |
Puis. |
| |
Oui. |
| |
Ce sera, espérons-le, que j'ai apprécié de rassembler ces cinq-là pour avoir des connexions amusantes avec Star Wars. |
| Jordan Hiller |
c'est génial. |
| |
Bon euh voyons ouais. |
| |
Sous les paramètres de la barre des tâches, je pense que vous pourriez l'avoir en bas. |
| |
dis le. |
| |
automatiquement ouais si vous êtes je ne sais pas à quel point c'est ce qu'ils veulent que vous fassiez, mais je trouve ça déroutant quand je fais ça parce que, parce que vous savez, alors vous devez aller au bas de l'écran pour le tirer en place, mais si vous pouvez vous y habituer, et si vous pouvez y faire face, c'est très bien. |
| Russ Wolfinger |
oui je suis à l'aise avec ça. |
| Jordan Hiller |
D'accord, super super. |
| |
euh quoi d'autre. |
| |
Automatique. |
| Russ Wolfinger |
Laissez-moi juste essayer de MAC Alors quand je vais présenter. |
| Jordan Hiller |
ouais maximiser. |
| |
diaporama. |
| Russ Wolfinger |
Je ne vois pas que ça a l'air bien. |
| |
Je peux juste utiliser mon clavier, c'est-à-dire que ça tombe bien. |
| Jordan Hiller |
C'est c'est super. |
| Russ Wolfinger |
Et puis, vais-je être il y aura un peu à ma place personnellement quelque part sur l'écran. |
| Jordan Hiller |
c'est vrai, vous savez qu'il enregistre séparément et qu'ils s'en occuperont en post-production, donc vous ne vous en souciez pas du tout. |
| Russ Wolfinger |
Ok allons-y oh je ne sais pas je ne savais pas si je devais faire ce que j'aime vraiment ce n'était pas les discussions que j'aime vraiment voir la personne. |
| |
Au départ, juste pour avoir une idée, vous connaissez le langage corporel et le ton, mais ça, mais si je montre vraiment tout le temps, ça devrait être, c'est l'optimum je pense. |
| Jordan Hiller |
c'est à vous de décider si vous voulez commencer par commencer avec votre écran déjà partagé, vous pouvez le faire, et si vous voulez juste dire quelques remarques d'introduction avant de commencer à partager, cela fonctionne aussi. |
| Russ Wolfinger |
Oh d'accord, je vais mais je veux dire, pouvons-nous, nous pourrions en fait oh oh enregistrait déjà la propriété d'ailleurs. |
| Jordan Hiller |
C'est bien ouais je suppose que ça a commencé automatiquement mais ça va, ça va juste ajouter, vous savez, à chaque fois. |
| |
En post-production, ils commenceront au bon moment, ne vous inquiétez pas pour ça. |
| Russ Wolfinger |
D'accord, et puis, est-ce que vous allez être impliqué du tout, comme pour le dire ou quoi que ce soit du tout. |
| Jordan Hiller |
sachez que lorsque vous êtes prêt à partir, je vais éteindre ma caméra et éteindre mon microphone, puis nous dirons simplement prêt à partir. |
| |
D'accord. |
| Russ Wolfinger |
Cela sonne bien, et puis j'ai 20 diapositives alors rappelez-moi quelle est la limite de temps. |
| Jordan Hiller |
Je ne pense pas que vous vous soyez vraiment inscrit pour un article de 30 minutes. |
| |
Vous savez que c'est dire virtuel maintenant, donc le temps est fongible. |
| Russ Wolfinger |
Mais ce serait bien ouais, je ne pense pas que je ne le pense pas, ce n'est pas comme si ça allait durer une heure, quoi que ce soit pour en quelque sorte frapper les temps forts. |
| |
ouais je pense que je pense que 30 minutes sonne juste. |
| |
D'accord. |
| Jordan Hiller |
D'accord, alors que pensez-vous que vous devez faire d'autre, avant de partir, êtes-vous prêt à partir. |
| Russ Wolfinger |
prenez un verre lent. |
| |
ouais Oh, et puis cela sera diffusé, cela sera diffusé, je pense, le cinquième, ils disaient le cinq octobre. |
| Jordan Hiller |
C'est la façon dont ils vont vivre. |
| Russ Wolfinger |
ouais et je pense que j'ai reçu des e-mails à propos de je pourrais être peut-être l'une des personnes qui seront là en direct juste après ou quelque chose comme ça. |
| Jordan Hiller |
très bien ouais bien bien. |
| Russ Wolfinger |
Alors, est-ce que j'aimerais quand j'enregistre si j'aime faire allusion à ça ou à quoi que ce soit, ou quelle est la Convention. |
| Jordan Hiller |
Je dirais non parce que cela va vivre plus tard comme une ressource pour les gens, même après la Conférence pour les gens à regarder, donc je prends juste pour l'enregistrer directement et. |
| Russ Wolfinger |
genre de temps invariant dans le temps. |
| Jordan Hiller |
Oui exactement. |
| |
tout à fait raison. |
| Jordan Hiller |
D'accord. |
| |
Donc, si vous êtes prêt, d'accord, je vais éteindre la caméra et le microphone et je vais regarder ici et oui, allez-y et commencez dès que vous êtes prêt. |
| Russ Wolfinger |
Qui quand j'ai fini que dois-je faire. |
| Jordan Hiller |
Tu pourrais dire. |
| |
c'est la fin Merci bonne nuit. |
| |
Et puis je reviendrai et je le ferai. |
| |
Il suffit de le boucler. |
| Russ Wolfinger |
D'accord, les éditeurs recadreront le début et la fin selon les besoins. |
| |
Absolument d'accord. |
| Jordan Hiller |
Bon, j'y vais, je m'en vais lutter, bonne chance, j'ai hâte de regarder ça. |
| Russ Wolfinger |
Merci. |
| |
D'accord. |
| Russ Wolfinger |
valeurs p. |
| |
Et comme vous l'avez peut-être entendu, il y a eu des controverses autour de cette statistique la plus tristement célèbre au cours des dernières années et même récemment ici en 2021. |
| |
Et je veux résumer certaines des choses que j'ai vues et pensé à eux, et aussi pour le plaisir, |
| |
Retour des P-Values. |
| |
Nous avons eu des périodes où elles sont en quelque sorte devenues populaires et je pense qu'il pourrait y avoir maintenant une résurgence, alors voyons comment cela se passe. |
| |
Pour commencer, revenons 100 ans en arrière, presque... presque 100 ans exactement, au début des années 1920. |
| |
Ce fut l'apogée du statisticien le plus célèbre de tous les temps, RA Fisher, et c'est lui à qui l'on attribue les valeurs p, ainsi que de nombreux |
| |
très puissants et populaires, à ce jour, des concepts statistiques, par exemple, le maximum de vraisemblance et une interprétation de style fréquentiste de la probabilité. |
| |
Maintenant, l'un des principaux pairs de Fisher de son époque et même dans la même institution était Jerzy Neyman et Egon Pearson. |
| |
Et dès le tout début, lorsque Fisher a sorti ses valeurs p, ils ont eu des désaccords assez graves sur leur utilité et sur la façon dont elles devraient être appliquées dans la pratique. |
| |
Neyman et Pearson, comme vous le savez, sont ceux qui ont proposé le célèbre cadre de test d'hypothèses. C'était plus de la théorie de la décision. |
| |
Et ce sont aussi ceux qui sont crédités d'intervalles de confiance, de mécanismes de génération de données et d'autres choses courantes. Et les statistiques que nous employons de nos jours, c'est un peu cet hybride étrange de ces deux méthodes initiales, mais elles sont nées dans la controverse, dès le début. |
| |
Maintenant, au fil des années, |
| |
les débats se sont poursuivis et ils ont eu tendance à s'aligner sur le classique fréquentiste versus bayésien |
| |
désaccords. Et cela souvent... cela a de nombreux aspects, l'un des principaux étant de savoir comment interpréter la probabilité elle-même ? |
| |
Les deux types de points de vue populaires qui distinguent les deux camps se résument souvent à considérer que la probabilité existe en quelque sorte dans le monde objectif et peut être mesurée, disons avec des répétitions du monde réel ? |
| |
Ou est-ce plus dans nos têtes en termes de degré de croyance ? Et ceux-ci peuvent avoir des implications très profondes en termes de |
| |
méthodes statistiques que vous utilisez, et même comment vous effectuez une modélisation probabiliste. |
| |
Et, en particulier, les bayésiens ont tendance à généralement... pour obtenir un cadre bayésien, vous devez spécifier des distributions préalables |
| |
sur tous les paramètres, ce qui serait encore une fois interprété comme votre degré de croyance souvent subjectif sur la façon dont ce paramètre... les valeurs du paramètre sont susceptibles de prendre. |
| |
Et ils peuvent être univariés, multivariés, etc., selon la complexité du modèle. Vous tournez la manivelle ... vous tournez la manivelle à travers le théorème de Bayes |
| |
et vous obtenez des probabilités et densités postérieures sur lesquelles vous faites vos inférences. Alors que les fréquentateurs ont tendance à employer peut-être dans un sens, un peu plus... |
| |
des méthodes peu plus éloignées ou plus objectives en termes de calculs directs, et voici où vous obtenez la valeur p. C'est certainement une statistique de style fréquentiste. |
| |
Et cela a été critiqué et examiné plusieurs fois au fil du temps, et nous allons examiner certains aspects des valeurs p plus en profondeur au fur et à mesure que nous procédons ici. Mais ils... encore une fois les mettent en contexte historiquement. |
| |
Et puis plus récemment, ils... depuis environ l'an 2000, il y a eu un grand battage autour du sujet de la reproductibilité. |
| |
Et cela a résulté... il y a eu des centaines d'articles et de sujets autour de conclusions scientifiques qui n'ont pas été reproductibles. |
| |
Un laboratoire, disons, produit des résultats, fait une réclamation, et un autre laboratoire essaie de faire une expérience similaire et ne peut tout simplement pas... obtenir quelque chose de différent. Et cela souvent |
| |
peuvent créer de grandes controverses, car elles peuvent être... certaines de ces conclusions sont assez |
| |
important et peut entraîner des décisions politiques ou de santé autour... ou de santé ou même des décisions dans n'importe quel domaine auquel vous pourriez penser. Et tant de gens prétendront que nous sommes en quelque sorte dans cet état de crise de reproductibilité. |
| |
Maintenant, pour relier cela à notre thème Star Wars, imaginons, comme vous le savez, à travers la galaxie, nous pourrions souvent avoir |
| |
une sorte de... il y a toujours des conflits qui se préparent et des groupes rebelles surgissent. Et avec cette crise de reproductibilité, si vous imaginez la Guerre des étoiles, ce conseil maléfique se réunissant, |
| |
concluant qu'ils doivent trouver un bouc émissaire pour cette reproductibilité. Et quoi... qui pourrions-nous blâmer pour cela ? Que pourrions-nous... quel récit pourrions-nous tisser ? |
| |
Et pourquoi pas... pourquoi ne pas blâmer les mauvaises méthodes statistiques ? En fait, la valeur p ressemble à un bon candidat vulnérable. Et nous voyons là que l'empereur Palpatine est satisfait de ce plan et est prêt à consacrer beaucoup de ressources à sa réalisation. |
| |
Au milieu de cela, au début, en quelque sorte du milieu à la fin des années 2000, nous avons réuni une sorte de société des royaumes extérieurs autour du thème de la reproductibilité génomique. |
| |
Nous avons été intrigués par ce problème où nous avons constaté, en effet, un manque de reproductibilité dans les listes de gènes différentiellement exprimés. |
| |
Et vous pouvez imaginer un diagramme de Venn où un laboratoire donnerait ses 100 gènes les plus importants à partir d'une expérience. Un autre labo va le reproduire, |
| |
et ce diagramme de Venn se chevauche à peine. Et c'est un problème auquel nous nous sommes attaqués, une sorte de question directe de reproductibilité scientifique. |
| |
Et nous avons effectué beaucoup de travail acharné et de recherche et avons réexécuté de nombreux contrôles dans de nombreux laboratoires. Nous avons publié cet article ici, où nous |
| |
est venu avec ce que je considérerais comme une résolution assez simple mais facile à certaines des questions de reproductibilité, |
| |
spécifiquement en ce qui concerne les valeurs p et d'autres statistiques connexes, par exemple la spécificité de sensibilité dans un contexte de décision binaire. |
| |
Et la conclusion était que les valeurs p elles-mêmes ne sont pas conçues pour être reproductibles. Ils... leur force et même leur intention en tant que statistique est de contrôler les taux d'erreur. |
| |
En particulier, nous avons le taux d'erreur classique de type un d'un faux positif, et c'est ce domaine qui |
| |
Les valeurs p et leur théorie sont développées autour, alors que la question de la reproductibilité est différente. |
| |
Et en fait, notre état d'esprit est presque celui de considérer la reproductibilité comme la troisième dimension au-delà de la spécificité et de la sensibilité, les taux d'erreur de type un classique, de type deux. |
| |
Et dans le contexte de la génomique, nous pouvons aider à résoudre la question en faisant des parcelles, comme vous le voyez ici, appelées une parcelle de volcan, |
| |
où chaque point est un gène que nous avons mesuré et nous comparons deux conditions. Le long de l'axe des X, nous avons une mesure de la taille de l'effet ou du log, dans ce cas un changement de facteur de log2, et sur l'axe des y, nous traçons une valeur p négative de log10. |
| |
Et l'intrigue a toujours tendance à avoir cette forme de V caractéristique en raison des relations entre ces deux statistiques, où les gènes qui... volcan. |
| |
Mais il s'avère, en termes de reproductibilité, |
| |
que la clé... la dimension est en fait l'axe X et il s'avère que la taille de l'effet est plus reproductible |
| |
que l'axe y, la valeur p, qui est une sorte de mesure normalisée du signal sur bruit, si vous voulez le voir de cette façon. |
| |
Et donc la façon de contourner la question est que vous n'êtes pas... en fait, les deux sont précieux et la clé est donc de rechercher des gènes dans les coins supérieurs gauche et droit de ce graphique, où vous pouvez satisfaire les deux critères. |
| |
Et l'intrigue est en fait un moyen intuitif de le faire, et il existe des variations sur la façon dont vous pouvez tracer les lignes, disons rectangulaires ou courbes comme vous le voyez ici. |
| |
Mais ce sont plus, en quelque sorte, des détails qui dépassent une fois que vous... une fois que vous avez compris le concept principal, et c'était le message principal de cet article, qui, je pense, est toujours solide, à ce jour, mais il ne l'a pas été. c'est vraiment |
| |
a eu beaucoup d'adoption à travers... à travers le conseil d'administration. En fait, la reproductibilité reste une grande crise et les gens pensent que nous avons de gros problèmes et que les choses doivent changer. |
| |
Maintenant, |
| |
en quelque sorte, en raison du fait que la valeur p prend la chaleur, pour ainsi dire, pour la reproductibilité, l'American Statistical Association, qui est sans doute l'un des principaux |
| |
sociétés statistiques dans le monde, a publié une déclaration en 2016 autour des valeurs p. Ils ressentaient en quelque sorte la chaleur et pensaient que c'était une bonne idée de diffuser des messages, d'aider à |
| |
apaiser certaines des inquiétudes et peut-être parler de quelques-unes des choses que j'ai mentionnées. Cependant, les six déclarations, et nous n'entrerons pas dans les détails pour gagner du temps, |
| |
bien qu'ils aient présenté des points intéressants, je pense qu'ils ont en quelque sorte manqué la cible sur certaines choses. |
| |
Et maintenant, ces déclarations elles-mêmes ont pris un peu de chaleur, et les lignes de bataille ont donc été tracées encore plus distinctement, et on peut se demander si cette déclaration a aidé ou blessé |
| |
dans tout le débat, mais au moins c'était... c'était un progrès et il y a beaucoup de bonnes choses dans ces déclarations. |
| |
Et je pense que certaines des critiques étaient peut-être plus pointilleuses que nécessaire, mais au moins... au moins, |
| |
il essaie d'aborder les choses. Et ce sont... je les considère comme précieux... comme une contribution précieuse pour comprendre les controverses et s'assurer que nous pouvons... nous pouvons en quelque sorte prendre de bonnes décisions sur comment et quand utiliser les valeurs p , voire pas du tout. |
| |
Maintenant, les débats, je dirais, ont en quelque sorte atteint leur paroxysme en 2019 dans ce numéro de The American Statistician. Et moi, en quelque sorte, de façon amusante, si vous voulez, appelle ça ANTIPA, |
| |
une sorte d'émeute anti-valeur p, étaient presque tous les articles de ce journal... |
| |
Et toute la question a été dirigée par Ron Wasserstein et est à la tête de... le directeur exécutif de l'American Statistical Association. |
| |
Et donc, avec cette position d'importance, cela a en quelque sorte amené beaucoup de... beaucoup de désaccords, juste au premier plan. Et |
| |
la chose à propos de ce problème, que je recommande, bien que ne vous attendez pas à ce que ce problème résolve les questions pour vous, en fait, vous repartirez probablement |
| |
avec plus de questions et de grattage de la tête que vous ne l'avez fait en entrant, parce que les papiers là-dedans sont partout. |
| |
Il n'y a pas de message clair sur ce qu'il faut faire. Le seul message clair est que les valeurs p sont mauvaises et que devons-nous faire en réponse à cela. |
| |
Et donc je vous renvoie à ce problème pour obtenir plus de détails, mais vous pouvez voir par certains des titres répertoriés ici et avoir une idée de certaines des choses qui sont proposées, |
| |
y compris une proposition assez radicale d'abandonner complètement l'expression et l'utilisation de la signification statistique. |
| |
Et j'inclurais, comme vous le savez, dans le logiciel JMP, parfois nous mettrons... nous créerons des barres de valeur de log, des valeurs p négatives de log, ou mettrons des étoiles sur la sortie. |
| |
Mais cette proposition dirait que c'est mauvais, qu'on ne devrait plus le faire, et cela conduit à de mauvaises pratiques. Et c'est donc une question intéressante pour nous |
| |
dans la division JMP comme nous l'avons été, à la fois dans JMP et je dirais, avant l'an 2000, SAS a peut-être |
| |
produit plus de valeurs p que toute autre société de logiciels dans le monde, compte tenu de son histoire. Et donc c'est un sujet naturel pour nous de faire des recherches, et si nous nous sommes trompés, ce serait bien d'avouer cela et d'aller de l'avant, mais sinon... c'est c'est... Je pense qu'il nous appartient de présenter quelques raison, |
| |
quelques débats et justifications réelles pour lesquelles cela pourrait être une bonne... une bonne raison de continuer à utiliser les valeurs p. |
| |
Il y a donc une sorte de littérature en plein essor et cela a vraiment fait flamber les choses. Et il y a eu pas mal de réponses à cela, certains articles de blog, etc. |
| |
Mais encore une fois, si vous voulez plonger directement dans le gros... le gros truc, c'est le problème par lequel commencer. Et il y a eu quelques suivis, tellement de choses depuis. |
| |
Maintenant, même dans ce problème, ce n'était pas si mal. Et je vous renvoie à cet article de Sander Greenland, qui, je pense, a été une voix de la raison |
| |
tout au long de la polémique. Et il a également publié plusieurs articles de blog ici et là, sur le Web, que vous pouvez rechercher et trouver. Et il a proposé |
| |
en restant sur l'échelle log, ce que nous aimons, rappelez-vous que nous utilisons sur les tracés du volcan, et il y a un moyen de voir le p, nous prenons le log2 |
| |
p-value, il existe des connexions directes aux bits d'information et au critère classique d'entropie d'information de Shannon. Et, bien sûr, si vous prenez le log, c'est très facile de changer de base, vous pouvez aller loger en base 10 simplement en multipliant ou en divisant. Et donc |
| |
Personnellement, j'ai tendance à être d'accord avec cette évaluation ici selon laquelle il y a en fait une certaine valeur à cela… en regardant simplement les valeurs de p du journal. |
| |
Et aussi, je vous renvoie aux deux documents énumérés en bas ici dans la boîte verte. Benjamini a donné une belle conférence formelle Rietz au JSM en 2019, puis de l'industrie pharmaceutique, l'article d'Eric Gibson est également une très bonne lecture avec beaucoup de belles idées. |
| |
Jetons donc un œil ici. Les valeurs p sont-elles vraiment le problème ? Et vous pouvez commencer... star... si nous pouvons reculer un peu, |
| |
la chose est qu'ils sont utilisés si fréquemment, nous pourrions faire l'analogie de |
| |
conduire une automobile. Et vous pouvez imaginer, quelqu'un mettant des photos et des accidents horribles et disant simplement que nous devons… nous devons arrêter de conduire tous ensemble ; c'est juste trop dangereux. |
| |
Les gens ne peuvent pas gérer leurs voitures. Vous allez... vous allez en quelque sorte ignorer le fait que des millions de personnes conduisent en toute sécurité chaque jour et sont capables de faire un très bon usage de leur voiture, de leur famille et de leurs besoins professionnels. Et donc |
| |
certaines de ces critiques, je pense, ont tendance à être unilatérales ou partiales et donc, comme pour toute controverse, il est utile d'essayer de rechercher les deux côtés et de rechercher une résolution. Ou si quelque chose qui est revendiqué ne résonne vraiment pas, mettez-le en quelque sorte à sa place, pour ainsi dire. |
| |
Il y a aussi ce problème : aucune alternative claire n'a émergé pour remplacer le rôle de la valeur p. Il ne fait aucun doute qu'ils sont mal utilisés et qu'ils sont parfois un peu difficiles à interpréter, |
| |
mais la question est, si nous n'allons pas les utiliser du tout, disons que nous avons pris la décision dans JMP de les abandonner tous ensemble, que mettrons-nous à leur place ? |
| |
Et il y a eu beaucoup de propositions, bien sûr, des intervalles de confiance, des mesures bayésiennes des probabilités postérieures, etc. |
| |
Mais beaucoup d'entre eux font l'objet des mêmes critiques que les valeurs p elles-mêmes. Et donc la question, si nous revenons à la question de la reproductibilité, |
| |
vous savez, qu'est-ce qu'il y a au... qu'est-ce qui est au cœur de quand une étude ne se reproduit pas bien, que s'est-il passé ? Et il y a beaucoup de choses que nous pouvons considérer si nous nous éloignons de… du mal… du récit maléfique, pour ainsi dire. |
| |
En pensant à des choses comme la conception expérimentale elle-même, et nous savons qu'il y a beaucoup de... il pourrait y avoir beaucoup de problèmes là-bas, et c'est un domaine qui |
| |
Nous prenons cela très au sérieux chez JMP en vous aidant à concevoir des expériences vraiment solides, à éviter les facteurs de confusion et d'autres facteurs qui peuvent souvent biaiser ou fausser... détraquer une expérience, pour ainsi dire. |
| |
De plus, il peut y avoir des erreurs tout au long du tableau, en termes de collecte de données, de nettoyage. |
| |
Et les valeurs p sont en effet vulnérables au piratage. Vous en générez beaucoup, comme nous, disons dans le domaine de la génomique. |
| |
Si vous voulez juste sélectionner les plus importants, vous allez tomber... victime des problèmes classiques des tests multiples, etc. Sans parler de notre cadre de publication, aussi solide... aussi solide qu'il soit et aide à la science, il y a des biais là-dedans. |
| |
Et aussi, bien sûr, tout le monde aime... aime une sorte de bon combat. |
| |
Et donc pour avoir une certaine perspective à ce sujet, je pense qu'il est important de réaliser qu'en regardant simplement en arrière à travers l'histoire de la science, il y a toujours eu des débats sur des sujets. |
| |
Lorsque vous rencontrez des gens intelligents, des gens vraiment intelligents dans une pièce qui sont passionnés par ce qu'ils poursuivent |
| |
et s'ils ne sont pas d'accord avec un autre, une étincelle risque de jaillir. Et c'est un peu... un peu le rude et le culbute de celui-ci. |
| |
Et c'est aussi bien aussi, vous savez, juste pour être sûr que tout le monde écoute, que vous comprenez vraiment la définition d'une valeur p, |
| |
ce qui est en quelque sorte, j'aime à penser, c'est un peu comme Yoda; c'est la logique inverse. Donc, si vous avez l'idée de supposer d'abord que l'hypothèse nulle est vraie, |
| |
puis posez la question, quelle est la probabilité d'observer quelque chose de plus extrême que ce que nous avons observé, ou cette prétendue zone de queue, |
| |
en supposant que le null et le modèle, bien sûr, le modèle lui-même est également vrai? C'est donc une sorte de logique inversée, à l'envers, comme la grammaire Yoda. |
| |
Et donc souvent, il ne s'agit peut-être pas de répondre à la question exacte que vous voulez, ce que les Bayésiens diront, ce que vous voulez vraiment, c'est comme la probabilité... la probabilité directe qu'une hypothèse soit vraie, |
| |
ce qui n'est pas une valeur p, il est donc bon de le savoir. Si vous voulez cette probabilité, une approche bayésienne est probablement une bonne... une bonne voie à suivre. Et encore une fois, les valeurs p sont vraiment là pour le contrôle des erreurs et non pour la reproductibilité. |
| |
Et dans un petit lien que je voulais faire, et je dirais que les débats bayésien contre fréquentiste ont peut-être atteint ce que notre bon ami Steve Uber a qualifié de détente, |
| |
et qu'il y a des connexions qui sont souvent sous-estimées, par exemple, celle-ci, depuis 1987. |
| |
Si vous voyez... si nous considérons les tests unilatéraux, où nous ne regardons qu'un côté avec la distribution, il s'avère dans cet article qu'ils ont présenté à JASA (?), |
| |
que le unilatéral ... un côté de la valeur p peut en fait être directement lié à une probabilité a posteriori bayséenne (et cela est illustré par le rouge et le bleu |
| |
distributions que vous voyez ici) ces deux zones de queue qui sont mises en évidence sont exactement les mêmes, et l'une est la valeur p |
| |
et l'autre est un postérieur bayésien, tous deux unilatéral. Et ainsi nous pouvons obtenir des situations comme celle-ci où vous allez obtenir la même réponse... vous allez obtenir la même réponse |
| |
que vous adoptiez un point de vue bayésien ou fréquentiste. Je pense que ce genre de résolutions est en fait assez agréable et bon à garder à l'esprit. |
| |
Et pour moi, ils... ils sont en fait une raison d'utiliser des tests unilatéraux quand c'est... quand vous le pouvez. Je veux aussi donner une prise pour notre collègue, |
| |
Brian Fricke, qui travaille sur un nouveau complément appelé courbes de confiance. |
| |
Et je pense que, s'il ne l'a pas déjà fait, il le publiera bientôt sur la communauté JMP. Alors vérifiez cela, car il a en fait |
| |
examine les valeurs p en relation avec les résultats de sélection de modèles et constitue un bon moyen de comparer ces résultats dans un cadre de type validation croisée k-fold. Alors s'il vous plaît vérifier cela quand vous en avez l'occasion. |
| |
Maintenant, encore une fois, essayez de prendre du recul ici. |
| |
Je pense qu'une autre comparaison ou point de vue à adopter est cette belle distinction entre la prédiction de la modélisation prédictive et l'explication. |
| |
Et ceci... c'est une... c'est plus une distinction philosophique, mais je pense que la relier à des méthodes statistiques a beaucoup de sens. |
| |
Et il y a un bon article de Galit Shmueli, il y a 10 ans, 11 ans maintenant, dans Statistical Sciences, qui décrit beaucoup de problèmes clés ici. |
| |
Mais je les ai soulevées parce que nous avons... vous savez, la science des données d'apprentissage automatique explose ces jours-ci. Et la plupart des apprenants automatiques aiment simplement vivre du côté gauche de ce diagramme. |
| |
Et si vous êtes dans un état d'esprit de prédiction, les choses ont tendance à se simplifier un peu, |
| |
où le but est simplement de créer de bonnes prédictions qui sont meilleures, et beaucoup de questions de reproductibilité commencent à disparaître. |
| |
Parce que nous savons que si nous faisons un bon travail de prédiction, nous pouvons raisonnablement prédire l'avenir ou de nouvelles observations sans surajustement. |
| |
Et beaucoup de questions ne deviennent tout simplement pas pertinentes, alors que je pense que si vous voulez aller plus loin et vraiment essayer de comprendre un système scientifique, |
| |
c'est là que les choses peuvent devenir plus épineuses. Et j'ai l'impression que la valeur p a tendance à avoir plus de pertinence du côté droit, là où vous essayez d'expliquer les choses. |
| |
Vous voulez savoir si une méthode statistique produit des erreurs et, si oui, quel type d'erreurs, à quel point la statistique que je regarde est inhabituelle, |
| |
etc. Et il est donc important de garder ces choses à l'esprit et de les appliquer à ce scénario que vous étudiez. |
| |
Vous pouvez être dans une situation où tout ce qui vous importe vraiment est de faire de bonnes prédictions, et si c'est le cas, |
| |
prenez les valeurs p, ne le faites pas... peut-être que vous n'avez pas beaucoup de pertinence. Mais si vous êtes dans un environnement d'expérimentations de conception classique que nous connaissons et aimons très bien dans JMP, |
| |
alors toutes ces questions plus difficiles entrent en jeu, mais si vous pouvez y répondre, le gain est également beaucoup plus important. Si vous pouvez comprendre le système et l'expliquer, vous pouvez certainement le prédire aussi, donc je considère l'explication, un objectif avec un objectif plus élevé en termes de science. |
| |
Et bien sûr, nous arrivons maintenant... à boucler la boucle avec l'ANOVA, qui était aussi quelque chose que Fisher a popularisé il y a cent ans. Nous avons des outils avec ANOVA |
| |
où nous pouvons vraiment nous attaquer à un problème scientifique, le décomposer et voir ce qui se passe, et atteindre cet objectif d'explication. |
| |
Et je pense que les valeurs p peuvent être un élément clé de cela. Si vous pensez à la table ANOVA classique, la sortie finale de celle-ci est généralement une valeur p d'un test F |
| |
indiquant si un certain effet est statistiquement significatif au-delà du bruit observé dans l'expérience. |
| |
Je pense que prendre cela... calculer cette statistique dans sa zone de queue, c'est souvent une chose très utile à faire. Et vous pouvez voir une sortie JMP sur le côté gauche, les valeurs p indiquées, |
| |
encore une fois, sur une échelle logarithmique. Je pense que ce genre d'intrigue est très utile, un résumé visuel très rapide et intuitif de ce qui se passe dans une expérience. |
| |
Aussi, je veux vous référer à ce livre de Deborah Mayo, ainsi qu'à sa série de blogs dont elle est très active. C'est une excellente ressource. J'aime le lire. Et |
| |
c'est en fait... elle est plus une philosophe statistique, bien qu'elle connaisse beaucoup de... beaucoup de questions clés, mais c'est une excellente lecture en termes de |
| |
plonger vraiment dans certains des problèmes profonds et expliquer vraiment plus en détail pourquoi les statistiques comme les valeurs p ont en fait une bonne incidence à l'intérieur. Elle est plus dans le camp pro p-value et |
| |
sa grande chose est que ce qu'elle appelle des tests sévères, où vous essayez de prendre une méthode et de la mettre... vraiment la passer à l'essoreuse, rechercher les erreurs. |
| |
Et c'est juste bon... Je pense que c'est une bonne science solide où vous êtes toujours, si possible, en prenant le point de vue opposé, |
| |
faire des trous dans le vôtre, toujours à la recherche de défauts, et en quelque sorte considérer humblement que quelque chose peut ne pas toujours être ce qu'il apparaît au début, lorsque vous commencez vraiment à retirer les couches. Et c'est donc un livre recommandé à coup sûr. Vérifiez-le. |
| |
Et puis pour conclure... en quelque sorte d'autres conseils à retenir de cette conférence, |
| |
bien sûr, je pense que certaines des critiques des valeurs p sont des personnes qui regardent aveuglément si elles sont inférieures à 0,05 ou non, et prennent une décision rapide en fonction de cela. |
| |
Gardez à l'esprit que 0,05 n'est souvent pas le meilleur critère pour vous. C'est... c'est une autre règle empirique qui remonte à Fisher. |
| |
C'est donc un peu vieux de 100 ans et cela peut ne pas avoir de sens pour votre environnement. Je sais qu'en génomique et disons, les études d'association pangénomique, nous voulons souvent aller beaucoup, beaucoup plus strict |
| |
pour gérer le problème des tests multiples. Mais c'est là et c'est juste, encore une fois, si vous connaissez la définition de la valeur p, vous pouvez prendre des décisions judicieuses en termes d'endroit où faire ces coupures. |
| |
Et encore une fois, je voulais réitérer le fait de prendre en considération les tests unilatéraux lorsque vous le pouvez, ainsi que cette belle dichotomie ou cette sorte de dialectique hégélienne entre expliquer et prédire les mentalités. |
| |
Maintenant, voici un petit mème que j'ai mis en place, juste pour me moquer un peu de certaines personnes. Mais j'ai l'impression que parfois |
| |
la communauté aime en fait maintenir une… entretenir une controverse afin de peut-être conduire leurs… leurs publications ou simplement pour maintenir le récit. |
| |
Et donc, les valeurs p restent vulnérables pour ce genre de chose, et le seront probablement à l'avenir, mais au final, je pense qu'elles sont en fait assez précieuses si et quand vous les utilisez de manière appropriée. |
| |
Maintenant, je voulais mentionner une dernière chose. Il s'avère, en réponse à cet article de journal ASA 2019 que j'ai mentionné, |
| |
la présidente de l'ASA à l'époque, Karen Kafadar, a réuni un groupe de travail pour mettre en place ce qu'elle espérait être une réponse définitive à de nombreuses questions clés. |
| |
Et elle a réuni ce que je considère comme un panel étoilé de statisticiens et de chercheurs de haut niveau. Vous connaissez certains noms là-bas, y compris notre bien-aimé Dick De Veauz, un grand partisan du JMP, Brad Efron et d'autres. |
| |
Et ils ont ils ont convoqué ce groupe de travail, ils se sont réunis et ont écrit une très belle réponse serrée. |
| |
Mais il s'est avéré que sa publication a été bloquée, a été bloquée pendant près de deux ans. Et je suivais ça et je correspondais en fait avec Dick et Karen |
| |
à peu près quand il va sortir, et il s'est avéré qu'ils ont fini par décider de le publier dans quelques revues. |
| |
Quelques journaux ne voulaient pas le prendre, alors ils ont dû rebondir un peu et il est finalement sorti, il y a juste un mois ou deux. |
| |
Et je vous encourage fortement à y jeter un œil. C'est très court. C'est en fait beaucoup plus court que je ne le pensais. |
| |
Mais pour moi, cela répond vraiment à beaucoup de questions clés. Vous pouvez en voir le texte dans son intégralité sur le blog de Deborah Mayo |
| |
post et je donne le lien en bas, si vous voulez vérifier cela, ou vous pouvez simplement rechercher en ligne. Je crois qu'il est publié dans les Annals of Applied Statistics. |
| |
Et j'aime bien... je pense que c'est en fait une sorte de... une sorte de réponse sympa et peut-être que ça va, vous savez, en quelque sorte apaiser certaines des controverses qui ont entouré les valeurs p. |
| |
Pour moi, cela semble très solide, mais je vous encourage à le vérifier et nous devrons voir comment les choses se déroulent dans Stat Wars avec le temps à venir. Jusque-là, je veux promettre qu'il semble que l'ordre sera rétabli dans l'univers. Nous devrons juste voir quand cela arrivera. Merci beaucoup. |
