398695_de-DE

liliconcom

Die Rückkehr der P-Werte: Stat Wars für Wissenschaftler und Ingenieure (2021-US-30MP-862)

Niveau: Mittelstufe

 

Russ Wolfinger, Direktor für wissenschaftliche Entdeckung und Genomik, SAS Institute Inc

 

Es ist eine Zeit des Bürgerkriegs in der Statistikrepublik.Kaum hatten die Frequentisten- und Bayesianer-Fraktionen eine halbfriedliche Entspannung erreicht, da tauchte eine neue, große Bedrohung aus dem Wissenschaftsimperium auf, insbesondere der Todesstern der Reproduzierbarkeitskrise. Ohne sich der frühen Entdeckungen von JMP-Rebellen bewusst zu sein, haben Berater der American Statistical Association die P-Werte zum treibenden Treibstoff des Todessterns erklärt.Wird ein Verbot von P-Werten und statistischer Signifikanz den Stern implodieren?Oder spielen schwerwiegendere Faktoren eine Rolle?

 

Automatisch generiertes Transkript...

 

Lautsprecher	Transkript
	Hey.
Jordan Hiller	Können Sie mich hören.
Russ Wolfinger	Hey Jordan, kannst du mich hören?
Jordan Hiller	Ich kann hey, wie geht es dir.
Russ Wolfinger	Großartig, oh scheiße, lass mich meinen Hintergrund erfahren, ob es funktioniert Ich bin in meinem Keller fertig.
Jordan Hiller	In Ordnung, in Ordnung Nehmen Sie sich Zeit, wir haben viel Zeit wo.
	wir sind ein bisschen zu früh und ja.
	Alles geht.
Russ Wolfinger	wirklich gut, ähm ja, ich wollte dich irgendwie einholen, weil jetzt einige gute Aktionen an der Genomik-Front laufen.
Jordan Hiller	genau richtig ja, ich habe ein bisschen gehört, dass ich gesehen habe, dass einige der genetischen Sachen im EA auftauchen.
	Zuerst ja.
Russ Wolfinger	Weil.
	Es ist wirklich noch nicht fertig, aber Johnson und Luciana Silva haben daran gearbeitet.
	Und sie machten Witze, als ob Jordan das in die Finger bekommen hätte.
Jordan Hiller	Nun ja, du kennst meine.
	Augenbrauen gingen hoch, als ich sagte, oh das ist sehr interessant.
Russ Wolfinger	Nein, ja, wir sind wirklich begeistert von den neuen Richtungen und versuchen nur, Schritt für Schritt vorzugehen.
Jordan Hiller	direkt am.
Russ Wolfinger	Und wir haben tatsächlich einen neuen, wissen Sie, Jeff hat RD umgezogen, um Kelsey zu übernehmen.
	Jetzt führen wir Interviews, um Jeffs Position aufzufüllen.
	Im Produktmanagement wird das also das nächste Puzzlestück sein, in das wir hineinklicken müssen. Wir holen uns da jemanden, der da hilft.
	Wir haben einige Fragen.
	Marketing Branding Ich meine, sie mögen uns, wie wir bereits erwähnt haben, ich meine, es ist nicht einmal klar, was die Märkte heutzutage mögen und was sie tun.
	Wir haben es verstanden, wir wollen vorsichtig sein und das habe ich wirklich.
Jordan Hiller	Nun, Sie wissen, dass ich für eine Weile nicht mehr auf dem Markt bin, also nehmen Sie alles, was ich sage, mit einem Körnchen Salz.
Russ Wolfinger	Nur irgendwie, aber wir wollen irgendwie in Gang kommen, dass jeder ein paar nette kleine Einblicke aus seiner Ecke des Waldes bekommt und einen guten Spielplan zusammenstellt, wenn wir jedem zuhören.
Jordan Hiller	richtig auf ja.
Russ Wolfinger	Sie wissen nicht einmal, wie ich.
	Wie schalte ich den Hintergrund ein, wird jetzt nicht angezeigt.
Jordan Hiller	ja ich kann, ich kann dir sagen, wo das so ist, also durch das Kamerasymbol, wo es heißt, wahrscheinlich sagt Video stoppen richtig.
Russ Wolfinger	Ja.
Jordan Hiller	Da ist eine kleine Karotte.
Russ Wolfinger	Okay, ich habe einen virtuellen Hintergrund, los gehts.
	Oh, nicht laden.
	lade smart virtual häng an es hat mich Ich weiß nicht was passiert ist, weil ich normalerweise einen Standardhintergrund habe, der auf dem Motorrad aktualisiert wird oder so.
	Na, bitte.
	ja.
Jordan Hiller	Schön.
Russ Wolfinger	Ja, das ist nur, ich denke, es ist ein Gebäude, das gerade das andere Ende abgebaut hat.
Jordan Hiller	ja sehr schön.
	Okay, wenn Sie fertig sind, habe ich eine kleine Checkliste, die wir durchgehen müssen, um sicherzustellen, dass alles bereit ist.
Russ Wolfinger	ja Wie sieht mein Video- und Audiowinkel und die Beleuchtung aus und alles sieht in Ordnung aus.
Jordan Hiller	Es sieht alles gut aus, das sieht gut aus.
	Mal sehen, damit wir zur richtigen Zeit am richtigen Ort sind und das Richtige aufnehmen.
	Sie wissen, dass dies aufgezeichnet wird. Ich muss mir keine Sorgen um Ihre mündliche Erlaubnis machen, das ist in Ordnung.
	ja dein Mikrofon klingt gut, wirst du irgendwelche Hintergrundgeräusche haben, wo du gerade ziemlich ruhig bist.
Russ Wolfinger	Ich sollte gut sein, es sei denn, mein.
	Es ist eigentlich ein ekliger Tag, also glaube ich nicht, dass mein Nachbar einen Rasenmäher anfeuern wird.
Jordan Hiller	Okay, mal sehen, Handy- und Computerbenachrichtigungen sind stumm geschaltet, haben Sie Outlook am Laufen oder laufen Teams oder ähnliches.
Russ Wolfinger	Lass mich das jetzt alles schließen.
	Ich habe ungefähr 5 Millionen.
	Browser-Tabs öffnen Ich weiß richtig und dass du die CPU ein bisschen hast.
	Ja, also habe ich gerade mein PowerPoint in Zoom geöffnet.
Jordan Hiller	Okay, das ist großartig. Könnten Sie mir bitte Ihre Bildschirmauflösung bestätigen?
Russ Wolfinger	Oh Okay, Sie möchten, dass ich auf die Anzeigeeinstellungen schaue.
Jordan Hiller	Ja, die Anzeigeeinstellungen sollten das anzeigen, wo es ist.
	Wo wird das angezeigt und die Anzeigeeinstellungen angezeigt.
	Ja.
Russ Wolfinger	es ist auf meinem Laptop 1920 um 10 Uhr.
Jordan Hiller	Perfekt, das sollte in Ordnung sein, der andere Rat ist, wenn Sie können, die Windows-Taskleiste automatisch auszublenden, wenn Sie dies normalerweise nicht tun.
Russ Wolfinger	Okay.
Jordan Hiller	Hey, warum fangt ihr nicht gleich damit an, euren Bildschirm zu teilen?
	So dass wir.
Russ Wolfinger	Okay, ja, das ist gut, stellen Sie sicher, dass Sie den Bildschirm teilen.
	Da gehen wir Bildschirm.
	Ich klicke darauf, oh teilen okay, los geht's.
	Und dann.
	Ja.
	Dies wird hoffentlich sein, dass ich es genossen habe, diese fünf zusammenzustellen, um einige lustige Star Wars-Verbindungen zu haben.
Jordan Hiller	das ist großartig.
	Okay, äh, mal sehen, ja.
	Unter Taskleisteneinstellungen denke ich, dass Sie es dort unten haben können.
	sagte es.
	automatisch ja, wenn du es bist, ich weiß nicht, wie gut sie das von dir wollen, aber ich finde das verwirrend, wenn ich das tue, weil du, weil du weißt, dann zum unteren Rand des Bildschirms gehen musst, um es zu ziehen aber wenn man sich daran gewöhnen kann und damit umgehen kann, ist das in Ordnung.
Russ Wolfinger	ja damit fühle ich mich wohl.
Jordan Hiller	Okay, super toll.
	äh was sonst.
	Automatisch.
Russ Wolfinger	Lass mich mal versuchen, MAC also wenn ich zu präsentieren gehe.
Jordan Hiller	ja maximieren.
	Diashow.
Russ Wolfinger	Ich sehe nicht, dass das gut aussieht.
	Ich kann einfach meine Tastatur benutzen, das heißt, das kommt ok rüber.
Jordan Hiller	Es ist großartig.
Russ Wolfinger	Und dann werde ich da sein, statt mir persönlich irgendwo auf dem Bildschirm ein wenig zu sehen sein.
Jordan Hiller	das ist richtig, Sie wissen, dass es separat aufnimmt und sie sich in der Postproduktion darum kümmern, also machen Sie sich darüber überhaupt keine Sorgen.
Russ Wolfinger	Okay, lass uns gehen oh ich weiß nicht, ich wusste nicht, ob ich tun sollte, was ich wirklich mag, es waren nicht die Gespräche, die ich wirklich mag, die Person zu sehen.
	Anfangs nur um ein Gefühl dafür zu bekommen, dass man die Körpersprache und den Tonus kennt, aber das, aber wenn ich es tatsächlich die ganze Zeit zeigen werde, sollte das das Optimum sein, denke ich.
Jordan Hiller	Es liegt an Ihnen, ob Sie damit beginnen möchten, dass Ihr Bildschirm bereits freigegeben ist.
Russ Wolfinger	Oh okay, ich werde aber ich meine können wir, wir könnten eigentlich oh oh war die Aufnahme übrigens schon im Besitz.
Jordan Hiller	Es ist gut, ja, ich denke, es hat automatisch angefangen, aber das ist in Ordnung, es wird nur hinzugefügt, weißt du, wann immer.
	In der Postproduktion werden sie es zur richtigen Zeit starten, machen Sie sich darüber keine Sorgen.
Russ Wolfinger	Okay, und dann werden Sie überhaupt involviert sein, zum Beispiel in Bezug auf das Sagen oder irgendetwas.
Jordan Hiller	wissen, wenn Sie bereit sind zu gehen, schalte ich meine Kamera und mein Mikrofon aus und dann sagen wir einfach, fertig.
	Okay.
Russ Wolfinger	Das hört sich gut an, und dann habe ich 20 Dias, also erinnere mich daran, was es für ein Zeitlimit gibt.
Jordan Hiller	Ich glaube nicht, dass Sie sich wirklich für eine 30-minütige Arbeit angemeldet haben.
	Sie wissen, dass es jetzt virtuell erzählt wird, also ist die Zeit fungibel.
Russ Wolfinger	Aber das wäre in Ordnung, ja, ich glaube nicht, es ist nicht so, als würde es eine Stunde lang dauern, um nur Höhepunkte zu treffen.
	Ja, ich denke, 30 Minuten klingen richtig.
	Okay.
Jordan Hiller	Alles klar, was denkst du, was du sonst noch tun musst, bevor wir loslegen, bist du bereit zu gehen?
Russ Wolfinger	nimm einen langsamen Drink.
	Yeah Oh, und dann wird das ausgestrahlt, das wird ausgestrahlt, glaube ich, am fünften sprachen sie vom fünften Oktober.
Jordan Hiller	Ist so, wenn sie live gehen.
Russ Wolfinger	Ja, und ich glaube, ich habe eine E-Mail bekommen, in der es darum geht, dass ich vielleicht einer der Leute bin, die direkt danach live dabei sein werden oder so ähnlich.
Jordan Hiller	sehr schön ja gut gut.
Russ Wolfinger	Also, wenn ich aufnehme, soll ich darauf oder so anspielen, oder was ist die Konvention?
Jordan Hiller	Ich würde sagen, nicht, weil dies später als Ressource für die Leute weiterleben wird, auch nach der Konferenz, damit die Leute es sehen können, also nehme ich es einfach direkt auf und.
Russ Wolfinger	eine Art Zeit-Zeit-Invariante.
Jordan Hiller	ja genau.
	genau richtig.
Jordan Hiller	Okay.
	Also, wenn du bereit bist, okay, toll, also schalte ich Kamera und Mikrofon aus und schaue hier zu und ja, fang an, wann immer du bereit bist.
Russ Wolfinger	Was soll ich tun, wenn ich fertig bin.
Jordan Hiller	Du könntest sagen.
	Das ist das Ende Danke gute Nacht.
	Und dann komme ich wieder und ich werde.
	Wickeln Sie es einfach ein.
Russ Wolfinger	Okay, die Editoren werden je nach Bedarf Anfang und Ende zuschneiden.
	Absolut in Ordnung.
Jordan Hiller	Okay, hier gehe ich, ich gehe weg und wrestle viel Glück Ich freue mich darauf, das zu sehen.
Russ Wolfinger	Dankeschön.
	Okay.
Russ Wolfinger	p-Werte.
	Und wie Sie vielleicht gehört haben, gab es in den letzten Jahren und sogar vor kurzem hier im Jahr 2021 einige Kontroversen um diese berüchtigtste Statistik.
	Und ich möchte einige der Dinge zusammenfassen, die ich gesehen und über sie nachgedacht habe, und auch zum Spaß,
	Rückgabe der P-Werte.
	Wir hatten Phasen, in denen sie sich irgendwie beliebt gemacht haben, und ich habe das Gefühl, dass es jetzt ein kleines Wiederaufleben geben könnte, also lassen Sie uns sehen, wie sich das entwickelt.
	Um zu beginnen, gehen wir 100 Jahre zurück, fast ... fast genau 100 Jahre, zurück in die frühen 1920er Jahre.
	Dies war die Blütezeit des wohl berühmtesten Statistikers aller Zeiten, RA Fisher, und er ist derjenige, dem p-Werte zugeschrieben werden, sowie viele
	bis heute sehr mächtige und beliebte Konzepte in der Statistik, zum Beispiel Maximum Likelihood und eine frequentistische Interpretation der Wahrscheinlichkeit.
	Jetzt waren Jerzy Neyman und Egon Pearson einer der wichtigsten Kollegen von Fisher seiner Zeit und sogar in derselben Institution.
	Und gleich zu Beginn, als Fisher seine p-Werte herausbrachte, gab es einige ziemlich heftige Meinungsverschiedenheiten über ihren Nutzen und wie sie in der Praxis angewendet werden sollten.
	Neyman und Pearson sind, wie Sie wissen, diejenigen, die das berühmte Rahmenwerk zum Testen von Hypothesen entwickelt haben. Es war eher entscheidungstheoretisch.
	Und ihnen werden auch Konfidenzintervalle, Mechanismen zur Datengenerierung und andere gängige Dinge zugeschrieben. Und die Statistik, die wir heute verwenden, ist eine Art seltsame Mischung dieser beiden ursprünglichen Methoden, aber sie wurden von Anfang an in Kontroversen geboren.
	Nun, im Laufe der Jahre,
	die Debatten gingen weiter und tendierten dazu, sich in die Richtung des klassischen Frequentisten versus Bayesianer zu bewegen
	Meinungsverschiedenheiten. Und das oft ... das hat viele Aspekte, einer der wichtigsten ist, wie man die Wahrscheinlichkeit selbst interpretiert?
	Die zwei Arten von populären Ansichten, die die beiden Lager unterscheiden, laufen oft darauf hinaus, dass Sie die Wahrscheinlichkeit als eine Art von Existenz in der objektiven Welt betrachten und gemessen werden können, sagen wir, mit Wiederholungen in der realen Welt?
	Oder ist es mehr in unseren Köpfen in Bezug auf ein gewisses Maß an Glauben? Und diese können sehr tiefgreifende Auswirkungen haben in Bezug auf
	statistischen Methoden, die Sie verwenden, und sogar wie Sie probabilistisch basierte Modellierung durchführen.
	Und insbesondere neigen die Bayesianer dazu, normalerweise...
	auf alle Parameter, was wiederum als Ihr oft subjektives Maß an Glauben über die Art und Weise interpretiert werden würde, wie dieser Parameter ... die Werte der Parameter wahrscheinlich annehmen wird.
	Und sie können je nach Komplexität des Modells univariat, multivariat usw. sein. Du kurbelst ... du drehst die Kurbel durch das Bayes-Theorem
	und Sie erhalten Posterior-Wahrscheinlichkeiten und -Dichten, auf denen Sie Ihre Schlüsse ziehen. Während Frequentisten dazu neigen, vielleicht in gewissem Sinne zu beschäftigen, etwas mehr...
	etwas weiter entfernte Methoden oder objektiver in Bezug auf diese direkten Berechnungen, und hier erhalten Sie den p-Wert. Es ist sicherlich eine Statistik des häufigen Stils.
	Und es wurde im Laufe der Zeit mehrmals kritisiert und überprüft, und wir werden uns einige Aspekte von p-Werten genauer ansehen, während wir hier fortfahren. Aber sie... stellen sie nur irgendwie in einen historischen Kontext.
	Und in jüngerer Zeit dann...seit etwa dem Jahr 2000 wird um das Thema Reproduzierbarkeit viel gerüttelt.
	Und das hat dazu geführt, dass es Hunderte von Artikeln und Themen zu wissenschaftlichen Schlussfolgerungen gab, die nicht reproduzierbar waren.
	Ein Labor produziert zum Beispiel einige Ergebnisse, macht eine Behauptung, und ein anderes Labor versucht, ein ähnliches Experiment durchzuführen und kann einfach nicht ... bekommt einfach etwas anderes. Und das oft
	können große Kontroversen auslösen, weil sie sein können ... einige dieser Schlussfolgerungen sind ziemlich
	wichtig und kann zu politischen Entscheidungen oder zu Gesundheit rund um ... oder Gesundheit oder sogar Entscheidungen in jedem Bereich führen, der Ihnen einfällt. Und so viele Leute werden behaupten, dass wir uns in diesem Zustand einer Reproduzierbarkeitskrise befinden.
	Um dies nun mit unserem Star Wars-Thema zu verbinden, stellen wir uns, wie Sie wissen, in der gesamten Galaxie vor, die wir oft haben könnten
	eine Art von ... es braut sich immer wieder Konflikte zusammen und rebellische Gruppen tauchen auf. Und mit dieser Reproduzierbarkeitskrise, wenn Sie sich Star Wars vorstellen können, diese böse Ratsversammlung,
	schlussfolgern, dass sie einen Sündenbock für diese Reproduzierbarkeit finden müssen. Und was ... wen könnten wir dafür verantwortlich machen? Was könnten wir ... welche Erzählung könnten wir spinnen?
	Und warum nicht ... warum nicht schlechte statistische Methoden dafür verantwortlich machen? Tatsächlich sieht der p-Wert wie ein netter verwundbarer Kandidat aus. Und wir sehen dort, dass Imperator Palpatine mit diesem Plan zufrieden ist und bereit ist, viele Ressourcen zu investieren, um ihn umzusetzen.
	Mittendrin bis Ende der 2000er Jahre riefen wir eine Gesellschaft in den äußeren Bereichen zum Thema genomische Reproduzierbarkeit zusammen.
	Wir waren fasziniert von diesem Problem, bei dem wir tatsächlich einen Mangel an Reproduzierbarkeit in Listen von unterschiedlich exprimierten Genen sahen.
	Und Sie können sich ein Venn-Diagramm vorstellen, in dem ein Labor seine 100 wichtigsten Gene aus einem Experiment angeben würde. Ein anderes Labor geht, um es zu reproduzieren,
	und dieses Venn-Diagramm überschneidet sich kaum. Und das ist ein Problem, mit dem wir uns beschäftigt haben, eine Art direkte wissenschaftliche Reproduzierbarkeitsfrage.
	Und wir haben viel harte Arbeit und Forschung hinter uns und viele Kontrollen in vielen Labors wiederholt. Wir haben dieses Papier hier veröffentlicht, wo wir
	eine meiner Meinung nach recht einfache, aber leichte Lösung für einige der Reproduzierbarkeitsfragen gefunden hat,
	insbesondere, wenn sie sich auf p-Werte und andere verwandte Statistiken beziehen, z. B. Sensitivitätsspezifität in einem binären Entscheidungskontext.
	Und die Schlussfolgerung war, dass p-Werte selbst nicht reproduzierbar sind. Sie ... ihre Stärke und sogar ihre Absicht als Statistik besteht darin, die Fehlerraten zu kontrollieren.
	Insbesondere haben wir die klassische Fehlerrate vom ersten Typ eines falsch positiven Ergebnisses, und dies ist der Bereich, der
	p-Werte und ihre Theorie wird entwickelt, während die Frage der Reproduzierbarkeit eine andere ist.
	Und tatsächlich ist unsere Denkweise fast so, dass wir Reproduzierbarkeit als die dritte Dimension jenseits von Spezifität und Sensitivität betrachten, die klassischen Fehlerraten vom Typ eins, vom Typ zwei.
	Und im Kontext der Genomik können wir helfen, diese Frage zu lösen, indem wir Plots erstellen, wie Sie hier sehen, genannt Vulkanplot.
	wobei jeder Punkt ein Gen ist, das wir gemessen haben und wir zwei Bedingungen vergleichen. Auf der X-Achse haben wir ein Maß für die Effektgröße oder den log, in diesem Fall die log2-fache Änderung, und auf der y-Achse tragen wir den negativen log10-p-Wert auf.
	Und die Handlung neigt dazu, immer diese charakteristische V-Form zu haben, aufgrund der Beziehungen zwischen diesen beiden Statistiken, bei denen die Gene, die ... die meiste Aktion sind, die oben links und rechts sind, wie kleine, spuckende Steine aus einem Vulkan.
	Aber in Bezug auf die Reproduzierbarkeit stellt sich heraus, dass
	dass der Schlüssel ... die Dimension ist eigentlich die X-Achse und es stellt sich heraus, dass die Effektgröße besser reproduzierbar ist
	als die y-Achse, der p-Wert, der ein standardisiertes Maß für das Signal-Rausch-Verhältnis ist, wenn Sie es so sehen möchten.
	Die Frage ist also nicht wahr...eigentlich sind beide wertvoll und daher ist der Schlüssel, nach Genen in der oberen linken und rechten Ecke dieser Handlung zu suchen, wo Sie beide Kriterien erfüllen können.
	Und der Plot ist eigentlich ein intuitiver Weg, dies zu tun, und es gibt Variationen, wie Sie die Linien zeichnen können, sagen wir entweder rechteckig oder gekrümmt, wie Sie hier sehen.
	Aber das sind mehr, eine Art Details, die darüber hinausgehen, wenn Sie erst einmal das Hauptkonzept verstanden haben, und dies war die Hauptaussage dieses Papiers, das meiner Meinung nach bis heute noch solide ist, aber es hat nicht wirklich
	hatte viel Akzeptanz auf ... auf der ganzen Linie. Tatsächlich ist die Reproduzierbarkeit immer noch eine große Krise und die Leute denken, dass wir in großen Schwierigkeiten sind und sich die Dinge ändern müssen.
	Jetzt,
	Als Ergebnis des p-Wertes, der die Wärme sozusagen für die Reproduzierbarkeit berücksichtigt, ist die American Statistical Association, die wohl eine der führenden ist,
	statistischen Gesellschaften der Welt, hat 2016 eine Erklärung zu p-Werten abgegeben. Sie spürten irgendwie die Hitze und dachten, es wäre eine gute Idee, ein paar Nachrichten zu veröffentlichen, um zu helfen
	zerstreuen Sie einige der Bedenken und sprechen Sie vielleicht über einige der Dinge, die ich erwähnt habe. Die sechs Aussagen, auf die wir aus Zeitgründen nicht näher eingehen,
	Obwohl sie einige interessante Punkte präsentierten, denke ich, dass sie in einigen Dingen das Ziel verfehlten.
	Und jetzt haben diese Aussagen selbst etwas Hitze genommen, und so wurden die Kampflinien noch deutlicher gezogen, und es ist fraglich, ob diese Aussage geholfen oder geschadet hat
	in der ganzen Debatte, aber es war zumindest ... es war ein Fortschritt nach vorne und es gibt viele gute Dinge in diesen Erklärungen.
	Und ich denke, einige der Kritikpunkte waren vielleicht pingeliger als nötig, aber zumindest ...
	es versucht, Dinge anzusprechen. Und diese sind... Ich betrachte sie als wertvoll... als wertvollen Beitrag, um die Kontroversen zu verstehen und sicherzustellen, dass wir in der Lage sind, gute Entscheidungen darüber zu treffen, wie und wann p-Werte verwendet werden , wenn überhaupt.
	Nun, ich würde sagen, die Debatten spitzten sich 2019 in dieser Ausgabe von The American Statistician zu. Und ich nenne das irgendwie amüsant, wenn Sie so wollen, ANTIPA,
	eine Art Anti-P-Wert-Aufruhr, war fast jeder Artikel in dieser Zeitschrift ... in dieser Ausgabe wurde die p-Werte irgendwie abwertend oder verprügelt.
	Und die gesamte Ausgabe wurde von Ron Wasserstein geleitet und ist der Leiter von ... dem Exekutivdirektor der American Statistical Association.
	Und so, mit dieser prominenten Position, hat es eine Menge der … viele Meinungsverschiedenheiten direkt nach vorne gebracht. Und
	die Sache mit diesem Problem, die ich empfehle, obwohl Sie nicht erwarten, dass Sie zu diesem Problem gehen, um die Fragen für Sie zu lösen, tatsächlich werden Sie wahrscheinlich wiederkommen
	mit mehr Fragen und Kopfkratzen als beim Hineingehen, weil die Papiere dort überall liegen.
	Es gibt keine klare Botschaft, was zu tun ist. Die einzige klare Botschaft ist, dass p-Werte schlecht sind und was wir dann tun sollen.
	Deshalb möchte ich Sie auf diese Ausgabe verweisen, um mehr Details zu erfahren, aber Sie können einige der hier aufgeführten Titel sehen und ein Gefühl für einige der vorgeschlagenen Dinge bekommen.
	einschließlich eines ziemlich radikalen Vorschlags, den Begriff und die Verwendung von statistischer Signifikanz vollständig aufzugeben.
	Und ich würde, wie Sie wissen, in JMP-Software manchmal schreiben ... wir machen Balken mit dem Log-Wert, negative Log-p-Werte oder setzen Sterne auf die Ausgabe.
	Aber dieser Vorschlag würde sagen, dass das schlecht ist, das nicht mehr tun sollte und zu schlechter Praxis führt. Und so ist das für uns eigentlich ein interessantes Thema
	in der JMP-Abteilung, wie wir es waren, sowohl bei JMP als auch ich würde sagen, vor dem Jahr 2000 hat SAS vielleicht
	produziert mehr p-Werte als jedes andere Softwareunternehmen der Welt angesichts seiner Geschichte. Es ist also ein natürliches Thema für uns, zu recherchieren, und wenn wir uns geirrt haben, wäre es gut, das zuzugeben und voranzukommen, aber wenn nicht... Grund,
	einige Debatten und tatsächliche Gründe dafür, warum es ein guter Grund sein könnte, die p-Werte weiterhin zu verwenden.
	Es gibt also eine Art aufkeimende Literatur und das hat die Dinge wirklich in Flammen gesetzt. Und darauf gab es eine ganze Reihe von Antworten, einige Blog-Beiträge usw.
	Aber noch einmal, wenn Sie direkt in das Große eintauchen möchten ... das große Ding, dies ist das Problem, mit dem Sie beginnen. Und es gab ein paar Follow-ups, so viele Dinge seitdem.
	Aber selbst in dieser Ausgabe war nicht alles schlecht. Und ich möchte Sie auf diesen Artikel von Sander Greenland hinweisen, der meiner Meinung nach eine Stimme der Vernunft war
	während der Kontroverse. Und er hat auch hier und da mehrere Blog-Posts im Web erstellt, die Sie suchen und finden können. Und er schlug vor
	Bleiben Sie auf der Log-Skala, die wir mögen, denken Sie daran, dass wir die Vulkanplots verwenden, und es gibt eine Möglichkeit, das p anzuzeigen, wir nehmen das Log2
	p-Wert gibt es direkte Verbindungen zu Informationsbits und dem klassischen Shannon-Informations-Entropie-Kriterium. Und natürlich, wenn Sie das Logbuch nehmen, ist es sehr einfach, die Basis zu wechseln. Sie können die Basis 10 loggen, indem Sie einfach multiplizieren oder dividieren. Und so
	Ich persönlich neige dazu, dieser Einschätzung hier zuzustimmen, dass dies tatsächlich einen gewissen Wert hat ... nur wenn man sich die logarithmischen p-Werte ansieht.
	Außerdem verweise ich auf die beiden hier unten im grünen Kasten aufgeführten Papiere. Benjamini hat 2019 eine schöne formale Rietz Lecture an der JSM gehalten, und dann aus der Pharmaindustrie ist auch Eric Gibsons Papier eine wirklich tolle Lektüre mit vielen schönen Einblicken.
	Werfen wir also einen Blick hier. Sind p-Werte wirklich das Problem? Und du kannst anfangen... Star... wenn wir uns ein bisschen zurückziehen können,
	die Sache ist, dass sie so häufig verwendet werden, dass wir die Analogie daraus ziehen könnten
	Auto fahren. Und Sie können sich vorstellen, dass jemand schreckliche Bilder und Unfälle aufstellt und einfach sagt, wir müssen ... wir müssen alle zusammen aufhören zu fahren; es ist einfach zu gefährlich.
	Die Leute können mit ihren Autos nicht umgehen. Sie werden ... Sie werden die Tatsache ignorieren, dass Millionen von Menschen jeden Tag sicher fahren und in der Lage sind, ihr Auto, ihre Familie und ihre Arbeit sehr gut zu gebrauchen. Und so
	Einige dieser Kritikpunkte sind meiner Meinung nach einseitig oder voreingenommen, und so hilft es, wie bei jeder Kontroverse, nach beiden Seiten zu suchen und eine Lösung zu suchen. Oder wenn etwas, das behauptet wird, wirklich nicht wahr ist, stelle es sozusagen an seine Stelle.
	Es gibt auch dieses Problem, dass es keine klaren Alternativen gibt, die die Rolle des p-Werts ersetzen könnten. Keine Frage, dass sie missbraucht werden und sie sind manchmal etwas schwierig zu interpretieren.
	Aber die Frage ist, wenn wir sie überhaupt nicht verwenden, sagen wir, wir haben in JMP die Entscheidung getroffen, sie alle zusammen aufzugeben, was würden wir an ihre Stelle setzen?
	Und es gab natürlich viele Vorschläge, Konfidenzintervalle, Bayes'sche Messungen der Aposteriori-Wahrscheinlichkeiten usw.
	Aber viele von ihnen fallen auf die gleichen Kritikpunkte wie die p-Werte selbst. Also die Frage, wenn wir zum Thema Reproduzierbarkeit zurückkehren,
	Wissen Sie, was... was ist der Kern, wenn eine Studie nicht gut reproduziert wird, was ist passiert? Und es gibt eine Menge Dinge, die wir in Betracht ziehen können, wenn wir uns von ... dem Bösen ... der bösen Erzählung sozusagen zurückziehen.
	Wenn wir über Dinge wie das experimentelle Design selbst nachdenken, und wir wissen, dass es eine Menge gibt ... es könnte eine Menge Ärger geben, und dies ist ein Bereich, der
	Wir bei JMP nehmen es sehr ernst, Ihnen dabei zu helfen, wirklich solide Experimente zu entwerfen, Verwechslungen und andere Faktoren zu vermeiden, die oft verzerren oder ... ein Experiment sozusagen aus dem Gleichgewicht bringen können.
	Außerdem kann es überall Fehler geben, was die Datenerfassung und -bereinigung angeht.
	Und p-Werte sind tatsächlich anfällig für Hacking. Viele davon generieren Sie, wie wir, etwa im Bereich der Genomik.
	Wenn Sie nur die wichtigsten herauspicken möchten, werden Sie ... den klassischen Problemen des Mehrfachtests usw. zum Opfer fallen. Ganz zu schweigen davon, dass unser Veröffentlichungsrahmen so solide ist ... so stark er auch ist und bei der Wissenschaft hilft, es gibt darin Vorurteile.
	Und natürlich mag jeder einen guten Kampf.
	Um eine Perspektive zu gewinnen, ist es meines Erachtens wichtig zu erkennen, dass es, wenn man die Wissenschaftsgeschichte zurückblickt, immer Diskussionen über Themen gab.
	Wenn man scharfsinnige Leute bekommt, wirklich schlaue Leute in einem Raum, die leidenschaftlich bei dem sind, was sie verfolgen
	und wenn sie mit einem anderen nicht übereinstimmen, werden wahrscheinlich Funken fliegen. Und das ist irgendwie... so etwas wie das Grobe daran.
	Und es ist auch gut, wissen Sie, nur um sicherzustellen, dass alle zuhören, dass Sie die Definition eines p-Werts wirklich verstehen.
	das ist irgendwie, denke ich, es ist irgendwie Yoda-ähnlich; es ist umgekehrte Logik. Wenn Sie also die Idee haben, zunächst davon auszugehen, dass die Nullhypothese wahr ist,
	und stellen Sie dann die Frage, wie hoch die Wahrscheinlichkeit ist, etwas Extremeres zu beobachten als das, was wir beobachtet haben, oder diesen sogenannten Schwanzbereich,
	unter der Annahme, dass die Null und das Modell natürlich auch das Modell selbst wahr ist? Es ist also eine Art umgekehrte, rückwärtsgerichtete Logik wie bei der Yoda-Grammatik.
	Und so geht es oft nicht darum, genau die Frage zu beantworten, die Sie wollen, die Bayesianer werden sagen, was Sie wirklich wollen, ist die Wahrscheinlichkeit ... die direkte Wahrscheinlichkeit, dass eine Hypothese wahr ist,
	was ein p-Wert nicht ist, also ist es gut, das zu wissen. Wenn Sie diese Wahrscheinlichkeit wünschen, ist ein Bayes-Ansatz wahrscheinlich ein guter ... ein guter Weg. Und wieder sind p-Werte wirklich zur Fehlerkontrolle und nicht zur Reproduzierbarkeit da.
	Und in einem kleinen Zusammenhang wollte ich sagen, und ich würde sagen, die Debatten zwischen Bayesian und Frequentisten haben vielleicht das erreicht, was unser guter Freund Steve Uber als Entspannung bezeichnet hat.
	und dass es Verbindungen gibt, die oft unterschätzt werden, zum Beispiel diese seit 1987.
	Wenn Sie sehen ... wenn wir einseitiges Testen betrachten, bei dem wir nur eine Seite mit der Verteilung betrachten, stellt sich in diesem Papier heraus, dass sie auf der JASA(?)
	dass die einseitige ... eine Seite des p-Werts tatsächlich direkt mit einer Bays'schen Posterior-Wahrscheinlichkeit in Zusammenhang stehen kann (und dies wird durch das Rot und Blau veranschaulicht
	Verteilungen, die Sie hier sehen) sind die beiden hervorgehobenen Schwanzbereiche genau gleich, und einer ist der p-Wert
	und das andere ist ein Bayesian posterior, beide einseitig. Und so können wir Situationen wie diese bekommen, in denen Sie die gleiche Antwort erhalten ... Sie werden die gleiche Antwort erhalten
	ob Sie einen bayesschen oder frequentistischen Standpunkt einnehmen. Ich denke, diese Art von Resolutionen sind in der Tat ganz nett und gut, sich im Hinterkopf zu behalten.
	Und für mich sind sie... sie sind ein Grund, einseitiges Testen zu verwenden, wenn es... wenn möglich. Ich möchte auch einen Stecker für unseren Kollegen geben,
	Brian Fricke, der an einem neuen Add-In namens Vertrauenskurven arbeitet.
	Und ich glaube, wenn er es noch nicht getan hat, wird er das bald in der JMP-Community veröffentlichen. Also schau dir das an, denn er ist er tatsächlich
	betrachtet p-Werte in Verbindung mit Modell-Screening-Ergebnissen und ist eine gute Möglichkeit, diese Ergebnisse in einem Rahmen vom Typ der k-fachen Kreuzvalidierung zu vergleichen. Also schaut bei Gelegenheit mal rein.
	Jetzt wird auch hier wieder versucht, Perspektive zu gewinnen.
	Ich denke, ein weiterer Vergleich oder eine andere Sichtweise ist diese schöne Unterscheidung zwischen Vorhersagen und Erklärungen durch prädiktive Modellierung.
	Und dies...das ist ein...das ist eher eine philosophische Unterscheidung, aber es macht meiner Meinung nach sehr viel Sinn, es auf statistische Methoden zu beziehen.
	Und es gibt einen netten Artikel von Galit Shmueli, vor 10 Jahren, jetzt vor 11 Jahren, in Statistical Sciences, der viele der Schlüsselthemen hier umreißt.
	Aber ich habe sie angesprochen, weil wir ... wissen Sie, die Datenwissenschaft des maschinellen Lernens explodiert heutzutage. Und die meisten maschinellen Lerner leben einfach gerne auf der linken Seite dieses Diagramms.
	Und wenn Sie eine Vorhersage-Mentalität haben, vereinfachen sich die Dinge tendenziell ein wenig,
	wo das Ziel nur darin besteht, gute Vorhersagen zu erstellen, die besser sind, und viele der Fragen zur Reproduzierbarkeit verschwinden.
	Da wir wissen, dass wir mit Vorhersagen gute Arbeit leisten, können wir die Zukunft oder neue Beobachtungen vernünftig vorhersagen, ohne zu überanpassen.
	Und viele der Fragen werden einfach nicht relevant, wohingegen ich denke, wenn Sie höher schießen und wirklich versuchen möchten, ein wissenschaftliches System zu verstehen,
	da kann es noch dorniger werden. Und ich habe das Gefühl, dass der p-Wert auf der rechten Seite mehr Relevanz hat, wo Sie versuchen, die Dinge zu erklären.
	Sie möchten wissen, ob eine statistische Methode Fehler erzeugt und wenn ja, welche Art von Fehlern, wie ungewöhnlich die Statistik ist, die ich betrachte,
	usw. Es ist also wichtig, diese Dinge im Hinterkopf zu behalten und sie auf das Szenario anzuwenden, das Sie gerade studieren.
	Möglicherweise befinden Sie sich in einer Situation, in der Sie sich nur darum kümmern, gute Vorhersagen zu treffen, und wenn ja,
	Nehmen Sie die p-Werte, nicht ... vielleicht haben Sie nicht viel Relevanz. Aber wenn Sie sich in einer klassischen Designexperiment-Umgebung befinden, die wir in JMP sehr gut kennen und lieben,
	dann kommen all diese schwierigeren Fragen ins Spiel, aber wenn Sie sie ansprechen können, ist die Auszahlung auch viel größer. Wenn Sie das System verstehen und erklären können, können Sie es sicherlich auch vorhersagen, so sehe ich die Erklärung, ein wissenschaftlich höheres Ziel.
	Und natürlich kommen wir jetzt ... mit der ANOVA, die Fisher vor hundert Jahren populär gemacht hat, schließt sich der Kreis. Wir haben Werkzeuge mit ANOVA
	wo wir einem wissenschaftlichen Problem wirklich nachgehen, es auseinanderbrechen und sehen können, was vor sich geht, und dieses Erklärungsziel erreichen.
	Und ich habe das Gefühl, dass p-Werte ein wichtiger Teil davon sein können. Wenn Sie an die klassische ANOVA-Tabelle denken, ist die endgültige Ausgabe davon normalerweise ein p-Wert aus einem F-Test
	zeigt an, ob ein bestimmter Effekt über das beobachtete Rauschen im Experiment hinaus statistisch signifikant ist.
	Ich denke, wenn man das ... diese Statistik in ihrem Schwanzbereich berechnet, ist es oft eine sehr nützliche Sache. Und Sie können dort auf der linken Seite einige JMP-Ausgaben sehen, die p-Werte werden angezeigt,
	wieder auf einer logarithmischen Skala. Ich denke, diese Art von Handlung ist sehr wertvoll, eine sehr schnelle und intuitive visuelle Zusammenfassung dessen, was in einem Experiment vor sich geht.
	Außerdem möchte ich Sie auf dieses Buch von Deborah Mayo sowie auf ihre sehr aktive Blog-Reihe verweisen. Es ist eine großartige Ressource. Ich lese es gerne. Und
	das ist eigentlich... sie ist eher eine statistische Philosophin, obwohl sie viele... viele der Schlüsselthemen kennt, aber es ist eine großartige Lektüre in Bezug auf
	wirklich in einige der tiefgreifenden Probleme eintauchen und wirklich weiter darlegen, warum Statistiken wie p-Werte tatsächlich eine gute Bedeutung haben. Sie ist eher im Profi-P-Wert-Lager und
	Ihre große Sache ist das, was sie strenges Testen nennt, bei dem man versucht, eine Methode zu nehmen und sie auszuprobieren ... wirklich durch die Presse zu werfen, nach Fehlern zu suchen.
	Und das ist einfach gut ... Ich denke, es ist eine gute, solide Wissenschaft, bei der man, wenn möglich, immer die gegenteilige Ansicht vertritt,
	Löcher in sich selbst bohren, immer nach Fehlern suchen und eine bescheidene Ansicht vertreten, dass etwas nicht immer so ist, wie es zuerst erscheint, wenn man wirklich beginnt, die Schichten abzulösen. Und so ist es auf jeden Fall ein empfehlenswertes Buch. Hör zu.
	Und dann zum Abschluss ... weitere Ratschläge zum Mitnehmen aus diesem Vortrag,
	Sicherlich denke ich, dass einige der Kritikpunkte an p-Werten Leute sind, die einfach blind schauen, ob sie unter 0,05 liegen oder nicht, und auf dieser Grundlage eine schnelle Entscheidung treffen.
	Denken Sie daran, dass .05 oft nicht das beste Kriterium für Sie ist. Das ist ... das ist eine weitere Faustregel, die bis auf Fisher zurückreicht.
	Es ist also irgendwie 100 Jahre alt und für Ihre Einstellung möglicherweise nicht sinnvoll. Ich kenne mich in der Genomik aus und sage, bei genomweiten Assoziationsstudien wollen wir oft viel, viel strenger vorgehen
	um das Mehrfachtestproblem zu lösen. Aber es ist da und es ist nur, wenn Sie die Definition des p-Wertes kennen, können Sie kluge Entscheidungen treffen, wo diese Cut-Offs durchgeführt werden sollen.
	Und wieder wollte ich wiederholen, dass einseitige Tests, wann immer möglich, berücksichtigt werden, sowie diese schöne Dichotomie oder eine Art Hegelsche Dialektik zwischen erklärenden und vorhersagenden Denkweisen.
	Hier ist ein kleines Meme, das ich zusammengestellt habe, nur um ein bisschen Spaß über einige Leute zu machen. Aber manchmal habe ich das Gefühl
	die Community hält eigentlich gerne eine... Kontroverse am Brauen und am Laufen, um vielleicht ihre... ihre Veröffentlichungen voranzutreiben oder einfach nur um die Erzählung am Laufen zu halten.
	Daher bleiben p-Werte anfällig für solche Dinge und werden es wahrscheinlich auch in Zukunft sein, aber am Ende denke ich, dass sie tatsächlich sehr wertvoll sind, wenn und wenn Sie sie angemessen verwenden.
	Jetzt wollte ich noch eine letzte Sache erwähnen. Als Reaktion auf den von mir erwähnten ASA-Journalartikel aus dem Jahr 2019 stellte sich heraus,
	die damalige Präsidentin der ASA, Karen Kafadar, berief eine Task Force ein, um eine Art zusammenzustellen, von der sie hoffte, dass es eine endgültige Antwort auf viele der Schlüsselfragen sein würde.
	Und sie hat ein Gremium von hochrangigen Statistikern und Forschern zusammengestellt, das ich für eine hochkarätige Jury halte. Sie kennen dort einige Namen, darunter unseren geliebten Dick De Veauz, einen großen JMP-Befürworter, Brad Efron und andere.
	Und sie haben diese Task Force einberufen, sie haben sich zusammengetan und eine wirklich schöne, knappe Antwort geschrieben.
	Aber es stellte sich heraus, dass die Veröffentlichung davon blockiert wurde, war fast zwei Jahre lang blockiert. Und ich habe das verfolgt und tatsächlich mit Dick und Karen korrespondiert
	darüber, wann es herauskommen wird, und es stellte sich heraus, dass sie sich entschieden, es in ein paar Zeitschriften zu veröffentlichen.
	Ein paar Zeitschriften wollten es nicht nehmen, also mussten sie ein bisschen herumhüpfen und es wurde endlich veröffentlicht, erst vor ein oder zwei Monaten.
	Und ich möchte Sie sehr ermutigen, einen Blick darauf zu werfen. Es ist sehr kurz. Es ist tatsächlich viel kürzer als ich dachte.
	Aber für mich beantwortet es wirklich viele der wichtigsten Fragen. Den vollständigen Text können Sie im Blog von Deborah Mayo einsehen
	posten und ich gebe den Link dort unten an, wenn Sie das überprüfen möchten, oder Sie können einfach online suchen. Ich glaube, es wird in den Annals of Applied Statistics veröffentlicht.
	Und ich mag ... ich denke, das ist eigentlich eine Art ... nette Antwort und vielleicht wird es, wissen Sie, einige der Kontroversen um p-Werte beilegen.
	Für mich sieht es sehr solide aus, aber ich möchte Sie ermutigen, es sich anzusehen, und wir müssen sehen, wie sich die Dinge in Stat Wars mit der Zeit entwickeln. Bis dahin möchte ich versprechen, dass die Ordnung im Universum wiederhergestellt wird. Wir müssen nur sehen, wann es passiert. Vielen Dank.

AusbrechenStatistik und Modellierung