Falls Sie jemals welche eingenommen haben Statistiken oder im naturwissenschaftlichen Unterricht haben Sie wahrscheinlich schon den Begriff „p-Wert“ gehört. Technisch gesehen bedeutet p Wahrscheinlichkeit: Ein p-Wert ist die Wahrscheinlichkeit, dass etwas passiert, aber ich möchte Ihnen sagen, dass p für viele Dinge stehen kann, wie z Wahrscheinlichkeit, Verwirrend und teilweise.
Wahrscheinlichkeit
Beginnen wir mit den technischen Dingen. Wenn wir einen Hypothesentest durchführen, gehen wir zunächst davon aus, dass die Nullhypothese wahr ist. Dann sammeln wir einige Daten. Mich interessiert, ob es einen Unterschied zwischen der Fluggeschwindigkeit afrikanischer und europäischer Schwalben gibt. Ich schnappe mir meine Vogelfangausrüstung, hole ein paar Vögel, messe ihre Luftgeschwindigkeit und stelle fest, dass afrikanische Schwalben im Durchschnitt 5 Meilen pro Stunde schneller sind als ihre europäischen Artgenossen.
Dann frage ich: „Wenn es keinen Unterschied zwischen afrikanischen und europäischen Schwalben gäbe und ich einfach wahllos ein paar Vögel schnappe, wie viel Prozent der Zeit erhalte ich dann zwei Schwalbengruppen mit einem durchschnittlichen Unterschied von mehr als 5 Meilen pro Stunde?“ Die Wahrscheinlichkeit dafür ist mein p-Wert: die Wahrscheinlichkeit, einen Wert zu erhalten, der genauso extrem oder noch extremer ist als meine Daten – vorausgesetzt, dass die Nullhypothese wahr ist.
Aber woher wissen wir, wie wahrscheinlich all diese Dinge sind? Für jede Teststatistik haben wir eine Verteilung. Um nur einige zu nennen: Wir haben eine Z-Verteilung, t-Verteilung , F-Verteilung und Chi-Quadrat-Verteilung . Alle haben unterschiedliche Formen – einige ändern sich sogar, je nachdem, wie groß unsere Stichprobe ist –, aber sie alle geben uns Auskunft über die relative Wahrscheinlichkeit, alle unterschiedlichen Werte für jede Teststatistik zu erhalten.
Also berechnen wir eine Teststatistik – sagen wir einen t-Wert – basierend auf unseren Daten und zeichnen dann im Geiste eine Linie bei diesem Wert. Unser p-Wert ist der Anteil der Verteilung, der extremer als diese Linie ist.
Es ist wie ein Kreisdiagramm – oder besser noch ein Kreisdiagramm. Ihr p-Wert ist der Anteil des Nullhypothese-Kuchens, den Sie in Ihrem Segment erhalten. Wenn Ihr Stück Kuchen immer kleiner wird, ärgern Sie sich immer mehr, bis es so klein ist, dass Sie schließlich sagen: „Scheiß auf diesen Kuchen, ich hole mir einen alternativen Hypothesenkuchen!“
Verwirrend
Vielleicht scheint es einfach, aber in letzter Zeit gab es viele Kontroversen über den p-Wert. Das Problem rührt von einem weit verbreiteten Missverständnis des p-Werts her. Hier ist eine kurze Liste der Dinge, die ein p-Wert ausmacht nicht :
- Die Wahrscheinlichkeit, dass die Nullhypothese wahr ist.
- Die Wahrscheinlichkeit, dass Ihre Ergebnisse falsch sind, wenn Sie einen signifikanten p-Wert erhalten.
- Die Wahrscheinlichkeit, dass es tatsächlich einen Effekt gibt, wenn Sie einen unbedeutenden p-Wert erhalten.
- Ein Hinweis darauf, wie praktisch Ihre Ergebnisse sind.
Warum sind p-Werte so verwirrend? Ein Grund dafür ist, dass sie nicht sehr intuitiv sind. Wir möchten, dass Statistiken uns die Wahrscheinlichkeit verraten, dass unsere Hypothese richtig ist – oder umgekehrt die Wahrscheinlichkeit, dass die Nullhypothese falsch ist –, aber das ist nicht das, was Ihnen Tests mit häufigen Hypothesen sagen. In Wahrscheinlichkeitsschreibweise ist dies:
Frequentistische Tests sagen uns jedoch, wie wahrscheinlich es ist, dass wir unsere Daten erhalten, vorausgesetzt, die Nullhypothese ist wahr:
Sie können sehen, dass diese beiden Dinge nicht dasselbe sind, aber wir behandeln P(Daten | H0) als Proxy für P(H0 | Daten), was sowohl zur Verwirrung als auch zu falschen Angaben darüber beiträgt, was ein signifikanter p-Wert bedeutet. Wenn p-Werte nicht klar vermittelt werden, wird es verwirrend, aber es gibt einen Unterschied zwischen der Wahrscheinlichkeit, ein Kind zu sein, wenn man bei Chuck-E-Cheese ist, und der Wahrscheinlichkeit, bei Chuck-E-Cheese zu sein Vorausgesetzt, du bist ein Kind.
Teil
Also, was machen wir? Gehen wir den Weg einiger wissenschaftlicher Zeitschriften und verwerfen p-Werte? Ich argumentiere mit Nein. Das letzte p ist Teil. P-Werte sind nur ein Teil des Bildes, das wir benötigen, um unsere Daten und ihre Aussagen über die Welt um uns herum zu verstehen. Sie sagen uns, wie wahrscheinlich es ist, dass etwas zufällig passiert ist.
Ein weiterer wichtiger Teil ist die Effektgröße. Effektgrößen messen, wie groß Ihr Effekt im Verhältnis zu den Schwankungen in der Bevölkerung ist. Wenn ich herausfinden würde, dass Blondinen im Durchschnitt um 3 Pfund schwerer sind, wäre es interessanter, wenn ich von Neugeborenen spreche als von allen Erwachsenen, weil Neugeborene im Gewicht weniger stark variieren als Erwachsene. Die Effektgrößen nehmen Ihren Effekt (in unserem Fall 3 Pfund) und dividieren ihn durch die Variabilität Ihrer Population (viel für Erwachsene, wenig für Neugeborene).
Zusammen können Ihnen p-Werte und Effektgrößen ein besseres Bild Ihrer Daten und der Welt um Sie herum vermitteln. Sie verraten Ihnen mehr über die praktische Bedeutung. Zu sagen, dass Sie einen statistisch signifikanten Gewichtsunterschied von 3 Pfund festgestellt haben, bedeutet nicht viel, bis Sie wissen, ob es sich um Babys handelt (die sehr wenig schwanken) oder um Erwachsene (die stark schwanken).
Bevor Sie also p-Werte verwenden oder darüber sprechen, denken Sie daran, dass es sich um p-Werte handelt Wahrscheinlichkeit Manchmal müssen Sie Ihre Daten erhalten, wenn die Nullhypothese wahr ist verwirrend Sache, worüber man reden kann, und nur Teil des großen Ganzen.
Aber zurück zu diesen Schwalben (ich schwöre, dass beim Schreiben dieses Artikels keine Vögel zu Schaden gekommen sind) ...
Wenn Sie sich eine ANOVA zur Fluggeschwindigkeitsgeschwindigkeit ansehen und einen signifikanten Effekt des Schwalbentyps feststellen, können Sie die Plattform „Analysieren>Verteilung“ verwenden JMP oder der Add-In „Effektgrößen berechnen“. um auch die Effektgrößen Ihrer Daten zu betrachten. (JMP-Datei angehängt; #AfricanSwallowsForAllCoconutTransport.)
Hinweis: Eine Version dieses Artikels wurde ursprünglich bei unseren Freunden gepostet Teilweise abgeleitet .
Vielen Dank Chelsea für den schönen Artikel und liebe die Illustrationen!Da es weiterhin Kontroversen um p-Werte gibt, möchten wir sicherstellen, dass jeder weiß, wie er sie an den vielen Stellen, an denen sie auf JMP-Plattformen vorkommen, richtig interpretieren kann.
Ein Hinweis zur Klarstellung bezüglich frequentistischer versus bayesianischer Ansätze und der Notation P(data|H0) versus P(H0|data): Die Wahrscheinlichkeitstheorie ist mathematisch und kann auf viele verschiedene Arten auf reale Probleme angewendet werden.Eine Bayes'sche Methode definiert typischerweise ein Wahrscheinlichkeitsmaß P() als einen subjektiven Glaubensgrad, der die Unsicherheit über Aussagen in einem statistischen Modell sowohl über Daten als auch über Parameter ausdrückt.Die gesamte strenge Mathematik und eine wunderbar kohärente Theorie wurden von Größen wie Laplace und de Finetti entwickelt, typischerweise durch Wettszenarien motiviert und mit Markov-Ketten-Monte-Carlo-Techniken berechenbar.Zwei große Probleme bei Bayes'schen Methoden sind die Notwendigkeit, Prioritäten anzugeben, und diese stillschweigend subtile, aber sehr wichtige Art, P() epistemisch auszudrücken.Nachdem dies alles erledigt ist, beschreiben Sie gut die Gefahr der Transponierung des Konditionals und stellen sicher, dass Sie verstehen, was sich links und rechts vom Takt in der Bayes'schen P(|)-Notation befindet.
Im Gegensatz dazu bilden frequentistische Methoden die reale Welt ab, indem sie ein anderes Wahrscheinlichkeitsmaß einrichten, das die Häufigkeitsvariation im vermuteten Datengenerierungsmechanismus der von uns untersuchten wissenschaftlichen Systeme erfasst.Stellen Sie sich all die erstaunlich kleinen Kräfte vor, die sich bei der Messung der Schwalbenfluggeschwindigkeit ansammeln: Windgeschwindigkeit über Luftmoleküle, Mikromuskelfasern, Instrumententechnik, und wir können all dies sogar noch weiter auf die Quantenebene übertragen.Hier werden der zentrale Grenzwertsatz und die Gesetze großer Zahlen buchstäblich zum Leben erweckt und können eine vernünftige Rechtfertigung für ein lineares Modell der Normaltheorie liefern, bei dem P() anhand realer Häufigkeiten definiert ist.Mit diesem Wahrscheinlichkeitsmaß werden unbekannte Parameter im Modell auf eine Art physikalische Konstanten abgebildet, und daher ergeben P(H0) und P(H0|data) (prior und posterior) wirklich keinen Sinn.Die Konvention in der Statistikliteratur besteht darin, bei der Annahme, dass H0 wahr ist, entweder ein Semikolon oder eine tiefgestellte Notation zu verwenden und Ausdrücke wie „unter H0“ zu verwenden.Frequentistische Methoden wie der p-Wert, der von Fisher, Neyman und Pearson entwickelt wurde, konzentrieren sich auf die Kontrolle von Fehlerraten und beinhalten verwandte Konzepte wie Konfidenzintervalle, Aussagekraft und Schweregrad (siehe Buch und Blog von Deborah Mayo).
Ich finde die obige Unterscheidung hilfreich, wenn ich mich mit Kommentaren zu p-Werten auseinandersetze, und natürlich können wir versuchen, Verbindungen und Abgleiche zwischen bayesianischen und frequentistischen Wahrscheinlichkeiten herzustellen, sobald wir ihre Unterschiede erkannt haben.Ich möchte auch alle Leser warnen, bei Aussagen, die sich auf „die Wahrscheinlichkeit“ beziehen, vorsichtig zu sein.Der Autor hat typischerweise entweder ein bayesianisches oder ein frequentistisches Wahrscheinlichkeitsmaß im Sinn, und dies wird oft nicht angegeben, und manchmal fließen sie sogar ohne Vorwarnung hin und her.Unser leuchtendes Beispiel hier ist ein p-Wert, bei dem es sich um eine häufige Statistik handelt, die aber auf Wunsch oft bayesianisch interpretiert werden kann.
