Warum ist dies eine krasse Statistikaussage? #1Ich werde in den nächsten Wochen einige Diskussionsthreads starten und lade jeden JMP-Benutzer ein, mitzumachen
in ihre Gedanken eintauchen.Diese Diskussionen werden sich um „Cringeworthy Statistics Statements“ drehen.
Bitte denken Sie über einen Beitrag nach.Nach einigen Tagen, Ich werde meine Gedanken in einem Blogbeitrag zusammenfassen , Und Führen Sie eine weitere Cringeworthy-Erklärung ein !
Hier ist die erschreckende Aussage Nr. 1:
Wir führen einen T-Test durch, um die Mittelwerte zweier Populationen zu vergleichen.Wir wollen 95 % Vertrauen in die Ergebnisse.Wir führen den Test durch und der p-Wert liegt wieder bei 0,63.Wir machen die Aussage „ Da p nicht kleiner als 0,05 ist, schließen wir, dass es keinen Unterschied in den Mittelwerten dieser Populationen gibt. "
Warum ist diese Aussage erschreckend????
Qualitäts- und VerfahrenstechnikErgebnisse teilen und kommunizierenBetreff: Warum ist das eine krasse statistische Aussage? #1Für mich spiegelt es einfach kein ausreichendes Maß an Verständnis wider, aber zumindest ist es mehr oder weniger die „richtige Interpretation“.
Ein paar Leute diskutierten etwas in der Art dessen, was ich gerne die „p-Wert-Methode“ und die „Konfidenzintervallmethode“ zur Durchführung eines T-Tests nenne.Ich stelle mir diese beiden Analysemethoden gerne als im Wesentlichen dasselbe vor, und ich möchte hier vorschlagen (und Sie können mir gerne widersprechen), dass es sich dabei tatsächlich um Folgendes handelt: verschiedene Arten, dasselbe mathematisch auszudrücken .JMP ist in den meisten Fällen sehr geschickt darin, Ihnen die statistische Darstellung in beide Richtungen zu geben, und das gefällt mir wirklich! Die Interpretation mithilfe von Konfidenzintervallen (im Zusammenhang mit Plain-Vanilla-T-Tests, Nicht-Minderwertigkeitstests, Äquivalenz- und Überlegenheitstests) war für mich immer besser interpretierbar.
Ein lieber Freund von mir hat mir eine schöne Lehrbuchreferenz gegeben, die meiner Meinung nach folgende Aussage trifft:
Bluman, Elementary Statistics (7. Auflage), 2015
Betreff: Warum ist das eine krasse statistische Aussage? #1Ich würde die Interpretation: „Ich bin mir zu 95 % sicher, dass die Stichprobenmittelwertdifferenz nicht weniger als das untere KI und nicht mehr als das obere KI beträgt“ nicht per se als „falsch“ bezeichnen, ich denke sogar, dass es eine völlig angemessene Formulierung ist Das ist „richtig“ und leicht zu formulieren, aber ich würde sagen, dass die Interpretation einfach „allgemein missverstanden“ wird. @dale_lehman wie Sie betonen.
Als @julianisch sagt in Entscheidungsfindung mit Daten (STIPS) - Abschnitt 4.1 Schätzung {und Sie können dies dem Transkript entnehmen, in dem ich die entsprechende Modulreferenz unten mit dem Titel „Screenshot“ gemacht habe. Demo: Verstehen des Konfidenzniveaus und des Alpha-Risikos "}
„Wir klicken auf „Samples zurücksetzen“, ändern die Anzahl der Samples auf 100 und klicken auf „Zusätzliche Samples zeichnen“. Beachten Sie beim weiteren Ziehen von Stichproben, dass der Mittelwert der Stichproben nahe am wahren Mittelwert liegt. Beachten Sie auch, dass fast 95 % der Konfidenzintervalle den wahren Mittelwert des IQ enthalten und etwa 5 % der Konfidenzintervalle nicht den wahren Mittelwert enthalten.“
„Das meinen wir mit dem Begriff „Vertrauen“. Im Durchschnitt , Für ein 95 % Vertrauen Intervall, 9 In 5 % der Fälle, in denen diese Intervallmethode verwendet wird, erfasst das Intervall den wahren Parameterwert ."
Die Schlussfolgerung bezieht sich natürlich auf die Grundgesamtheit, sie basiert jedoch auf den Stichprobendaten. Das ist es, was wir tun, wenn wir im Allgemeinen Inferenzstatistiken erstellen. Bei dem gesamten Unternehmen geht es darum, auf der Grundlage der uns vorliegenden Beispieldaten Rückschlüsse auf die Bevölkerung zu ziehen. Nochmals im selben Entscheidungsfindung mit Daten Modul 4, Abschnitt 4.1 ansehen Einführung in die statistische Inferenz .Hier, @mia_stephens spricht klar, präzise und direkt darüber.
Betreff: Warum ist das eine krasse statistische Aussage? #1Ich glaube nicht, dass mein Beispiel wirklich etwas mit der Bayes'schen vs. Frequentistischen Analyse oder p-Werten zu tun hat (zumindest direkt).Sie haben natürlich Recht, wenn Sie sagen, dass ich zu 95 % davon überzeugt bin, dass der wahre Wert in diesem 95 %-Konfidenzintervall liegt: Das Vertrauen liegt im Verfahren und nicht in einem bestimmten Konfidenzintervall.Der wahre Wert liegt entweder in diesem einen bestimmten Intervall oder nicht.
Mein Punkt ist jedoch, dass 95 % die beste Schätzung ist, die ich geben kann, ob mein bestimmtes Intervall zu den 95 % der „guten“ gehört, die den wahren Wert enthalten, oder zu den 5 %, die den falschen Wert liefern würden Abschluss.Sie finden die falsche Interpretation vielleicht abscheulich, aber ich nicht.Tatsächlich finde ich die korrekte Interpretation einigermaßen abscheulich, da es sich um eine Ansammlung von Wörtern handelt, die den meisten Menschen Tränen in die Augen treiben.Und ich denke, es trägt zu der weitaus schlimmeren (und abscheulicheren) Praxis bei, die Unsicherheit völlig zu ignorieren und die Punktschätzung als den wahren Wert zu behandeln.
Betreff: Warum ist das eine krasse statistische Aussage? #1Zusätzlich zu anderen Problemen, die in früheren Beiträgen erwähnt wurden,
1) Bei der Prüfung der Mittelwertäquivalenz muss die Einseitigkeit des Tests a priori festgelegt werden. Sofern nicht anders angegeben, impliziert die Prüfung auf mittlere Äquivalenz normalerweise einen zweiseitigen Test. In diesem Fall ist Alpha, die 5 %ige Fehlerwahrscheinlichkeit vom Typ I, die Summe der Fläche im oberen und unteren Ende der Nullverteilung. In fast allen Fällen ist diese Wahrscheinlichkeit gleich verteilt, daher sollte der Randbereich, mit dem der p-Wert verglichen werden soll, Alpha/2 sein, also 0,025 und nicht 0,05.
** BEARBEITEN: JMP erledigt dies für Sie, indem es den mithilfe der kritischen Statistik gefundenen Schwanz verdoppelt. Wenn Sie dies jedoch „von Hand“ tun würden, würden Sie am Ende eine Ablehnung für einen einzelnen Schwanzbereich von < 0,025 erhalten.
2) „95 % Vertrauen in die Ergebnisse“ ist abwertend, weil es die Grundidee eines Hypothesentests missversteht. Sie können zu 100 % sicher sein, dass Sie bei der Durchführung eines Hypothesentests auf dem Signifikanzniveau 0,05 ein bestimmtes Verfahren angewendet haben (sofern Sie die Dinge richtig gemacht haben). Wenn die Mittelwerte der beiden Verteilungen auf lange Sicht tatsächlich gleich sind (und vorausgesetzt, dass alle Annahmen zutreffen), wird dieses Verfahren in 5 % der Fälle eine Teststatistik erzeugen, die aufgrund der Stichprobenvariabilität zu einer Schlussfolgerung mit unterschiedlichen Mittelwerten führt.
3) Es gibt nur zwei mögliche Schlussfolgerungen für einen Hypothesentest dieser Art: 1) „Die Stichprobendaten liefern (zwingende) Beweise dafür, dass die Nullhypothese falsch ist“ und 2) „Die Stichprobendaten liefern keine überzeugenden Beweise dafür, dass die Nullhypothese falsch ist.“ ist falsch". Bemerkenswerterweise fehlt die Aussage „Basierend auf den Beispieldaten kommen wir zu dem Schluss, dass die Nullhypothese wahr ist.“ Wenn Sie etwas beweisen möchten, formulieren Sie im Allgemeinen das, was Sie beweisen möchten, als Alternativhypothese und hoffen, dass die Daten die Ablehnung der Null zugunsten der Alternative unterstützen. Wenn der Forscher versucht, die Äquivalenz der Mittelwerte nachzuweisen, wären zwei einseitige Tests angemessener.
4) Andere haben dies erwähnt, aber es lohnt sich zu wiederholen: Statistische Signifikanz und praktische Signifikanz müssen nicht dasselbe sein und sind es normalerweise auch nicht. Die praktische Bedeutung sollte von Anfang an, wenn nicht sogar von Anfang an, besprochen und vereinbart werden.
@dale_lehman erwähnt das „Das Problem bei der richtigen Interpretation ist, dass wir dadurch nichts über die Probe sagen können, die wir tatsächlich haben.“Ich bin anderer Meinung, aber ich weiß, wohin er damit will. Jede statistische Technik hat eine bestimmte Frage, die sie beantworten soll. Insbesondere im Fall einer Nullhypothese, die die Daten nicht ablehnen konnten, besteht eines der Hauptprobleme von Nicht-Statistikern (und Bayes'schen Statistikern im Übrigen) bei häufig auftretenden Hypothesentests darin, dass ein p-Wert eine Frage beantwortet, die eine ist Eine unnatürliche Frage, nämlich: „Wie hoch ist unter der Nullhypothese die Wahrscheinlichkeit, dass ich Ergebnisse beobachten würde, die so extrem oder sogar noch extremer sind als die Ergebnisse, die ich tatsächlich beobachtet habe?“ Bayesianer werden sagen, dass ihre Methoden natürlichere Fragen beantworten, aber Bayesianische Techniken haben ihre eigenen Probleme – es gibt kein Allheilmittel. Es gibt keinen Ersatz dafür, zu verstehen, welche Techniken für die Beantwortung bestimmter Fragen besser geeignet sind, und eine Technik auszuwählen, die für die Frage, die Sie beantworten möchten, gut geeignet ist. Die jüngste(artige) Gegenreaktion gegen den p-Wert, insbesondere im Bereich der medizinischen Forschung, kommt mir ein bisschen wie eine Gegenreaktion gegen Gabeln vor, wenn sie als Augenklappen verwendet werden. Ein p-Wert ist ein Werkzeug wie jedes andere. Benutzen Sie es richtig, für den richtigen Job, und alles wird gut. Wenn Sie es falsch verwenden, „schießen Sie sich das Auge aus!“.
Betreff: Warum ist das eine krasse statistische Aussage? #1Ich bin wirklich gern @Georg 's letzter Satz in seiner Antwort oben. Als Statistiker, der seit mehr als 20 Jahren in der Industrie an Prozess-/Produktkommerzialisierungs- oder Korrekturmaßnahmenteams arbeitet, habe ich den Ingenieuren, Wissenschaftlern und Managern, mit denen ich zusammengearbeitet habe, oft gesagt: „Der Tag, an dem Sie mich, einen Statistiker, Ihnen sagen ließen, wie Sie Ihr Unternehmen betreiben sollen.“ Prozesse ist der Tag, an dem Ihr Weg in den Ruin beginnt. Sie haben mehr über Ihre Prozesse/Produkte vergessen, als ich jemals erfahren werde.
Oder wie Walter Shewhart schrieb (von mir paraphrasiert): „Der langfristige Beitrag der Statistik hängt nicht so sehr von der Schaffung einer Gruppe von Statistikern ab, sondern von der Schaffung einer Gruppe von statistisch denkenden Ingenieuren, Wissenschaftlern, Produktionsmitarbeitern und anderen.“
Betreff: Warum ist das eine krasse statistische Aussage? #1Um die Diskussion ein wenig zu erweitern: Für mich klingt das von Anfang an nicht abscheulich. Meiner Meinung nach kann es immer noch eine gültige Entscheidung sein. Natürlich fehlen, wie andere bereits betont haben, möglicherweise viele zusätzliche Informationen, um dieser Entscheidung vertrauen zu können. Meiner Meinung nach kommt es also auf den Kontext der Aussage an und darauf, wer sie geäußert hat. Und was wäre übrigens bei gleicher Wortanzahl die richtige Aussage?
Auch wenn mir Diskussionen über die richtige Formulierung – Begriffe sind wichtig – manchmal gefallen, mag ich es nicht, eine Mauer zwischen Statistikern und Verfahrenstechnikern aufzubauen, die nicht über so tiefe Kenntnisse in Statistik verfügen. Letztere kennen aber ihre Daten und Prozesse. Und wie wir uns vorstellen können, gibt es unter der bloßen Zahlentabelle noch viele Dinge, die noch wichtiger sind. Dies kann sowohl das Umfeld der Datenerfassung als auch die Konsequenzen der getroffenen Entscheidung sein @P_Bartell bereits angegeben. Entscheidungen müssen immer noch von Menschen und nicht von Maschinen getroffen werden.
Betreff: Warum ist das eine krasse statistische Aussage? #1+ Keine Erwähnung einer Überprüfung auf Normalität
Betreff: Warum ist das eine krasse statistische Aussage? #1Danke @statman !Mehr gutes Futter für zukünftige Beiträge.
Mach weiter so mit den Kommentaren!!
Betreff: Warum ist das eine krasse statistische Aussage? #1Hey @P_Bartell !Gut von euch zu hören!
Danke für die Antwort!!Wir werden diese Ideen in meine (wachsende) Liste würdiger Aussagen aufnehmen und sie in zukünftigen Beiträgen zur Sprache bringen!
Bleib gesund, mein Freund!
Betreff: Warum ist das eine krasse statistische Aussage? #1Ich spiele ... Mein Favorit ist eigentlich ganz einfach ... Ich verwende den Ausdruck „statistisch signifikant“, der überall ohne Kontext angewendet wird. Es ist interessant, wenn Sie jemanden fragen, ob er eher etwas glaubt, wenn der Satz statistisch signifikant hinzugefügt wird, antworten sie mit „Ja“, ohne etwas über die durchgeführten Vergleiche zu wissen.
Betreff: Warum ist das eine krasse statistische Aussage? #1Wo soll ich anfangen? Stichprobengröße (keine Angabe ... ist möglicherweise einfach zu klein, um dem Signal die Möglichkeit zu geben, über das Rauschen hinauszugehen)? Wie hoch ist das gewählte Alpha-Risiko („...95 % Vertrauen in die Ergebnisse...“ ist eine bedeutungslose Aussage in Bezug auf das Alpha-Risiko. Was bedeutet diese Aussage überhaupt)? Was ist die Nullhypothese (keine Angabe)? Wie groß ist der Messfehler (bekannt oder sogar vermutet)? Wie lautete der Stichprobenplan (zufällig, bequem, erster/letzter Stichprobenplan, geschichteter Plan oder ein anderer Plan)? Was ist das Repräsentationsrisiko ... nicht nur das statistische Risiko? Und weiter und weiter.
Betreff: Warum ist das eine krasse statistische Aussage? #1Ich stimme diesem Beispiel der Kriteriumswürdigkeit zu – klassisches Missverständnis des Fehlens von Beweisen, das nicht den Beweis des Fehlens bedeutet.Bitte betrachten Sie das klassische, aber weniger einfache: „Das 95 %-Konfidenzintervall reicht von x bis y, was bedeutet, dass ich zu 95 % sicher bin, dass der wahre Effekt zwischen x und y liegt.“Ich glaube zufällig, dass es in Ordnung ist, das zu sagen, auch wenn ich weiß, dass die richtige Aussage lautet: „95 % aller auf diese Weise erstellten Zufallsstichproben werden den wahren Effekt enthalten.“Natürlich wissen wir nicht, ob unsere Stichprobe zu den 95 % oder zu den 5 % gehört, die den wahren Populationseffekt nicht enthalten, und entweder ist er vorhanden oder nicht.Aber angesichts der einen Stichprobe, die wir haben, denke ich, dass das Beste, was wir sagen können, die erste zitierte Aussage ist, auch wenn sie technisch gesehen nicht korrekt ist.
Ich würde gerne hören, was andere Leute über dieses Beispiel denken.Statistiker weisen gerne darauf hin, dass diese falsche Interpretation des Konfidenzintervalls weit verbreitet ist, obwohl ich sie vollkommen verstehen kann.Und ich gestehe, dass ich den Schülern die Freiheit gebe, es falsch zu interpretieren (obwohl ich zumindest darauf hinweise, was die richtige Interpretation ist).Das Problem bei der korrekten Interpretation besteht darin, dass wir dadurch nichts über die Probe sagen können, die wir tatsächlich haben.
