Re: Warum ist dies eine kriminelle Statistikaussage? #1Ich stimme diesem Beispiel der Kriminalität zu - klassisches Missverständnis der Abwesenheit von Beweisen, nicht der Abwesenheit von Beweisen.Betrachten Sie bitte den Klassiker, aber weniger einfach: "Das 95%-Konfidenzintervall reicht von x bis y, was bedeutet, dass ich zu 95% sicher bin, dass der wahre Effekt zwischen x und y liegt."Ich glaube, es ist in Ordnung, das zu sagen, obwohl ich weiß, dass die richtige Aussage lautet, dass "95 % aller auf diese Weise konstruierten Stichproben den wahren Effekt enthalten".Natürlich wissen wir nicht, ob unsere Stichprobe zu den 95 % oder zu den 5 % gehört, die nicht den tatsächlichen Bevölkerungseffekt enthalten, und dies ist entweder der Fall oder nicht.Aber angesichts des einen Beispiels, das wir haben, denke ich, dass das Beste, was wir sagen können, die erste zitierte Aussage ist, obwohl sie technisch nicht korrekt ist.
Ich würde gerne hören, was andere Leute von diesem Beispiel halten.Statistiker weisen gerne darauf hin, dass diese falsche Interpretation des Konfidenzintervalls häufig vorkommt, obwohl ich sie vollkommen verstehen kann.Und ich gestehe, dass ich den Schülern die Freiheit gebe, es falsch zu interpretieren (obwohl ich zumindest darauf hinweise, was die richtige Interpretation ist).Das Problem bei der richtigen Interpretation ist, dass wir nichts über die Stichprobe sagen können, die wir tatsächlich haben.
Re: Warum ist dies eine kriminelle Statistikaussage? #1Ich spiele ... Mein Favorit ist eigentlich ganz einfach ... Die Verwendung des Ausdrucks "statistisch signifikant" wird überall ohne Kontext angewendet. Es ist interessant, wenn Sie jemanden fragen, ob er eher etwas glaubt, wenn der Satz statistisch signifikant hinzugefügt wird, antworten sie mit Ja, ohne etwas über die Vergleiche zu wissen.
Re: Warum ist dies eine kriminelle Statistikaussage? #1Hey @P_Bartell !Gut, von Ihnen zu hören!
Danke für die Antwort!!Wir werden diese Ideen in meine (wachsende) Liste lächerlicher Aussagen aufnehmen und sie in zukünftigen Beiträgen aufgreifen!
Bleiben Sie gesund, mein Freund!
Re: Warum ist dies eine kriminelle Statistikaussage? #1Vielen Dank @statman !Mehr gutes Futter für zukünftige Beiträge.
Lass die Kommentare kommen!!
Re: Warum ist dies eine kriminelle Statistikaussage? #1+ Keine Erwähnung eines Schecks auf Normalität
Re: Warum ist dies eine kriminelle Statistikaussage? #1Um die Diskussion ein wenig auszuweiten - das klingt für mich von vornherein nicht abscheulich. Meiner Meinung nach kann es immer noch eine gültige Entscheidung sein. Natürlich können, wie bereits von anderen hervorgehoben wurde, viele zusätzliche Informationen fehlen, um dieser Entscheidung zu vertrauen. In meinen Augen kommt es also auf den Kontext der Aussage an und wer sie formuliert. Und was wäre übrigens die richtige Aussage mit der gleichen Anzahl von Wörtern?
Auch wenn ich manchmal Diskussionen über die richtige Formulierung mag - Begriffe sind wichtig, mag ich es nicht, eine Mauer zwischen Statistikern und Verfahrensingenieuren aufzubauen, die nicht über so tiefe Kenntnisse in Statistik verfügen. Letztere kennen aber ihre Daten und Prozesse. Und wie wir uns vorstellen können, gibt es viele Dinge, die unter der nackten Zahlentafel noch wichtiger sind. Dies kann die Umgebung der Datenstichprobe sowie Konsequenzen der getroffenen Entscheidung sein, wie z @P_Bartell schon gesagt. Entscheidungen müssen immer noch von Menschen getroffen werden, nicht von Maschinen.
Re: Warum ist dies eine kriminelle Statistikaussage? #1Ich bin wirklich gern @Georg 's letzter Satz in seiner Antwort oben. Als Statistiker, der seit mehr als 20 Jahren in der Industrie an Prozess-/Produktvermarktung oder Korrekturmaßnahmenteams arbeitet, sagte ich den Ingenieuren, Wissenschaftlern und Managern, mit denen ich zusammengearbeitet habe, oft: "Der Tag, an dem Sie mich, einen Statistiker, Ihnen sagen lassen, wie Sie Ihre Prozesse ist der Tag, an dem Ihr Weg in den Ruin beginnt. Sie haben mehr über Ihre Prozesse/Produkte vergessen, als ich je erfahren werde."
Oder wie Walter Shewhart schrieb (von mir paraphrasiert): "Der langfristige Beitrag der Statistik hängt nicht so sehr von der Bildung einer Gruppe von Statistikern ab, sondern von der Bildung einer Gruppe von statistisch denkenden Ingenieuren, Wissenschaftlern, Produktionspersonal und anderen."
Re: Warum ist dies eine kriminelle Statistikaussage? #1Neben anderen Problemen, die in früheren Beiträgen erwähnt wurden,
1) Bei der Prüfung der Gleichwertigkeit von Mitteln ist die Einseitigkeit der Prüfung a priori anzugeben. Wenn nicht anders angegeben, beinhaltet das Testen auf mittlere Äquivalenz normalerweise einen zweiseitigen Test, wobei in diesem Fall Alpha, die 5%ige Fehlerwahrscheinlichkeit vom Typ I, die Summe der Flächen im oberen und unteren Ende der Nullverteilung ist. In fast allen Fällen wird diese Wahrscheinlichkeit gleichmäßig geteilt, sodass der Schwanzbereich, mit dem der p-Wert verglichen werden sollte, Alpha/2 sein sollte, also 0,025 und nicht 0,05.
** BEARBEITEN: JMP erledigt dies für Sie, indem es den gefundenen Schwanz mit der kritischen Statistik verdoppelt, aber wenn Sie dies "von Hand" tun würden, würden Sie am Ende einen Single-Tail-Bereich von < 0,025 ablehnen.
2) "95 % Vertrauen in die Ergebnisse" ist erbärmlich, weil es die Hauptidee hinter einem Hypothesentest missversteht. Sie können zu 100 % sicher sein, dass Sie beim Ausführen eines Hypothesentests mit dem Signifikanzniveau 0,05 ein bestimmtes Verfahren angewendet haben (wenn Sie die Dinge richtig gemacht haben). Wenn die Mittelwerte der beiden Verteilungen auf lange Sicht tatsächlich gleich sind (und vorausgesetzt, alle Annahmen gelten), wird dieses Verfahren in 5 % der Fälle eine Teststatistik erzeugen, die aufgrund der Stichprobenvariabilität zu unterschiedlichen Mittelwerten führt.
3) Es gibt nur 2 mögliche Schlussfolgerungen für einen solchen Hypothesentest: 1) „Die Stichprobendaten liefern (zwingende) Beweise dafür, dass die Nullhypothese falsch ist“ und 2) „Die Stichprobendaten liefern keine zwingenden Beweise dafür, dass die Nullhypothese ist falsch". Bemerkenswerterweise fehlt die Aussage "Basierend auf den Stichprobendaten schließen wir, dass die Nullhypothese wahr ist." Wenn Sie etwas beweisen möchten, formulieren Sie im Allgemeinen das, was Sie zu beweisen versuchen, als alternative Hypothese, in der Hoffnung, dass die Daten die Ablehnung der Null zugunsten der Alternative unterstützen. Wenn der Forscher versucht, die Gleichwertigkeit der Mittel nachzuweisen, sind zwei einseitige Tests angemessener.
4) Andere haben dies erwähnt, aber es muss wiederholt werden: Statistische Signifikanz und praktische Signifikanz müssen und sind normalerweise nicht dasselbe. Praktische Bedeutung sollte von Platz eins, wenn nicht von Null, diskutiert und vereinbart werden.
@dale_lehman erwähnt das "Das Problem mit der richtigen Interpretation ist, dass wir nichts über die Stichprobe sagen können, die wir tatsächlich haben."Ich werde widersprechen, aber ich weiß, wohin er damit will. Jede statistische Technik hat eine bestimmte Frage, die sie beantworten soll. Insbesondere im Fall einer Nullhypothese, die die Daten nicht zurückweisen konnten, besteht eines der Hauptprobleme für Nicht-Statistiker (und übrigens auch Bayes-Statistiker) bei häufigen Hypothesentests darin, dass ein p-Wert eine Frage beantwortet, die eine unnatürliche Frage zu stellen, nämlich: "Wie hoch ist die Wahrscheinlichkeit, dass ich unter der Nullhypothese Ergebnisse beobachte, die so extrem oder noch extremer sind als die Ergebnisse, die ich tatsächlich beobachtet habe?". Bayesianer werden sagen, dass ihre Methoden natürlichere Fragen beantworten, aber Bayesian-Techniken haben ihre eigenen Probleme – es gibt kein Allheilmittel. Es gibt keinen Ersatz dafür, zu verstehen, welche Techniken besser geeignet sind, um bestimmte Fragen zu beantworten, und eine Technik auszuwählen, die für die Frage, die Sie beantworten möchten, gut geeignet ist. Die jüngste (ish) Gegenreaktion gegen den p-Wert, insbesondere in der medizinischen Forschung, kommt mir ein bisschen wie eine Gegenreaktion gegen Gabeln vor, wenn sie als Augenklappen verwendet werden. Ein p-Wert ist ein Werkzeug wie jedes andere auch. Verwenden Sie es richtig, für den richtigen Job, und es wird Ihnen gut gehen ... verwenden Sie es falsch und "Sie schießen sich die Augen aus!".
Re: Warum ist dies eine kriminelle Statistikaussage? #1Ich glaube nicht, dass mein Beispiel wirklich etwas mit Bayesian vs Frequentist-Analyse oder p-Werten (zumindest direkt) zu tun hat.Sie haben natürlich Recht, wenn Sie sagen, dass ich zu 95 % sicher bin, dass der wahre Wert in diesem 95 %-Konfidenzintervall liegt, ist es falsch: Die Konfidenz liegt im Verfahren, nicht in einem bestimmten Konfidenzintervall.Der wahre Wert liegt entweder in diesem einen bestimmten Intervall oder nicht.
Aber mein Punkt ist, dass 95% die beste Schätzung ist, die ich geben kann, ob mein bestimmtes Intervall eines der 95% der "guten" ist, das den wahren Wert enthält, oder eines der 5%, die den falschen Wert angeben würden Fazit.Sie finden die falsche Interpretation vielleicht erbärmlich, aber ich nicht.Tatsächlich finde ich die richtige Interpretation etwas erbärmlich, da es sich um einen Haufen Wörter handelt, die den meisten Menschen die Augen tränen lassen.Und ich denke, es trägt zu der weitaus schlimmeren (und erbärmlicheren) Praxis bei, die Unsicherheit ganz zu ignorieren und die Punktschätzung als den wahren Wert zu behandeln.
Re: Warum ist dies eine kriminelle Statistikaussage? #1Wo soll ich anfangen? Sample-Größe (keine Angabe ... vielleicht einfach zu klein, um dem Signal eine Chance zu geben, über das Rauschen zu steigen)? Was ist das gewählte Alpha-Risiko ('...95% Vertrauen in die Ergebnisse...' ist eine bedeutungslose Aussage bezüglich des Alpha-Risikos. Was bedeutet diese Aussage überhaupt)? Was ist die Nullhypothese (keine Angabe)? Was ist der Messfehler (bekannt oder sogar angenommen)? Was war der Stichprobenplan (Zufalls-, Zweckmäßigkeits-, erster/letzter von der Linie, geschichteter oder anderer Plan)? Was ist das Repräsentationsrisiko ... nicht nur das statistische Risiko? Und weiter und weiter.
Warum ist dies eine kriminelle Statistikaussage? #1Ich werde in den nächsten Wochen ein paar Diskussionsthreads starten und jeden JMP-Benutzer einladen, zu läuten
mit ihren Gedanken ein.Diese Diskussionen werden sich um "kriminelle statistische Aussagen" drehen.
Bitte erwägen Sie einen Beitrag.Nach einigen Tagen, Ich werde Gedanken in einem Blogbeitrag zusammenfassen , und ein weiteres Cringeworthy Statement einführen !
Hier ist die kriminelle Aussage Nr. 1:
Wir führen einen t-Test durch, um die Mittelwerte zweier Populationen zu vergleichen.Wir wollen 95 % Vertrauen in die Ergebnisse.Wir führen den Test durch und der p-Wert kommt auf 0,63 zurück.Wir machen die Aussage " Da p nicht kleiner als 0,05 ist, schließen wir, dass es keinen Unterschied in den Mittelwerten dieser Populationen gibt. "
Warum ist diese Aussage Cringeworthy????
AnalytikRe: Warum ist dies eine kriminelle Statistikaussage? #1Ich würde die Interpretation: "Ich bin zu 95 % sicher, dass die mittlere Differenz der Stichprobe nicht kleiner als das untere CI und nicht mehr als das obere CI ist" per se nicht 'falsch' nennen, in der Tat halte ich es für eine vollkommen angemessene Formulierung. das steht "richtig" und ist leicht zu formulieren, aber ich würde sagen, dass die Interpretation nur "häufig missverstanden" wird @dale_lehman wie du anmerkst.
Wie @julianisch sagt in Entscheidungsfindung mit Daten (STIPS) - Abschnitt 4.1 Schätzung {und Sie können dies dem Transkript entnehmen, in dem ich die entsprechende Modulreferenz unten mit dem Titel " Demo: Das Vertrauensniveau und das Alpha-Risiko verstehen "}
"Wir klicken auf Samples zurücksetzen, ändern die Anzahl der Samples auf 100 und klicken auf Draw Additional Samples. Beachten Sie beim weiteren Ziehen von Stichproben, dass der Mittelwert der Stichproben nahe am wahren Mittelwert liegt. Beachten Sie auch, dass fast 95 % der Konfidenzintervalle den wahren Mittelwert des IQ enthalten und etwa 5 % der Konfidenzintervalle den wahren Mittelwert nicht enthalten."
„Das verstehen wir unter dem Begriff „Vertrauen“. Im Durchschnitt , Für ein 95% Vertrauen Intervall, 9 In 5 % der Fälle, in denen diese Intervallmethode verwendet wird, erfasst das Intervall den wahren Parameterwert ."
Natürlich bezieht sich die Schlussfolgerung auf die Population, aber sie basiert auf den Stichprobendaten. Dies ist, was wir tun, wenn wir allgemein inferenzielle Statistiken erstellen. Bei dem ganzen Unternehmen geht es darum, auf der Grundlage der uns vorliegenden Stichprobendaten Rückschlüsse auf die Bevölkerung zu ziehen. Wieder im selben Entscheidungsfindung mit Daten Modul 4, Abschnitt 4.1 ansehen Einführung in die statistische Inferenz .Hier, @mia_stephens spricht klar, präzise und direkt darüber.
Re: Warum ist dies eine kriminelle Statistikaussage? #1Für mich spiegelt es einfach kein adäquates Verständnis wider, aber immerhin ist es mehr oder weniger die "richtige Interpretation".
Einige Leute diskutierten etwas in der Art, was ich gerne die "p-Wert-Methode" und die "Konfidenzintervall-Methode" nenne, um einen T-Test durchzuführen.Ich betrachte diese beiden Analysemethoden gerne als im Wesentlichen dasselbe und ich werde hier vorschlagen (und Sie können mir gerne widersprechen), dass sie tatsächlich verschiedene Möglichkeiten (mathematisch auszudrücken) dasselbe .JMP ist sehr schlau darin, Ihnen die statistische Darstellung in den meisten Fällen in beide Richtungen zu geben, und das gefällt mir sehr! Die Interpretation mit Konfidenzintervallen (im Kontext von Plain Vanilla T-Tests, Nichtunterlegenheitstests, Äquivalenz- und Überlegenheitstests) war für mich immer interpretierbarer.
Ein lieber Freund von mir hat mir eine schöne Lehrbuchreferenz gegeben, die meiner Meinung nach dazu spricht:
Bluman, Elementary Statistics (7. Auflage), 2015
