Schlüsselideen
Praktische Bedeutung versus statistische Signifikanz, geringe Leistung
Hintergrund
John Kerrich war ein englischer Mathematiker, der sich während des Zweiten Weltkriegs in einem Gefangenenlager in Dänemark befand. Dadurch wurde sein Kalender erheblich entlastet. Um seine Zeit besser zu nutzen, führte er eine Reihe von Wahrscheinlichkeitsexperimenten durch.
Die meisten Statistiker behaupten, dass Münzen fair seien, und dies gab Kerrich die Möglichkeit, diese Behauptung zu überprüfen. Er hatte die Zeit, eine Münze 10.000 Mal zu werfen, was zu 5.067 Kopf und 4.933 Zahl führte ( Die Praxis der Statistik in den Biowissenschaften , 2. Auflage, Baldi und Moore, Seite 209).
Die Aufgabe
Stellen Sie fest, ob es sich um eine faire Münze handelt. „Fair“ bedeutet, dass Kopf und Zahl mit gleicher Wahrscheinlichkeit auftreten.
Die Daten Kerrich.jmp
Der Datensatz enthält das Ergebnis und die Anzahl für jedes Ergebnis.
Ergebnis Kopf oder Zahl
Anzahl: Die Anzahl der Kopf- und Zahlwürfe in den 10.000 Würfen
Analyse
Wir beginnen mit der Untersuchung der Häufigkeit von Kopf und Zahl bei den 10.000 Würfen.
Ausstellung 1 Verteilung des Ergebnisses
(Analysieren > Verteilung; auswählen Ergebnis als Y, Spalten und Zählen Geben Sie „Freq“ ein und klicken Sie auf „OK“.Für ein horizontales Layout wählen Sie „Stapel“ unter dem oberen roten Dreieck.)
Sicherlich die Münze erscheint Um fair zu sein – es gibt in der Stichprobe ungefähr die gleiche Anzahl an Kopf und Zahl.
Das 95 %-Konfidenzintervall (Abbildung 2) zeigt, dass die plausibelsten Kopfwahrscheinlichkeiten zwischen 0,4969 und 0,5165 liegen.
Abbildung 2: Konfidenzintervalle für das Ergebnis
(Klicken Sie in der Verteilungsausgabe auf das untere rote Dreieck und wählen Sie Konfidenzintervall > 0,95 aus.)
Diese Daten stimmen mit den Ergebnissen überein, die wir mit einer fairen Münze sehen würden. Wir KÖNNEN jedoch NICHT behaupten, dass die Münze fair ist – wir können die Nullhypothese nicht bestätigen.
Der Hypothesentest ist ein Anpassungstest:
Ho: Die Münze ist fair.
Ha: Die Münze ist nicht fair.
Die Anpassungstests (Abbildung 3) ergeben beide p-Werte von 0,1802. Wir haben keine Beweise dafür, dass die Münze nicht fair ist. Auch hier ist die doppelte Verneinung erforderlich, um eine Bestätigung der Nullhypothese zu vermeiden.
Anlage 3: Anpassungstest für das Ergebnis
(Klicken Sie in der Verteilungsausgabe auf das untere rote Dreieck und wählen Sie Testwahrscheinlichkeiten aus. Geben Sie unter Hypoth Prob sowohl für „Kopf“ als auch für „Zahl“ den Wert 0,5 ein und klicken Sie auf „Fertig“.)
So funktionieren die Goodness-of-Fit-Tests
Sowohl der Likelihood-Ratio- als auch der Pearson-Test vergleichen die beobachteten Zahlen ( Ö ich ) auf die erwarteten Zahlen (z ich ). In diesem Fall betragen die beobachteten Zählungen 5.067 für Köpfe ( Ö Köpfe ) und 4.933 für Tails ( Ö Schwänze ). Die erwarteten Zahlen für Kopf und Zahl ( e Köpfe Und e Schwänze ) sind 5.000.
Sie können (durch eine Übung) überprüfen, dass die Wahrscheinlichkeitsverhältnis-Teststatistik wie folgt lautet:
und die Pearson-Teststatistik lautet:
Leistung und Stichprobengröße
Obwohl eine grundlegende Analyse der Daten in dieser Situation recht einfach ist, bietet sie doch die Möglichkeit, einige wichtige Ideen in einem einfachen Kontext zu untersuchen. Betrachten wir zwei weitere Datensätze mit sehr unterschiedlichen Stichprobengrößen.
Anlage 4 Eine kleine Stichprobe (kleine Anzahl) und eine sehr große Stichprobe (große Anzahl)
Für den kleinen Datensatz beträgt der Stichprobenanteil Köpfe 0,62, während der Stichprobenanteil für den großen Datensatz 0,502 beträgt. Was liefert einen stärkeren Beweis dafür, dass die Münze unfair ist? Bis Sie mit einigen Aspekten des Hypothesentests vertraut sind, könnten die Ergebnisse überraschend sein.
Analyse der großen Stichprobe
Auf jeden Fall sieht die Münze fair aus (Anlage 5). Anhand der Grafik lässt sich nur schwer erkennen, was häufiger vorkommt, Kopf oder Zahl. Köpfe traten tatsächlich nur in 50,2 % der Fälle auf. Diese Münze erscheint dem Uneingeweihten sogar noch schöner als die, die John Kerrich geworfen hat.
Anlage 5 Verteilung von Ergebnis
Inferenz erzählt eine andere Geschichte. Tatsächlich gibt es starke Beweise für die Behauptung, die Münze sei nicht fair (Anlage 6).Der p-Wert beträgt 0,0047!
Anlage 6 Schlussfolgerung für die große Stichprobe
Ist das ein Fehler? NEIN. Das Konfidenzintervall stützt diese Behauptung tatsächlich. Die Intervallschätzung geht davon aus, dass die Münze auf lange Sicht in 50,006 % bis 50,34 % der Fälle mit dem Kopf landet. Das Intervall schließt 50 % aus, sodass die Münze so geladen wird, dass sie „Kopf“ landet.
Wenn dies wie ein bizarres Ergebnis erscheint, sind Sie möglicherweise nicht mit den Auswirkungen großer Stichproben auf Hypothesentests vertraut. Statistische Tests können bei großen Stichproben sehr kleine Abweichungen von der Nullhypothese erkennen. Hier lautet die Nullhypothese, dass die Münze fair ist, und die Münze scheint nicht fair zu sein. Natürlich ist die Münze nicht sehr unfair, aber sie scheint eine leichte Tendenz in Richtung „Kopf“ zu haben. Das mag das sein, was Sie wirklich unter einer fairen Münze verstehen, vielleicht aber auch nicht. Wenn Sie und Ihr Mitbewohner diese Münze verwenden, um festzustellen, wer den Müll rausbringt, ist diese Münze möglicherweise völlig fair. Aber wenn ein Casino diese Münze verwendet, um auf „Kopf“ zu wetten, während die Kunden auf „Zahl“ wetten, und es 100.000 Wetten von 10 $ pro Stunde gibt, kann dies dem Casino ein Vermögen einbringen.
In der Statistik ist die Aussagekraft eines Hypothesentests die Wahrscheinlichkeit, dass der Test die Nullhypothese ablehnt, wenn sie falsch ist. Bei großen Stichprobengrößen sind Tests sehr aussagekräftig. Wenn die Stichprobengröße sehr groß ist, kann es tatsächlich Routine sein, die Nullhypothese abzulehnen. Hier geht es um den Unterschied zwischen praktischer Bedeutung und statistischer Signifikanz. Maße, die praktische Bedeutung angeben, wie Konfidenzintervalle, R 2 usw. können bei großen Stichprobengrößen wichtiger sein als p-Werte.
Analyse für eine sehr kleine Stichprobe
Nun betrachten wir die Ergebnisse für die kleine Stichprobe.
Aus dem Balkendiagramm und der Häufigkeitsverteilung in Abbildung 7 geht hervor, dass es ein klarer Beweis dafür ist, dass die Münze viel häufiger „Kopf“ als „Zahl“ landet. In der Stichprobe landete die Münze tatsächlich in 62 % der Fälle mit „Kopf“, verglichen mit 50,67 % bei Kerrichs Daten. Aber wie zuvor wird die Schlussfolgerung eine andere Geschichte erzählen.
Ausstellung 7 Verteilung von Ergebnis , Sehr kleine Probe
Tatsächlich liegen beide p-Werte über dem Signifikanzniveau von 0,05, sodass wir die Nullhypothese, dass die Münze fair ist, nicht ablehnen können.
Ausstellung 8 Schlussfolgerung für die sehr kleine Stichprobe
Die Untersuchung des Konfidenzintervalls in Abbildung 8 ist erneut aufschlussreich. Da die Stichprobengröße klein ist, ist das Konfidenzintervall sehr breit. Das Intervall für die langfristige Schätzung des Anteils der Zeit, in der die Münze „Kopf“ landen würde, liegt zwischen 0,48 und 0,74. Dieses Intervall umfasst Werte über und unter 0,50, wir haben also wirklich nicht genügend Beweise, um eine faire Münze auszuschließen.
Die Moral
Die Stichprobengröße spielt eine große Rolle bei der statistischen Schlussfolgerung. Bei großen Stichprobengrößen stellen wir möglicherweise einen Unterschied fest, der Unterschied ist jedoch möglicherweise nicht von praktischer Bedeutung. Wenn die Stichprobengröße klein ist, können wir möglicherweise keinen Unterschied (zwischen unserer Stichprobe und der Nullhypothese) erkennen, selbst wenn es den Anschein hat, dass etwas vor sich geht. Große Stichproben bedeuten im Allgemeinen, dass wir viel Leistung zur Erkennung von Unterschieden haben, während kleine Stichproben normalerweise zu einer geringen Leistung führen.
Ein Beispiel mit einigen zufällig generierten Daten, Streudiagrammen und Regressionen veranschaulicht diese Idee weiter.
So generieren Sie die Daten in Kerrich Power.jmp:
Zuerst 2.000 Zeilen zufälliger Normalwerte ( Fehler ) wurden mit dem JMP-Formeleditor erstellt, mit einem Mittelwert von Null und einer Standardabweichung von 1.
Als nächstes werden x-Werte ( x_big ) wurden generiert. Diese Werte sind zufällige ganze Zahlen von 1 bis 8.
Schließlich sind die y-Werte ( y_groß ) wurden aus den zufälligen Normalwerten ( Fehler ) und die x-Werte ( x_big ).
Es sieht vielleicht nicht so aus, als ob eine Linie zu diesen Daten passen würde, aber große Datensätze (n = 2.000) bringen einige Überraschungen mit sich. Sehen Sie einen Trend im Streudiagramm in Abbildung 9?
Ausstellung 9 Streudiagramm für einen großen Datensatz ( y_groß Und x_big )
(Analysieren, Y an X anpassen; verwenden y_groß als Y, Antwort und x_big als X, Faktor.) In Abbildung 10 passen wir eine Regressionsgerade an die Daten an. Passt eine Linie zu den Daten?
Ausstellung 10 Regression für einen großen Datensatz ( y_groß Und x_big )
(Klicken Sie in der Ausgabe „Bivariate Anpassung“ auf das rote Dreieck und wählen Sie „Linie anpassen“.)
Während R 2 beträgt lediglich 0,056, was nur 5,6 % der Variation anzeigt y_big wird durch die Regression mit erklärt x_big , der p-Wert ist kleiner als 0,0001 (die Nullhypothese besagt, dass es keinen Trend in den Daten gibt, die Alternative ist, dass es einen Trend in den Daten gibt).
Das ist die Stärke großer Stichproben; Es wird ein winziger Trend erkannt. Der Trend dürfte jedoch keine praktische Bedeutung haben. Wenn mein Gehalt um diese Rate steigen würde, wäre ich sicherlich nicht beeindruckt!
Schauen wir uns nun eine sehr kleine Stichprobe an, wobei die Y- und X-Werte aus der großen Stichprobe stammen. Säulen y_small Und x_small enthalten fünf Beobachtungen.
In der Darstellung in Abbildung 5 scheint es einen starken linearen Trend in den Daten zu geben. Beachten Sie jedoch, dass das Muster in den Daten klar ist, die Stichprobengröße jedoch sehr klein ist (n = 5).
Ausstellung 10 Regression für einen sehr kleinen Datensatz ( y_small Und x_small )
Ich bin mir sicher, dass Sie erraten haben, wohin das alles führt.
Während der R 2 beträgt 64,2 %, was darauf hindeutet, dass ein Großteil der Variation in y_small kann durch die Regression erklärt werden x_small , der p-Wert beträgt 0,1031. Dies bedeutet, dass es (bestenfalls) nur schwache Beweise dafür gibt, dass eine Linie zu den Daten passt. Was passiert also?
Bei einem kleinen Datensatz scheint eine Linie zwar zu den Daten zu passen, wir können jedoch den Zufall als alternative Erklärung für das offensichtliche Muster nicht ausschließen. P-Werte sind eine Möglichkeit, die Wahrscheinlichkeit einzuschätzen, dass der Zufall ein Muster wie dieses hervorgebracht haben könnte. Obwohl es ein Muster zu geben scheint, besteht eine Wahrscheinlichkeit von 10,04 %, dass wir ein so starkes oder sogar noch stärkeres Muster hätten erhalten können, wenn die Punkte einfach zufällig erzeugt worden wären und es keinen echten Zusammenhang zwischen ihnen gäbe x_small Und y_small .
Zusammenfassung
Statistische Erkenntnisse
Große Stichproben können subtile Muster erkennen, manchmal sind diese Muster jedoch nicht von praktischer Bedeutung. Sehr kleine p-Werte bedeuten nicht immer, dass etwas Wichtiges passiert, insbesondere wenn die Stichprobengröße groß ist. Kleine Stichproben können auf ein relativ klares Muster hinweisen, wir können jedoch nicht sicher sein, dass das Muster echt ist und nicht durch zufällige Variation entstanden ist. Große p-Werte bedeuten nicht immer, dass nichts passiert, insbesondere wenn die Stichprobengröße klein ist.
Implikationen
Einige der aufschlussreichsten Ergebnisse in der Wissenschaft entstehen dann, wenn die Ergebnisse im Widerspruch zu unseren Angaben zu Aussagekraft und Stichprobengröße stehen. Oft wird in einer Pilotstudie mit einer sehr kleinen Stichprobengröße ein beobachtbarer Effekt festgestellt. In solchen Fällen werden Wissenschaftler oft ermutigt, obwohl der p-Wert möglicherweise nicht besonders klein ist, weil trotz der geringen Aussagekraft des Tests etwas gefunden wurde. Es lohnt sich oft, solche Ergebnisse im Rahmen einer größeren Studie weiter zu verfolgen.
Andererseits können mehrere Studien mit großen Stichprobengrößen manchmal keinen Effekt feststellen. Obwohl wir die Nullhypothese niemals bestätigen können, wenn mehrere wirklich große Studien alle keine Beweise für eine Wirkung liefern, sollten wir dieser Behauptung irgendwann sehr skeptisch gegenüberstehen.
Beispielsweise glauben viele (wenn nicht die meisten) Basketballfans, dass einige Spieler heiße und kalte Schussserien haben. Eine Gruppe kognitiver Psychologen nutzte mehrere große Datensätze der NBA, um verschiedene Versionen dieser Behauptung zu testen. Sie fanden keine Hinweise auf Serienschießen („The Cold Facts About the ‚Hot Hand‘ in Basketball“, Amos Tversky und Thomas Gilovich, Chance, Bd. 2, 1989, Seiten 16-21). Obwohl wir nicht sagen können, dass es zu keinem Streak-Shooting kommt (das würde bedeuten, die Nullhypothese zu bestätigen), führen die Anzahl der verschiedenen Datensätze, die große Stichprobengröße der Datensätze und ihre Erklärung dafür, warum Menschen zufällige Muster falsch wahrnehmen, zu extremer Skepsis hin zum Streak Shooting als Phänomen.
Wenn die Stichprobengröße klein ist (und die Aussagekraft daher gering ist), kann es wichtig sein, Hinweise auf einen Effekt zu finden. Wenn die Stichprobengröße groß ist (also die Aussagekraft hoch ist), ist es erwähnenswert, dass kein Effekt gefunden werden kann.
JMP ® Funktionen und Hinweise
In diesem Fall wurde die Verteilungsplattform verwendet, um Balkendiagramme und Häufigkeitsverteilungen zu erstellen, Konfidenzintervalle für Proportionen zu erstellen und Anpassungstests durchzuführen.
Mit dem Formeleditor wurden Zufallsdaten zur Veranschaulichung des Zusammenhangs zwischen Stichprobengröße und Stichprobenstärke in einer Regressionssituation generiert. Wir haben Fit Y by X verwendet, um Streudiagramme zu erstellen und Regressionslinien anzupassen.
Übungen
- Für die Kerrich-Münzwurfübung ( Kerrich.jmp ), was ist die Grundgesamtheit und was ist die Stichprobe? Handelt es sich bei der Stichprobe um eine einfache Zufallsstichprobe? Wenn es sich bei der Stichprobe nicht um eine einfache Zufallsstichprobe handelt, glauben Sie, dass es sich um eine repräsentative Stichprobe handelt? Warum oder warum nicht? Glauben Sie, dass die Münzwürfe unabhängig voneinander sind?
- Karl Pearson, ein berühmter Statistiker, nach dem die Pearson-Teststatistik benannt ist, warf eine Münze 24.000 Mal, was 12.012 Köpfe ergab. Erstellen Sie eine Datentabelle in JMP und führen Sie eine Analyse dieser Daten ähnlich wie oben durch. Was ist Ihre Nullhypothese? Welche Schlussfolgerung(en) können Sie ziehen?
- Im Beispiel mit der großen Stichprobe haben wir 251.000 Köpfe und 249.000 Zahlen beobachtet. Wir hätten (für eine faire Münze) 250.000 Kopf und 250.000 Zahl erwartet.
- Überprüfen Sie das Likelihood-Verhältnis und die Pearson-Teststatistiken mithilfe der angegebenen Formeln:
- In vielen Lehrbüchern wird die folgende Teststatistik zur Durchführung eines Tests mit einem Verhältnis (für eine faire Münze) verwendet:
Ho: p = p Ö gegen
Ha: p ≠ p Ö
Für diesen Test lautet die Teststatistik: Wobei ist der Anteil der Köpfe in der Stichprobe, ist der hypothetische Anteil der Köpfe und N ist die Stichprobengröße.
Berechnen z und verifizieren. Mit anderen Worten: Bestätigen Sie, dass es sich nur um eine andere Form der Pearson-Teststatistik handelt (Sie können auch überprüfen, ob die p-Werte gleich sind).
