Schlüsselideen
Praktische Bedeutung versus statistische Signifikanz, geringe Leistung
Hintergrund
John Kerrich war ein englischer Mathematiker, der sich während des Zweiten Weltkriegs in einem Gefangenenlager in Dänemark wiederfand. Dadurch wurde sein Kalender erheblich entlastet. Um seine Zeit in Anspruch zu nehmen, führte er eine Reihe von Wahrscheinlichkeitsexperimenten durch.
Die meisten Statistiker behaupten, dass Münzen fair sind, und dies gab Kerrich die Gelegenheit, diese Behauptung zu überprüfen. Er hatte die Zeit, eine Münze 10.000 Mal zu werfen, was 5.067 Kopf und 4.933 Zahl ergab ( Die Praxis der Statistik in den Lebenswissenschaften , 2. Auflage, Baldi und Moore, Seite 209).
Die Aufgabe
Bestimmen Sie, ob dies eine faire Münze ist. „Fair“ bedeutet, dass Heads und Tails mit gleicher Wahrscheinlichkeit auftreten.
Die Daten Kerrich.jmp
Der Datensatz enthält das Ergebnis und die Zählungen für jedes Ergebnis.
Ergebnis Kopf oder Zahl
Anzahl Die Anzahl von Kopf und Zahl in den 10.000 Würfen
Analyse
Wir beginnen damit, die Häufigkeit von Kopf und Zahl bei den 10.000 Überschlägen zu untersuchen.
Ausstellung 1 Verteilung des Ergebnisses
(Analysieren > Verteilung; auswählen Ergebnis als Y, Spalten und Zählen als Freq und klicken Sie auf OK.Wählen Sie für ein horizontales Layout Stack unter dem oberen roten Dreieck.)
Natürlich die Münze erscheint Um fair zu sein – es gibt ungefähr die gleiche Anzahl von Kopf und Zahl in der Stichprobe.
Das 95-%-Konfidenzintervall (Abbildung 2) zeigt, dass die plausibelsten Wahrscheinlichkeiten für Kopf im Bereich von 0,4969 bis 0,5165 liegen.
Abbildung 2 Konfidenzintervalle für das Ergebnis
(Klicken Sie in der Verteilungsausgabe auf das untere rote Dreieck und wählen Sie Konfidenzintervall > 0,95 aus.)
Diese Daten stimmen mit den Ergebnissen überein, die wir mit einer fairen Münze sehen würden. Wir können jedoch NICHT sagen, dass die Münze fair ist – wir können die Nullhypothese nicht bestätigen.
Der Hypothesentest ist ein Anpassungstest:
Ho: Die Münze ist fair.
Ha: Die Münze ist nicht fair.
Die Anpassungstests (Abbildung 3) ergeben beide p-Werte von 0,1802. Wir haben keine Beweise dafür, dass die Münze nicht fair ist. Auch hier ist die doppelte Verneinung erforderlich, um die Nullhypothese nicht zu bestätigen.
Anlage 3 Anpassungstest für Ergebnis
(Klicken Sie in der Verteilungsausgabe auf das untere rote Dreieck und wählen Sie Testwahrscheinlichkeiten aus. Geben Sie 0,5 unter Hypoth Prob für Heads und Tails ein und klicken Sie auf Done.)
Wie die Goodness-of-Fit-Tests funktionieren
Sowohl der Likelihood Ratio- als auch der Pearson-Test vergleichen die beobachteten Zählungen ( Ö ich ) zu den erwarteten Zählungen (z ich ). In diesem Fall betragen die beobachteten Zählungen 5.067 für Köpfe ( Ö Köpfe ) und 4.933 für Schwänze ( Ö Schwänze ). Die erwarteten Zählwerte für Kopf und Zahl ( e Köpfe Und e Schwänze ) sind 5.000.
Sie können überprüfen (eine Übung), dass die Likelihood-Quotienten-Teststatistik wie folgt lautet:
und die Pearson-Teststatistik lautet:
Leistung und Stichprobengröße
Obwohl eine grundlegende Analyse der Daten in dieser Situation recht einfach ist, bietet sie die Möglichkeit, einige wichtige Ideen in einem einfachen Kontext zu untersuchen. Betrachten wir zwei andere Datensätze mit sehr unterschiedlichen Stichprobengrößen.
Ausstellung 4 Eine kleine Stichprobe (kleine Anzahl) und eine sehr große Stichprobe (große Anzahl)
Für den kleinen Datensatz beträgt der Stichprobenanteil Köpfe 0,62, während der Stichprobenanteil für den großen Datensatz 0,502 beträgt. Was wird einen stärkeren Beweis dafür liefern, dass die Münze unfair ist? Bis Sie sich mit einigen Aspekten des Hypothesentests vertraut gemacht haben, können die Ergebnisse überraschend sein.
Analyse der großen Stichprobe
Sicherlich sieht die Münze fair aus (Anlage 5). Aus der Grafik ist schwer zu erkennen, was häufiger vorkommt, Kopf oder Zahl. Heads traten tatsächlich nur in 50,2 % der Fälle auf. Diese Münze erscheint dem Uneingeweihten sogar noch fairer als die, die John Kerrich geworfen hat.
Ausstellung 5 Verteilung von Ergebnis
Inferenz erzählt eine andere Geschichte. Tatsächlich gibt es starke Beweise für die Behauptung, die Münze sei nicht fair (Anlage 6).Der p-Wert beträgt 0,0047!
Ausstellung 6 Inferenz für die große Stichprobe
Ist das ein Fehler? NEIN. Das Konfidenzintervall unterstützt diese Behauptung tatsächlich. Die Intervallschätzung besagt, dass die Münze langfristig zwischen 50,006 % und 50,34 % der Zeit Kopf landet. Das Intervall schließt 50 % aus, also wird die Münze geladen, um Kopf zu landen.
Wenn dies wie ein bizarres Ergebnis erscheint, dann sind Sie möglicherweise nicht mit den Auswirkungen großer Stichproben auf Hypothesentests vertraut. Statistische Tests haben die Kraft, sehr kleine Abweichungen von der Nullhypothese zu erkennen, wenn der Stichprobenumfang groß ist. Hier lautet die Nullhypothese, dass die Münze fair ist und die Münze nicht fair zu sein scheint. Natürlich ist die Münze nicht sehr unfair, aber sie scheint eine leichte Neigung zu Köpfen zu haben. Dies kann oder kann nicht das sein, was Sie wirklich mit einer fairen Münze meinen. Wenn Sie und Ihr Mitbewohner diese Münze verwenden, um festzustellen, wer den Müll rausbringt, ist diese Münze möglicherweise vollkommen fair. Aber wenn ein Casino diese Münze verwendet, um auf Kopf zu wetten, während Kunden auf Zahl setzen, und es gibt 100.000 Wetten von 10 $ pro Stunde, kann dies dem Casino ein Vermögen einbringen.
In der Statistik ist die Aussagekraft eines Hypothesentests die Wahrscheinlichkeit, dass der Test die Nullhypothese zurückweist, wenn sie falsch ist. Bei großen Stichprobenumfängen haben Tests eine große Aussagekraft. Bei sehr großen Stichprobenumfängen kann es sogar zur Routine werden, die Nullhypothese abzulehnen. Damit ist der Unterschied zwischen praktischer Bedeutung und statistischer Signifikanz erreicht. Maße, die auf praktische Bedeutung hinweisen, wie Konfidenzintervalle, R 2 usw. können bei großen Stichprobenumfängen wichtiger sein als p-Werte.
Analyse für eine sehr kleine Stichprobe
Betrachten wir nun die Ergebnisse für die kleine Stichprobe.
Aus dem Balkendiagramm und der Häufigkeitsverteilung in Abbildung 7 scheint es ein klarer Beweis zu sein, dass die Münze viel häufiger Kopf als Zahl landet. Die Münze landete in der Stichprobe in 62 % der Fälle tatsächlich mit Kopf, verglichen mit 50,67 % bei Kerrichs Daten. Aber wie zuvor wird die Inferenz eine andere Geschichte erzählen.
Ausstellung 7 Verteilung von Ergebnis , Sehr kleine Probe
Tatsächlich liegen die p-Werte beide über dem Signifikanzniveau von 0,05, sodass wir die Nullhypothese, dass die Münze fair ist, nicht ablehnen können.
Ausstellung 8 Inferenz für die sehr kleine Stichprobe
Die Untersuchung des Konfidenzintervalls in Abbildung 8 ist wiederum aufschlussreich. Da die Stichprobengröße klein ist, ist das Konfidenzintervall sehr breit. Das Intervall für die langfristige Schätzung des Anteils der Zeit, in der die Münze Kopf landen würde, liegt zwischen 0,48 und 0,74. Dieses Intervall umfasst Werte über und unter 0,50, sodass wir wirklich nicht genügend Beweise haben, um eine faire Münze auszuschließen.
Die Moral
Die Stichprobengröße spielt eine große Rolle bei der statistischen Inferenz. Bei großen Stichprobenumfängen können wir einen Unterschied feststellen, aber der Unterschied ist möglicherweise nicht von praktischer Bedeutung. Bei kleinen Stichprobenumfängen sind wir möglicherweise nicht in der Lage, einen Unterschied (zwischen unserer Stichprobe und der Nullhypothese) zu erkennen, selbst wenn es scheint, dass etwas vor sich geht. Große Stichproben bedeuten im Allgemeinen, dass wir viel Power haben, um Unterschiede zu erkennen, während kleine Stichproben normalerweise zu einer geringen Power führen.
Ein Beispiel, das einige zufällig generierte Daten, Streudiagramme und Regression verwendet, veranschaulicht diese Idee weiter.
So generieren Sie die Daten in Kerrich Power.jmp:
Zuerst 2.000 Zeilen mit zufälligen Normalwerten ( Fehler ) wurden mit dem JMP-Formel-Editor mit einem Mittelwert von null und einer Standardabweichung von 1 erstellt.
Als nächstes x-Werte ( x_groß ) generiert wurden. Diese Werte sind zufällige ganze Zahlen von 1 bis 8.
Schließlich sind die y-Werte ( y_groß ) wurden aus den zufälligen Normalwerten ( Fehler ) und die x-Werte ( x_groß ).
Es sieht vielleicht nicht so aus, als würde eine Linie zu diesen Daten passen, aber große Datensätze (n = 2.000) sorgen für einige Überraschungen. Sehen Sie einen Trend im Streudiagramm in Abbildung 9?
Ausstellung 9 Streudiagramm für einen großen Datensatz ( y_groß Und x_groß )
(Analysieren, Y nach X anpassen; verwenden y_groß als Y, Antwort und x_groß als X, Faktor.) In Abbildung 10 passen wir eine Regressionslinie an die Daten an. Passt eine Linie zu den Daten?
Ausstellung 10 Regression für einen großen Datensatz ( y_groß Und x_groß )
(Klicken Sie in der bivariaten Anpassungsausgabe auf das rote Dreieck und wählen Sie Anpassungslinie aus.)
Während R 2 beträgt nur 0,056, was nur 5,6 % der Variation in anzeigt y_groß wird durch die Regression erklärt x_groß , der p-Wert ist kleiner als 0,0001 (die Nullhypothese ist kein Trend in den Daten, die Alternative ist, dass es einen Trend in den Daten gibt).
Das ist die Kraft großer Stichproben; ein kleiner Trend wird erkannt. Der Trend ist jedoch möglicherweise nicht von praktischer Bedeutung. Wenn dies die Rate ist, mit der mein Gehalt steigt, wäre ich sicherlich nicht beeindruckt!
Sehen wir uns nun eine sehr kleine Stichprobe an, wobei y- und x-Werte aus der großen Stichprobe stammen. Säulen y_klein Und x_klein fünf Beobachtungen enthalten.
Im Diagramm in Abbildung 5 scheint es einen starken linearen Trend in den Daten zu geben. Beachten Sie jedoch, dass das klare Muster in den Daten, aber die Stichprobengröße sehr klein ist (n = 5).
Ausstellung 10 Regression für einen sehr kleinen Datensatz ( y_klein Und x_klein )
Ich bin sicher, Sie haben vielleicht erraten, wohin das alles führt.
Während das R 2 beträgt 64,2 %, was darauf hinweist, dass ein Großteil der Variation in y_klein kann durch die Regression auf erklärt werden x_klein , der p-Wert ist 0,1031. Dies bedeutet, dass es (bestenfalls) nur schwache Beweise dafür gibt, dass eine Linie zu den Daten passt. Was passiert also?
Bei einem kleinen Datensatz scheint eine Linie zwar zu den Daten zu passen, aber wir können den Zufall als alternative Erklärung für das offensichtliche Muster nicht ausschließen. P-Werte sind eine Möglichkeit, die Wahrscheinlichkeit abzuschätzen, dass der Zufall ein Muster wie dieses erzeugt haben könnte. Obwohl es ein Muster zu geben scheint, besteht eine Wahrscheinlichkeit von 10,04 %, dass wir ein so starkes oder sogar noch stärkeres Muster erhalten hätten, wenn die Punkte nur zufällig ohne echte Beziehung zwischen ihnen erzeugt worden wären x_klein Und y_klein .
Zusammenfassung
Statistische Erkenntnisse
Große Proben können subtile Muster erkennen, manchmal sind diese Muster nicht von praktischer Bedeutung. Sehr kleine p-Werte bedeuten nicht immer, dass etwas Wichtiges passiert, insbesondere wenn der Stichprobenumfang groß ist. Kleine Proben können ein relativ klares Muster anzeigen, aber wir können nicht sicher sein, dass das Muster echt ist und nicht durch zufällige Variationen entsteht. Große p-Werte bedeuten nicht immer, dass nichts passiert, insbesondere wenn die Stichprobengröße klein ist.
Auswirkungen
Einige der informativsten Ergebnisse in der Wissenschaft treten auf, wenn die Ergebnisse dem zu widersprechen scheinen, was wir über Aussagekraft und Stichprobengröße gesagt haben. Oft findet eine Pilotstudie mit einer sehr kleinen Stichprobengröße einen beobachtbaren Effekt. In solchen Fällen werden Wissenschaftler oft ermutigt, obwohl der p-Wert möglicherweise nicht besonders klein ist, weil trotz der geringen Aussagekraft des Tests etwas gefunden wurde. Solche Ergebnisse sind es oft wert, in einer größeren Studie weiterverfolgt zu werden.
Andererseits finden manchmal mehrere Studien mit großen Stichprobenumfängen keinen Effekt. Obwohl wir die Nullhypothese niemals bestätigen können, wenn mehrere wirklich große Studien alle keine Beweise für eine Wirkung liefern, sollten wir der Behauptung irgendwann sehr skeptisch gegenüberstehen.
Zum Beispiel glauben viele (wenn nicht die meisten) Basketball-Fans, dass einige Spieler heiße und kalte Shooting Streaks haben. Eine Gruppe von Kognitionspsychologen verwendete mehrere große Datensätze der NBA, um verschiedene Versionen dieser Behauptung zu testen. Sie fanden keine Hinweise auf Streak-Shooting („The Cold Facts About the ‚Hot Hand' in Basketball“, Amos Tversky und Thomas Gilovich, Chance, Bd. 2, 1989, Seiten 16-21). Obwohl wir nicht sagen können, dass kein Streak Shooting stattfindet (das würde bedeuten, die Nullhypothese zu bestätigen), erzeugen die Anzahl der verschiedenen Datensätze, die große Stichprobengröße der Datensätze, ergänzt durch ihre Erklärung dafür, warum Menschen Zufallsmuster falsch wahrnehmen, extreme Skepsis hin zum Streak-Shooting als Phänomen.
Bei kleinen Stichprobenumfängen (und damit geringer Aussagekraft) kann es wichtig sein, Hinweise auf einen Effekt zu finden. Wenn die Stichprobengrößen groß sind (also die Power hoch ist), ist es erwähnenswert, dass kein Effekt gefunden wird.
JMP ® Funktionen und Hinweise
In diesem Fall wurde die Verteilungsplattform verwendet, um Balkendiagramme und Häufigkeitsverteilungen zu erstellen, Konfidenzintervalle für Anteile zu erstellen und Anpassungstests durchzuführen.
Der Formeleditor wurde verwendet, um Zufallsdaten zur Veranschaulichung der Beziehung zu Stichprobengröße und Power in einer Regressionssituation zu generieren. Wir haben Fit Y by X verwendet, um Streudiagramme zu generieren und Regressionslinien anzupassen.
Übungen
- Für die Kerrich-Münzwurfübung ( Kerrich.jmp ), was ist die Grundgesamtheit und was ist die Stichprobe? Handelt es sich bei der Stichprobe um eine einfache Zufallsstichprobe? Wenn es sich bei der Stichprobe nicht um eine einfache Zufallsstichprobe handelt, denken Sie, dass es sich um eine repräsentative Stichprobe handelt? Warum oder warum nicht? Glaubst du, die Münzwürfe sind unabhängig?
- Karl Pearson, ein berühmter Statistiker, nach dem die Pearson-Teststatistik benannt ist, hat 24.000 Mal eine Münze geworfen, was 12.012 Köpfe ergab. Erstellen Sie eine Datentabelle in JMP und führen Sie eine Analyse dieser Daten ähnlich wie oben durch. Was ist Ihre Nullhypothese? Welche Schlussfolgerung(en) können Sie ziehen?
- In der großen Beispielprobe haben wir 251.000 Köpfe und 249.000 Schwänze beobachtet. Wir hätten (für eine faire Münze) 250.000 Kopf und 250.000 Zahl erwartet.
- Überprüfen Sie das Wahrscheinlichkeitsverhältnis und die Pearson-Teststatistiken mit den angegebenen Formeln:
- Viele Lehrbücher verwenden die folgende Teststatistik, um einen Test mit einem Anteil durchzuführen (für eine faire Münze):
Ho: p = p Ö gegen
Ha: p ≠ p Ö
Für diesen Test lautet die Teststatistik: Wo ist der Anteil der Köpfe in der Stichprobe, ist der hypothetische Anteil der Köpfe, und N ist die Stichprobengröße.
Berechnen z und verifizieren. Mit anderen Worten, bestätigen Sie, dass dies nur eine andere Form der Pearson-Teststatistik ist (Sie können auch überprüfen, ob die p-Werte gleich sind).
