HINWEIS: Dieser Artikel erschien ursprünglich in JMPer Cable, Ausgabe 15, Sommer 2004.
John Sall, Executive Vice President, SAS Institute Inc. @John_Sall
Bradley Jones, JMP-Entwicklung @bradleyjones
Jedes statistische Verfahren beinhaltet Annahmen. Uns wird beigebracht, die Verletzung dieser Annahmen zu fürchten. Zum Beispiel die Standardverfahren zum Vergleichen von Mittelwerten, die Zwei-Stichprobe t- Test, die gepaart t -test und ANOVA beinhalten alle die Annahme, dass der Restfehler normalverteilt ist. Wenn der Fehler normal verteilt ist und alle anderen Annahmen zutreffen, dann haben alle Teststatistiken ihre behaupteten Verteilungen, und Konfidenzintervallen und Hypothesentests kann vertraut werden. Wir haben sogar eine reichhaltige Quelle an Analysewerkzeugen, um unsere Annahmen zu überprüfen, wie z. B. die Funktionen in der Verteilungsplattform, die die Normalverteilung testen und grafisch darstellen. Was ist, wenn die Residuen nicht normalverteilt sind? Wie sehr sollte sich ein Arzt Sorgen darüber machen, ob die Residuen normal sind? Nur wenige Artikel und weniger Bücher gehen im Detail darauf ein, wie sehr man sich über die Normalitätsannahme Sorgen machen muss.
Normalverteilte Residuen sind ein Problem, über das wir uns wahrscheinlich keine großen Gedanken machen müssen, weil:
- In großen Stichproben ist es leicht, Nicht-Normalität zu erkennen, aber es spielt keine Rolle.
- In kleinen Stichproben kann die Nichtnormalität eine Rolle spielen, aber Sie können sie nicht erkennen.
Bei großen Stichproben besagt der zentrale Grenzwertsatz, dass selbst wenn die Daten nicht normal sind, mittelwertähnliche Statistiken sich Normalverteilungen annähern, wenn die Stichprobengröße zunimmt. Bei kleinen Stichproben ist die Teststatistik nicht unbedingt normal, aber wir haben keine Stichprobe, die groß genug ist, um dies zu sagen.
JMP-Entwickler erhalten häufig Anfragen, einen Test auf Restnormalität als Komfortfunktion für unsere Anpassungsplattformen zu implementieren. Dies wäre jedoch nur dann sinnvoll, wenn es Stichprobenumfänge gäbe, für die Nicht-Normalität erkannt werden könnte und von Bedeutung wäre. Lassen Sie uns untersuchen, indem wir eine Simulation verwenden.
Für unsere Simulation vergleichen wir die Mittelwerte zweier Gruppen unter Verwendung zweier unterschiedlicher nicht-normaler Fehlerverteilungen: einer doppelt exponentiellen und einer verschiebungsverschmutzten Normalverteilung. Die doppelte Exponentialfunktion ist symmetrisch, aber leptokurtotisch, dh , viel spitzer und mit viel schwereren Ausläufern als die Normalverteilung. Die Shift Contamination Normal ist eine nach rechts verzerrte Normalverteilung durch Hinzufügen einer Verschiebung um drei Standardabweichungen in zufällig ausgewählten 5 % der Stichproben.
Die doppelte Exponentialfunktion wird durch diese JMP-Formel simuliert:
if(randomUniform()>0.5,1,-1)*log(randomUniform())
Die Schicht-kontaminierte Verteilung verwendet diese JMP-Formel:
10+5*(randomNormal() + (randomUniform()<0.05)*3)
Diese sollen charakteristisch für eine starke, aber nicht extreme Nichtnormalität sein, die Sie möglicherweise in realen Daten sehen.
Abbildung 1 zeigt 10.000 Punkte der simulierten doppelten Exponentialfunktion und Abbildung 2 zeigt die Verschiebungs-kontaminierten Verteilungen. Die durchgezogene rote diagonale Linie ist eine Referenz dafür, wie die Daten aussehen würden, wenn sie einer Normalverteilung entsprechen würden. Beachten Sie, dass die Daten für kleine Quantile unter die Linie und für große Quantile über die Linie fallen. Seine ist charakteristisch für leptokurtotische Verteilungen. Sie haben viel Wahrscheinlichkeitsmasse in der Mitte mit langen, aber dünn besetzten Schwänzen.
Die Daten im normalen Quantil-Plot für die Verschiebungs-kontaminierte Verteilung (Abbildung 2) fallen für große Quantile über die durchgezogene rote diagonale Linie. Dies ist charakteristisch für rechtsschiefe Verteilungen. Wären die Daten normalverteilt gewesen, hätte die Spitze des Histogramms bei etwa 30 geendet, anstatt sich etwas über 40 hinaus fortzusetzen.
Fig. 1: Distribution results for the double-exponential distribution.Abb. 1: Verteilungsergebnisse für die Doppelexponentialverteilung.
Fig. 2: Distribution results for the shift-contaminate distributions.Abb. 2: Verteilungsergebnisse für die Schicht-Schmutz-Verteilungen.
Ein JSL-Skript wurde ausgeführt, das 10.000 Monte-Carlo-Stichproben mit 10 Beobachtungen für diese beiden Nicht-Normalverteilungen generierte.Das Skript (MonteCarlo.jsl) ist beigefügt. (HINWEIS: Das Ausführen des Skripts dauert eine Weile.) Jede Probe wurde in zwei Gruppen gleicher Größe aufgeteilt. Absichtlich gibt es keinen Unterschied zwischen den Mittelwerten der beiden Gruppen. Wir haben auch 10.000 Stichproben für die Standardnormalverteilung als Kontrolle generiert. Für jede Stichprobe führten wir eine Einweganalyse durch, um die Differenz der Mittelwerte zu testen, und eine Verteilung, um die Normalität der Residuen zu testen. Wir wiederholten dieses gesamte Verfahren für Proben der Größe 20, 30, 50, 70 und 100.
Test auf gleiche Mittelwerte, wenn es keinen Unterschied in den Mittelwerten der Grundgesamtheit gibt
Schauen wir uns zunächst die Parzellen unserer 10.000 an p -Werte für die Nicht-Normalverteilungen. Denken Sie daran, dass unser Verfahren so konzipiert ist, dass es keinen wirklichen Unterschied in den Mittelwerten für jede Probe gibt. Aufgrund zufälliger Schwankungen, die p -Werte für unsere 10.000 Einweganalysen sollten gleichmäßig zwischen null und eins verteilt sein. Die Gleichverteilungsfunktion ist die Diagonale F(x) = x.
Um die Diagramme in den Abbildungen 3a und 3b zu erstellen, haben wir zuerst die 10.000 sortiert p -Werte. Das j -Achse ist der Anteil der 10.000 p -Werte kleiner oder gleich einer gegebenen Signifikanzwahrscheinlichkeit. Das x -Achse zeigt die Signifikanzwahrscheinlichkeiten ( p Werte). Jede Probengröße wird in einer anderen Farbe angezeigt.
Fig. 3a: Probability plot of p-values for the double-exponential distribution.Abb. 3a: Wahrscheinlichkeitsplot der p-Werte für die Doppelexponentialverteilung.
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Abb. 3b: Wahrscheinlichkeitsdiagramm der p-Werte für die Schicht-kontaminierte Verteilung.
Für beide Diagramme und alle Stichprobenumfänge sind die Verteilungen der p -Werte ähneln der diagonalen Linie der gleichmäßigen kumulativen Verteilungsfunktion. Wie wir gehofft haben, hat weder das Ändern der Verteilung noch das Ändern des Stichprobenumfangs große Auswirkungen auf die Genauigkeit der Signifikanzwahrscheinlichkeit des ANOVA-Tests für gleiche Mittelwerte.
Schauen wir uns die niedrige Skala nahe 0,05 genauer an, wo wir die Signifikanz beurteilen. Die Diagramme in Abbildung 4a und 4b vergrößern den Bereich.
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Abb. 4a: Erweiterte Ansicht des p-Wert-Wahrscheinlichkeitsplots für nicht-normale Doppelexponentialverteilung.
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution. Abb. 4b: Erweiterte Ansicht des p-Wert-Wahrscheinlichkeitsplots für nicht-normalverschiebungskontaminierte Verteilung.
Beachten Sie, dass die rote diagonale Linie, die dem Test auf Gleichheit der Mittelwerte für zwei Gruppen mit fünf Beobachtungen entspricht, leicht unterhalb der Linie y = x verläuft. Was bedeutet das?
Wir wissen, dass wir, wenn wir eine Signifikanzwahrscheinlichkeit von 0,05 wählen, die Hypothese verwerfen werden, dass unsere Mittelwerte in 5 % unserer Experimente aufgrund der Launen des Zufalls gleich sind, selbst wenn die Mittelwerte wirklich gleich sind. Das heißt, in 5 % der Fälle werden wir einen Fehler erster Art machen – wir werden die Hypothese ablehnen, dass die Mittelwerte gleich sind, wenn die Hypothese wahr ist.
Diese 5 %-Fehlerquote 1. Art ist eingebaut und das, was wir erwarten, wenn wir eine Signifikanzwahrscheinlichkeit von 0,05 wählen. Wenn dies wie zu viele Fehler erscheint, müssen Sie eine kleinere Signifikanzwahrscheinlichkeit wählen.
Wenn die rote diagonale Linie die vertikale gepunktete Linie x = 0,05 kreuzt, ist es j -Wert ist 0,043. Das bedeutet, dass wir die Hypothese, dass unsere Mittel in 5 % der Fälle gleich sind, nur in 4,3 % der Fälle verworfen haben. Wir nennen dies ein konservatives Ergebnis, weil wir weniger Fehler 1. Art machen, als wir erwarten. Wenn Sie verfehlen, ist es besser, konservativ zu verfehlen.
Nehmen wir andererseits an, dass eine Linie die vertikale gepunktete Linie bei 0,05 bei einem CumProb-Wert von 0,06 gekreuzt hat. Dann würden wir statt der erwarteten 5 % der Fehler 1. Art tatsächlich 6 % der Fehler 1. Art sehen. Wir nennen einen solchen Test zu liberal, weil die wahre Fehlerrate größer ist als erwartet.
Beruhigend ist, dass es sich in dem einzigen Fall, in dem die Linien von der 45-Grad-Linie abweichen, auf der konservativen Seite befindet. Das Schichtverseuchte Gehäuse hat das auch n =10 Fall auf die konservative Seite verschoben, aber nicht so sehr wie die doppelte Exponentialfunktion.
Abbildung 5 zeigt die Monte-Carlo-Simulation mit einer reinen Normalkurve, um die natürliche Zufallsvariation in der Monte-Carlo-Studie zu zeigen.
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Abb. 5: Erweiterte Ansicht des p-Wert-Wahrscheinlichkeitsplots für die Standardnormalverteilung.
Testen der Nichtnormalität
Die nächste Frage ist, ob wir erkennen können, dass Fehler nicht normal sind. Wir beginnen mit der Berechnung der Residuen aus jeder Einweganalyse, die wir zuvor durchgeführt haben. Unter Verwendung der Verteilungsplattform testen wir diese Residuen auf Normalität. Daher führen wir für jede Verteilung und Stichprobengröße 10.000 Shapiro-Wilks-Tests auf Normalverteilung durch. Die Diagramme in Abbildung 6 zeigen den kumulativen Prozentsatz der Normalitätstestergebnisse als Funktion der Signifikanzwahrscheinlichkeit im Shapiro-Wilks-Test.
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Abb. 6: Potenzdiagramme von Shapiro-Wilkes-Tests für Nicht-Normalverteilungen.
Was sagen uns diese Plots? Erstens wissen wir, dass sowohl im doppelt exponentiellen Fall als auch im verschiebungsverunreinigten Normalfall die Verteilung der Residuen nicht normal ist. Wir möchten wissen, wie wahrscheinlich es ist, dass unser Test diese Nichtnormalität erkennt. Mit anderen Worten, wir möchten wissen, wie leistungsfähig unser Test ist.
Ein perfekt aussagekräftiger Test hätte ein Diagramm, das wie der griechische Buchstabe Gamma, Γ, aussieht.Im Gegensatz dazu würde ein Test ohne Power ein Diagramm haben, das wie eine diagonale Linie aussieht.
Für doppelt exponentiell verteilte Residuen können wir sehen, dass der Graph für die Stichprobe von 100 Beobachtungen ganz links wie gewünscht schnell ansteigt. Leider verschlechtert sich die Ähnlichkeit des Diagramms mit Γ, wenn die Stichprobengröße sinkt. Wenn die Stichprobengröße 10 ist, sieht die Funktion viel mehr wie die diagonale Linie aus (keine Erkennungsleistung).
Für die verschiebungskontaminierten normalverteilten Residuen ist die Erkennungsleistung des Shapiro-Wilks-Tests für jede Stichprobengröße schlechter.
Wenn die Residuen wirklich normal sind, wie in Abbildung 7 dargestellt, sehen wir eine diagonale Linie für jede Stichprobengröße. Das wollen wir. Wir möchten keine nicht existierende Nicht-Normalität entdecken. Hier ist die „Stärke“ des Tests die Wahrscheinlichkeit eines Typ-I-Fehlers. Es ist unmöglich, dass ein Test weniger leistungsfähig ist als dieser.
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Abb. 7: Potenzdiagramm des Shapiro-Wilkes-Tests für die Standardnormalverteilung.
Jetzt erweitern wir die p -Wertbereich, sodass wir die Leistung bei Alpha = 0,05 untersuchen können, wie in den Abbildungen 8a und 8b gezeigt. Die untere Kurve (Stichprobengröße n = 10) in Abbildung 8 schneidet die vertikale Gitterlinie x=0,05 beim Wert 0,10. Das bedeutet, dass Sie bei einer Signifikanzwahrscheinlichkeit von Shapiro-Wilks von 0,05 eine Chance von 10 % haben, die Tatsache zu erkennen, dass die Residuen nicht normal sind. Wir sagen, dass die Aussagekraft des Shapiro-Wilks-Tests 10 % beträgt. Das ist nicht beeindruckend.
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Abb. 8a: Potenzdiagramme im erweiterten Maßstab für doppelt-exponentielle Nicht-Normalverteilung.
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Abb. 8b: Potenzdiagramm im erweiterten Maßstab für verschiebungskontaminierte Nicht-Normalverteilung.
Anders gesagt: Die Wahrscheinlichkeit eines Fehlers 2. Art beträgt 90 %. Das heißt, dass der Shapiro-Wilks-Test (bei dieser Fehlerverteilung und diesem Signifikanzniveau) in 90 % der Fälle die Hypothese normaler Residuen nicht zurückweisen kann.
Im Gegensatz dazu ist die obere Kurve oben (Stichprobengröße n = 100) schneidet die vertikale Gitterlinie x=0,05 beim Wert 0,78. Die Aussagekraft dieses Tests beträgt also fast 80 %.
Die Leistungskurven haben eine ähnliche Form für die verschiebungskontaminierten normalen Residuen, aber die resultierende Leistung ist sogar noch geringer. Beispielsweise schneidet die obere Kurve (Stichprobengröße n = 100) die 0,05-Linie bei etwa 0,63 (Stärke beträgt 63 %).
Wir sehen also, dass Sie für eine kleine Anzahl von Beobachtungen keine Nichtnormalität erkennen können. Bei einer großen Anzahl von Beobachtungen ist es Ihnen egal, ob die Fehler nicht normal sind, da unsere simulierte Fehlerrate 1. Art der erwarteten Rate für große Stichprobenumfänge entsprach.
Diese Studie würde tendenziell dafür sprechen, keinen Test auf Normalität in den Anpassungsplattformen zu implementieren. Die Einbeziehung dieser Funktion würde die Leute nur dazu ermutigen, sich über etwas Sorgen zu machen, das sie entweder nicht sehen können oder das keine Rolle spielt.
Grafische und diagnostische Merkmale für die Residuenverteilung einzufügen ist eine andere Sache. Anstatt zu testen, suchen Sie nach grafischen Anomalien wie Ausreißern oder einem Muster, das ein Hinweis auf eine verborgene Struktur des Modus sein könnte. Ausreißer und Muster sind oft der Haupthinweis auf eine wichtige Entdeckung.
Eines der Gebote von W. Edwards Deming war „Angst vertreiben“, aber als Statistiker tun wir normalerweise das Gegenteil, indem wir unseren Kunden und Studenten irrationale Ängste einflößen. Mit dieser Studie, die Sie leicht kopieren können, hoffe ich, dass Sie jetzt mutig genug sind, um gegen „Leptokurtosiphobie“ anzukämpfen.
Ist es nicht schön, eine Sorge weniger zu haben?
