HINWEIS: Dieser Artikel erschien ursprünglich in JMPer Cable, Ausgabe 15, Sommer 2004.
John Sall, geschäftsführender Vizepräsident, SAS Institute Inc.
Bradley Jones, JMP-Entwicklung
Jedes statistische Verfahren beinhaltet Annahmen. Es wird uns beigebracht, die Verletzung dieser Annahmen zu fürchten. Beispielsweise bedeutet die Standardprozedur zum Vergleichen die Zwei-Stichprobe t- teste das gepaart t -test und ANOVA enthalten alle die Annahme, dass der Restfehler normal verteilt ist. Wenn der Fehler normal verteilt ist und alle anderen Annahmen zutreffen, haben alle Teststatistiken ihre behaupteten Verteilungen, und Konfidenzintervallen und Hypothesentests kann vertraut werden. Wir verfügen sogar über eine Vielzahl von Analysetools, mit denen wir unsere Annahmen überprüfen können, z. B. die Funktionen der Distributionsplattform, mit denen die Normalverteilung getestet und grafisch dargestellt wird. Was ist, wenn die Residuen nicht normal verteilt sind? Wie sehr sollte sich ein Praktiker darum sorgen, ob die Reste normal sind? Wenige Artikel und weniger Bücher beschreiben detailliert, wie sehr Sie sich über die Normalitätsannahme Gedanken machen müssen.
Normalverteilte Residuen sind ein Problem, über das wir uns wahrscheinlich keine großen Sorgen machen müssen, weil:
- In großen Stichproben ist es leicht, Unnormalitäten zu erkennen, aber das spielt keine Rolle.
- In kleinen Stichproben ist die Nicht-Normalität zwar wichtig, aber Sie können sie nicht erkennen.
Bei großen Stichproben besagt der zentrale Grenzwertsatz, dass auch wenn die Daten nicht normal sind, sich die gemittelten Statistiken mit zunehmender Stichprobengröße den Normalverteilungen annähern. Bei kleinen Stichproben ist die Teststatistik nicht unbedingt normal, aber wir haben nicht genügend Stichproben, um dies zu beurteilen.
Die Entwickler von JMP werden häufig gebeten, einen Test auf Restnormalität durchzuführen, um unsere Anpassungsplattformen zu vereinfachen. Dies wäre jedoch nur dann sinnvoll, wenn Stichprobengrößen vorhanden wären, bei denen eine Nichtnormalität festgestellt und berücksichtigt werden könnte. Untersuchen wir das anhand einer Simulation.
Für unsere Simulation vergleichen wir die Mittelwerte zweier Gruppen mit zwei verschiedenen nicht normalen Fehlerverteilungen: einer doppelt exponentiellen und einer verschiebungskontaminierten Normalen. Das doppelte Exponential ist symmetrisch, aber leptokurtotisch, dh , viel höher und mit viel schwereren Schwänzen als die Normalverteilung. Die verschiebungskontaminierte Normalverteilung ist eine Normalverteilung, die durch Addition einer Verschiebung von drei Standardabweichungen in zufällig ausgewählten 5% der Stichproben nach rechts verschoben wird.
Das doppelte Exponential wird durch diese JMP-Formel simuliert:
if (randomUniform ()> 0,5,1, -
1) * log (randomUniform ())
Die Schicht-kontaminierte Verteilung verwendet diese JMP-Formel:
10 + 5 * (randomNormal () +
(randomUniform () <0,05) * 3)
Dies ist ein Merkmal starker, aber nicht extremer Nichtnormalitäten, die in realen Daten auftreten können.
In Abbildung 1 sind 10.000 Punkte des simulierten Doppelexponentials und in Abbildung 2 die verschiebungskontaminierten Verteilungen dargestellt. Die durchgezogene rote diagonale Linie ist eine Referenz dafür, wie die Daten aussehen würden, wenn sie einer Normalverteilung entsprechen. Beachten Sie, dass die Daten unterhalb der Linie für kleine Quantile und oberhalb der Linie für große Quantile liegen. Sein ist charakteristisch für leptokurtotische Verteilungen. Sie haben viel Wahrscheinlichkeitsmasse in der Mitte mit langen, aber dünn besiedelten Schwänzen.
Die Daten im normalen Quantildiagramm für die verschiebungskontaminierte Verteilung (Abbildung 2) liegen über der durchgezogenen roten Diagonale für große Quantile. Dies ist charakteristisch für Verteilungen mit Rechtsverzerrung. Wären die Daten normal verteilt worden, hätte das obere Ende des Histogramms um 30 herum geendet, anstatt ein wenig nach 40 fortzufahren.
Abb. 1: Verteilungsergebnisse für die doppelt exponentielle Verteilung.
Abb. 2: Verteilungsergebnisse für die Schichtkontaminationsverteilungen.
Ein JSL-Skript wurde ausgeführt, das 10.000 Monte-Carlo-Stichproben mit 10 Beobachtungen für diese beiden nicht normalen Verteilungen erzeugte. Jede Probe wurde in zwei gleich große Gruppen eingeteilt. Konstruktionsbedingt gibt es keinen Unterschied zwischen den Mitteln der beiden Gruppen. Wir haben auch 10.000 Proben für die Standardnormalverteilung als Kontrolle generiert. Für jede Probe führten wir eine Einweganalyse durch, um die Differenz der Mittelwerte und eine Verteilung zu testen, um die Normalität der Residuen zu testen. Wir haben dieses gesamte Verfahren für Proben der Größen 20, 30, 50, 70 und 100 wiederholt.
Test auf gleiche Mittelwerte, wenn es keinen Unterschied in den Populationsmitteln gibt
Schauen wir uns zunächst die Grundstücke unserer 10.000 an p -Werte für die nicht normalen Verteilungen. Denken Sie daran, dass unser Verfahren so konzipiert ist, dass sich die Mittelwerte für jede Probe nicht wirklich unterscheiden. Aufgrund von zufälligen Abweichungen kann die p -Werte für unsere 10.000 Einweganalysen sollten gleichmäßig zwischen Null und Eins verteilt werden. Die Gleichverteilungsfunktion ist die Diagonale F (x) = x.
Um die Diagramme in 3a und 3b zu erstellen, haben wir zuerst die 10.000 sortiert p -Werte. Das y -Achse ist der Anteil der 10.000 p -Werte kleiner oder gleich einer gegebenen Signifikanzwahrscheinlichkeit. Das x -Achse zeigt die Signifikanzwahrscheinlichkeiten ( p Werte). Jede Stichprobengröße wird in einer anderen Farbe angezeigt.
Abb. 3a: Wahrscheinlichkeitsdiagramm der p-Werte für die doppelt exponentielle Verteilung.
Abb. 3b: Wahrscheinlichkeitsdiagramm der p-Werte für die verschiebungskontaminierte Verteilung.
Für beide Diagramme und alle Stichprobengrößen gelten die Verteilungen der p -Werte liegen in der Nähe der Diagonalen der kumulativen Gleichverteilungsfunktion. Wie wir gehofft haben, hat weder eine Änderung der Verteilung noch der Stichprobengröße einen großen Einfluss auf die Genauigkeit der Signifikanzwahrscheinlichkeit des ANOVA-Tests für gleiche Mittelwerte.
Schauen wir uns die niedrige Skala bei 0,05 genauer an, in der wir die Bedeutung beurteilen. Die Darstellungen in 4a und 4b vergrößern den Bereich.
Abb. 4a: Vergrößerte Darstellung des p-Wert-Wahrscheinlichkeitsdiagramms für eine nicht normale doppelt exponentielle Verteilung. 
Abb. 4b: Vergrößerte Darstellung des p-Wert-Wahrscheinlichkeitsdiagramms für eine nicht normalverschiebungskontaminierte Verteilung.
Es ist zu beachten, dass die rote diagonale Linie, die der Prüfung auf Mittelgleichheit für zwei Gruppen mit fünf Beobachtungen entspricht, etwas unterhalb der Linie y = x liegt. Was bedeutet das?
Wir wissen, dass wir, wenn wir eine Signifikanzwahrscheinlichkeit von 0,05 wählen, die Hypothese ablehnen, dass unsere Mittelwerte in 5% unserer Experimente aufgrund von Zufallsschwankungen gleich sind, auch wenn die Mittelwerte wirklich gleich sind. Das heißt, in 5% der Fälle werden wir einen Fehler vom Typ I machen - wir werden die Hypothese ablehnen, dass die Mittelwerte gleich sind, wenn die Hypothese wahr ist.
Diese 5% -Fehlerrate vom Typ I ist eingebaut und was wir erwarten, wenn wir eine Signifikanzwahrscheinlichkeit von 0,05 wählen. Wenn dies nach zu vielen Fehlern aussieht, müssen Sie eine geringere Signifikanzwahrscheinlichkeit wählen.
Wenn die rote diagonale Linie die vertikale gepunktete Linie x = 0,05 kreuzt, ist ihre y -Wert ist 0,043. Das bedeutet, dass wir anstatt der Hypothese, dass unsere Mittel 5% der Zeit entsprechen, nur 4,3% der Zeit abgelehnt haben. Wir nennen dies ein konservatives Ergebnis, da wir weniger Fehler vom Typ I machen, als wir erwarten. Wenn Sie vermissen werden, ist es besser, konservativ zu vermissen.
Andererseits wird angenommen, dass eine Linie die vertikale gepunktete Linie bei 0,05 bei einem CumProb-Wert von 0,06 gekreuzt hat. Anstatt die erwarteten 5% Fehler vom Typ I zu sehen, würden wir dann tatsächlich 6% Fehler vom Typ I sehen. Wir bezeichnen einen solchen Test als zu liberal, da die tatsächliche Fehlerrate höher ist als erwartet.
Es ist beruhigend, dass die Linien in dem einzigen Fall, in dem sie von der 45-Grad-Linie abweichen, eher konservativ sind. Der schichtverseuchte Fall hat auch die n = 10 Fall verschoben auf die konservative Seite, aber nicht so sehr als das doppelte Exponential.
Abbildung 5 zeigt die Monte-Carlo-Simulation mit einer reinen Normalkurve, um die natürliche Zufallsvariation in der Monte-Carlo-Studie darzustellen.
Abb. 5: Vergrößerte Darstellung des p-Wert-Wahrscheinlichkeitsdiagramms für die Standardnormalverteilung.
Nicht-Normalität testen
Die nächste Frage ist, ob wir feststellen können, dass Fehler nicht normal sind. Wir beginnen mit der Berechnung der Residuen aus jeder Einweganalyse, die wir zuvor durchgeführt haben. Auf der Distributionsplattform testen wir diese Residuen auf Normalität. Daher führen wir für jede Verteilung und Stichprobengröße 10.000 Shapiro-Wilks-Tests auf Normalität durch. Die Darstellungen in 6 zeigen den kumulativen Prozentsatz der Ergebnisse des Normalitätstests als Funktion der Signifikanzwahrscheinlichkeit im Shapiro-Wilks-Test.
Abb. 6: Leistungsdiagramme von Shapiro-Wilkes-Tests für nicht normale Verteilungen.
Was sagen uns diese Grundstücke? Erstens wissen wir, dass sowohl im doppelt exponentiellen als auch im verschiebungskontaminierten Normalfall die Verteilung der Residuen nicht normal ist. Wir möchten wissen, wie wahrscheinlich es ist, dass unser Test diese Nichtnormalität erkennt. Mit anderen Worten, wir möchten wissen, wie leistungsfähig unser Test ist.
Ein perfekter Test hätte eine Grafik, die dem griechischen Buchstaben Gamma ähnelt,,. Im Gegensatz dazu würde ein Test ohne Potenz einen Graphen haben, der wie eine diagonale Linie aussieht.
Bei doppelt exponentiell verteilten Residuen können wir sehen, dass der Graph für die Stichprobe von 100 Beobachtungen ganz links wie gewünscht schnell ansteigt. Leider verschlechtert sich die Ähnlichkeit des Graphen mit Γ, wenn die Probengröße abnimmt. Bei einer Stichprobengröße von 10 ähnelt die Funktion eher der Diagonalen (keine Erkennungsleistung).
Für die verschiebungskontaminierten normalverteilten Residuen ist die Nachweisleistung des Shapiro-Wilks-Tests bei jeder Probengröße schlechter.
Wenn die Residuen wirklich normal sind, wie in Abbildung 7 dargestellt, sehen wir für jede Stichprobengröße eine diagonale Linie. Das wollen wir. Wir möchten keine nicht existierende Nicht-Normalität entdecken. Hier ist die „Kraft“ des Tests die Wahrscheinlichkeit eines Fehlers vom Typ I. Es ist unmöglich, dass ein Test weniger leistungsfähig ist.
Abb. 7: Leistungsdiagramm des Shapiro-Wilkes-Tests für die Standardnormalverteilung.
Nun erweitern wir die p -Wertbereich, damit wir die Leistung bei alpha = 0,05 untersuchen können, wie in den Abbildungen 8a und 8b gezeigt. Die untere Kurve (Stichprobengröße n = 10) in 8 kreuzt die vertikale Gitterlinie x = 0,05 mit dem Wert 0,10. Dies bedeutet, dass Sie bei einer Shapiro-Wilks-Signifikanzwahrscheinlichkeit von 0,05 mit einer Wahrscheinlichkeit von 10% feststellen können, dass die Residuen nicht normal sind. Wir sagen, dass die Leistung des Shapiro-Wilks-Tests 10% beträgt. Das ist nicht beeindruckend.
Abb. 8a: Leistungsdiagramme mit erweitertem Maßstab für doppelt exponentielle nicht normale Verteilung.
Abb. 8b: Leistungsdiagramm in vergrößertem Maßstab für schichtkontaminierte nicht normale Verteilung.
Dies lässt sich auch so ausdrücken, dass die Wahrscheinlichkeit eines Fehlers vom Typ II 90% beträgt. Das heißt, dass der Shapiro-Wilks-Test (angesichts dieser Fehlerverteilung und des Signifikanzniveaus) in 90% der Fälle die Hypothese normaler Residuen fälschlicherweise nicht zurückweist.
Im Gegensatz dazu ist die obere Kurve (Stichprobengröße n = 100) kreuzt die vertikale Gitterlinie x = 0,05 mit dem Wert 0,78. Die Leistung dieses Tests beträgt also fast 80%.
Die Leistungskurven haben eine ähnliche Form für die verschiebungsverschmutzten normalen Residuen, aber die resultierende Leistung ist noch geringer. Zum Beispiel kreuzt die obere Kurve (Stichprobengröße n = 100) die 0,05-Linie bei etwa 0,63 (die Leistung beträgt 63%).
Wir sehen also, dass bei einer kleinen Anzahl von Beobachtungen keine Abweichungen festgestellt werden können. Für eine große Anzahl von
Beobachtungen, die Sie nicht interessieren, wenn die Fehler nicht normal sind, da unsere simulierte Fehlerrate vom Typ I der erwarteten Rate für große Stichprobengrößen entsprach.
Diese Studie würde tendenziell dazu beitragen, keinen Test für die Normalität der Anpassungsplattformen zu implementieren. Das Einbeziehen dieser Funktion würde die Leute nur ermutigen, sich um etwas zu kümmern, das sie entweder nicht sehen können oder das keine Rolle spielt.
Anders verhält es sich mit grafischen und diagnostischen Merkmalen für die Restverteilung. Anstatt zu testen, suchen Sie nach grafischen Anomalien wie Ausreißern oder einem Muster, das möglicherweise ein Hinweis auf eine verborgene Struktur des Modus ist. Ausreißer und Muster sind oft der Hauptanhaltspunkt für eine wichtige Entdeckung.
Eines der Gebote von W. Edwards Deming lautete: "Vertreibe die Angst", aber als Statistiker machen wir normalerweise das Gegenteil, was unseren Kunden und Schülern irrationale Ängste einflößt. Mit dieser Studie, die Sie leicht wiederholen können, hoffe ich, dass Sie jetzt mutig genug sind, gegen die „Leptokurtosiphobie“ zu kämpfen.
Ist es nicht schön, sich um etwas weniger Sorgen zu machen?
