Shapiro-Wilk-Test für Proben größer als 2000?Auf der JMP-Hilfeseite heißt es: „ Für Normalverteilungen ist die Schapiro -Der Wilk-Test auf Normalität wird auch gemeldet, wenn die Stichprobengröße weniger als 2000 beträgt und es keine festen Parameter gibt. "
Ich habe einen Kunden, der manchmal Proben von mehr als 2000 hat, aber seine internen Verfahren sagen ihm, dass er den Shapiro-Wilk-Test verwenden soll. Mehrere Online-Quellen nennen 5000 Beobachtungen als Obergrenze für die Stichprobengröße für diesen Test. Mein Kunde hat gefragt, warum JMP die Verfügbarkeit des Shaipiro-Wilk-Tests auf 2000 Beobachtungen beschränkt. Würde die Berechnung zu lange dauern? Oder gibt es einen anderen Grund?
Betreff: Shapiro-Wilk-Test für Proben größer als 2000?Wenn ich mich richtig erinnere, müssen die p-Werte durch Simulation oder Annäherung generiert werden. Könnte sein, dass wir nur Werte bis N=2000 generiert haben.
Betreff: Shapiro-Wilk-Test für Proben größer als 2000?Das wüsste nur der Entwickler.Als @DonMcCormack erwähnt, dass der p-Wert für diesen Test simuliert wird. SAS begrenzt auch die Stichprobengröße <=2000; für n>2000 ist der Test nicht verfügbar; Siehe Details PROC UNIVARIATE: Anpassungstests (sas.com)
Betreff: Shapiro-Wilk-Test für Proben größer als 2000?Hier ist eine nette Referenz, die verschiedene Arten von Normalitätstests beschreibt und vergleicht ( https://www.tandfonline.com/doi/pdf/10.1080/00949655.2010.520163 ).Wir hatten den SW-Test kurzzeitig entfernt (ich glaube in v14 oder 15.0), brachten ihn aber in v15.1 für Stichprobengrößen unter 2000 zurück. Meine Frage ist, warum sie mit einer so großen Stichprobengröße auf Normalität testen?Für Stichprobenstatistiken wird das zentrale Theorem für sie funktionieren und für Analysen, bei denen die tatsächliche Verteilung von Bedeutung ist (Schätzung von Toleranzintervallen, Perzentilen, Regelkarten vielleicht?). dann sollte die empirische Statistik in Ordnung sein.
Betreff: Shapiro-Wilk-Test für Proben größer als 2000?Danke @SamGardner Ich habe ihm gegenüber erwähnt, dass der Test bei einer so großen Stichprobengröße wahrscheinlich schon bei der kleinsten Abweichung von der Normalität signifikant sein würde. Er erkannte das und stimmte zu, und ich drängte nicht mehr. Er ist Statistiker bei Abbott Laboratories. Ich werde die von Ihnen bereitgestellten Informationen verwenden, um mit ihm in Kontakt zu treten. Danke @DonMcCormack Und @jiancao auch für die Beantwortung.
Betreff: Shapiro-Wilk-Test für Proben größer als 2000?Der Wikipedia-Artikel zu diesem Test gibt mehr Details und Hintergrund.Der Grund für die Begrenzung auf 2000 liegt darin, dass die Teststatistik Koeffizienten verwendet, die auf dem erwarteten Wert von und dem Kehrwert der Kovarianzmatrix der Standard-Normalverteilungsordnungsstatistik basieren.Dies ist rechenintensiv, und als das Verfahren zum ersten Mal vorgeschlagen wurde, war dies für große Stichprobenumfänge nicht durchführbar.Die SW wurde ursprünglich für Stichprobenumfänge bis zu 50 vorgeschlagen. Royston entwickelte Ende der 80er/Anfang der 90er Jahre eine ungefähre Methode zur Berechnung dieser Koeffizienten oder Stichprobenumfänge von n=3 bis n=1999.Ich konnte keine andere Forschung finden, die den SW-Test auf größere Stichproben erweitert hat.
Betreff: Shapiro-Wilk-Test für Proben größer als 2000?Ich beschäftige mich gerade etwas intensiver damit für einen anderen Kunden und wollte die Gelegenheit nutzen, meine Gedanken zu festigen und euch dafür zu danken, dass ihr dies in der Community gepostet habt. Um es noch einmal zu wiederholen: Gemäß dem SAS-Dokument wird eine normalisierende Transformation auf die [Shapiro-Wilk] W-Teststatistik angewendet, um die p-Werte für den Test zu bestimmen (für eine Stichprobengröße n ≥ 4).Die bei dieser Normalisierungstransformation verwendeten Konstanten werden aus Simulationsergebnissen abgeleitet, die von n abhängen. Die p-Werte selbst werden für den Test jedoch nicht simuliert.Die Konstanten gelten bis zu einem n von 1.999; Daher wird der Test für n ≥ 2000 nicht in JMP oder SAS berechnet. Ich denke, wir hätten bis zu 5000 erreichen können, und ich vermute, dass es sich nur um einen historischen Präzedenzfall handelt (der möglicherweise aus einer Veröffentlichungsreferenz stammt oder auch nicht).Warum sollte man es aber auf eine „große“ Stichprobengröße begrenzen? (abgesehen von den rechnerischen Einschränkungen zum Zeitpunkt der Entwicklung der Methode, wie z @SamGardner genannt)
Für SW hängt es nicht mit der Berechnungszeit zusammen (obwohl dies für AD der Fall ist). Ich glaube, es hängt mit der Tatsache zusammen, dass W mithilfe einer Kovarianzberechnung berechnet wird (auf der Matrix der Statistik normaler Ordnung als). @SamGardner genannt).Die Kovarianz nimmt mit zunehmendem n (oder dof) zu, und dies kann die Schätzung der Teststatistik verzerren (indem der Standardfehler erhöht wird).2000 mag eine willkürliche Wahl gewesen sein, aber die Idee bei der Obergrenze ist, dass wir das Risiko einer Kovarianzinflation minimieren wollen, sodass die W-Teststatistik (die eine Funktion von n ist) ein erwartungstreuer Schätzer ist (über Tausende von Stichproben der Größe n). ).Das ist meine Meinung dazu.
Stimmen Sie den Vorsichtsmaßnahmen zur Durchführung von Normalitätstests bei einer so großen Stichprobe zu.Natürlich kommt es auf die Anwendung an, aber in meinem Med-Device-Produkthersteller. Erfahrungsgemäß habe ich noch nie erlebt, dass so große Stichproben aus einem kontinuierlichen Prozess stammen (also einem mit nur einer Variabilitätsquelle).
(Folien mit freundlicher Genehmigung von JMP Education)
Normalerweise sieht es stattdessen so aus, dass Sie das Wort „Charge“ durch „Los“ ersetzen können (und die Losgrößen typischerweise in der Größenordnung von mehreren Hundert lagen).
Betreff: Shapiro-Wilk-Test für Proben größer als 2000?Die Berechnungszeitbeschränkung liegt in der Zeit, die benötigt wird, um tatsächlich Simulationen oder numerische Integrations- und Matrixoperationen zur Bestimmung der SW-Koeffizienten zu verwenden.Ich habe einen Simulationsansatz ausprobiert und das Diagramm der Rechenzeit vs. n wird hier gezeigt.Außerdem steigen die Speicheranforderungen, zumindest in der Größenordnung von n^2, sodass dies einfach nicht mehr möglich ist.Außerdem müssen Sie für jede Stichprobengröße n eine Liste von n zu verwendenden Koeffizienten speichern, sodass der insgesamt benötigte Speicher um n*(n+1)/2 wächst, was ebenfalls der Ordnung n^2 entspricht.
Aber @PatrickGiuliano Es ist richtig, dass dies mit modernen Computern wahrscheinlich auf Stichprobengrößen über 2000 ausgeweitet werden könnte, aber nicht dramatisch.
