Zentraler Grenzwertsatz – eine naive FrageDiese Frage bezieht sich nicht auf JMP selbst, sondern stellt vielmehr eine grundsätzliche Interpretationsfrage dar. Ich verstehe, dass aufgrund des Phänomens, das wir CLT nennen, bei der Stichprobenziehung einer Grundgesamtheit immer eine Normalverteilung der resultierenden Mittelwerte angestrebt wird, wobei sich der Gesamtmittelwert und die Standardabweichung dem Grundgesamtheitsmittelwert und der Standardabweichung annähern, unabhängig davon, wie die Grundgesamtheitsdaten verteilt sind (verzerrt oder normal), vorausgesetzt jedoch, dass eine ausreichende Anzahl von Wiederholungsproben entnommen wird (≥30). Darüber hinaus nimmt mit zunehmender Größe jeder Stichprobe die Genauigkeit des geschätzten Mittelwerts und der SD zu. Ich verstehe auch, dass man eine solche Mehrfachstichprobe nicht durchführen muss, da die CLT in parametrischen Tests untergebracht ist. Was ich zu verstehen versuche, ist, ob es einen Grenzwert für die Stichprobengröße gibt, oberhalb dessen kategorisch von Normalität ausgegangen werden kann, ohne dass Tests erforderlich sind. Zweitens, und möglicherweise ohne Zusammenhang mit der Forderung der Zeitschrift The American Statistician, die Signifikanzschwellenwerte (p<0,05) zugunsten der Angabe tatsächlicher p-Werte zu senken und auf die Verwendung des Begriffs „statistisch signifikant“ zu verzichten, wie funktioniert das? Kann man dann das Ergebnis beispielsweise bei der Bestätigung der Normalverteilung bestimmen, beispielsweise durch Shapiro-Wilk-Tests? Gibt es dort auch eine graue Linie?
Betreff: Zentraler Grenzwertsatz – eine naive Frage@34South : Was meinen früheren Beitrag betrifft, in dem ich „Mononumerose“ erwähnte, als ich Wissenschaftlern und Ingenieuren statistische Methoden im Rahmen einer industriellen Problemlösung oder Produkt-/Prozessentwicklung beibrachte, umgab ich meine Erwähnung der Krankheit mit etwas, das ich „The Gap“ nannte. „The Gap“ erkennt an, dass es hypothetisch zwei Arten von Risiken gibt, die mit JEDEM Entscheidungsprozess verbunden sind. Ich denke, dass die Liste der ASA „...Not To...“ stark mit „The Gap“ übereinstimmt. Die zwei Arten von Risiken sind:
1. Statistisches Risiko; Welches Risiko können wir mithilfe von Techniken wie Stichprobengröße, Annahmen zur Populationsvarianz, Betarisiko, zu erkennendem Delta usw. quantifizieren und strukturell angehen? Hypothesentests gipfeln in p-Werten als Leitfaden für die Entscheidungsfindung und der Aussage „...statistische Signifikanz“. '
2. Repräsentationsrisiko; Das sind ALLE anderen kumulativen Effekte von Systemmerkmalen, die ein mit der Entscheidungsfindung verbundenes „Risiko“ mit sich bringen. Diese Risikogruppe überschwemmt meiner Erfahrung nach oft das statistische Risiko ... und ist mit statistischen Methoden oft nicht zu kontrollieren oder zu quantifizieren. Das Repräsentationsrisiko kann nur durch rationales, durchdachtes und sachkundiges Fachwissen angegangen werden. Zu meiner Zeit in der Branche führten wir beispielsweise häufig Experimente an Pilotgeräten durch, um Produktdesignspezifikationen festzulegen. Aber es gab fast IMMER ein großes Problem ... was wir auf Pilotgeräten gelernt haben, war oft einfach nicht auf Geräte im Produktionsmaßstab skalierbar. Daher hatten wir eine „Lücke“ im Verständnis, die mit Methoden, die NUR ein statistisches Risiko beinhalten, nicht geschlossen werden konnte.
Mein Punkt zum Thema „Mononumerose“ war also immer: Wenn Sie nur einen isolierten p-Wert angeben und das Repräsentationsrisiko nicht in Ihre Entscheidungsfindung einbeziehen, dann haben Sie aller Wahrscheinlichkeit nach das GESAMTE Risiko, einen zu erstellen, stark unterrepräsentiert Entscheidungsfehler.
Ich hoffe das hilft?
Betreff: Zentraler Grenzwertsatz – eine naive FrageGern geschehen! Ich bin auch gespannt, wie sich die Dinge in Bezug auf p-Werte und Inferenzstatistiken ändern werden. Ich bin auch gespannt, wie sich die Dinge in unserer Anwendung von Statistiken im Allgemeinen ändern werden, da die Rechengeschwindigkeit kontinuierlich weiterentwickelt wird und die Anpassung noch komplizierterer Modelle an noch größere Datenmengen möglich wird. Es ist wirklich eine ziemlich aufregende Zeit, und ich vermute, dass wir einige wirklich aufregende Fortschritte dabei erleben werden, wie wir aus Daten Bedeutung gewinnen können.
Ich stimme Ihnen in Bezug auf JMP zu 100 % zu. Ich kann mir nicht vorstellen, ohne sie aus Daten lernen zu müssen!
Betreff: Zentraler Grenzwertsatz – eine naive FrageLieber Julian. Vielen Dank für Ihre sehr ausführliche Erklärung. Es hat einen weitaus besseren Einblick in das CLT gegeben, als ich gehofft hatte, und wird sehr geschätzt. Andererseits wird es interessant sein zu sehen, wie weit die Forderung nach einer Abschaffung der p-Wert-Schwelle voranschreiten wird. Vielleicht wird die überwiegende Mehrheit der Wissenschaftler erneut falsch verstehen, wie dieses Konzept anzuwenden ist, sollte es tatsächlich übernommen werden, da sich die Leitlinien meiner Meinung nach vorerst nicht auf das konzentrieren, was wir tun sollten, sondern vielmehr darauf, was wir nicht tun sollten. Mein Hintergrund liegt nicht in der Statistik – tatsächlich wurde es zu meiner Zeit kaum an der Universität gelehrt, und ich habe im Laufe der Jahre größtenteils durch meine eigenen Erfahrungen ein Verständnis dafür gewonnen, wobei JMP maßgeblich dazu beigetragen hat, dass ich zum Ansprechpartner für alles geworden bin statistische Abfragen in meinem Forschungsgebiet. Ich persönlich kann mir nicht vorstellen, Daten mit einem anderen Softwarepaket zu untersuchen. Der Humor der anderen Beiträge hat mir jedoch auf jeden Fall gefallen und ich werde sie für Cocktailpartys in meiner Gesäßtasche behalten ;->Betreff: Zentraler Grenzwertsatz – eine naive FrageHallo @34South ,
Ich würde nicht sagen, dass dies überhaupt eine „naive Frage“ ist! Es geht tatsächlich ziemlich tief in die theoretischen Grundlagen und Annahmen unserer üblichen parametrischen Tests ein. Lassen Sie mich jeden Ihrer Punkte auseinandernehmen, um einige Kommentare abzugeben und dann hoffentlich mit einigen praktischen Vorschlägen abzuschließen:
- Was der zentrale Grenzwert aussagt: Wie Sie sagten, besagt das CLT, dass sich die Stichprobenverteilung einer Statistik (nehmen wir den künftigen Mittelwert an) einer Normalverteilung annähert, wenn sich die Stichprobengröße (n) der Unendlichkeit nähert. Das CLT behauptet nicht (es muss nicht behauptet werden). Unvoreingenommenheit des Mittelwerts (dass die Stichprobenverteilung auf den Populationsparameter zentriert ist) und der asymptotische Konsistenz des Mittelwerts (je größer die Stichprobe wird, desto geringer ist die Varianz der Stichprobenverteilung bzw. der erwartete Fehler zwischen der Schätzung und dem Parameter nimmt ab). Diese gelten für den Mittelwert als Schätzer unabhängig davon, ob die CLT wahr ist oder nicht. Bei der CLT geht es um die Verteilungsform, und was sie behauptet, ist magisch genug, ohne Unvoreingenommenheit und Konsistenz hinzuzufügen.
- Warum die CLT wichtig ist: Beim üblichen parametrischen Hypothesentest erstellen wir eine Teststatistik auf der Grundlage von Stichprobendaten und generieren dann einen p-Wert, um einzuschätzen, wie unwahrscheinlich es ist, dass die Teststatistik aus unserer Stichprobe allein durch Zufall entstanden wäre. Unsere Methode, um zu wissen, was „allein durch Zufall“ passieren würde, basiert auf der CLT, da wir davon ausgehen, dass die Stichprobenverteilung unserer Statistik (in diesem Fall der Mittelwert) normalverteilt ist. Wir wissen, dass die Stichprobenverteilung des Mittelwerts in zwei Fällen normalverteilt ist: wenn die Grundgesamtheit normal ist (also ist eine aus jeder Größe n gebildete Stichprobenverteilung normalverteilt), oder wenn die Grundgesamtheit nicht normal ist, aber unsere Stichprobengröße groß ist genug (was groß genug ist, werden wir bald in Angriff nehmen). Da wir also den Aussagen des CLT vertrauen, können wir, ohne die Verteilungsform der Grundgesamtheit tatsächlich zu kennen, die p-Werte auf der Grundlage der Annahme berechnen, dass die Stichprobenverteilung normal ist. Und da wir wissen, dass unsere Statistik unverzerrt ist, einen Mittelwert von 0 hat und wissen, wie man die Varianz berechnet (teilweise aufgrund des Varianzsummengesetzes), können wir unsere Stichprobe in der Stichprobenverteilung der Statistik lokalisieren, vorausgesetzt, die Nullhypothese ist wahr. und finden Sie den Anteil der Stichproben mit Statistiken, die extremer sind als unsere Statistik (der übliche p-Wert). Wenn wir die CLT nicht hätten oder nicht daran glauben würden, müssten wir entweder die Verteilungsform der Bevölkerung im Voraus kennen (damit wir die Form der Stichprobenverteilung kennen könnten), um die p zu kennen -Wert, oder wir müssten Simulationsstatistiken verwenden, um unsere Schätzung der Stichprobenverteilung zu erstellen und einen empirischen p-Wert zu erstellen.
- Was ist eine Stichprobe, die „groß genug“ ist, damit die CLT ihre Wirkung entfalten kann? Diese Frage lässt sich nur schwer abstrakt beantworten, da sie ausschließlich davon abhängt, wie unnormal die Bevölkerung ist. Wenn es eine geringfügige Abweichung von der Normalität in der Grundgesamtheit gibt oder eine Abweichung, aber immer noch eine gute Symmetrie, zieht die CLT die Stichprobenverteilung ziemlich schnell in Richtung Normalität. Die Folge davon ist, dass der p-Wert, den Sie auf der Grundlage der Normalannahme generieren, relativ nahe am wahren p-Wert liegt, den Sie nicht kennen können. Das ist uns wichtig, weil a) wir keinen Fehlalarm mehr auslösen wollen, als unser aktueller Alpha-Anteil ist, und b) wir nicht wollen, dass unsere Macht geringer ist, als wir annehmen. In einigen Fällen ist die Population so geformt, dass unsere Tests hyperkonservativ werden (erhaltene p-Werte > wahrer p-Wert) oder das Gegenteil (erhaltene p-Werte < wahre p-Werte) sind. Wie dem auch sei, wir wollen das nicht. Was ist also eine ausreichend große Stichprobe? Ich kann Ihnen sagen, dass es nicht 35 ist – diese Zahl hat nichts Magisches an sich, sie war lediglich ein praktischer Grenzwert, den man in Lehrbüchern für Hochschulen verwenden konnte. Wenn Ihre Grundgesamtheit stark kurtotisch (stark schwächlich) ist oder zu einer Klasse von Formen gehört, bei denen die CLT nicht funktioniert (Cauchy-Verteilung, Sie Idiot), werden Sie sehr, sehr große Stichproben (n> 1000) benötigen, bevor Sie sie erhalten p-Werte haben einen akzeptablen Abstand von den wahren p-Werten.
- Hypothesentests, um festzustellen, ob Beweise dafür vorliegen, dass die Population nicht normal ist: Ich denke, es gibt ein grundlegendes Problem mit diesen Tests (nicht, dass sie ungenau sind, sondern dass ihr Leistungsprofil das Gegenteil von dem ist, was wir brauchen). A Es ist deins A Große Größe wächst, Norm A lität der Bevölkerung m A tter weniger A und weniger für Ihre Schlussfolgerungen („m A tters less“ im Sinne d A Das ist dein Typ I A nd Typ-II-Fehler r A tes A re weniger A von der Bevölkerung beeinflusst A tionsverteilung die l A rger deine s A Die große Größe liegt daran, dass Ihre erhaltenen p-Werte dem wahren unbekannten p-Wert näher kommen. C Bedenken Sie die Tatsache Th A t-Tests für Nichtnorm A lität (Kolmogorov-Smirnov, Sh A piro–Wilk usw ) A Re A auch Hypothesentests… A und die Null ablehnen für einer ist t A nt A montieren zu erkennen A abt A Abweichung von der Norm A in der Bevölkerung A tion. Die Kraft dieser Tests beh A ves in den s A ich w A j A S A Ich werde Hypothesentests durchführen... l A rger s A Beispiele, höhere Macht… was ich A ns th A t mit A sehr l A rge s A mlle (die Art, bei der dep A rtures von der Bevölkerungsnorm A lity c A Verwenden Sie weniger Probleme ) A KS- oder SW-Test wird h A Sie verfügen über eine sehr hohe Leistung, um selbst kleinste Ablagerungen zu erkennen A Abweichungen von der Norm A in der Bevölkerung A tion. Also... in der Tat A bsurdity, mit A sehr l A rge s A viel, wir c A n Erkennen Sie die kleinste Dep A Abweichung von der Norm A lität, eine th A t würde nicht c A verwenden A Problem auch mit A sm A ll s A reichlich, A und Zert A ist nur nicht c A uns nutzen A Keine Probleme mit Th A tl A rge von as A reichlich.
- Angabe exakter p-Werte: Der Beitrag des American Statistician bringt hervorragende Argumente zum Ausdruck, und die Meldung exakter p-Werte hat große Vorteile, aber ich glaube, sie wiegt uns auch in der falschen Sicherheit, dass sie wirklich meinen, was sie sagen. Damit meine ich nicht die Missverständnisse über p-Werte (von denen es viele gibt), sondern dass sie, weil sie eine „exakte“ Zahl sind, fehlerfrei bekannt sind, was nicht der Fall ist. Es handelt sich um eine Stichprobenschätzung der Position unserer Stichprobe in einer Stichprobenverteilung dieser Statistik, die wir unmöglich genau wissen können. Die Angabe einer Zahl mit 5 Dezimalstellen fördert den Glauben an deren Präzision, die ich für ungerechtfertigt halte.
Was kann ein Analyst also tun? Simulations-/Permutationstests zum einen. Wir müssen unseren Annahmen und den damit ermittelten p-Werten nicht vertrauen. Simulations- und Permutationstests, bei denen wir aus unseren Daten erneut Stichproben ziehen und eine empirische Stichprobenverteilung generieren, ermöglichen es uns, bestimmte Annahmen wie die Annahme einer normalverteilten Stichprobenverteilung zu lockern. Sie sind keine Lösung für alle Probleme (wir müssen immer noch an Annahmen über Austauschbarkeit/Unabhängigkeit/gleiche Varianz usw. festhalten), aber es ist vielleicht ein Fortschritt.
Ich hoffe, dass einiges davon hilfreich war! Außerdem tut es mir leid, dass ich Ihre Frage nicht früher verstanden habe. Ich freue mich immer über die Gelegenheit, über den Zentralen Grenzwertsatz zu sprechen, er ist wirklich magisch.
@julianisch
Betreff: Zentraler Grenzwertsatz – eine naive FrageEtwas Drama in den JMP-Diskussionsforen, was für eine schöne Bereicherung für meinen Arbeitstag, lol
Betreff: Zentraler Grenzwertsatz – eine naive FrageObwohl mir ein bisschen Witz gefällt, dachte ich, dass er durch zumindest ein gewisses Maß an ernsthafter Kontemplation gemildert werden könnte. Die Frage der Signifikanzschwellen ist eine ernste Angelegenheit, und ich bin davon überzeugt, dass die Protagonisten von JMP/SAS eine gewisse Orientierungshilfe gegeben hätten. Ich würde vorschlagen, den Leitartikel in The American Statistician Vol 73;S1 (2019) zu lesen.
Der Kern dieses Artikels lautet:
- Nicht Man kann seine Schlussfolgerungen ausschließlich darauf stützen, ob eine Assoziation oder ein Effekt als „statistisch signifikant“ befunden wurde (d. h. der p-Wert hat einen willkürlichen Schwellenwert überschritten, z. B. p < 0,05).
- Nicht glauben, dass ein Zusammenhang oder Effekt existiert, nur weil er „statistisch signifikant“ war.
- Nicht glauben, dass ein Zusammenhang oder Effekt fehlt, nur weil er nicht „statistisch signifikant“ war.
- Nicht Glauben Sie, dass Ihr p-Wert die Wahrscheinlichkeit angibt, dass der Zufall allein den beobachteten Zusammenhang oder Effekt erzeugt hat, oder die Wahrscheinlichkeit, dass Ihre Testhypothese wahr ist.
- Auf der Grundlage der statistischen Signifikanz (oder des Fehlens einer solchen) dürfen keine Schlussfolgerungen über die wissenschaftliche oder praktische Bedeutung gezogen werden.
Das Journal bestätigt diese Aussage weiter „an den Chefredakteur jeder Zeitschrift in den Natur-, Verhaltens- und Sozialwissenschaften geschickt werden, damit er sie an die jeweiligen Herausgebergremien und Manuskriptrezensenten weiterleitet.“
Ich widerspreche diesen Empfehlungen nicht, aber wie ich bereits betont habe, geht dies über die eigene Interpretation der Signifikanzniveaus bei abschließenden inferenzstatistischen Tests hinaus und legt fest, welche Methoden verwendet werden, um zu dieser Antwort zu gelangen.
Betreff: Zentraler Grenzwertsatz – eine naive FrageUm meinem ehemaligen Kollegen etwas hinzuzufügen @Jeff _Perkinsons Antwort: Vielleicht möchten Sie einen Kommentar zu dieser gefürchteten Krankheit „Mononumerose“ hinzufügen. Datenanalysten erliegen dem Elend, wenn sie sich auf eine einzige Statistik konzentrieren (der p-Wert ist ein Paradebeispiel), um eine Entscheidung zu treffen oder Maßnahmen zu leiten.Betreff: Zentraler Grenzwertsatz – eine naive FrageNun, danke, ich werde das in meinen Vortrag zu diesem Thema einbauen – es wird sicher für Lacher sorgen!Betreff: Zentraler Grenzwertsatz – eine naive FrageEs trifft möglicherweise nicht zu, aber stellen Sie sicher, dass Sie nicht darunter leiden Leptokurtosiphobie : die irrationale Angst vor der Nicht-Normalität.
Betreff: Zentraler Grenzwertsatz – eine naive FrageNur zur Klarstellung: Ich weiß, dass man Stichprobengrößenanalysen auf der Grundlage von Varianz, Trennschärfe usw. durchführen kann, um Typ-I-Fehler zu vermeiden. Gibt es jedoch eine Stichprobengröße, bei der nichtparametrische Tests standardmäßig vermieden werden?
