In den jüngsten Upgrades von JMP kann die neueste Version, JMP 18, die Effektgröße „Cohens d“ in T-Tests ausgeben, während JMP 17 und höher die Effektgrößen „ η2 “ (Eta-Quadrat) und „ ω2 “ (Omega-Quadrat) in der Regressionsanalyse ausgeben können.
Die Effektstärke ist ein Indikator, der zeigt, in welchem Ausmaß eine erklärende Variable (Faktor) in einem statistischen Modell eine abhängige Variable beeinflusst. Der p-Wert ist ein Indikator dafür, ob ein Faktor eine (und nicht zufällige) Auswirkung auf die abhängige Variable hat, er ist jedoch ein Maß für die statistische Signifikanz und gibt keinen Aufschluss über die Größe der Auswirkung.
JMP zeigt im Bericht „Modellanpassung“ die folgende „Zusammenfassung der Effekte“ an: In diesem Bericht sind die p-Werte vom kleinsten zum größten (größter Log-Wert) sortiert, was jedoch nicht direkt darauf hinweist, dass der Effekt für Geschlecht, Medikament oder Geschlecht*Medikament in dieser Reihenfolge größer ist. Es gibt lediglich den Grad der statistischen Signifikanz an.
In diesem Blog erklären wir die Bedeutung der Effektgröße, wie man sie in JMP ausgibt, die Berechnungsformel und Richtlinien für die Indikatoren.
Effektstärke für t-Test: „Cohens d“
Als Effektstärke für den t-Test wird Cohens d-Statistik verwendet. Dies gilt beim Vergleichen der Mittelwerte zweier Gruppen unter der Annahme gleicher Varianzen.
Erklärung anhand simulierter Daten
Erstellen Sie simulierte Daten, um die Blutzuckerwerte (mg/dl) zweier Gruppen (A, 
zu vergleichen.
Gruppe A: Eine zufällige Stichprobe aus N(105, 15 2 )
Gruppe B: Eine zufällige Stichprobe aus N(110, 15 2 )
N(μ, σ 2 ) bezeichnet eine Normalverteilung mit Mittelwert μ und Standardabweichung σ.
In diesem Fall werden die Ergebnisse der Durchführung eines t-Tests an jeweils 50 Proben aus den Gruppen A und B (links) und die Ergebnisse der Durchführung eines t-Tests an jeweils 250 Proben aus den Gruppen A und B (rechts) angezeigt.
Betrachtet man die zweiseitigen p-Werte für beide Berichte, so beträgt er bei N=50 p = 0,1128 und bei N=250 p = 0,0004.Bei einem Signifikanzniveau von α = 0,05 ist Ersteres unbedeutend und Letzteres signifikant.
In diesen Simulationsdaten beträgt der Durchschnitt von A 105 und der Durchschnitt von B 110, es besteht also ein Unterschied von 5 zwischen den Durchschnittswerten. Bei N = 50 kann der Unterschied jedoch nicht erkannt werden, da die Stichprobengröße klein ist. Bei N = 250 hat sich die Stichprobengröße jedoch erhöht und es kann ein signifikanter Unterschied erkannt werden.
Da bei großen Stichprobengrößen die p-Werte selbst bei kleinen Unterschieden tendenziell klein sind , verwenden wir Cohens d, um die Größe des Effekts zu überprüfen.
Operationen in JMP (JMP 18)
- Wählen Sie „Analysieren“ > „Bivariate Beziehungen“ aus. Zeigen Sie den einfaktoriellen ANOVA-Bericht mit Y als kontinuierlich und X als nominal (ordinal) an.
- Wählen Sie über die rote Dreieckschaltfläche oben links im Bericht „Mittelwerte/ANOVA/Gepoolter t-Test“ aus.
⇒ Der „Cohen’s d“-Bericht wird in der unteren linken Ecke des „Pooled t-test“-Berichts ausgegeben.
Wenn wir diesen Wert betrachten, können wir sehen, dass die Werte bei N=50 und bei N=250 fast gleich sind (ungefähr 0,32). Das Ausmaß beider Effekte wird als ungefähr gleich angesehen, dies deutet jedoch darauf hin, dass die Effektgröße unabhängig von der Stichprobengröße* geschätzt wird.
*Je größer N, desto genauer die Schätzung der Effektgröße.
Berechnung
Cohens d kann mit der folgenden Formel berechnet werden:
d = (Mittelwert Gruppe B – Mittelwert Gruppe A) ÷ Gepoolte Standardabweichung
Die zusammengefasste Standardabweichung ist identisch mit dem mittleren quadratischen Fehler (RMSE).
Beispielrechnung: Mit den oben im Bericht angezeigten Werten für N = 250 können Sie berechnen:
d = (109,010 - 104,391) ÷ 15,622 = 0,316
Schätzung der Effektgröße
Als Richtlinie werden für Cohens d folgende Kriterien verwendet:
Weniger als 0,2: kein Effekt, 0,2-0,5: geringer Effekt
0,5–0,8: Mittlerer Effekt, 0,8 oder mehr: Großer Effekt
Hinweis: JMP vergleicht die Differenz zwischen der späteren Ebene und der früheren Ebene für Gruppierungsvariablen. In diesem Beispiel ist die erste Ebene A und die nächste Ebene B, wir vergleichen also den Mittelwert von B mit dem Mittelwert von A.
Effektstärken für die Regressionsanalyse: η 2 , ω 2
Wenn Sie in JMP 17 und höher ein Regressionsmodell mit dem Tool „Modell anpassen“ mit der Methode der kleinsten Quadrate anpassen, können die Effektgrößen η 2 und ω 2 im Bericht „Effekttests“ angezeigt werden.
Das folgende Beispiel zeigt die Effektgrößen für den Bericht, wenn der Schmerzgrad als [Y] angegeben ist und Geschlecht, Medikament und Geschlecht*Medikament als Modelleffekte für den JMP-Beispieldatensatz „Analgesics.jmp“ angegeben sind.
η2 und ω2 sind als Effektgrößen in der Varianzanalyse bekannt, sie können jedoch auch auf lineare Modelle angewendet werden, wenn die erklärenden Variablen kontinuierlich sind.
In JMP (JMP 17 und höher)
Klicken Sie im Bericht "Effekttests" des Abschnitts "Modell anpassen" mit der rechten Maustaste auf den Abschnitt "Statistiken" und wählen SieWählen Sie Spalten > η 2 oder ω 2 .
Berechnung
η2 und ω2 sind Indikatoren, die zeigen, wie viel der Gesamtvarianz durch diesen Faktor erklärt wird. Beispielsweise wird die Effektstärke für das Geschlecht mit der folgenden Formel berechnet:
η 2 für Geschlecht = Summe der Quadrate für Geschlecht ÷ gesamte (korrigierte) Summe der Quadrate
= 73,808 ÷ 338,573 = 0,218
Hieraus lässt sich ablesen, welcher Anteil der Gesamtvarianz (Summe der Quadrate) durch das Geschlecht erklärt wird. 0,218 zeigt an, dass das Geschlecht 21,8 % der Varianz in Y erklärt.
η2 ist ein Index, der einfach zu berechnen und zu verstehen ist, und ω2 ist seine vorspannungskorrigierte Version. Die Formel wird weggelassen, kann aber auch aus den in „Effekttests“ und „Varianzanalyse“ angezeigten Statistiken berechnet werden.
Schätzung der Effektgröße
Vorgeschlagene Richtlinien für die Werte von η2 und ω2 sind 0,01 für kleine Effektgröße, 0,06 für mittlere Effektgröße und 0,14 für große Effektgröße, aber auch dies sind nur Richtlinien.
Zusammenfassung
In der ASA-Erklärung zur statistischen Signifikanz und zu P-Werten heißt es: „Wissenschaftliche Schlussfolgerungen sowie geschäftliche und politische Entscheidungen sollten nicht ausschließlich darauf beruhen, ob der P-Wert einen bestimmten Wert überschreitet.“
In den letzten Jahren wird in wissenschaftlichen Arbeiten zunehmend verlangt, dass sie neben den p-Werten auch Konfidenzintervalle und Effektstärken enthalten.
Es ist eine gute Idee, sich die hier eingeführte Effektgröße als eine der Bewertungsmethoden neben dem Hypothesentest zu merken.
von Naohiro Masukawa (JMP Japan)
Naohiro Masukawa – JMP-Benutzergemeinschaft
