Wie kann man Gruppenunterschiede mit kleinen Stichprobengrößen vergleichen?Hallo zusammen,
Ich habe drei verschiedene Gruppen und möchte sie vergleichen, um festzustellen, ob es statistisch signifikante Unterschiede gibt. Allerdings sind meine Stichprobengrößen recht klein: Gruppe 1 hat 3 Stichproben, Gruppe 2 hat 2 Stichproben und Gruppe 3 hat 3 Stichproben. Aufgrund dieser geringen Stichprobengröße kann ich die Normalität nicht testen.
Um die Daten zu analysieren, habe ich einen Kruskal-Wallis-Test und anschließend einen Steel-Dwass-Test (als Post-hoc-Analyse) durchgeführt. Ich habe einen Screenshot der Ausgabe für eine der Variablen angehängt, aber ich habe auch für andere Variablen ähnliche Ergebnisse erzielt.
Nun habe ich ein paar Fragen zu den Ergebnissen:
In der Fußnote unter der Kruskal-Wallis-Tabelle werden „kleine Stichprobengrößen“ erwähnt und empfohlen, für Tests auf statistische Tabellen zurückzugreifen, anstatt sich auf Näherungen für große Stichproben zu verlassen. Könnte mir bitte jemand erklären, was das bedeutet und was in diesem Fall zu tun ist?
Mir ist aufgefallen, dass der Kruskal-Wallis-Test signifikante Unterschiede in der Varianz ergab, während der Steel-Dwass-Test überhaupt keine Unterschiede ergab. Ist es ein häufiges Ergebnis, dass ein Post-hoc-Test unterschiedliche Ergebnisse liefert?
Abschließend würde ich mich über Vorschläge für alternative Tests oder Ansätze zur Bewertung signifikanter Unterschiede zwischen den drei Gruppen freuen. Aufgrund der geringen Stichprobengröße habe ich zunächst keine Tests durchgeführt, aber ein Rezensent meines Artikels hat mich gebeten, einen Test zur Bewertung der Unterschiede durchzuführen.
Ich danke Ihnen für Ihre Hilfe!
Grundlegende Datenanalyse und ModellierungDatenexploration und -visualisierungBetreff: Wie vergleiche ich Gruppenunterschiede mit kleinen Stichprobengrößen?Ehrlich gesagt sehe ich nicht, was ein statistischer Test zur Grafik beitragen könnte. Vielleicht kann jemand mit einem besseren statistischen Hintergrund einen Grund nennen, aber es wäre mir egal, ob der p-Wert in diesem Fall 0,03 oder 0,1 oder 0,4 war. Die Grafik deutet darauf hin, dass die mittlere Gruppe am höchsten ist, wobei die „Beweise“ etwas schwächer sind, dass die dritte Gruppe höher ist als die erste. Es ist ein guter Anfang und ich würde es als explorative Analyse betrachten – daher ist kein p-Wert erforderlich. Ich glaube nicht, dass der p-Wert etwas zu dem hinzufügt, was die Grafik zeigt. Sie benötigen eine größere Stichprobe, und diese Ergebnisse legen nahe, dass es sich lohnt, dies weiterzuverfolgen und, wenn möglich, ein geeignetes Experiment zu entwerfen, das auf den Erkenntnissen dieser vorläufigen Ergebnisse basiert.
Betreff: Wie vergleiche ich Gruppenunterschiede mit kleinen Stichprobengrößen?In dieser Situation ist es wahrscheinlich in Ordnung, eine herkömmliche ANOVA-Analyse zu verwenden. Die nichtparametrischen Tests berücksichtigen keine kleinen Stichprobengrößen, sondern gehen lediglich von einem anderen zugrunde liegenden statistischen Modell aus (oder machen weniger Annahmen über das zugrunde liegende statistische Modell).
Um den p-Wert für einen statistischen Test zu bestimmen, muss man die erwartete Verteilung dieser Teststatistik kennen, wenn die Nullhypothese wahr ist. Bei größeren Stichprobengrößen können diese Verteilungen durch bekannte Verteilungen angenähert werden, bei kleineren Stichprobengrößen ist jedoch in der Regel eine Aufzählung oder statistische Simulation erforderlich, um das Perzentil der Verteilung zu bestimmen. Es gibt viele Orte, an denen Sie die kritischen Werte für die kleine Stichprobengröße für den Wilcoxon-/Kruskal-Wallace-Test finden können, zum Beispiel https://onlinepubs.trb.org/onlinepubs/nchrp/cd-22/manual/v2appendixc.pdf (siehe Tabelle). C-7).
Der Steel-Dwass-Mehrfachvergleichstest ist ebenfalls nichtparametrisch, und da er die Gesamtfehlerrate vom Typ I kontrolliert, ist es schwierig, die statistische Signifikanz für jedes Paar anzuzeigen. In Ihrem Fall erlauben die Stichprobengrößen möglicherweise keine Berechnung von Konfidenzintervallen.
Betreff: Wie kann man Gruppenunterschiede mit kleinen Stichprobengrößen vergleichen?Hallo @SamGardner
Wenn es Ihnen gut geht, ist es nicht möglich, Konfidenzintervalle zu berechnen, da meine Stichprobengrößen klein sind. Daher kann ich den nichtparametrischen Test nicht verwenden. Ist das richtig?
Aber ich kann ANOVA nicht so gut verwenden, da ich aufgrund der Stichprobengröße die Normalität nicht erneut testen kann
Was ist in diesem Fall zu tun?
Betreff: Wie vergleiche ich Gruppenunterschiede mit kleinen Stichprobengrößen?Sie können die ANOVA trotzdem durchführen und die Residuen aus der ANOVA speichern (sie werden in einer Spalte mit dem Namen „ Zentriert von „Modellieren und erstellen Sie ein Histogramm, ein QQ-Diagramm, ... Hier spreche ich als Statistiker ... machen Sie nicht so viel von Normalität. Es wird in Ordnung sein. Der einzige Grund, warum dies möglicherweise nicht der Fall ist, ist, dass Sie ein sehr großes haben Ausreißer oder Sie wussten, dass der Prozess, der die Ergebnisse erzeugt, eine Antwortverteilung haben wird, die deutlich von der Normalität abweicht. ANOVA ist ziemlich robust gegenüber kleinen bis mäßigen Abweichungen von der Normalität.
Betreff: Wie vergleiche ich Gruppenunterschiede mit kleinen Stichprobengrößen?@SamGardner Ich sehe, Sie haben einen Normalitätstest durchgeführt, indem Sie alle Datenpunkte kombiniert haben, sodass Sie am Ende 9 Datenpunkte hatten. Ich dachte, Sie sollten den Test für jede Gruppe durchführen
Betreff: Wie vergleiche ich Gruppenunterschiede mit kleinen Stichprobengrößen?Hallo @ELH, die Residuen sollten normalverteilt sein (Residuen sind die Daten, die durch Subtrahieren des Gruppenmittelwerts um Unterschiede zwischen Gruppen „korrigiert“ wurden, damit Sie die Normalität der Residuen in Bezug auf alle Beobachtungen beurteilen können). Aber wie @SamGardner sagte, ist eine kleine Abweichung von der Normalität kein Grund zur Sorge. Konstante Varianz ist meiner Meinung nach wichtiger als Normalität; Informell bedeutet dies, dass die Datenverteilung innerhalb jeder Gruppe für jede Gruppe ungefähr gleich sein sollte. Wenn Ihr Residualdiagramm (Residuen vs. vorhergesagt) also zufällig und ohne nennenswertes Muster aussieht, bleiben Sie ruhig und machen Sie weiter.
