Wie vergleicht man Gruppenunterschiede bei kleinen Stichprobengrößen?Hallo zusammen,
Ich habe 3 verschiedene Gruppen und möchte sie vergleichen, um zu sehen, ob es statistisch signifikante Unterschiede gibt. Meine Stichprobengrößen sind jedoch recht klein: Gruppe 1 hat 3 Proben, Gruppe 2 hat 2 Proben und Gruppe 3 hat 3 Proben. Aufgrund dieser kleinen Stichprobengröße kann ich nicht auf Normalität testen.
Um die Daten zu analysieren, habe ich einen Kruskal-Wallis-Test und anschließend einen Steel-Dwass-Test (als Post-hoc-Analyse) durchgeführt. Ich habe einen Screenshot der Ausgabe für eine der Variablen angehängt, aber ich habe auch für andere Variablen ähnliche Ergebnisse.
Nun habe ich ein paar Fragen zu den Ergebnissen:
Die Fußnote unter der Kruskal-Wallis-Tabelle erwähnt „kleine Stichprobengrößen“ und schlägt vor, für Tests auf statistische Tabellen zurückzugreifen, anstatt sich auf Näherungswerte für große Stichproben zu verlassen. Könnte jemand bitte erklären, was das bedeutet und was in diesem Fall zu tun ist?
Mir ist aufgefallen, dass der Kruskal-Wallis-Test signifikante Unterschiede in der Varianz meldete, während der Steel-Dwass-Test überhaupt keine Unterschiede meldete. Ist es ein häufiges Ergebnis, dass ein Post-hoc-Test unterschiedliche Ergebnisse meldet?
Abschließend würde ich mich über Vorschläge für alternative Tests oder Ansätze zur Feststellung signifikanter Unterschiede zwischen den drei Gruppen freuen. Aufgrund der geringen Stichprobengröße habe ich zunächst keine Tests durchgeführt, aber ein Gutachter meines Artikels hat mich gebeten, einen Test zur Feststellung von Unterschieden durchzuführen.
Ich danke Ihnen für Ihre Hilfe!
Grundlegende Datenanalyse und ModellierungDatenexploration und -visualisierungBetreff: Wie vergleicht man Gruppenunterschiede bei kleinen Stichproben?Hallo @ELH, die Residuen sollten normal verteilt sein (Residuen sind die Daten, die durch Subtraktion des Gruppenmittelwerts für Unterschiede zwischen Gruppen „korrigiert“ wurden, sodass Sie die Normalität der Residuen in Bezug auf alle Beobachtungen beurteilen können). Aber wie @SamGardner sagte, ist eine kleine Abweichung von der Normalität kein Grund zur Sorge. Konstante Varianz ist meiner Meinung nach wichtiger als Normalität; informell bedeutet dies, dass die Streuung der Daten innerhalb jeder Gruppe für jede Gruppe ungefähr gleich sein sollte. Wenn Ihr Residuendiagramm (Residuen vs. Vorhersage) also im Allgemeinen zufällig aussieht und kein nennenswertes Muster aufweist, dann bewahren Sie Ruhe und machen Sie weiter.
Betreff: Wie vergleicht man Gruppenunterschiede bei kleinen Stichproben?@SamGardner Ich sehe, Sie haben einen Normalitätstest durchgeführt, indem Sie alle Datenpunkte kombiniert haben, sodass Sie am Ende 9 Datenpunkte hatten. Ich dachte, Sie sollten den Test für jede Gruppe durchführen
Betreff: Wie vergleicht man Gruppenunterschiede bei kleinen Stichproben?Sie können die ANOVA immer noch durchführen und die Residuen der ANOVA speichern (sie werden in einer Spalte mit dem Namen " Zentriert von „Modellieren Sie und erstellen Sie ein Histogramm, ein QQ-Diagramm, … Ich spreche hier als Statistiker … legen Sie nicht so viel Wert auf Normalität. Es wird schon in Ordnung sein. Der einzige Grund, warum es nicht in Ordnung sein könnte, ist, dass Sie einen sehr großen Ausreißer haben oder dass Sie wussten, dass der Prozess, der die Ergebnisse erzeugt, eine Antwortverteilung haben wird, die deutlich nicht normal ist. ANOVA ist relativ robust gegenüber kleinen bis mäßigen Abweichungen von der Normalität.
Betreff: Wie vergleicht man Gruppenunterschiede bei kleinen Stichproben?Hallo @SamGardner
Wenn es Ihnen gut geht, ist es aufgrund der geringen Stichprobengröße nicht möglich, Konfidenzintervalle zu berechnen. Deshalb kann ich den nichtparametrischen Test nicht verwenden. Ist das richtig?
Aber ich kann ANOVA nicht verwenden, da ich aufgrund der Stichprobengröße keine Normalität testen kann.
Was ist also in diesem Fall zu tun?
Betreff: Wie vergleicht man Gruppenunterschiede bei kleinen Stichproben?In dieser Situation können Sie wahrscheinlich eine herkömmliche ANOVA-Analyse verwenden. Die nichtparametrischen Tests befassen sich nicht mit kleinen Stichprobengrößen, sondern gehen lediglich von einem anderen zugrunde liegenden statistischen Modell aus (oder machen weniger Annahmen über das zugrunde liegende statistische Modell).
Um den p-Wert für einen statistischen Test zu bestimmen, muss man die erwartete Verteilung dieser Teststatistik kennen, wenn die Nullhypothese wahr ist. Bei größeren Stichprobengrößen können diese Verteilungen durch bekannte Verteilungen angenähert werden, bei kleineren Stichprobengrößen ist jedoch normalerweise eine Aufzählung oder statistische Simulation erforderlich, um das Perzentil der Verteilung zu bestimmen. Die kritischen Werte für kleine Stichprobengrößen für den Wilcoxon-/Kruskal-Wallace-Test finden Sie an vielen Stellen, beispielsweise unter https://onlinepubs.trb.org/onlinepubs/nchrp/cd-22/manual/v2appendixc.pdf (siehe Tabelle C-7).
Der Steel-Dwass-Test für Mehrfachvergleiche ist ebenfalls nichtparametrisch und da er die allgemeine Fehlerrate Typ I kontrolliert, ist es schwierig, für jedes Paar statistische Signifikanz nachzuweisen. In Ihrem Fall erlauben die Stichprobengrößen möglicherweise nicht die Berechnung von Konfidenzintervallen.
Betreff: Wie vergleicht man Gruppenunterschiede bei kleinen Stichproben?Ehrlich gesagt sehe ich nicht, was ein statistischer Test zu der Grafik hinzufügen könnte. Vielleicht kann jemand mit einem besseren statistischen Hintergrund einen Grund dafür nennen, aber mir wäre es egal, ob der p-Wert in diesem Fall 0,03 oder 0,1 oder 0,4 wäre. Die Grafik legt nahe, dass die mittlere Gruppe am höchsten ist, mit etwas schwächeren „Beweisen“, dass die dritte Gruppe höher ist als die erste. Es ist ein guter Anfang und ich würde es als explorative Analyse betrachten – es ist also kein p-Wert erforderlich. Ich glaube nicht, dass der p-Wert etwas zu dem beiträgt, was die Grafik zeigt. Sie benötigen eine größere Stichprobengröße und diese Ergebnisse legen nahe, dass es sich lohnt, dies weiter zu verfolgen und, wenn möglich, ein geeignetes Experiment auf der Grundlage dessen zu entwerfen, was Sie anhand dieser vorläufigen Ergebnisse sehen.
