Hallo zusammen,
Ich bin neu in der Statistik und brauche hier wirklich Ihre Hilfe.
Meine Frage ist: Ist das in Ordnung oder nicht, wenn ich mehrmals einen Äquivalenztest durchführe, um den äquivalenten Grenzwert zu finden, der 2 p-Werte < 5 % hat?
Ich habe zwei Gruppendaten wie unten und möchte testen, ob sie gleich oder unterschiedlich sind.
Im ersten Schritt habe ich einen t-Test durchgeführt und ein P-Wert > 5 % bedeutet, dass ich H0 nicht ablehnen konnte (Test = ref). Es hilft nicht wirklich viel, meine nächsten Aktionen zu definieren.
Deshalb mache ich einen Äquivalenztest mit der Äquivalenzgrenze von +/-0,1 als praktischem Bereich
Aber auch hier ist das Ergebnis nicht wirklich gut. Ich kann nur daraus schließen, dass meine Testgruppe höher als REF 0,1 Einheit oder niedriger ist.
Das Ergebnis ist immer noch nicht aussagekräftig genug für die nächsten Maßnahmen
Also erhöhe ich mehrmals, bis ich den entsprechenden Grenzwert von 0,16 Einheiten erreiche und 2 P-Werte <5 % habe.
Was ich als Ergebnis interpretieren kann, ist, dass 2 Gruppen im Bereich von 0,16 Einheiten gleich sind.
Das bedeutet, dass meine TEST-Gruppe höher/niedriger als REF +/- 0,16 Einheiten sein kann. (oder könnte auch gleich sein)
Ich kann also den besten Fall abschätzen, wenn dieser 0,16 Einheiten höhere oder niedrigere Strom für meine nächste Aktion in Ordnung ist.
Ist meine Schlussfolgerung richtig? & Ist mir das möglich? oder bin ich P-Hacker?
Nur ein Neuling in der Statistik braucht Ihre Hilfe.
Vielen Dank an alle
Hinzufügen zu @Phil_Kay , sollten Sie eine klare, klar definierte Frage oder einen Zweck für den Test haben, den Sie durchführen möchten. Ihr Beispiel ist ein Fall von P-Hacking. Nur einer dieser Tests ist für Ihren Zweck relevant. Sie sollten nicht mehr als einen Test durchführen, bis Sie ein positives Ergebnis erhalten. Ein Test genügt und Sie akzeptieren die Antwort so oder so.
Nehmen wir an, Sie haben eine Änderung vorgenommen und hoffen auf eine Verbesserung. Dann möchten Sie einen Test für einen signifikanten Unterschied verwenden. (Die Nullhypothese oder „Advokat des Teufels“ besagt, dass es keine Veränderung oder Verbesserung gibt.) Ihr erster Vergleich ist ein Beispiel für diese Art von Test.
Stattdessen haben Sie vielleicht eine Änderung vorgenommen, hoffen aber, dass es keinen Unterschied macht. Als würde man ein neues Gerät gegen ein altes austauschen, in der Hoffnung, weiterhin das gleiche Ergebnis zu erzielen. Dann möchten Sie einen Test für signifikante oder praktische Äquivalenzen nutzen. Ihr zweites Vergleichspaar ist ein Beispiel für diese Art von Test.
Der Risikograd wird in der Regel vorher festgelegt. Das Anpassen des praktischen Unterschieds oder des Signifikanzniveaus während der Durchführung von Tests ist ebenfalls eine Art P-Hacking.
Hallo @Justin_Bui ,
Das ist eine gute Frage. Aber abgesehen vom P-Hacking denke ich, dass Sie den Äquivalenztest falsch interpretieren. Diese Dinge sind verwirrend, ich weiß!
Der niedrige p-Wert in Ihrem letzten Fall sagt Ihnen, dass die beiden Gruppen praktisch gleichwertig sind. Die Vertrauensgrenzen für die geschätzte Differenz liegen im praktischen Bereich von +/- 0,16.
Die Hilfedokumentation für diesen Test sollte nützlich sein.
Hoffentlich hilft das,
Phil
