Principiante alla statistica: è un P-hacking se eseguo più volte il test di equivalenza?Ciao a tutti,
Sono nuovo della statistica e ho davvero bisogno del tuo aiuto qui.
La mia domanda è: Va bene o no se eseguo più volte il test di equivalenza per trovare il limite equivalente che ha 2 valori p < 5%.
Ho 2 gruppi di dati come di seguito e voglio verificare se sono uguali o diversi.
1° passaggio Ho eseguito un test t e valore P> 5% significa che non sono riuscito a rifiutare H0 (Test = rif). Non aiuta molto a definire le mie prossime azioni.
Quindi eseguo un test di equivalenza con il limite equivalente di +/- 0,1 come intervallo pratico
Ma ancora una volta il risultato non è proprio buono. Posso solo concludere che il mio gruppo di test è superiore all'unità REF 0.1 o inferiore.
Non è ancora un risultato sufficientemente utile per le azioni successive
Quindi aumento più volte fino a raggiungere il limite equivalente di 0,16 unità e ho 2 P-value <5%
Che posso interpretare il risultato come 2 gruppi è uguale nell'intervallo di 0,16 unità.
Ciò significa che il mio gruppo TEST può essere superiore/inferiore a REF +/- 0,16 unità. (o potrebbe anche essere uguale)
Quindi posso stimare il caso migliore se questa unità di 0,16 superiore o inferiore alla corrente è OK per la mia prossima azione.
La mia conclusione è corretta? & È possibile per me farlo? o Sto P-hacking?
Solo un principiante in statistica ha bisogno del tuo aiuto.
Ringrazia tutti
AnaliticaRe: Principiante alla statistica: è un P-hacking se eseguo più volte il test di equivalenza?Ciao @Justin_Bui ,
È una buona domanda. Ma a parte il p-hacking, penso che tu stia interpretando male il test di equivalenza. Queste cose sono confuse, lo so!
Il valore p basso nel tuo ultimo caso ti sta dicendo che i 2 gruppi SONO praticamente equivalenti. I limiti di confidenza intorno alla differenza stimata rientrano nell'intervallo pratico di +/- 0,16.
La documentazione di aiuto per questo test dovrebbe essere utile.
Speriamo che questo aiuti,
Fil
Re: Principiante alla statistica: è un P-hacking se eseguo più volte il test di equivalenza?Aggiungendo a @Phil_Kay , dovresti avere una domanda o uno scopo chiari e ben definiti per il test che devi eseguire. Il tuo esempio è un caso di p-hacking. Solo uno di questi test è rilevante per il tuo scopo. Non dovresti applicare più di un test finché non trovi un risultato favorevole. È sufficiente un test e accetti la risposta in entrambi i casi.
Diciamo che hai fatto un cambiamento sperando in un miglioramento. Quindi vuoi usare un test per una differenza significativa. (L'ipotesi nulla o "avvocato del diavolo" è che non ci siano cambiamenti o miglioramenti.) Il tuo primo confronto è un esempio di questo tipo di test.
Invece, forse hai fatto un cambiamento ma spero che non faccia differenza. Come scambiare un nuovo pezzo di equipaggiamento con un vecchio pezzo sperando di continuare a vedere lo stesso risultato. Quindi si desidera utilizzare un test per equivalenze significative o pratiche. La seconda coppia di confronti è un esempio di questo tipo di test.
Il livello di rischio è generalmente stabilito in anticipo. Anche la regolazione della differenza pratica o del livello di significatività durante l'esecuzione dei test è una sorta di p-hacking.
Re: Principiante alla statistica: è un P-hacking se eseguo più volte il test di equivalenza?Grazie Fil per la tua condivisione
