Spiegazione dell'imbarazzante affermazione statistica n. 2: significatività statistica vs importanza pratica
Abbiamo tutti sentito qualcuno dire qualcosa che non è "giusto". A volte lasciamo perdere, perché non è abbastanza importante da contestare o perché non vogliamo creare conflitti con chi ha parlato.
Questa è la seconda puntata della serie di blog "cringeworthy statistics". In generale, ecco come funziona: prima, pubblico una domanda relativa alle statistiche in un thread di JMP Community Discussions . Gli utenti della community sono incoraggiati a rispondere. Dopo circa una settimana, esprimo la mia opinione su cosa c'è di sbagliato nell'affermazione in un post di blog come questo.
Ecco una tabella degli argomenti di discussione e dei post del blog fino ad oggi. Grazie di cuore a coloro che rispondono a ogni post di discussione (e/o aggiungono commenti al blog!)
| Argomento del thread di discussione |
Post del blog |
Persone che hanno risposto alla discussione (o commentato sul blog) |
| #1: Interpretazione errata del valore p |
Pericoli di un'interpretazione errata dei valori p |
@dale_lehman , @P_Bartell , @statman , @ih , @Georg , @brady_brady |
| #2: Troppa enfasi sulla significatività statistica |
Questo post del blog |
@P_Bartell , @statman , Craige_Hales , @ih , @markschwab |
| #3: Segnalazione delle misurazioni |
Prossimamente! |
Per favore, postate i vostri commenti nello spazio Discussioni. Sentitevi liberi di contribuire con le vostre dichiarazioni statistiche imbarazzanti! |
Diamo un'occhiata alla seconda imbarazzante affermazione che ho pubblicato...
La mia opinione su Cringeworthy #2
Ricordiamo che nel nostro scenario era stato condotto uno studio per cercare di determinare perché la resa era diminuita in un processo di produzione. È stato eseguito un t-test per studiare le differenze tra i sottoassiemi di due fornitori. In effetti, il t-test ha mostrato un p-value molto basso, dando un'elevata confidenza di una differenza nelle medie delle parti dei due fornitori.
Il responsabile del team voleva cogliere al volo il fatto che il valore p era piccolo. Voleva iniziare immediatamente uno studio sul perché le due medie della popolazione fossero diverse. (Forse era spinto dall'esperienza passata che una differenza tra questi venditori aveva causato un problema.) Ma ciò che il responsabile non ha menzionato è se la differenza fosse "praticamente importante".
Nella mia esperienza, spesso le persone confondono "significatività statistica" con "importanza pratica".
- La significatività statistica è semplicemente un'affermazione matematica secondo cui possiamo rilevare una certa quantità di differenza nelle medie delle due popolazioni a un certo livello di confidenza . Questo è bello, ma non dice nulla sul fatto che quella differenza sia importante per noi.
- L'importanza pratica si basa sul tuo giudizio, esperienza e saggezza . Forse il test statistico rileva una differenza di 0,1 unità tra i due trattamenti. Una differenza di 0,1 è importante per la tua applicazione? In caso contrario, forse sarebbe meglio dedicare risorse alla scoperta della fonte di questa differenza, cercando altre fonti che potrebbero portare a una scarsa resa.
Forse è un peccato che il termine "significance" possa essere interpretato come "importance" nella lingua inglese. Non conosco una parola migliore da usare di meaning, ma può essere fuorviante per alcune persone.
Morale della favola: assicuratevi di comprendere la differenza tra significatività statistica e importanza pratica quando interpretate i risultati delle analisi statistiche!
Adesso, per favore, venite alla discussione imbarazzante n. 3 !

"È statisticamente significativo! Dovremmo dedicare risorse al problema!"
Questa affermazione ti fa rabbrividire? Dai un'occhiata al motivo per cui penso che questa sia un'affermazione degna di rabbrividire, in questo riassunto del mio secondo argomento di discussione.
Re: Spiegazione della dichiarazione statistica degna di nota n. 2: significato statistico vs importanza praticaSto usando la differenza percepibile e l'importanza pratica ora. Ci si sente meglio. Speriamo che ne seguano altri. Hai ragione. Questo è un lingua inglese problema. I sinonimi di significativo sono importanti, cruciali, critici, significativi, critici, seri e vitali. Quindi l'uso improprio del termine ha senso.
Come possiamo convincere una percentuale significativa della popolazione a usare un'espressione, un'espressione, un termine o una parola più appropriati?
Non sono così bravo con le parole. Attaccherò i numeri. Mi ci è voluto troppo tempo per scrivere l'ultima frase. Non potevo scegliere il giusto espressione, enunciato, termine o parola. Quindi li ho usati tutti.
Grazie ancora, @JerryFish ,
rapinare
Re: Spiegazione della dichiarazione statistica degna di nota n. 2: significato statistico vs importanza praticaAhah grazie @DirtyDataCoLLC !
Ho anche sentito da @Craige_Hales , che ha inviato questo link sullo stesso argomento di discussione.In esso, l'autore raccomanda "Differenza discernibile" invece di "Significatività statistica", a causa delle implicazioni fuorvianti di SS.Ha molto senso per me!
Re: Spiegazione della dichiarazione statistica degna di nota n. 2: significato statistico vs importanza pratica
Conosco molte persone che apprezzeranno la tua spiegazione di importanza statisticamente significativa rispetto a quella pratica.Alcuni anni fa, la FDA non ha condiviso la tua saggezza e un'intera sezione di un BLA ha dovuto essere riscritta. L'opinione della FDA ha richiesto un anno per essere rivista.
Tuttavia, qualcuno potrebbe obiettare che un anno è banale se pensiamo al tempo sulla scala evolutiva umana. Quindi immagino che non fosse praticamente significativo.