T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!I test T sono facili da eseguire, ma i risultati possono creare confusione! Nel mio post precedente sul blog, Ho delineato uno scenario in cui un ingegnere aveva il compito di determinare se una modifica del processo influiva sulla resistenza di una parte. L'ingegnere ha scelto di campionare tre parti con il nuovo trattamento (Trattamento A) e di confrontarle con tre parti standard (Controllo). I risultati sono stati analizzati con un test t standard e il valore p risultante è stato maggiore di 0,05 (per un'affidabilità del 95%). Pertanto, il nuovo processo è stato abbandonato.
Nella mia carriera di ingegnere, ho visto questo scenario diverse volte e sostengo che l'ingegnere potrebbe aver abbandonato un buon miglioramento del processo.
Perché lo dico? Per iniziare, penso che il test potrebbe essere stato pianificato ed eseguito in modo inadeguato a causa della mancanza di comprensione dei test t e della mancanza di chiarezza su ciò che stavamo cercando di realizzare. In altre parole, il Trattamento A avrebbe potuto essere una valida soluzione al nostro desiderio di aumentare la forza della parte!
Diamo un'occhiata al test t, cosa possiamo aspettarci da esso e come i risultati vengono spesso interpretati erroneamente.
Cosa possiamo aspettarci da un t-test?
Cosa stiamo cercando di fare con un t-test? Gli ingegneri utilizzano spesso i test t per cercare di rilevare le differenze tra le medie (o medie) di due grandi gruppi di parti (o popolazioni). Le popolazioni sono troppo grandi per poter misurare tutte le parti, quindi estraiamo un numero limitato di campioni da ciascuna popolazione, sperando che siano rappresentativi del tutto. Ma poiché le dimensioni del campione sono limitate, le medie campionarie saranno quasi sempre diverse da quelle delle popolazioni madri. In effetti, possono essere piuttosto lontani! (Ad esempio, potremmo estrarre accidentalmente tre campioni elevati da una popolazione, quindi la media del campione potrebbe essere molto più alta della media della popolazione.) Confrontare solo le medie del campione può certamente essere fuorviante, quindi applichiamo alcune statistiche (ad esempio, il t- test) per consentirne alcuni "Sventolatura del Kentucky" come compensazione per i mezzi del campione.
Una tipica (e non informata) interpretazione del t-test
Nel nostro scenario, l'ingegnere ha disegnato tre campioni di ciascun tipo di parte. (Non sappiamo perché lo abbia fatto... forse era solo una tradizione nella sua azienda.) Diciamo al nostro pacchetto software quanti campioni sono stati raccolti e quale livello di confidenza (spesso 95% di confidenza) vogliamo avere nel risultati. Lasciamo quindi che il nostro software esegua il calcolo del test t e otteniamo un "fattore p". Questo fattore p valuta se dovremmo “confutare l’ipotesi nulla”. (Perché gli statistici non possono parlare in un inglese semplice, giusto?) Nel nostro scenario, per una fiducia del 95% abbiamo bisogno di un fattore p inferiore a 0,05, cosa che non abbiamo raggiunto. Quindi abbiamo abbandonato il miglioramento.
Il problema con questa interpretazione
Livelli di confidenza, fattori p, ipotesi nulle... questo è un gergo statistico che spesso è difficile da comprendere e può portare a conclusioni improprie. Scartiamolo un po' in parole povere.
- Ciò che ci dice il test t (con un fattore p superiore a 0,05) è questo dati i nostri dati campione (compresa la dimensione del campione), noi NON POSSO DIRLO con una certezza del 95% che vi sia una differenza nelle medie delle due grandi popolazioni.
- Che test t NON STA DICE è che le popolazioni condividono gli stessi mezzi! Questo è molto sottile ma estremamente importante! Non siamo stati in grado di dimostrare che siano diversi, ma in realtà potrebbero essere comunque diversi! La varianza (o rumore) nei nostri dati ha reso impossibile rilevare la differenza in questo test. Ma forse se avessimo raccolto cinque campioni ciascuno (o 10, o 100) saremmo stati in grado di rilevare una differenza!
Quindi, il primo errore che ho riscontrato è stato concludere dal test t fallito (cioè con un fattore p elevato) che le medie della popolazione sono le stesse. Ricorda che i test T possono solo dire se le medie della popolazione sono diverse!
(Un secondo errore su cui ho sorvolato è stato il fatto che non abbiamo definito esplicitamente il livello di fiducia necessario nei risultati.Un livello di confidenza del 95% è tipico nel mondo dell'ingegneria, ma spesso è necessaria una confidenza molto più elevata negli studi medici, ecc.)
Al prossimo errore...
Qual è una differenza importante per te?
Ricordiamo che l'ingegnere si è lanciato nell'esperimento semplicemente cercando se esistesse una differenza tra le due medie della popolazione. Ma nella maggior parte degli scenari pratici, siamo interessati a se il Trattamento A (nel nostro esempio) ci offre almeno un certo miglioramento rispetto allo standard. Nel nostro scenario, è importante per noi un miglioramento della forza dello 0,00001%? Forse, ma probabilmente no. Sarebbe importante per noi un miglioramento dell’1%? O il 10%?
Questa “importante differenza” si riduce in realtà alla voce del cliente, poiché (generalmente) un miglioramento del processo deve essere giudicato rispetto a ciò che il cliente desidera, e quindi a ciò per cui pagherà. Potrebbe anche implicare molte altre considerazioni per la società di produzione.
Nel nostro scenario, non è stato detto nulla su cosa significhi per noi la differenza di popolazione. In effetti, non abbiamo nemmeno detto esplicitamente che volevamo che la media della popolazione del Trattamento A fosse più alta di quella del Controllo! (In questo caso, sembra ovvio che vogliamo aumentare la resistenza delle parti, ma forse la parte è sovraprogettata e vogliamo ridurre la resistenza per risparmiare sui costi.) Se stiamo cercando un aumento o una diminuzione, influisce anche calcoli statistici, quindi è importante specificarlo. Il team di ingegneri, insieme al management, deve decidere quale differenza è importante e se si tratta di un aumento o di una diminuzione, prima che possa iniziare qualsiasi pianificazione dei test.
Quindi, il secondo errore che vedo spesso è che non è stata specificata l’entità della differenza importante, né è stata specificata la direzione (in aumento o in diminuzione) della differenza.
In che modo questi errori hanno influenzato il nostro scenario di test?
Se avessimo riflettuto su questi punti, avremmo potuto riprogettare il nostro test e giungere a una conclusione completamente diversa sul Trattamento A. Ma a causa della nostra mancanza di conoscenza del test t e della nostra scarsa definizione di ciò che stavamo cercando di ottenere , abbiamo ignorato il trattamento A come soluzione praticabile.
Parleremo più approfonditamente di altri aspetti della pianificazione dei test nel prossimo post del blog, che culminerà con Fai la domanda completa, che può aiutare a evitare molti di questi errori. Spero che tu possa sintonizzarti per la Parte 3 tra circa una settimana!
Guardando avanti
Ho intenzione di toccare tutti i seguenti argomenti man mano che procediamo. Spero che tu possa unirti a me per tutta la serie !
- Presentazione di uno scenario tipico
- Cosa ci dice realmente il test t? (questo post)
- Altre considerazioni sul test e porre la domanda completa
- Il tuo misuratore è in grado (e cosa fare se non lo è)?
- Pianificazione ed esecuzione del test: dalle dimensioni del campione alle migliori pratiche
- Analisi dei risultati (incluso Garbage In = Garbage Out)
- Conclusione finale
