Perché questa è una dichiarazione statistica degna di nota? #1Inizierò alcuni thread di discussione nelle prossime settimane e invito qualsiasi utente JMP a intervenire
con i loro pensieri.Queste discussioni ruoteranno attorno alle "Dichiarazioni statistiche degne di nota".
Per favore considera la possibilità di contribuire.Dopo pochi giorni, Riassumerò i pensieri in un post sul blog , E introdurre un'altra dichiarazione degna di nota !
Ecco la dichiarazione degna di nota n. 1:
Eseguiamo un test t per confrontare le medie di due popolazioni.Vogliamo una fiducia del 95% nei risultati.Eseguiamo il test e il valore p ritorna a 0,63.Facciamo il comunicato" Poiché p non è inferiore a 0,05, concludiamo che non vi è alcuna differenza nelle medie di queste popolazioni. "
Perchè questa affermazione è imbarazzante????
Ingegneria della qualità e dei processiCondivisione e comunicazione dei risultatiRi: Perché questa è una dichiarazione statistica degna di nota? #1Per me semplicemente non riflette un livello adeguato di comprensione, ma almeno è più o meno la "corretta interpretazione".
Alcune persone hanno discusso qualcosa sulla falsariga di quello che mi piace chiamare il "metodo del valore p" e il "metodo dell'intervallo di confidenza" per l'esecuzione di un test T.Mi piace pensare a questi due modi di analisi come in sostanza la stessa cosa e proporrò qui (e per favore sentitevi liberi di non essere d'accordo con me) che in realtà sono, modi diversi (di esprimere matematicamente) la stessa cosa .JMP è molto intelligente nel fornire la presentazione statistica in entrambi i modi nella maggior parte dei casi e questo mi piace davvero! L'interpretazione che utilizza intervalli di confidenza (nel contesto del test T plain vanilla, dei test di non inferiorità, di equivalenza e di superiorità) è sempre stata più interpretabile per me.
Un mio caro amico mi ha dato un bel riferimento a un libro di testo che penso parli di questo:
Bluman, Statistica elementare (7a edizione), 2015
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Non definirei l'interpretazione: "Sono sicuro al 95% che la differenza media campionaria non sia inferiore al CI inferiore e non superiore al CI superiore" "sbagliata" di per sé, anzi penso che sia un modo perfettamente appropriato di esprimerlo è "corretto" e facilmente formulabile, ma direi che l'interpretazione è semplicemente "comunemente fraintesa" @dale_lehman come fai notare.
COME @giuliano dice dentro Processo decisionale con i dati (STIPS) - Sezione 4.1 Stima {e puoi ottenerlo dalla trascrizione in cui ho catturato lo schermo di riferimento del modulo appropriato di seguito intitolato " Demo: comprensione del livello di fiducia e del rischio alfa "}
"Faremo clic su Reimposta campioni, modificheremo il numero di campioni su 100 e faremo clic su Disegna campioni aggiuntivi. Mentre continuiamo a prelevare campioni, notiamo che la media dei campioni è vicina alla media reale. Si noti inoltre che quasi il 95% degli intervalli di confidenza contiene il vero valore medio del QI e circa il 5% degli intervalli di confidenza non include la vera media."
"Questo è ciò che intendiamo con il termine "fiducia". In media , per un Fiducia al 95%. intervallo, 9 Nel 5% dei casi in cui viene utilizzato questo metodo di intervallo, l'intervallo acquisisce il valore reale del parametro ."
Naturalmente l'inferenza è sulla popolazione, ma è basata sui dati del campione. Questo è ciò che facciamo quando facciamo statistica inferenziale in generale. L'intera impresa consiste nel fare inferenze sulla popolazione sulla base dei dati campione in nostro possesso. Ancora una volta, nello stesso Processo decisionale con i dati Modulo 4, Sezione Osservazione 4.1 Introduzione all'inferenza statistica .Qui, @mia_stephens ne parla in modo chiaro, preciso e diretto.
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Non penso che il mio esempio abbia davvero nulla a che fare con l'analisi bayesiana vs frequentista o con i valori p (almeno direttamente).Ovviamente hai ragione nel dire che sono sicuro al 95% del vero valore in questo intervallo di confidenza del 95% non è corretto: la fiducia è nella procedura, non in un particolare intervallo di confidenza.Il vero valore è o non è in quel particolare intervallo.
Ma il punto è che il 95% è la migliore stima che posso fornire se il mio particolare intervallo è o meno uno del 95% di "quelli buoni" che contiene il valore vero o uno del 5% che darebbe il valore sbagliato conclusione.Potresti trovare imbarazzante l'interpretazione sbagliata, ma io no.In effetti, trovo che l'interpretazione corretta sia alquanto imbarazzante, poiché si tratta di un mucchio di parole che fanno lacrimare gli occhi alla maggior parte delle persone.E penso che contribuisca alla pratica molto peggiore (e più imbarazzante) di ignorare del tutto l’incertezza e trattare la stima puntuale come il valore reale.
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Oltre agli altri problemi menzionati nei post precedenti,
1) Quando si verifica l'equivalenza delle medie, la parzialità del test deve essere specificata a priori. Se non diversamente specificato, il test per l'equivalenza media implica solitamente un test a due code, nel qual caso alfa, la probabilità di errore di tipo I del 5%, è la somma dell'area nelle code superiore e inferiore della distribuzione nulla. In quasi tutti i casi, questa probabilità è divisa equamente, quindi l'area della coda con cui confrontare il valore p dovrebbe essere alfa/2, che è 0,025, non 0,05.
** EDIT: JMP si prende cura di questo per te raddoppiando la coda trovata utilizzando la statistica critica, ma se lo facessi "a mano", finiresti per rifiutare un'area a coda singola < 0,025.
2) La "fiducia al 95% nei risultati" è degna di nota perché fraintende l'idea principale dietro un test di ipotesi. Puoi essere sicuro al 100% che, eseguendo un test di ipotesi al livello di significatività 0,05, avrai utilizzato una determinata procedura (se hai fatto le cose correttamente). Quando le medie delle 2 distribuzioni sono effettivamente le stesse, nel lungo termine (e presupponendo che tutte le ipotesi siano valide), il 5% delle volte la procedura produrrà una statistica di test che si tradurrà in una conclusione con medie diverse, a causa della variabilità del campionamento.
3) Ci sono solo 2 possibili conclusioni per un test di ipotesi di questa natura: 1) "I dati del campione forniscono prove (convincenti) che l'ipotesi nulla è falsa" e 2) "I dati del campione non forniscono prove convincenti che l'ipotesi nulla è falso". Notevolmente assente è l'affermazione "Sulla base dei dati del campione concludiamo che l'ipotesi nulla è vera". Generalmente quando si vuole dimostrare qualcosa, si inquadra ciò che si sta cercando di dimostrare come un'ipotesi alternativa, sperando che i dati supportino il rifiuto del nulla a favore dell'alternativa. Se il ricercatore sta cercando di dimostrare l’equivalenza delle medie, allora sarebbero più appropriati due test unilaterali.
4) Altri lo hanno menzionato, ma vale la pena ripeterlo: la significatività statistica e la significatività pratica non devono essere, e di solito non sono, la stessa cosa. Il significato pratico dovrebbe essere discusso e concordato dal punto di partenza, se non dal punto zero.
@dale_lehman lo menziona "Il problema con l'interpretazione corretta è che non ci lascia in grado di dire nulla sul campione di cui effettivamente disponiamo."Non sono d'accordo, ma so dove vuole arrivare. Ogni tecnica statistica ha una domanda particolare a cui è progettata per rispondere. In particolare nel caso di un'ipotesi nulla che i dati non sono riusciti a rifiutare, uno dei problemi principali che i non statistici (e gli statistici bayesiani, del resto) hanno con i test di ipotesi frequentista è che un valore p risponde a una domanda che è un domanda innaturale da porre, vale a dire: "Sotto l'ipotesi nulla, qual è la probabilità di osservare risultati altrettanto estremi, o anche più estremi, dei risultati che ho effettivamente osservato?". I bayesiani diranno che i loro metodi rispondono a domande più naturali, ma le tecniche bayesiane hanno i loro problemi: non esiste una panacea. Non esiste alcun sostituto per capire quali tecniche siano più adatte a rispondere a determinate domande e per scegliere una tecnica che sia adatta alla domanda a cui stai cercando di rispondere. La recente (più o meno) reazione contro il valore p, soprattutto nel campo della ricerca medica, mi sembra un po' come una reazione contro le forchette quando vengono usate come bende sugli occhi. Un valore p è uno strumento, come qualsiasi altro. Usalo nel modo giusto, per il lavoro giusto, e andrà tutto bene... usalo nel modo sbagliato e "ti sparerai un occhio!".
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Sono davvero affezionato a @Georg l'ultima frase nella sua risposta sopra. Come statistico che lavora sulla commercializzazione di processi/prodotti o su team di azioni correttive da oltre 20 anni nell'industria, spesso dicevo agli ingegneri, agli scienziati e ai manager con cui ho lavorato: "Il giorno in cui permetterai a me, uno statistico, di dirti come gestire il tuo processi è il giorno in cui inizia la tua strada verso la rovina. Hai dimenticato più cose sui tuoi processi/prodotti di quanto potrò mai immaginare."
O come scrisse Walter Shewhart (parafrasato da me): "Il contributo a lungo termine della statistica non dipende tanto dalla creazione di un gruppo di statistici quanto dalla creazione di un gruppo di ingegneri, scienziati, personale di produzione e altri con una mentalità statistica".
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Per ampliare un po' la discussione, a me questo non sembra degno di nota fin dall'inizio. Secondo me può essere ancora una decisione valida. Naturalmente, come già sottolineato da altri, potrebbero mancare molte informazioni aggiuntive per fidarsi di tale decisione. Quindi, ai miei occhi, dipende dal contesto dell'affermazione e da chi l'ha espressa. E quale sarebbe, a proposito, l'affermazione giusta con lo stesso numero di parole?
Inoltre, anche se a volte mi piacciono le discussioni sulla giusta formulazione: i termini sono importanti, non mi piace costruire un muro tra statistici e ingegneri di processo che non hanno una conoscenza approfondita della statistica. Ma questi ultimi conoscono i loro dati e i loro processi. E come possiamo immaginare, ci sono molte cose ancora più importanti sotto la nuda tabella dei numeri. Questo potrebbe essere l'ambiente del campionamento dei dati nonché le conseguenze della decisione presa, ad esempio @P_Bartell già detto. Le decisioni devono ancora essere prese dagli esseri umani, non dalle macchine.
Ri: Perché questa è una dichiarazione statistica degna di nota? #1+ Nessuna menzione di un controllo di normalità
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Grazie @statman !Altro buon cibo per i post futuri.
Continuate ad arrivare commenti!!
Ri: Perché questa è una dichiarazione statistica degna di nota? #1EHI @P_Bartell !È bello sentirti!
Grazie per la risposta!!Inseriremo queste idee nella mia (crescente) lista di affermazioni degne di nota e le pubblicheremo nei post futuri!
Stai bene, amico mio!
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Giocherò...Il mio preferito è in realtà abbastanza semplice...Usare la frase "statisticamente significativo" applicata ovunque senza contesto. È interessante notare che se chiedi a qualcuno se è più propenso a credere a qualcosa quando pronuncia la frase statisticamente significante si aggiunge che rispondono sì senza sapere nulla dei confronti che vengono fatti.
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Da dove comincio? Dimensione del campione (nessuna dichiarata... potrebbe essere semplicemente troppo piccola per dare al segnale la possibilità di superare il rumore)? Qual è il rischio alfa scelto ("...95% fiducioso nei risultati..." è un'affermazione priva di significato rispetto al rischio alfa. Cosa significa questa affermazione)? Qual è l'ipotesi nulla (nessuna dichiarata)? Qual è l'errore di misurazione (noto o addirittura presunto)? Qual è stato il piano di campionamento (casuale, di convenienza, primo/ultimo della linea, stratificato o qualche altro piano)? Qual è il rischio di rappresentazione... non solo il rischio statistico? E così via.
Ri: Perché questa è una dichiarazione statistica degna di nota? #1Sono d'accordo con questo esempio di imbarazzo: classico malinteso dell'assenza di prove che non significa prova di assenza.Consideriamo la frase classica, ma meno semplice: "l'intervallo di confidenza al 95% varia da x a y, il che significa che sono sicuro al 95% che il vero effetto sia compreso tra x e y".Mi capita di credere che sia giusto dirlo, anche se so che l'affermazione corretta è che "il 95% di tutti i campioni casuali costruiti in questo modo conterrà il vero effetto".Naturalmente, non sappiamo se il nostro campione è uno di quel 95% o uno di quel 5% che non contiene il vero effetto popolazione, e lo contiene oppure no.Ma, considerando l'unico campione che abbiamo, penso che il meglio che possiamo dire sia la prima affermazione citata, nonostante tecnicamente non sia corretta.
Mi piacerebbe sapere cosa pensano gli altri di questo esempio.Gli statistici amano sottolineare come questa interpretazione sbagliata dell'intervallo di confidenza sia comune, mentre io posso capirlo perfettamente.E confesso di dare agli studenti la libertà di interpretarlo erroneamente (anche se almeno indico qual è l'interpretazione corretta).Il problema con l'interpretazione corretta è che non ci lascia in grado di dire nulla sul campione di cui effettivamente disponiamo.
