Se vi siete persi la puntata di marzo di Statisticamente parlando , puoi guardarlo senza registrarti! Riteniamo che le prospettive e gli esempi presentati da Jessica Utts e Dick De Veaux – i brillanti e pluripremiati statistici, professori, autori e ASA Fellow – siano così convincenti che i loro discorsi dovrebbero essere visti in lungo e in largo.
Inoltre, abbiamo esaurito il tempo prima di poter affrontare ogni domanda di follow-up. Per fortuna, Jessica e Dick hanno fornito risposte esaurienti; siamo grati a loro per aver dedicato del tempo ad approfondire questo importante argomento.
Domanda: Che ne dici di incorrere in inutili sprechi nell'impostazione di un'analisi?Vediamo così tante persone che continuano a fare esperimenti un fattore alla volta, il che è davvero solo uno spreco di tentativi ed errori. Questo risale al punto di Jessica sull'insegnamento dell'alfabetizzazione statistica?
Jessica : Non credo che una discussione su come progettare un esperimento o un'analisi si adatti alla mia idea di alfabetizzazione statistica, perché sono principalmente interessato all'alfabetizzazione dei consumatori statistici. Ma questo porta a un punto molto importante. Il problema di fare esperimenti un fattore alla volta va oltre lo spreco. Il problema è che i risultati possono essere molto fuorvianti se le interazioni esistono ma non vengono prese in considerazione. E le interazioni possono essere misurate solo studiando più fattori nello stesso esperimento.
Ad esempio, alcuni studi dimostrano che il consumo di caffeina prima dell'allenamento aiuta con le prestazioni atletiche. Ma altri studi mostrano il contrario. Una spiegazione che è stata proposta è che dipende dal fatto che qualcuno sia geneticamente un metabolizzatore della caffeina veloce o lento. Quindi, se uno studio di questo tipo non tenesse conto di quella differenza genetica, i risultati potrebbero essere piuttosto fuorvianti.
Quando i consumatori leggono i risultati di uno studio che non sembrano avere senso (o anche risultati che hanno!), una buona strategia è pensare a quali variabili aggiuntive potrebbero portare alle interazioni. Ad esempio, in questo webinar ho discusso i risultati della Women's Health Initiative, che sembravano dimostrare che l'assunzione di una terapia ormonale sostitutiva dopo la menopausa aumentava il rischio di malattia coronarica. Ma la ricerca di follow-up ha mostrato che il quadro non è così semplice. Secondo il Comitato per la pratica ginecologica dell'American College of Obstetricians and Gynecologists :
“Analisi recenti suggeriscono che la terapia ormonale HT [terapia ormonale] non aumenta il rischio di CHD [malattia coronarica] per le donne sane che hanno recentemente sperimentato la menopausa. Ci sono alcune prove che supportano l'ipotesi della tempistica, che postula che il beneficio cardiovascolare possa essere derivato quando ET [terapia estrogenica] o HT vengono utilizzati vicino all'inizio della menopausa".
In altre parole, non solo è improbabile che gli ormoni causino malattie coronariche nelle donne che iniziano a prenderli in menopausa, gli ormoni potrebbero infatti essere utili per ridurre le malattie cardiache! Il problema è che l'età media delle donne nello studio originale era di 63 anni, e la maggior parte di loro aveva molti anni dopo la transizione alla menopausa e non aveva mai usato ormoni. Un amico medico mi ha spiegato che questo significa che potrebbero aver avuto il tempo di accumulare placca nelle loro arterie dopo la menopausa, e quando hanno iniziato gli ormoni molti anni dopo, la placca si è allentata, causando una malattia coronarica. Se avessero assunto ormoni subito dopo la menopausa, la placca non si sarebbe accumulata e gli ormoni li avrebbero protetti dalle malattie cardiache. In questo esempio, la tempistica di inizio degli ormoni in termini di numero di anni dopo la transizione della menopausa è stata un'importante variabile di interazione. Se i consumatori avessero consultato l'articolo di ricerca originale, avrebbero notato che le donne che hanno partecipato allo studio non erano rappresentative di come viene utilizzata nella pratica la terapia ormonale. Nel “mondo reale” la terapia ormonale viene quasi sempre prescritta immediatamente al raggiungimento della menopausa.
Se stai progettando esperimenti o studi osservazionali, è molto importante pensare a come il combinazione di variabili esplicative potrebbero influenzare il risultato. Se le interazioni sono probabili, non è solo uno spreco, ma è anche potenzialmente fuorviante indagare sui fattori uno alla volta.
Domanda: Il significato pratico dovrebbe essere definito da uno specifico cutoff della dimensione dell'effetto, come 0,5, che gli psicologi definiscono "effetto medio"?
Jessica : No! Il significato pratico dovrebbe essere visto nel contesto. Tuttavia, le dimensioni degli effetti sono utili, soprattutto per determinare se un risultato viene replicato da uno studio all'altro. Questo perché, a differenza di p - valori, le dimensioni degli effetti non dipendono dalla dimensione del campione. (Tuttavia, come con qualsiasi stima statistica, più grande è il campione, più accurata sarà la stima della dimensione dell'effetto reale.) Quindi, se una particolare variabile di risultato mostra costantemente la stessa entità della dimensione dell'effetto da uno studio all'altro, è meglio indicatore di replicazione che se studi di dimensioni ampiamente variabili trovassero costantemente simili p - valori.
Un modo semplice per pensare a una dimensione dell'effetto è che è la differenza tra le medie di due gruppi in termini di numero di deviazioni standard. Ad esempio, l'altezza media di uomini e donne differisce di circa 5 pollici e all'interno di ciascun gruppo la deviazione standard è di circa 2,5 pollici. Quindi la differenza di 5 pollici ha una dimensione dell'effetto di 5/2,5 = 2, che è la differenza nelle altezze medie in termini di numero di deviazioni standard "all'interno del gruppo". Le dimensioni dell'effetto sono state classificate come piccole se sono intorno a 0,2, medie intorno a 0,5 e grandi se sono 1,0 o più. Approssimativamente, si dice che un effetto di grandi dimensioni è percepibile da chiunque, un effetto medio è percepibile da un esperto attento e uno piccolo non è realmente osservabile senza utilizzare le statistiche, anche se può essere importante. Usando l'esempio qui, una differenza di altezza media in due gruppi di 2,5 pollici o più (dimensione dell'effetto di 1) dovrebbe essere evidente a qualsiasi osservatore, una differenza di altezza media di 1,25 pollici (dimensione dell'effetto di 0,5) probabilmente non sarebbe evidente a meno che qualcuno spesso misura le altezze per qualche scopo e una differenza di mezzo pollice (dimensione dell'effetto di 0,2) sarebbe molto difficile da rilevare senza riepiloghi statistici.
Ma il significato pratico dipende sempre dal contesto. Ad esempio, supponiamo che venga condotto uno studio per determinare se l'assunzione di un particolare integratore a base di erbe senza effetti collaterali possa aiutare a ridurre il colesterolo. Varie fonti riportano che la deviazione standard della popolazione per il colesterolo plasmatico totale è di circa 40 mg/dl. Quindi anche una dimensione dell'effetto relativamente piccola di 0,25 (¼ di una deviazione standard) rappresenta una riduzione media del colesterolo di 10 mg/dl, che potrebbe avere un significato clinico significativo. D'altra parte, supponiamo che un farmaco per la riduzione del colesterolo abbia gravi effetti collaterali. In tal caso, una riduzione media di soli 10 mg/dl a seguito dell'assunzione del farmaco probabilmente non sarebbe sufficiente a far valere la pena rischiare gli effetti collaterali. E come illustrato dagli esempi di altezza e colesterolo, il valore numerico di una dimensione dell'effetto dipende dalla variabilità naturale all'interno del gruppo. Se la variabilità naturale dei livelli di colesterolo nella popolazione fosse solo di 5 mg/dl invece di 40 mg/dl, una riduzione di 10 mg/dl rappresenterebbe una dimensione dell'effetto di 10/5 = 2,0, soddisfacendo il criterio di un effetto."
Un altro esempio è quando si determina se un effetto esiste. Ad esempio, studi di laboratorio per verificare se è possibile la percezione extrasensoriale hanno costantemente riscontrato piccole dimensioni degli effetti, generalmente comprese tra 0,15 e 0,2. Ma qualsiasi dimensione dell'effetto coerente diversa da zero in questo contesto sarebbe significativa, perché indicherebbe che la percezione extrasensoriale è possibile.
Quindi, per riassumere, determinare se il risultato di uno studio mostra un significato pratico richiede competenze contestuali. Le dimensioni degli effetti possono essere utilizzate come guida, ma ciò che è considerato di importanza pratica dipenderà sempre da altri fattori, oltre alle misure statistiche.
Domanda: Come si definisce la significatività pratica/biologica rispetto alla significatività statistica?
Cazzo : Questa è un'ottima domanda, che si presenta spesso. Risponderò prima alla domanda in generale e poi darò un paio di risposte. Il "significato" statistico è un termine ristretto che descrive la situazione in cui i dati osservati si discostano "abbastanza" da ciò che prevede il modello proposto. Quindi, se assumiamo che una moneta sia equa e la giriamo 100 volte e la frequenza osservata delle teste è abbastanza lontana da 0,5, diremo che il risultato è statisticamente significativo, il che significa che la possibilità che accada in quel modello è piccola ( questo è il valore p). Quando il valore p è sufficientemente piccolo, diciamo che ci sono prove contro il modello (o l'ipotesi), se la differenza effettiva da 0,5 è abbastanza lontana da essere praticamente interessante o meno. Il significato pratico/biologico descrive un risultato che è significativo allo scienziato o ad altro investigatore. Un risultato può essere praticamente significativo ma non statisticamente significativo o (anche peggio), viceversa.
Uno studente è venuto da me ieri con una teoria su come gli insetti visitano le piante. Tendono a venire in modo indipendente o vengono in gruppi? Abbiamo utilizzato un modello di Poisson per modellare le occorrenze di 0, 1, 2, 3 … insetti che arrivano al fiore e quindi abbiamo utilizzato un test del chi quadrato per vedere se le occorrenze effettive corrispondono a Poisson. Rendendo il periodo di tempo molto piccolo, e quindi aumentando il numero di periodi di tempo, siamo stati in grado di rifiutare il modello di Poisson (e quindi gli arrivi indipendenti) abbastanza facilmente. Ma non abbiamo risposto alla domanda se gli arrivi fossero abbastanza lontani per rispondere davvero alla domanda biologica. Quanto diversi dai numeri previsti per Poisson darebbero davvero la prova che gli insetti si stanno "accoppiando". Non è una domanda a cui uno statistico può rispondere.
Un altro esempio viene da un laboratorio di Princeton che stava cercando di dimostrare che gli esseri umani possono influenzare (o almeno prevedere) il risultato di un generatore di numeri casuali. Hanno generato un numero casuale (uniforme) compreso tra 0 e 1 e poi hanno chiesto ai soggetti di dire se era minore o maggiore di 0,5. Hanno raccolto decine di migliaia di queste osservazioni e hanno annunciato che la percentuale era chiaramente statisticamente significativa (con un p-value < 0,00001).La percentuale di successo effettiva (circa 0,5002) era una deviazione così piccola che nel migliore dei casi influenzerebbe da due a tre risultati su 10.000. Naturalmente, il direttore del laboratorio ha sostenuto che qualunque differenza, non importa quanto piccola, sarebbe interessante. Anche se i risultati fossero veri, e non il risultato di anomalie sperimentali o errori casuali, lascio al lettore decidere se i risultati sono praticamente significativi.
Se un farmaco ha una percentuale di successo sufficientemente maggiore di un placebo da essere improbabile che si sia verificato per caso, diremo che è un risultato statisticamente significativo. Ma se la differenza effettiva fosse, per esempio, la cura del 31% dei pazienti, invece del 30% del placebo, sospetto che il reparto marketing farebbe fatica a pubblicizzare quel miglioramento anche se tale differenza fosse statisticamente significativa.
Domanda: Ritieni che chiunque abbia un interesse o un interesse in un risultato di uno studio debba essere sempre esaminato o identificato in uno studio?
Cazzo : Più che mai, i dati sono facili da trovare su quasi tutti gli argomenti che ci interessa ricercare. Ma, ovviamente, tutti i dati non sono uguali. Il risultato di uno studio clinico in doppio cieco controllato con placebo è sempre preferibile alle informazioni aneddotiche. Quando la fonte dei dati non può essere identificata, potrebbe essere impossibile distinguere i due scenari. Il pedigree dei dati, compreso il modo in cui sono stati raccolti, a quali condizioni, da chi e per quale scopo, sono essenziali prima di affermare ciò che i dati implicano nel mondo in generale.
Siamo interessati ad ascoltare altri esempi che potresti avere etica nella scienza dei dati , in cui è stata prestata un'attenta considerazione per un'analisi etica, un'analisi in cui l'etica era chiaramente carente o un dilemma etico in cui non è chiaro come procedere al meglio. Grazie ancora a Jessica e Dick per aver condiviso la loro saggezza e competenza su questo argomento, che è così importante per questi tempi.
