Se ti sei perso la puntata di marzo diStatisticamente parlando, puoi guardarlo senza registrarti! Pensiamo che le prospettive e gli esempi presentati da Jessica Utts e Dick De Veaux, brillanti statistici, professori, autori e ASA Fellows pluripremiati, siano così convincenti che i loro interventi dovrebbero essere visti in lungo e in largo.
Inoltre, abbiamo esaurito il tempo a disposizione prima di poter rispondere a tutte le domande di follow-up. Fortunatamente, Jessica e Dick hanno fornito risposte esaustive; siamo grati a loro per essersi presi il tempo di approfondire ulteriormente questo importante argomento.
Domanda: Che dire dello spreco non necessario nell'impostazione di un'analisi? Vediamo così tante persone che continuano a fare esperimenti un fattore alla volta, che in realtà sono solo inutili tentativi ed errori. Questo ci riporta al punto di Jessica sull'insegnamento dell'alfabetizzazione statistica?
Jessica: Non credo che una discussione su come progettare un esperimento o un'analisi si adatterebbe alla mia idea di alfabetizzazione statistica, perché mi interessa soprattutto l'alfabetizzazione dei consumatori statistici. Ma questo porta a un punto molto importante. Il problema di fare esperimenti con un fattore alla volta va oltre l'essere uno spreco. Il problema è che i risultati possono essere molto fuorvianti se le interazioni esistono ma non vengono prese in considerazione. E le interazioni possono essere misurate solo studiando più fattori nello stesso esperimento.
Ad esempio, alcuni studi dimostrano che assumere caffeina prima di allenarsi aiuta con le prestazioni atletiche. Ma altri studi dimostrano il contrario. Una spiegazione che è stata proposta è che dipende dal fatto che una persona sia geneticamente un metabolizzatore di caffeina veloce o lento. Quindi, se uno studio di questo tipo non tenesse conto di questa differenza genetica, i risultati potrebbero essere piuttosto fuorvianti.
Quando i consumatori leggono i risultati di uno studio che non sembrano avere senso (o anche risultati che ne hanno!), una buona strategia è pensare a quali variabili aggiuntive potrebbero portare a interazioni. Ad esempio, in questo webinar ho discusso i risultati della Women's Health Initiative, che sembravano dimostrare che assumere una terapia ormonale sostitutiva dopo la menopausa aumentava il rischio di coronaropatia. Ma una ricerca di follow-up ha dimostrato che il quadro non è così semplice. Secondo laComitato per la pratica ginecologica dell'American College of Obstetricians and Gynecologists:
"Analisi recenti suggeriscono che la HT [terapia ormonale] non aumenta il rischio di CHD [malattia coronarica] per le donne sane che hanno recentemente sperimentato la menopausa. Ci sono alcune prove che supportano l'ipotesi temporale, che postula che si possa ottenere un beneficio cardiovascolare quando ET [terapia estrogenica] o HT vengono utilizzate in prossimità dell'inizio della menopausa".
In altre parole, non solo è improbabile che gli ormoni causino malattie coronariche nelle donne che iniziano ad assumerli in menopausa, ma potrebbero addirittura essere utili per ridurre le malattie cardiache! Il problema è che l'età media delle donne nello studio originale era di 63 anni e la maggior parte di loro era da molti anni oltre la transizione alla menopausa e non aveva mai usato ormoni. Un amico medico mi ha spiegato che questo significa che potrebbero aver avuto il tempo di accumulare placca nelle arterie dopo la menopausa e quando hanno iniziato ad assumere ormoni molti anni dopo la placca si è allentata, causando malattie coronariche. Se avessero assunto ormoni subito dopo essere passate dalla menopausa, la placca non si sarebbe accumulata e gli ormoni le avrebbero protette dalle malattie cardiache. In questo esempio, il momento in cui hanno iniziato ad assumere ormoni in termini di numero di anni dopo la transizione alla menopausa è stata un'importante variabile di interazione. Se i consumatori avessero consultato l'articolo di ricerca originale, avrebbero notato che le donne che hanno partecipato allo studio non erano rappresentative di come la terapia ormonale viene utilizzata nella pratica. Nel “mondo reale” la terapia ormonale viene quasi sempre prescritta immediatamente dopo il raggiungimento della menopausa.
Se si progettano esperimenti o studi osservazionali, è molto importante pensare a come la combinazione di variabili esplicative potrebbe influenzare il risultato. Se le interazioni sono probabili, non è solo uno spreco, ma anche potenzialmente fuorviante indagare i fattori uno alla volta.
Domanda: La significatività pratica dovrebbe essere definita da un limite specifico per la dimensione dell'effetto, ad esempio 0,5, che gli psicologi definiscono come "effetto medio"?
Jessica: No! Il significato pratico dovrebbe essere visto nel contesto. Le dimensioni dell'effetto sono utili, tuttavia, soprattutto per determinare se un risultato è replicato da uno studio all'altro. Questo perché, a differenza dei valori p, le dimensioni dell'effetto non dipendono dalla dimensione del campione. (Tuttavia, come con qualsiasi stima statistica, più ampio è il campione, più accurata sarà la stima della vera dimensione dell'effetto.) Quindi, se una particolare variabile di esito mostra costantemente la stessa entità della dimensione dell'effetto da uno studio all'altro, questo è un indicatore migliore di replicazione rispetto al fatto che studi di dimensioni ampiamente variabili trovino costantemente valori p simili.
Un modo semplice per pensare a una dimensione dell'effetto è che è la differenza tra le medie di due gruppi in termini di numero di deviazioni standard. Ad esempio, le altezze medie di uomini e donne differiscono di circa 5 pollici e all'interno di ciascun gruppo la deviazione standard è di circa 2,5 pollici. Quindi la differenza di 5 pollici ha una dimensione dell'effetto di 5/2,5 = 2, che è la differenza nelle altezze medie in termini di numero di deviazioni standard "all'interno del gruppo". Le dimensioni dell'effetto sono state classificate come piccole se sono intorno a 0,2, medie intorno a 0,5 e grandi se sono 1,0 o più. In parole povere, si dice che una grande dimensione dell'effetto è evidente a chiunque, un effetto medio è evidente a un esperto osservatore e uno piccolo non è realmente osservabile senza usare statistiche, anche se può essere importante. Utilizzando l'esempio qui riportato, una differenza di altezza media in due gruppi di 2,5 pollici o più (dimensione dell'effetto pari a 1) dovrebbe essere evidente a qualsiasi osservatore, una differenza di altezza media di 1,25 pollici (dimensione dell'effetto pari a 0,5) probabilmente non sarebbe evidente a meno che qualcuno non misuri spesso le altezze per qualche scopo, e una differenza di mezzo pollice (dimensione dell'effetto pari a 0,2) sarebbe molto difficile da rilevare senza riepiloghi statistici.
Ma il significato pratico è sempre dipendente dal contesto. Ad esempio, supponiamo che venga condotto uno studio per determinare se assumere un particolare integratore a base di erbe senza effetti collaterali potrebbe aiutare a ridurre il colesterolo. Diverse fonti riportano che la deviazione standard della popolazione per il colesterolo plasmatico totale è di circa 40 mg/dl. Quindi anche una dimensione dell'effetto relativamente piccola di 0,25 (¼ di una deviazione standard) rappresenta una riduzione media del colesterolo di 10 mg/dl, che potrebbe avere un significato clinico significativo. D'altro canto, supponiamo che un farmaco per la riduzione del colesterolo abbia gravi effetti collaterali. In tal caso, una riduzione media di soli 10 mg/dl come risultato dell'assunzione del farmaco probabilmente non sarebbe sufficiente a far valere la pena di rischiare gli effetti collaterali. E come illustrato dagli esempi di altezza e colesterolo, il valore numerico di una dimensione dell'effetto dipende dalla variabilità naturale all'interno del gruppo. Se la variabilità naturale nei livelli di colesterolo nella popolazione fosse stata di soli 5 mg/dl invece di 40 mg/dl, allora una riduzione di 10 mg/dl avrebbe rappresentato una dimensione dell’effetto di 10/5 = 2,0, soddisfacendo il criterio di un “effetto ampio”.
Un altro esempio è quando si determina se un effetto esiste o meno. Ad esempio, studi di laboratorio per testare se la percezione extrasensoriale è possibile hanno costantemente trovato piccole dimensioni dell'effetto, generalmente tra 0,15 e 0,2. Ma qualsiasi dimensione dell'effetto coerente diversa da zero in questo contesto sarebbe significativa, perché indicherebbe che la percezione extrasensoriale è possibile.
Quindi, per riassumere, determinare se il risultato di uno studio mostra un significato pratico richiede competenza contestuale. Le dimensioni dell'effetto possono essere utilizzate come guida, ma ciò che è considerato di significato pratico dipenderà sempre da altri fattori, oltre alle misure statistiche.
Domanda: Come si definisce la significatività pratica/biologica rispetto alla significatività statistica?
Cazzo: Questa è un'ottima domanda, che viene posta spesso. Risponderò prima alla domanda in generale e poi darò un paio di risposte. La "significatività" statistica è un termine ristretto che descrive la situazione in cui i dati osservati si discostano "abbastanza" da ciò che il modello proposto prevede. Quindi, se assumiamo che una moneta sia equa e la lanciamo 100 volte e la frequenza osservata di teste è abbastanza lontana da 0,5, diremo che il risultato è statisticamente significativo, il che significa che la probabilità che ciò accada secondo quel modello è piccola (questo è il valore p). Quando il valore p è abbastanza piccolo, diciamo che ci sono prove contro il modello (o l'ipotesi), indipendentemente dal fatto che la differenza effettiva da 0,5 sia abbastanza lontana da essere praticamente interessante o meno. La significatività pratica/biologica descrive un risultato che è significativo per lo scienziato o altro ricercatore. Un risultato può essere praticamente significativo ma non statisticamente significativo o (ancora peggio), viceversa.
Ieri uno studente è venuto da me con una teoria su come gli insetti visitano le piante. Tendono ad arrivare indipendentemente o in gruppo? Abbiamo usato un modello di Poisson per modellare le occorrenze di 0, 1, 2, 3 … insetti che arrivano al fiore e poi abbiamo usato un test del Chi-quadrato per vedere se le occorrenze effettive si adattano al Poisson. Rendendo il periodo di tempo molto piccolo e quindi rendendo grande il numero di periodi di tempo, siamo stati in grado di rifiutare il modello di Poisson (e quindi gli arrivi indipendenti) abbastanza facilmente. Ma non abbiamo risposto alla domanda se gli arrivi fossero abbastanza lontani per rispondere davvero alla domanda biologica. Quanto diversi dai numeri attesi da Poisson darebbero davvero prova che gli insetti si stanno "accoppiando". Questa non è una domanda a cui uno statistico può rispondere.
Un altroesempioproviene da un laboratorio di Princeton che stava cercando di dimostrare che gli esseri umani possono influenzare (o almeno predire) il risultato di un generatore di numeri casuali. Hanno generato un numero casuale (uniforme) tra 0 e 1 e poi hanno chiesto ai soggetti di dire se era inferiore o superiore a 0,5. Hanno raccolto decine di migliaia di queste osservazioni e hanno annunciato che la percentuale era chiaramente statisticamente significativa (con un valore p < 0,00001). La percentuale di successo effettiva (circa 0,5002) era una deviazione così piccola che al massimo avrebbe influenzato due o tre risultati su 10.000. Naturalmente, il direttore del laboratorio ha sostenuto che qualsiasi differenza, non importa quanto piccola, sarebbe stata interessante. Anche se i risultati fossero stati veri e non il risultato di anomalie sperimentali o errori casuali, lascerò che sia il lettore a decidere se i risultati siano praticamente significativi.
Se un farmaco ha un tasso di successo sufficientemente maggiore di un placebo da rendere improbabile che si sia verificato per caso, diremo che è un risultato statisticamente significativo. Ma se la differenza effettiva fosse, diciamo, quella di curare il 31% dei pazienti, invece del 30% del placebo, sospetto che il reparto marketing avrebbe difficoltà a pubblicizzare quel miglioramento anche se quella differenza fosse statisticamente significativa.
Domanda: Ritieni che chiunque abbia un interesse o una partecipazione in un risultato di uno studio debba sempre essere esaminato attentamente o identificato nello studio?
Cazzo: Più che mai, i dati sono facili da trovare su quasi ogni argomento che ci interessa ricercare. Ma, naturalmente, non tutti i dati sono uguali. Un risultato di uno studio clinico in doppio cieco controllato con placebo è sempre preferibile a informazioni aneddotiche. Quando la fonte dei dati non può essere identificata, potrebbe essere impossibile distinguere i due scenari. La genealogia dei dati, incluso come sono stati raccolti, in quali condizioni, da chi e per quale scopo, sono essenziali prima di fare affermazioni su cosa i dati implicano sul mondo in generale.
Siamo interessati a sentire altri esempi che potresti avere sull'etica nella scienza dei dati , in cui è stata data un'attenta considerazione per un'analisi etica, un'analisi in cui l'etica era chiaramente carente o un dilemma etico in cui non è chiaro come procedere al meglio. Grazie ancora a Jessica e Dick per aver condiviso la loro saggezza e competenza su questo argomento, che è così rilevante per questi tempi.
