781201_it-IT

liliconcom

Spiegazione semplice e onesta per il test t a due campioni?

Questa è solo una conversazione informale, non correlata al lavoro.

Mi occupo di statistica da circa 30 anni e ancora non riesco a trovare un buon modo per spiegare neanche il test t a due campioni, un test statistico molto semplice e diffuso.

Vorrei spiegare le ipotesi e la (leggermente limitata) robustezza. Quello che segue è il mio povero tentativo. Ci sono buoni libri di testo per spiegare queste cose in modo semplice e onesto?

Anche se 3 + 5 = 8, la soluzione per x1 + x2 = 8 non è solo x1 = 3 e x2 = 5. La stessa cosa accade spesso anche in statistica.

Il test t è stato originariamente derivato da X_1, ..., X_n1 -- iid N(mu_1, sigma^2) e Y_1, ..., Y_n2 -- iid N(mu_2, sigma^2), ma ciò non significa che la statistica del test t sia distribuita come distribuzione t solo quando i dati vengono generati da questo modello specifico.

Ma la robustezza cambia a seconda della situazione.

(1) La violazione dell'iid provoca risultati tragici. Ad esempio, se si raccolgono opinioni politiche da Twitter (X) e si cerca di dedurne dalla popolazione generale in Giappone, il risultato diventa altamente distorto.

(2) Anche quando viene violata l'ipotesi di varianze uguali, il risultato è ancora approssimativamente valido se le dimensioni del campione di due gruppi sono quasi uguali.

(3) Anche quando l'ipotesi di normalità viene violata, il risultato è ancora approssimativamente valido se la dimensione del campione è relativamente ampia e se la distribuzione non è così asimmetrica o così fortemente sbilanciata.

(4) Il test t a due campioni è anche l'approssimazione di un test di randomizzazione se la dimensione del campione è relativamente grande. Quindi, puoi pensare al test t a due campioni come a un test non parametrico con l'ipotesi nulla H0: F1(y) = F2(y) per tutti gli y (anche se molti libri di cucina affermano che il test t è un test parametrico).

R: Spiegazione semplice e onesta per il test t a due campioni?

Il portale di conoscenza statistica ne fornisce una spiegazione interessante: https://www.jmp.com/en_us/statistics-knowledge-portal/t-test/two-sample-t-test.html

R: Spiegazione semplice e onesta per il test t a due campioni?

Grazie per le informazioni, @mzwald -san.

Personalmente penso che le ipotesi e la robustezza del test t a due campioni (di Student e Welch) siano più complesse.

A titolo di esempio, nella pagina è riportata la seguente spiegazione.
>Cosa succede se le varianze dei miei due gruppi non sono uguali?
>Puoi comunque usare il t-test a due campioni. Utilizzi una stima diversa della deviazione standard.

Immagino che le frasi precedenti suggeriscano che se le varianze sono uguali, dovresti usare il test t di Student, e se le varianze sono disuguali, dovresti usare il test t di Welch. (Immagino che "deviazione standard" significhi "errore standard"). Ma se le dimensioni del campione sono più o meno uguali, i risultati del test t di Student e del test t di Welch sono molto simili. Inoltre, se le varianze di due gruppi sono molto simili, di nuovo, i risultati del test t di Student e del test t di Welch sono molto simili.

La spiegazione attuale di cui sopra sembra dire che non possiamo usare il test t di Welch per varianze uguali, oppure che non possiamo usare il test t di Student per varianze disuguali.

L'altra proprietà che ritengo importante è che il t-test a due campioni è un'approssimazione di un test di randomizzazione. Questa proprietà conferisce validità all'uso del t-test per gli studi clinici randomizzati. Gli studi clinici non utilizzano mai il campionamento casuale. Utilizzano solo l'allocazione casuale. Quindi, i loro dati non sono campioni casuali. Anche così, il t-test di Student a due campioni è valido come test di randomizzazione per H0:F1(x) = F2(x).

R: Spiegazione semplice e onesta per il test t a due campioni?

Ciao @yusuke_ono

Il t-test a due campioni è un metodo statistico ampiamente utilizzato, progettato per determinare se vi è una differenza significativa tra le medie di due gruppi indipendenti. Viene spesso applicato in scenari di ricerca in cui si cerca di confrontare i risultati medi di due gruppi distinti per valutare se eventuali differenze osservate siano statisticamente significative o potrebbero essersi verificate per caso.

Aspetto	Descrizione	Esempio
Ipotesi del t-test a due campioni
Indipendenza delle osservazioni	Le osservazioni in ciascun gruppo devono essere indipendenti l'una dall'altra.	Studiare l'effetto di un nuovo metodo di insegnamento testando studenti che studiano insieme in gruppi. Se gli studenti discutono e si aiutano a vicenda durante il test, i loro punteggi non sono più indipendenti
Normalità	I dati in ciascun gruppo dovrebbero avere una distribuzione approssimativamente normale, cosa particolarmente importante nel caso di campioni di piccole dimensioni.	Misurazione del reddito in due città in cui la distribuzione del reddito è distorta.
Varianze uguali	Le varianze (diffusione o variabilità) dei due gruppi dovrebbero essere approssimativamente uguali.	Confrontare dati coerenti in un gruppo con dati altamente variabili in un altro gruppo.
Robustezza del t-test a due campioni
Violazioni dell'indipendenza	Il test t non è robusto alle violazioni dell'indipendenza, il che porta a risultati distorti.	Intervistare gli studenti in classe e chiedere loro di discutere le loro risposte, come descritto sopra (porta a risultati distorti).
Violazioni della normalità	Il test t è piuttosto robusto alle violazioni della normalità, soprattutto con campioni di grandi dimensioni.	Confronto dei tempi di reazione per un videogioco per due gruppi con dati leggermente distorti.
Violazioni delle varianze uguali	Il t-test è moderatamente robusto alle violazioni di varianze uguali, specialmente se le dimensioni del campione sono simili. Utilizzare il t-test di Welch quando le varianze sono disuguali e le dimensioni del campione differiscono.	Confronto dei punteggi dei test di due scuole con diverse varianze di punteggio.

Notare che:

1. Sebbene il test t di Welch offra un approccio più flessibile adattandosi a varianze disuguali, in molti scenari pratici in cui le dimensioni del campione sono uguali o le varianze sono simili, i risultati sia del test t di Student che del test t di Welch convergeranno molto.
2. Mentre il t-test a due campioni è classificato come test parametrico, supponendo che i dati provengano da popolazioni distribuite normalmente. Tuttavia, quando le dimensioni del campione sono sufficientemente grandi, il t-test può anche essere visto come un'approssimazione di un test non parametrico. In questo contesto, verifica l'ipotesi nulla che le distribuzioni dei due gruppi siano identiche, rendendolo in qualche modo analogo a un test non parametrico in determinate condizioni.

Sul tuo ultimo punto sugli studi clinici : //Negli studi cliniciTest t a due campioni come approssimazione di un test di randomizzazione//

Considerata la progettazione che prevede l'assegnazione casuale dei soggetti a un braccio di trattamento, i dati raccolti negli studi clinici non sono campioni casuali nel senso tradizionale del termine.

Tuttavia, il test t a due campioni rimane valido in questo contesto grazie alla sua capacità di approssimare un test di randomizzazione in senso fisiologico e farmacologico (oltre a rigidi criteri di inclusione), il che significa che il test t può ancora testare accuratamente l'ipotesi nulla; il test t a due campioni fornisce un metodo affidabile per testare le ipotesi negli studi randomizzati, nonostante l'assenza di campionamento casuale.

Ciò si riferisce all'idea che, sotto l'ipotesi nulla, la distribuzione della statistica del test t (nel contesto di esperimenti randomizzati) approssima la distribuzione della statistica del test ottenuta da un test di permutazione o randomizzazione. Questa proprietà giustifica l'uso del test t a due campioni in studi randomizzati, in cui viene utilizzata l'allocazione casuale anziché il campionamento casuale, perché il test t può approssimare i risultati di un test di randomizzazione completo, rendendolo valido anche in assenza del campionamento casuale tradizionale.

Statisticamente si parla di inferenza basata sulla randomizzazione .

Riferimenti popolari:

Introduzione all'apprendimento statistico

Statistica pratica per gli scienziati dei dati

Statistica: l'arte e la scienza dell'apprendimento dai dati, terza edizione (consigliato)

Riferimenti principali:

Metodi statistici

Riferimenti clinici:

Test di randomizzazione

Progettazione e analisi degli studi clinici: concetti e metodologie Fare riferimento ai capitoli (3, 4 e 5)

Fidati, questi input ti saranno d'aiuto.

R: Spiegazione semplice e onesta per il test t a due campioni?

@yusuke_ono È bello e divertente mettere in discussione a fondo quello che è probabilmente il test statistico più fondamentale e praticamente utile che abbiamo. Sembra che tu abbia l'inizio di un white paper, qualcosa come "Considerazioni sul notevole test T a due campioni". Il punto di partenza naturale è il test originale con tutte le ipotesi pienamente soddisfatte. Quindi considera varie direzioni e gradi di scostamento da queste ipotesi e il loro impatto sulle proprietà di campionamento del test (dimensione e potenza).

Da un punto di vista ingegneristico, la statistica del test t è molto intuitivamente un rapporto segnale/rumore.

I collegamenti con l'inferenza randomizzata sono convincenti e sottovalutati.

@Chandramouli_R Questo è un ottimo materiale di sintesi. Vorrei vedere modelli misti aggiunti al diagramma di flusso per il ramo non indipendente, il caso più comune è l'accoppiamento o, più in generale, il blocco. Abbiamo un'eccellente teoria dei modelli misti con calcoli dei gradi di libertà di Kenward-Roger che utilizzano ancora distribuzioni t approssimative per i test e hanno proprietà di piccoli campioni ad alte prestazioni.

R: Spiegazione semplice e onesta per il test t a due campioni?

Grazie per la tua idea, @Chandramouli_R -san.

Mi piace la spiegazione nella parte di testo. Sebbene questa sia solo una mia preferenza personale, personalmente non mi piace il diagramma di flusso in sé in alto (anche se lo vedo in molti libri di cucina).

Inizialmente, il test di Wilcoxon non mantiene l'errore alfa quando due varianze non sono uguali (anche se le dimensioni del campione di due gruppi sono uguali). Questo è chiamato "problema di Behrens-Fisher non parametrico". Esiste la versione di Welch del test di Wilcoxon (Brunner, E. e Munzel, U. (2000) The Nonparametric Behrens-Fisher Problem: Asymptotic Theory and a Small-Sample Approximation.)

In secondo luogo, sebbene io senta spesso la leggenda metropolitana come "la teoria del limite centrale non vale per n<=30", penso che dipenda molto dalla distribuzione della popolazione. Per quanto ne so, questa leggenda metropolitana deriva dalla teoria avanzata delle statistiche di Kendall. Ma la frase originale dice semplicemente quanto segue.

... Per alcune distribuzioni, in particolare quella della media, un'approssimazione abbastanza soddisfacente è fornita da valori bassi di n, diciamo n > 30.... (A pag. 341 della sesta edizione.)

Se parafraso la frase precedente, penso che l'autore dica qualcosa del tipo "Il CLT funziona per alcune statistiche da alcune distribuzioni di popolazione anche per campioni di dimensioni molto piccole (come n = 30)". Quello che segue è un esempio ingenuo. Se la distribuzione della popolazione è uniforme, l'approssimazione del CLT sembra buona anche per n = 5. Ma la distribuzione della popolazione è altamente pesante, l'approssimazione del CLT non funziona nemmeno per n = 100.

Random Reset(1111111);
y1 = J(5, 10000, Random Uniform());
y2 = J(100, 10000,Random SHASH(0.1, 0.1, 2, 3));
dt = As Table(VMean(y1)`||VMean(y2)`);
dt << Distribution(Y(1::2));

In terzo luogo, il test di Wilcoxon non è generalmente un test per la differenza tra due medie o due mediane. Quindi, se sei interessato alla differenza di medie o mediane, penso che non dovresti usare il test di Wilcoxon. Quello che segue è un esempio molto artificiale e ingenuo. Le mediane del campione sono uguali, ma il test di Wilcoxon è altamente significativo.

y1 = J(1000,1,Random Lognormal(0,1));
y2 = -y1;
y1 = y1 - Median(y1);
y2 = y2 - Median(y2);
dt = As Table( (J(NRow(y1),1,1)||y1)|/ (J(NRow(y2),1,2)||y2), <<COLUMN names=""></COLUMN>

<P><BR />In quarto luogo, dal punto di vista della modellazione statistica, il diagramma di flusso stesso viene criticato nella sezione 1.1 in McElreath, R. (2020) Statistical Rethinking: A Bayesian Course with Examples in R and Stan (2a ed.), CRC Press.</P> <P>Inoltre, se si giudica Sì/No nel diagramma di flusso da altri test statistici, questo tipo di pre-test è stato spesso criticato. Ad esempio, il controllo dell'omogeneità delle varianze da parte di un test statistico prima del t-test a due campioni o dell'ANOVA unidirezionale è detto "Effettuare il test preliminare sulle varianze è un po' come prendere il largo su una barca a remi per scoprire se le condizioni sono sufficientemente calme da permettere a un transatlantico di lasciare il porto!" (p.333, Box, GEP (1953). Non-Normality and Tests on Variances). E, anche se i pre-test sono statisticamente validi, non possiamo accettare con forza H0 quando i valori p sono grandi.</P>R: Spiegazione semplice e onesta per il test t a due campioni?

Grazie per il tuo consiglio, @russ_wolfinger -san

Circa 20-30 anni fa, quando ero un istruttore di analisi statistica di base usando Base SAS e SAS/STAT, ho consigliato agli utenti SAS di controllare la non normalità tramite UNIVARIATE e di controllare l'omogeneità delle varianze tramite F-test in TTEST (e di usare Wilcoxon per i dati non normali e di usare il test di Welch nel caso in cui le varianze siano diverse). Questo è in parte dovuto al fatto che TTEST restituisce i risultati del t-test per le medie e del F-test per le varianze nella stessa pagina. La mia memoria è arrugginita, ma anche SAS/ASSIST potrebbe aver usato lo stesso tipo di diagramma di flusso o logica da ricettario.

Ma ora sono giunto alla conclusione che non esiste alcuna ragione statistica per questo tipo di rituali o usanze.

Tuttavia, nella dichiarazione del p-value del 2016, si dice che "Informalmente, un p-value è la probabilità, in base a un modello statistico specificato, che un riepilogo statistico dei dati ([…tagliato da Ono…]) sarebbe uguale o più estremo del suo valore osservato". Penso che questa spiegazione non corrisponda in parte almeno al t-test. Il modello statistico per il t-test era originariamente basato sulle distribuzioni normali. Ma anche se i dati non sono normali (ad esempio, i dati si discostano dai modelli assunti originali), il p-value può essere ampio (quando le medie campionarie sono quasi uguali).

Come sapete, gli studi clinici randomizzati di solito non utilizzano affatto il campionamento casuale, ma solo la randomizzazione. Quindi, penso che non possiamo fornire una valida ragione statistica per l'utilizzo del t-test negli RCT dal framework del campionamento casuale (vale a dire "modelli di popolazione" nella terminologia di Lehmann).

R: Spiegazione semplice e onesta per il test t a due campioni?

Un paio di riferimenti classici con opinioni contrastanti sulla randomizzazione da parte di due statistici applicati di alto livello: Kempthorne: https://www.jstor.org/stable/2281178 Harville: https://www.jstor.org/stable/2683676