774196_it-IT

liliconcom

ANOVA nei GRANDI dati

Questa è una domanda su un caso molto comune.
La soluzione può essere o meno molto semplice.
Mi piacerebbe sentire le vostre opinioni ed esperienze.

1) Ciò si verifica comunemente quando ANOVA viene applicata a dati BIG (N è molto grande).
2) (A parità di condizioni) Il valore P diminuisce all'aumentare di N.

Fenomeno
Se ci sono molti dati e la dispersione è piccola, nella pratica non è significativa, ma è giudicata significativa dall'ANOVA.
--> In pratica, è comune commettere errori guardando solo i risultati ANOVA.

Come dovrei spiegarlo?
Metodo 1: differenze pratiche piuttosto che significatività statistica (differenze negli intervalli di confidenza, sovrapposizione, ecc.)
(la variazione all’interno del gruppo è molto ampia) è più importante, quindi non ha rilevanza statistica.

Metodo 2: guarda Rsquare (varianza di regressione / varianza totale), il valore è basso.

Metodo 3: In questo caso, ANOVA non è adatto.

Altre idee?

Ri: ANOVA in BIG data

Il valore p di ANOVA indica se le medie sono statisticamente diverse. Come hai detto, se hai molte osservazioni, diventa più facile ottenere un valore p basso per una data differenza media e stdev.

Osservando l'Rsq ti dirai quanta variazione è spiegata da quella differenza media. Quindi è importante considerare entrambi i parametri. Nel tuo esempio, la differenza media rappresenta il 16,8% della variazione ed è molto probabile che le medie di queste due distribuzioni siano statisticamente diverse anche se la differenza è piccola.

Ri: ANOVA in BIG dataIn casi come questo è necessario aggiungere test di equivalenza dopo l'ANOVA. Questo può succedere spesso in situazioni di volume elevato. Come dice Mark, con molti dati è possibile rilevare differenze molto piccole. La domanda qui diventa: puoi fare qualcosa al riguardo? Oppure, a quale livello le differenze diventano così piccole che non vale più la pena inseguirle?

MRi: ANOVA in BIG data

ciao @IkjuShin

Ho provato a spiegarlo in un linguaggio non statistico rivolto a un cliente come segue:

In questa analisi, abbiamo trovato una differenza statisticamente significativa tra i due gruppi con un valore p molto piccolo. Tuttavia, data l’ampia dimensione del campione, è importante valutare il significato pratico di questi risultati. Il valore R quadrato è piuttosto basso, indicando che il modello spiega solo una piccola frazione della varianza. Inoltre, la dimensione dell’effetto è piccola, suggerendo che la differenza, sebbene statisticamente significativa, potrebbe non essere praticamente significativa. Esaminando gli intervalli di confidenza e visualizzando le distribuzioni dei dati, possiamo comprendere meglio l'entità della sovrapposizione e formulare un giudizio più informato sul significato pratico dei risultati.

_____________________________________________comprensione più ampia di questo problema________________________________

Questa domanda risolve un problema comune riscontrato durante l'esecuzione di ANOVA su set di dati di grandi dimensioni. Ecco alcuni punti e metodi che puoi considerare quando spieghi questo fenomeno:

Spiegazione del fenomeno:

Quando la dimensione del campione (N) è molto ampia, anche piccole differenze tra i gruppi possono diventare statisticamente significative, portando a conclusioni potenzialmente fuorvianti. Ciò accade perché la potenza del test aumenta con l’aumentare delle dimensioni del campione, rendendo più semplice rilevare anche differenze banali. Pertanto, il valore p diventa molto piccolo, suggerendo differenze significative laddove nessuna potrebbe essere praticamente significativa.

Metodi per affrontare e spiegare il problema:

Metodo 1: differenze pratiche

Spiegazione: enfatizzare l'importanza della significatività pratica rispetto alla significatività statistica. La significatività statistica non implica necessariamente una differenza significativa o praticamente significativa. Osserva gli intervalli di confidenza e verifica la loro sovrapposizione.

Applicazione pratica: quando la variazione all'interno del gruppo è ampia, la differenza pratica potrebbe non essere significativa nonostante la significatività statistica.

Metodo 2: valore R quadrato

Spiegazione: utilizzare il valore R quadrato per valutare la proporzione della varianza spiegata dal modello. Un valore R quadrato basso indica che il modello spiega solo una piccola parte della varianza, suggerendo che le differenze potrebbero non essere praticamente significative.

Applicazione pratica: evidenziare i casi in cui il valore R quadrato è basso, indicando che il modello non spiega gran parte della variabilità dei dati.

Metodo 3: Idoneità dell'ANOVA

Spiegazione: nei casi in cui la dimensione del campione è molto ampia e le differenze sono minori, ANOVA potrebbe non essere il test più adatto.

Applicazione pratica: prendere in considerazione metodi alternativi o analisi aggiuntive per valutare il significato pratico, come misure della dimensione dell'effetto o intervalli di confidenza.

Pertanto le Idee aggiuntive saranno quelle di:

Metodo 4: dimensione dell'effetto

Spiegazione: riportare le dimensioni degli effetti (ad esempio, d di Cohen) insieme ai valori p. La dimensione dell’effetto fornisce una misura dell’entità della differenza, che può essere più informativa rispetto ai soli valori p.

Applicazione pratica: utilizzare la dimensione dell'effetto per comunicare il significato pratico dei risultati. Una dimensione dell’effetto piccola indica che la differenza, sebbene statisticamente significativa, potrebbe non avere importanza pratica.

Metodo 5: Rappresentazione grafica

Spiegazione: utilizzare metodi grafici come i diagrammi di violino o i diagrammi di densità per ispezionare visivamente la distribuzione dei dati e le differenze tra i gruppi.

Applicazione pratica: le visualizzazioni possono aiutare a comunicare l'entità della sovrapposizione tra i gruppi e fornire una comprensione più intuitiva del significato pratico.

Ri: ANOVA in BIG data

Penso che @mzwald stia indicando la direzione importante. Per me, le "differenze" non sono ben definite nelle domande poste.

Segui il commento di Mark, la prossima domanda sarà probabilmente: la "differenza" che ANOVA è progettata per affrontare è la stessa di ciò che effettivamente riguarda uno?

Ri: ANOVA in BIG data

In aggiunta ai commenti già penetranti, ecco alcune domande più profonde da considerare:

Quali sono i reali obiettivi dello studio?

Spiegare o prevedere? Metodi statistici/test di ipotesi/ANOVA/t-test/limiti di confidenza/test di equivalenza sono utili per spiegare, mentre la modellazione predittiva/apprendimento automatico con convalida incrociata è utile per prevedere. Le due cose non si escludono a vicenda.

Sono disponibili dati/covariate aggiuntivi? Con la moderna tecnologia di misurazione, dati di grandi dimensioni come questi con un solo trattamento misurato stanno diventando sempre più rari. Variabili/funzionalità aggiuntive possono rendere la statistica e la modellazione predittiva molto più efficaci e spiegare molta più variabilità.

Le misurazioni sono veramente indipendenti? Ad esempio, se sono presenti variabili bloccanti/effetti batch, i modelli misti diventano molto rilevanti. Se questo è effettivamente un progetto a trama divisa e i trattamenti sono assegnati a livello dell'intera trama, la potenza potrebbe non essere così alta come si pensava originariamente.

Ri: ANOVA in BIG data

Ottimi e pratici consigli!!!
-Misura di prova
-RSquadro
-Dimensione dell'effetto (somma del quadrato)
-All'interno della variazione
-Intervallo di confidenza/previsione
-Visualizzazione
Sembra che tutte queste cose debbano essere considerate da un punto di vista pratico.

Alcune persone sembrano confondere "inconsciamente" l'ANOVA con un test per le differenze nei dati grezzi piuttosto che un test per le differenze nelle medie.