Nel
il mio post precedente , abbiamo visto la relazione tra ANOVA e regressione lineare semplice. Anche se non abbiamo visto una relazione lineare significativa tra Anno e Numero di parole distinte nelle canzoni di Rhianna, una cosa che possiamo fare è verificare se c'è una differenza tra le canzoni di Rhianna pre-2010 e le canzoni di Rhianna post-2010. Raggruppando (o "binning") la nostra variabile continua (anno), possiamo trasformare la nostra semplice regressione lineare in ANOVA. Questo spesso può far sembrare le cose più semplici, invece di molti anni, ora abbiamo due categorie pulite. E ho detto che ANOVA e regressione lineare sono praticamente la stessa cosa, giusto?
Bene, sorta. I modelli lineari utilizzati per calcolare un ANOVA o una regressione lineare semplice sono simili, in realtà stanno facendo qualcosa di leggermente diverso. Anche se è spesso comune dividere le variabili continue in gruppi, dovrebbe essere fatto con la prenotazione, e ti mostrerò il motivo, quindi tieniti stretto e metti i cappelli divisi in gruppi!
Prima di iniziare, voglio ricordarvi che tutti questi modelli lineari sono come motoseghe. Prendono la distanza totale tra i punti dati e la media complessiva e la dividono in diverse categorie.
Se ricordi, sia nell'ANOVA che nella semplice regressione lineare, calcoliamo le Somma totali dei quadrati allo stesso modo, prendiamo ogni punto dati e calcoliamo la differenza tra esso e la media complessiva di tutti i punti dati. Quindi la somma totale dei quadrati (o SST) è la stessa, se guardiamo le canzoni di Rhianna in modo continuo per anno o prima e dopo il 2010. Allora, dov'è la differenza?
La differenza è nel "Modello" dei Sums of Squares (in regressione, chiamiamo questa regressione dei Sums of Squares; in ANOVA, a volte chiamiamo questo gruppo Sums of Squares). In entrambi i casi, il nostro "Modello" è Come pensiamo che X influenzerà la nostra Y, la nostra variabile di interesse. Nel caso della regressione, pensiamo che l'anno avrà un lineare continua effetto su Y - ogni unità di X avrà un effetto aggiunto su Y. Nel caso ANOVA, riteniamo che essere pre- o post-2010 avrà un gruppo effetto su Y.
Ricorda che il nostro modello di somma dei quadrati (SSM) per regressione predice il tuo valore Y (numero di parole distinte in una canzone di Rhianna) in base all'anno. Nei dati che abbiamo osservato, abbiamo assistito a una generale tendenza al ribasso, poiché ogni anno che passa lì tende ad essere meno parole distinte nelle canzoni di Rhianna. Nostro miglior supposizione poiché il numero di parole distinte in una canzone di Rhianna è quello che la linea di regressione predice. L'errore nel nostro modello di regressione è la distanza tra il punto dati e la linea di regressione.
Il nostro SSM per ANOVA bins pre-2010 insieme, quindi, invece di una tendenza generale al ribasso per anni, ci aspetteremmo semplicemente che le canzoni pre-2010 abbiano un numero maggiore di parole distinte rispetto alle canzoni post-2010. Sotto questo modello ANOVA, il nostro miglior supposizione per ogni canzone del 2010 sarebbe il significato del gruppo. Tutto il resto è considerato un errore.
Se avessimo veramente una relazione lineare tra Anno e # di parole distinte, l'esecuzione di un ANOVA sui due gruppi anno a coppie sovrastimerà la proporzione di Somma dei quadrati dovuta a "errore". Ciò accade perché i punti estremi più lontani dalla media di ciascun gruppo tenderanno ad essere molto più lontani dalla media del gruppo di quanto non sarebbero stati dalla linea di regressione.
Nel nostro esempio di Rhianna, puoi vedere dalle tabelle ANOVA dei modelli continui e dicotomizzati che hanno lo stesso totale di Somma dei quadrati, ma le Somma dei quadrati per il modello (anno vs. Pre-2010) è molto meno nel modello dicotomizzato pre-2010. Se c'è una vera relazione lineare, allora la potenza del modello sarà sempre più forte come modello continuo piuttosto che dicotomizzare e usare un ANOVA.
In un
JMP simulazione
[1] , Ho usato la relazione lineare approssimativa dai nostri dati BadGirlRiri per simulare cosa succede alla potenza statistica quando dichotomizzate una delle vostre variabili continue. Poiché la quantità di errore attorno alla relazione lineare reale diventa sempre più piccola, alla fine entrambi i metodi avranno una potenza quasi del 100%. Quando la relazione è così forte, anche una riduzione di potenza dovuta alla dicotomia consentirà un rilevamento quasi perfetto degli effetti.
D'altra parte, quando c'è una grande quantità di variazione attorno alla relazione lineare, sia i modelli dicotomizzati che quelli continui hanno difficoltà a rilevare qualsiasi effetto dovuto all'errore sproporzionatamente grande intorno alla relazione. A quel punto, l'errore attorno al modello supera qualsiasi relazione lineare che potrebbe nascondersi lì (ricorda, i test statistici misurano la quantità di variazione dovuta al modello e la confrontano con la quantità di variazione che non è dovuta al modello)
[2] .
La maggior parte degli sperimentatori punta all'80% di energia come soglia
[3] . Ciò significa che se esiste realmente un effetto di tale dimensione, l'esperimento consentirà al nostro modello statistico di rilevare quell'effetto nell'80% delle volte. Una rapida rassegna del potere statistico ti aiuterà a ricordare che ci sono quattro cose principali che possono influenzare il tuo potere: dimensione del campione, dimensione dell'effetto, varianza della popolazione e alfa (i criteri di cutoff per il significato). Sfortunatamente, le dimensioni dell'effetto, la variazione della popolazione e l'alfa sono normalmente stabilite per te, ma la dimensione del campione è il giocattolo del ricercatore. Tuttavia, colture cellulari, soggetti umani e isotopi radioattivi costano tempo e denaro. Quindi vuoi il test più potente che puoi ottenere con la più piccola dimensione del campione.
La distanza verticale tra i punti rossi e blu evidenziati è la differenza media di potenza quando si dicotomizza e si lascia la variabile come continua. Quando il tuo modello continuo ha l'80% di potenza (n = 20), il tuo modello dicotomizzato ha solo circa il 65% di potenza, ovvero una riduzione del 15% della potenza! Per avere l'80% di potenza con il tuo modello dicotomizzato, avresti bisogno di più cellule, umani o isotopi, e NSF non pagherà per quello!
Come ci aspetteremmo, quando non esiste alcuna relazione statistica, entrambi hanno la stessa probabilità del 5% di segnalare falsamente la presenza di un effetto quando non ce n'è uno. Quando definiamo il nostro criterio di esclusione alfa, stiamo scegliendo una percentuale del tempo in cui il nostro modello troverà un effetto anche quando non ce n'è uno.
Cosa abbiamo imparato? Non dividere una variabile continua in gruppi se c'è motivo di sospettare una relazione veramente lineare. Pensa ai tuoi dati e a cosa ti aspetti che la relazione sia tra il tuo X e Y. Se vuoi dividere la tua variabile continua in gruppi, assicurati che ci sia un motivo teorico per farlo, e non limitarti a divisioni dicotomiche - -soprattutto le persone si dividono in mediana, ma ciò potrebbe non avere senso per i tuoi dati. Ascolta i tuoi dati.
[1] n per ogni simulazione è 20; ogni livello o errore è stato simulato 1.000 volte ciascuno. Entrambi i modelli continui e i modelli dicotomizzati sono stati eseguiti per gli stessi dati e il numero di risposte positive è stato registrato. Ulteriori informazioni sono negli script allegati. Le versioni Python e R sono disponibili.
[2] Va notato che quando si raggiungono dimensioni campione arbitrariamente grandi, queste cose non succederanno altrettanto rapidamente. Questo perché non importa quanto errore hai, lo stai dividendo per n-1; così come n si avvicina ad un numero arbitrariamente grande, il tuo MSerror potrebbe essere abbastanza piccolo rispetto al tuo modello MS. TL; DR maggiore è la dimensione del campione, maggiore è la variazione che deve esserci prima di ottenere lo 0% di potenza per entrambi i modelli.
[3] Per una recensione sul potere, vedi questo
articolo .
