ANOVA vs. GLM per esperimenti sul campo ecologicoSto analizzando i dati di un esperimento sul campo ecologico, progettato per testare gli effetti della rimozione degli erbivori (patella) e dell'aggiunta di umidità sul cambiamento della copertura di un'alga rocciosa intercotidale. Il disegno sperimentale è un disegno completamente fattoriale a blocchi randomizzati a due fattori. Ho allegato un documento che descrive in dettaglio il progetto sperimentale ed elenca gli script e i risultati del modello relativi a tre domande per la discussione della comunità:
- Quale approccio di modellazione (ANOVA ai minimi quadrati standard o GLM) è preferibile per modellare i risultati di un esperimento ecologico sul campo? Vedi Sfondo.
- Gli script che ho utilizzato per eseguire ciascun tipo di modello sono costruiti correttamente? Vedi Script.
- Dato che gli approcci GLM (normale, identità) e ANOVA presuppongono entrambi distribuzioni normali, perché il GLM produce valori p costantemente più piccoli rispetto all'ANOVA? Vedere Output del modello.
Progettazione di esperimentiRi: ANOVA vs. GLM per un esperimento sul campo ecologicoAncora una volta, non sono sicuro di aver capito la domanda? Se si tratta di imparare come utilizzare i residui per determinare l’adeguatezza del proprio modello, ci sono molti libri e articoli sull’argomento. Innanzitutto, un residuo è la differenza tra la previsione del modello e il valore effettivo. Indipendentemente da qualsiasi ipotesi richiesta o implicita, affinché il modello sia utile, si spera che faccia un abbastanza buono compito di prevedere i risultati effettivi. Dal punto di vista dello sviluppo del modello:
1. speri che il modello non sia distorto in alto o in basso (i residui sarebbero distribuiti intorno a 0),
2. speri che i residui abbiano all'incirca la stessa variazione attorno al modello e questa variazione non fluttua notevolmente (i residui hanno una varianza costante)
3. speri che non ci siano punti dati insoliti non spiegati dal modello (assenza di valori anomali nei residui)
4. Spereresti che i residui non formassero uno schema o fossero correlati tra loro (distribuiti in modo indipendente)
Se alcuni di questi speranze non sei soddisfatto, dovresti cercare di capire il motivo. Dovresti mettere alla prova l’efficacia del tuo modello e come puoi modificarlo per renderlo più utile (e meglio ancora arrivare a una migliore comprensione di ciò che sta realmente accadendo).
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoQuale sarebbe il modo migliore per imparare a utilizzare i vari residui del GLM adattato per verificare la presenza di valori anomali, osservazioni influenti e bias?Ri: ANOVA vs. GLM per un esperimento sul campo ecologico@statman descrive bene l'ipotesi per il modello di regressione lineare. I GLM non hanno tale presupposto sugli errori, quindi il tuo concetto di analisi residua non si applica al GLM. Possiamo però utilizzare i vari residui del GLM adattato per verificare la presenza di valori anomali, osservazioni influenti e bias. Il GLM presuppone che la risposta segua la distribuzione condizionale selezionata (ad esempio, Poisson, binomiale, normale) e massimizza la probabilità delle stime dei parametri del modello.
È diverso.
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoSono un po' confuso da questo" La nostra comprensione è quella di testare l'ipotesi di normalità nell'ANOVA". NON vi è alcuna ipotesi di normalità dei dati grezzi analizzati tramite ANOVA. Le uniche ipotesi sono NID(0, varianza). Questo è residui distribuiti normalmente e indipendentemente con media pari a 0 e varianza costante. Esistono diversi modi per esaminare i residui:
1. in una serie temporale,
2. rispetto al previsto
3. come distribuzione,
4. sfruttare i grafici
Esistono numerosi tipi di residui, come ne hai elencati alcuni. Non c'è il giusto usare. Abbastanza facile da guardarli tutti.
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoAbbiamo una domanda di follow-up riguardante se si testano le stesse ipotesi riguardanti la normalità in GLM come in ANOVA.
La nostra comprensione è che per testare l'ipotesi di normalità in ANOVA, si verifica la normalità dei residui. Per fare ciò, salveremo i residui nella tabella dati, quindi utilizzeremo lo strumento Distribuzione per testare la normalità.
Esiste una procedura corrispondente per GLM? Se sì, quale output residuo utilizzare: residui di devianza, residui di Pearson, residui di devianza studentizzata o residui di Pearson studentizzati?
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoNo, GLM non produrrà sempre valori p inferiori rispetto a OLS per lo stesso modello.
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoGrazie. Questo è molto utile GLM produrrà sempre di più
significatività (p inferiore) rispetto all'ANOVA o ciò dipenderebbe dalla struttura di
i dati (ad esempio, deviazione dal presupposto di normalità)?
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoAnche a Box piaceva interpretare le trame di Bayes. Cuthbert Daniel è stato il primo a utilizzare i grafici Half Normal per l'analisi degli esperimenti. In sostanza, se il valore nullo è vero per tutti gli effetti del trattamento, allora i loro effetti dovrebbero essere distribuiti normalmente (casualmente) con una media pari a zero. Il grafico Normale descrive gli effetti trasformati in modo che gli effetti che appaiono su una linea retta siano effetti casuali e i punti che si discostano dalla linea siano assegnabili. JMP aggiunge la linea PSE di Lenth alla trama, ma bisogna stare attenti all'interpretazione.Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoPer quanto riguarda il punto 1, il vantaggio principale del GLM è che non sei limitato a un normale modello di distribuzione della risposta. Se la tua risposta è (condizionatamente) distribuita normalmente, usa semplicemente OLS.
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoPer quanto riguarda il punto 3, OLS risolve direttamente le equazioni normali. I risultati si basano sulle somme dei quadrati. Ciò porta al test F per l’intero modello. Le stime dei parametri normalmente distribuiti portano ai test t. D’altra parte, il GLM utilizza MLE. I risultati sono basati su -2LogLikelihood. Ciò porta ai test del chi quadrato (test del rapporto di verosimiglianza).
Pertanto la stima e i test utilizzano metodi diversi. Non ci si aspetta che forniscano valori p identici. Si noti che questi valori generalmente concordano se non esattamente.
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoIn risposta alla tua domanda, sì, abbiamo utilizzato gli strumenti JMP per cercare valori anomali ed eterogeneità delle varianze tra le combinazioni di trattamento 2x2. Le risposte variano tra i blocchi (unità spaziali), come previsto, da qui la motivazione del blocco. Non vi è alcuna replica dei grafici (combinazioni tmt) all'interno dei blocchi. L'ordine di esecuzione non è rilevante, poiché i trattamenti sono stati applicati contemporaneamente a tutti e quattro i grafici all'interno di ciascun blocco.
Abbiamo anche tracciato medie, sem e valori di blocco individuale per tutte le combinazioni di trattamento intervallo x blocco x (2 fattori a x 2 livelli ciascuna). Il nostro obiettivo con questi modelli era determinare le basi dei modelli facilmente visibili nei dati.
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoInoltre, la procedura di stima è diversa. La soluzione dei minimi quadrati è una forma chiusa che viene calcolata direttamente. La soluzione GLM è un metodo iterativo per stime di massima verosimiglianza. Ecco lo stesso modello stimato inizialmente con la piattaforma Fit Least Squares:
Ecco lo stesso modello stimato con GLM utilizzando la distribuzione normale per la risposta con il collegamento identità:
La parametrizzazione è la stessa per le previsioni categoriche di età e sesso, ma le routine di stima differiscono. Il primo si basa sulle somme dei quadrati con i test t e F, mentre il secondo si basa sulla verosimiglianza con i test del rapporto chi quadrato.
I due modelli producono previsioni identiche della risposta:
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoGrazie per la tua risposta. Rispondendo alle tue dichiarazioni numerate:
1. Grazie per il chiarimento delle differenze tra ANOVA e GLM. GLM è un territorio relativamente nuovo per noi.
2. Di seguito alleghiamo una colonna completa di dati di risposta dal set di dati.
3. Entrambi i nostri modelli ANOVA e GLM utilizzano gli stessi trattamenti e termini di errore nella finestra di dialogo Adatta modello. Se hai tempo di testare i nostri script, forse puoi spiegare perché i valori p differiscono negli output.
4. Grazie per l'introduzione al modulo Screening effetti, con le sue opzioni di grafico normale e Pareto. Non sono sicuro di come interpretare gli effetti significativi, ma questo potrebbe non essere rilevante per il nostro caso.
Bloccare | Patelle | Umidità | Cambia/mese |
1 | +L | +M | 0,5 |
1 | +L | -M | 1.2 |
1 | -L | +M | 0.9 |
1 | -L | -M | 0,7 |
2 | +L | +M | 0,5 |
2 | +L | -M | 0,2 |
2 | -L | +M | 1.7 |
2 | -L | -M | 0,1 |
3 | +L | +M | -0,2 |
3 | +L | -M | 0,2 |
3 | -L | +M | -0,3 |
3 | -L | -M | -0,2 |
4 | +L | +M | -0,2 |
4 | +L | -M | 1.1 |
4 | -L | +M | 0,5 |
4 | -L | -M | 0,0 |
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoI modelli potrebbero differire per la parametrizzazione dei fattori categoriali. Per favore guarda questi dettagli .
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoGrazie per la tua risposta, Marco. Sfortunatamente, non è possibile selezionare un'opzione di errore/collegamento diversa, perché i dati sono valori di modifica (valori non interi, incluse numerose osservazioni inferiori a zero).
Incollo gli script che abbiamo creato per ANOVA e GLM. Potresti dirci da questi script come potrebbero differire le specifiche del modello?
ANOVA
Modello adatto (
Y(:My87Ja88Mo),
Effetti( :Blk#, :Limp, :Moist, :Limp * :Moist ),
Personalità ("Minimi quadrati standard"),
Enfasi ("Leva degli effetti" ),
Correre(
:My87Ja88Mo << {Riepilogo dell'adattamento( 1 ), Analisi della varianza( 1 ),
Stime dei parametri( 1 ), Mancanza di adattamento( 0 ), Stime estese( 1 ),
Stime ridimensionate( 0 ), Grafico effettivo in base alla previsione( 1 ),
Traccia regressione (0), Traccia residuo per previsto (1),
Traccia i residui studentizzati( 0 ), Leva dell'effetto trama( 1 ),
Traccia il residuo in base ai quantili normali (0),
Trasformazione Box Cox Y( 0 )}
)
);
GLM
Modello adatto (
Y(:My87Ja88Mo),
Effetti( :Blk#, :Limp, :Moist, :Limp * :Moist ),
Personalità ("Modello lineare generalizzato"),
Distribuzione GLM( "Normale" ),
Funzione di collegamento ("Identità"),
Test e intervalli di sovradispersione( 0 ),
Nome ("Stime corrette per il primo bias")(0),
Correre
);
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoDa aggiungere a @Mark_Bailey E @statman commenti/consigli di hai tracciato i dati in modo significativo PRIMA della modellazione? Dal momento che hai condotto un progetto sperimentale, i grafici Fattore e blocco rispetto alla risposta, la semplice distribuzione delle risposte e una risposta rispetto all'ordine di esecuzione sperimentale sono un insieme minimo di grafici che suggerirei di creare. Con l'obiettivo di rispondere alle seguenti domande, che alla fine vengono utilizzate per comprendere il processo E aiutare a garantire la disponibilità di dati puliti per la modellazione:
1. I grafici fattoriali/a blocchi suggeriscono qualcosa che contraddice i fenomeni biologici/fisici conosciuti? In passato, suggerirei agli ingegneri di esaminare questi grafici. Se mostrano l'equivalente morale di "le trame suggeriscono che l'acqua scorre in salita, beh, abbiamo un problema".
2. Esistono valori anomali della risposta che suggeriscono variabili nascoste impreviste che potrebbero essersi insinuate nella conduzione dell'esperimento?
3. Il grafico delle risposte dell'ordine di esecuzione sperimentale suggerisce una tendenza o un modello sospetto che, ancora una volta, potrebbe esserci stata una variabile nascosta nella condotta sperimentale?
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoI miei pensieri:
1. Non c'è giusto, va y per analizzare i dati. Ci sono pro/contro in ogni metodo di analisi. Per semplificare eccessivamente, ANOVA analizza fondamentalmente l'entità dell'effetto mentre GLM analizza sia l'entità che la direzione dell'effetto.
2. Non ho valutato i tuoi script perché non avevo il set di dati.
3. Non sono sicuro di cosa intendi con " Dato che gli approcci GLM (normale, identità) e ANOVA presuppongono entrambi distribuzioni normali". Si presuppone la distribuzione dei residui, ma non l'effettivo set di dati. ANOVA è abbastanza robusto per distribuzioni non normali. Innanzitutto, non innamorarti della statistica del valore p. È solo una stima. È il risultato di un confronto delle medie dei quadrati. Valore quadratico medio del trattamento rispetto all'errore quadratico medio (entrambi sono anche stime). Se si modificano i confronti o le stime, il valore p cambierà.
Qualcosa che potresti provare visto che lo sei trattare il blocco come un effetto fisso... saturare il modello con Blocco, L, M, L*M, Blocco*L, Blocco*M, Blocco*L*M. Utilizza i grafici normale e di Pareto per cercare effetti significativi. questo rimuove qualsiasi distorsione da errore quadratico medio.
Ri: ANOVA vs. GLM per un esperimento sul campo ecologicoIl GLM è una generalizzazione della regressione ordinaria dei minimi quadrati. Dovrebbero essere essenzialmente equivalenti se il tuo caso soddisfa i presupposti della regressione ordinaria. Altrimenti, utilizzare il GLM con una distribuzione degli errori e una funzione di collegamento diverse.
Se ottieni valori p diversi, c'è una differenza nelle specifiche del modello.
