Modelli misti lineari con JMP® Pro: una faccia, molti gusti*
Jian Cao, dottore di ricerca
SAS Institute, Inc.
24 marzo 2015
Bruxelles, Belgio
Astratto
Una delle nuove funzioni introdotte in JMP Pro 11 sono i modelli misti. Questa nuova personalità di modellazione nella piattaforma Fit Model consente di adattare una varietà di modelli di regressione con effetti fissi e casuali insieme a un'appropriata struttura di covarianza. Cos'è un modello misto? Quando e perché si dovrebbe montare un modello misto? E come si adatta JMP a un modello del genere? In questo articolo cercherò di sfatare i miti sui modelli misti 1) rivedendo brevemente il background statistico, 2) discutendo perché i modelli misti forniscono stime migliori e le conseguenze dell'adattamento dei modelli di regressione tradizionali ai dati in cui le misurazioni di una variabile di risposta sono correlate o un manca la variabile esplicativa chiave e 3) illustrare i modelli misti di JMP® Pro adattando diversi tipi di modelli misti che sono ampiamente utilizzati nelle applicazioni della vita reale.
Ringraziamenti: vorrei ringraziare Christopher Gotwalt e Laura Lancaster per il loro aiuto.
* Il materiale presentato in questo documento si applica anche a JMP Pro 12.Il miglioramento chiave del nuovo JMP Pro 12 è un algoritmo di ottimizzazione migliorato che consente a JMP di funzionare più velocemente rispetto a JMP Pro 11 per i dati di grandi dimensioni .
JMP Pro 11 ha aggiunto una nuova personalità di modellazione, Mixed Model, alla sua piattaforma Fit Model.Cos'è un modello misto? In che modo JMP si adatta a un modello del genere? Quali sono le applicazioni chiave in cui è possibile applicare modelli misti? In questo articolo cercherò di sfatare i miti sui modelli misti e di dimostrare le capacità di JMP con esempi reali.
Cos'è un modello misto lineare
I modelli misti lineari sono una generalizzazione dei modelli di regressione lineare , y=Xβ +ε . Estendendo il modello per consentire effetti casuali, z , il nuovo modello diventa y=Xβ+Z g + ε . Questo è il modello misto lineare in quanto vi sono entrambi effetti fissi, X, ed effetti casuali, z.
Si fanno le seguenti ipotesi per il parametri di effetti casuali, g ed errore casuale ε :
(1) g e ε sono normalmente distribuiti e (2) non ci sono correlazioni tra di loro e ε .JMP fornisce diverse strutture di uso comune per ε . I coefficienti fissi di effetto , , e matrici di covarianza per e sono stimati congiuntamente con il metodo della massima verosimiglianza ristretta. Richiede il montaggio di modelli misti un Dati aggiuntivi su ciascuna unità della sezione trasversale o, in caso di modellazione di dati spaziali, dimensioni delle misurazioni. Esistono modelli misti per risposte distribuite non normali o modelli misti non lineari ; però, Limito l'ambito della mia discussione ai modelli misti lineari supportati in JMP Pro.
Perché modelli misti
Quando esiste una correlazione tra le risposte o un importante variabile esplicativa manca, la mancata considerazione di ciò porta a stime distorte degli effetti del trattamento e di altri fattori.
Ecco alcuni casi d'uso comuni per i modelli misti:
- Permettendo coefficienti
- Analisi di progetti a blocchi randomizzati e progetti a trama divisa in cui fattori difficili da modificare e facili da modificare determinano più termini di errore;
- Controllo dell'eterogeneità individuale non osservata sotto forma di effetti casuali (ad esempio, modelli di dati panel);
- Analisi delle misure ripetute dove gli errori all'interno del soggetto sono correlati;
- Risposte multiple che sono correlate perché le misure sono prese dagli stessi soggetti;
- I soggetti sono gerarchici (cioè, gli studenti all'interno delle scuole) . Questo è noto come modello lineare gerarchico o modelli multilivello;
- Variabilità spaziale (es. regressione geospaziale);
Con JMP Pro puoi facilmente specificare e adattare tutti questi modelli utilizzando l'interfaccia point-and-click e rivedere i risultati in modo intuitivo.
Passaggi per specificare un modello misto in JMP Pro
- 1. Selezionare Analizza => Adatta modello , e scegli Personalità da modello misto ;
- 2. Seleziona una variabile di risposta continua dalla tua tabella di dati come Y e costruisci effetti fissi come faresti normalmente con un adattamento standard dei minimi quadrati;
3A. Uso Effetti casuali scheda per specificare coefficienti casuali o effetti casuali;
3B. Uso Struttura ripetuta scheda per selezionare una struttura di covarianza per gli errori del modello;
- 4. Fare clic Correre .
Passerò ora all'esempio per mostrare quattro diversi tipi di modelli misti: modello a coefficienti casuali, analisi di misure ripetute, modello di dati panel e regressione geospaziale.
Esempio 1: modelli a coefficienti casuali— consentendo intercettazioni e pendenze variare in modo casuale tra i soggetti
In questo esempio siamo interessati a stimare l'effetto sulla resa del frumento dell'umidità pre-impianto nel suolo, consentendo a ciascuna varietà di frumento di avere una deviazione casuale dagli effetti della popolazione. Quindi, è necessario un modello a coefficienti casuali. L'esperimento seleziona casualmente 10 varietà dalla popolazione di grano e assegna ciascuna a sei appezzamenti di terreno .In totale vengono raccolte 60 osservazioni con 6 misurazioni di resa per ogni varietà. (I dati, "Wheat", sono disponibili nella directory Sample Data di JMP.)
Ho seguito i passaggi descritti sopra per specificare il modello. Da Effetti fissi scheda, specificare Umidità insieme a un'intercettazione predefinita come effetti fissi.
Fit Model: Fixed EffectsModello adatto: effetti fissi
Successivamente, dal Effetti casuali scheda, utilizzando Nidifica coefficienti casuali pulsante per richiedere l'intercettazione casuale e l'effetto Umidità per ogni varietà. 
Fit Model: Random EffectsModello adatto: effetti casuali
Infine, da Struttura ripetuta scheda, selezionare Residuo per il termine di errore del modello.
Fit Model: Repeated Structures Modello di adattamento: strutture ripetute
Lo screenshot seguente mostra Stime dei parametri di covarianza degli effetti casuali, stime dei parametri degli effetti fissi e Coefficienti casuali .Discutiamoli a turno.
La stima della varianza per l'intercettazione è 18,89 con una stima dell'errore standard di 9,11, quindi il punteggio z è 2,07 (= 18,89/9,11). Utilizzando la funzione Distribuzione normale di JMP Formula Editor possiamo trovare il valore p pari a 0,0192, a indicare che la variazione della resa di base tra le varietà è statisticamente significativa.Allo stesso modo, il p -valore per Cov (umidità, intercettazione) , 0,3777 e valore p per Var(Umidità) è 0,0380.
Il Coefficienti casuali report fornisce il BLUP (B est Predittore imparziale lineare) valori di come ciascuna varietà è diversa dall'intercettazione della popolazione e dall'effetto di umidità della popolazione riportati in Stime dei parametri degli effetti fissi. Per la varietà 1, l'effetto dell'umidità stimato sulla sua resa è 0,61 (=0,66-0,05) e la resa di base è 34,39 (=33,43+0,96) e l'equazione della resa prevista è
Combinando sia gli effetti fissi che le stime dei coefficienti casuali, troviamo un effetto complessivo significativo sulla resa di umidità del grano e scopriamo una variazione significativa nell'effetto dell'umidità tra le diverse varietà.
Altre applicazioni dei modelli a coefficienti casuali
Il modello di crescita individuale è un tipo di modello a coefficienti casuali in cui a caso volta effetto è stimato per ogni individuo.Il suo è fatto specificando un continuo variabile temporale come giorno o mese come effetto casuale, e tu cantare Nidifica coefficienti casuali pulsante per richiedere la pendenza (cioè la crescita) e l'intercetta separate per ogni individuo.
Nella ricerca educativa, i soggetti sono spesso annidati in un ordine gerarchico.Aggiungendo più gruppi di dichiarazioni di effetti casuali puoi adattarti Modelli lineari gerarchici/Modelli multilivello .
Esempio 2: Analisi di misure ripetute: tenere conto degli errori correlati
Le misure ripetute sono le misurazioni multiple di una risposta raccolte dagli stessi soggetti nel tempo.In questo studio clinico, i soggetti (cioè i pazienti) sono stati assegnati in modo casuale a diversi gruppi di trattamento. Il livello di colesterolo totale di ciascun soggetto è stato misurato più volte durante il processo. L'obiettivo dello studio è verificare se nuovi farmaci sono efficaci nell'abbassare il colesterolo. Che cosa distingue l'analisi delle misure ripetute è la correlazione delle misure all'interno di un soggetto. La mancata considerazione di ciò porta spesso a conclusioni errate sull'effetto del trattamento. (I dati, Colesterolo Impilato , è disponibile nella directory Sample Data di JMP.
JMP Pro offre tre strutture di covarianza comunemente utilizzate:
- Non strutturato
- AR(1) (autoregressivo di primo ordine) stima la correlazione tra due misure distanti una unità di tempo.La correlazione diminuisce all'aumentare della differenza di tempo.
- CS
Lo screenshot seguente mostra il Effetti fissi parte dell'analisi delle misure ripetute, che include Trattamento , Mese , AM PM , e le loro interazioni.
Fixed effects part of the model Effetti fissi parte del modello
Prenderò in considerazione tre diverse strutture di covarianza per gli errori all'interno del soggetto.Per prima cosa, usiamo Non strutturato. Applicare Volta colonna come Ripetuto, e Paziente colonna come Materia --questo definisce le misurazioni ripetute all'interno di un soggetto. È importante notare che JMP lo richiede Materia colonna essere valutata in modo univoco e quello Ripetuto colonna essere categorico per il Non strutturato opzione.
Unstructured Covariance Structure Struttura di covarianza non strutturata
I rapporti chiave includono Stime dei parametri di covarianza degli effetti ripetuti, Stime dei parametri degli effetti fissi, e Test Test a effetti fissi .
Results using Unstructured Risultati utilizzando Non strutturato
Un modo per testare la significatività statistica delle stime di covarianza è calcolare i punteggi z e trovare i loro valori p, come ho fatto nel precedente esempio del modello di coefficienti casuali. Tuttavia, possiamo verificare i limiti di confidenza: se l'intervallo di confidenza al 95% per una stima di covarianza include zero, allora possiamo dire che la stima non è statisticamente significativa da zero a a = 5%.Come possiamo vedere, tutte e sei le stime di varianza sono significativamente diverse da zero ma la maggior parte di le stime di covarianza non lo sono. Ciò suggerisce che dovrebbero essere prese in considerazione strutture parsimoniose, come AR (1).
Test a effetti fissi relazione mostra un effetto del trattamento altamente significativo. C livello di colesterolo si trova anche a variare significativamente da mese a mese e da mattina a pomeriggio.
Successivamente, consideriamo AR(1) come struttura di covarianza per gli errori all'interno del soggetto. Si prega di notare che Ripetuto la colonna utilizzata in AR(1) da JMP deve essere una variabile continua.Zolla erbosa sì— numero di giorni dalla data di inizio della prova a ciascuna misurazione: viene utilizzato al posto di una variabile categoriale utilizzata per l'opzione UN.
AR(1) Covariance Structure AR(1) Struttura di covarianza
Il Effetti ripetuti Stima del parametro di covarianza rapporto mostra una correlazione all'interno del soggetto altamente significativa di 0,95. I risultati degli effetti fissi sono simili a quelli dell'opzione UN (non mostrata): l'effetto del trattamento e gli effetti del tempo sono statisticamente significativi.
Results using AR(1) Risultati utilizzando AR(1)
Per completare il nostro esempio, infine, adattiamo il modello con a CS struttura. Per farlo, seleziona Residuo come la Struttura di covarianza ripetuta — ma non c'è bisogno di specificare Ripetuto e Materia colonne con questa opzione; invece, aggiungiamo l'ID del soggetto, Paziente, come un effetto casuale sul Effetti casuali scheda. Questo è
w la covarianza itin-soggetto è modellata attraverso il soggetto ef perfetto.
CS Covariance Structure with random subject effect and residual error CS Struttura di covarianza con effetto soggetto casuale ed errore residuo
Results using CSRisultati utilizzando CS
Giudicata dai limiti di confidenza del 95%, la covarianza tra due misure qualsiasi sullo stesso argomento non è statisticamente significativa a a =0.05 (in realtà, p-value= 0,0621 ). I risultati dei test a effetto fisso sono simili ai modelli precedenti e pertanto non vengono mostrati qui.
Quindi, quale struttura ripetuta dovrebbe essere adottata? Un criterio per il confronto dei modelli è AICc. Dal Statistiche di adattamento riportati da JMP (non mostrati), gli AICc sono: Non strutturato —703,84, AR(1) —652,63 e CS —832,55. Così, AR(1) è il vincitore.
Esempio 3: Panel Data Models: controllo dell'eterogeneità non osservata
Questo esempio è tratto da Vella e Verbeek (1998), di cui si parla in Econometria introduttiva di Jeffrey Woodridge come Esempio 14.4 . Vedere i riferimenti di seguito per ulteriori informazioni.
I dati originali provenivano da National Longitudinal Survey of Youth 1979 Cohort (NLSY79). Nei dati, ciascuno dei 545 lavoratori maschi ha lavorato ogni anno dal 1980 al 1987. Siamo interessati a stimare l'effetto sui guadagni salariali dell'appartenenza sindacale controllando l'istruzione, l'esperienza lavorativa, l'etnia, ecc.
Sebbene NLSY79 raccolga informazioni di base dettagliate sui lavoratori da utilizzare come variabili di controllo, esiste ancora una differenza individuale che non può essere osservata o misurata. I dati panel forniscono un modo per tenere conto dell'eterogeneità individuale: se si può presumere che l'eterogeneità non osservata non sia correlata con tutte le variabili esplicative incluse nel modello, possiamo spiegarla trattandola come un effetto casuale.
Seguendo la discussione di Woodridge, è adatta un'equazione Log(Salario) in cui l'ID del lavoratore viene inserito come effetto casuale per catturare le differenze non osservate.
Fixed effects part of the Log(Wage) Equation Risolti gli effetti che facevano parte dell'Equazione Log(Salario).
Random effects part of the Log(Wage) EquationGli effetti casuali fanno parte dell'equazione Log(Wage).
seleziono Residuo per il termine di errore di modo. Il modello è chiamato modello a effetti casuali unidirezionali in econometria .
I risultati sono mostrati sotto.
Panel Model Results Risultati del modello del pannello
Dal Stime dei parametri di covarianza degli effetti casuali rapporto troviamo quell'individuo eterogeneità rappresenta il 47,8% (=0,11/(0,11+0,12)) della variazione totale, indicando un grande effetto di eterogeneità non osservato. In altre parole, un'analisi OLS produrrebbe probabilmente risultati fuorvianti.
Il Stime dei parametri degli effetti fissi Il rapporto mostra un tasso stimato di ritorno all'istruzione al 9,2% e un premio sindacale del 10,5%, entrambi altamente significativi dal punto di vista statistico. A titolo di confronto, un OLS in pool stimerebbe il premio sindacale al 18,2%. Vedere Woodridge (2013, pagina 495).
Riferimenti
Francesco Vella e Marno Verbeek (1998), " A chi aumentano i salari i sindacati? Un modello dinamico di sindacalismo e determinazione del tasso salariale per i giovani uomini ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. I dati possono essere scaricati dal sito web del Journal http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
Jeffrey M. Woodridge (2013), Econometria introduttiva: un approccio moderno (5 th ndr), CENGAGE Apprendimento.
Esempio 4: modellazione di dati geospaziali, tenendo conto della correlazione spaziale
Come le misure ripetute sono correlate nel tempo, i dati spaziali sono probabilmente correlati nello spazio.Cioè, misure che sono relativamente vicini tra loro sono più simili di quelli più distanti. Pertanto, dobbiamo tenere conto della dipendenza spaziale nell'analisi.
I dati spaziali vengono registrati insieme a coordinate come latitudine e longitudine, posizioni di riga e colonna, direzioni nord-sud ed est-ovest. La distanza tra due misurazioni viene calcolata utilizzando a distanza euclidea funzione, che viene utilizzata per formare una struttura di covarianza. io fa la funzione di distanza non dipende dalle direzioni delle misurazioni, quindi si dice che la covarianza sia isotropo; altrimenti lo è anisotropo .Inoltre, un pepita effetto può essere aggiunto per tenere conto di bruschi cambiamenti su piccole distanze in un'area locale.
JMP Pro ne fornisce quattro distanza euclidea funzioni per strutture isotrope: potenza, esponenziale, gaussiana e sferica.Sono disponibili varie forme di strutture anisotrope.Un effetto pepita può anche essere aggiunto alle strutture di covarianza.
Il seguente esempio è tratto da SAS per modelli misti, 2a edizione , 2006, pp. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). Per indagare sul drenaggio dell'acqua in un sito di smaltimento di rifiuti pericolosi, sono stati prelevati 30 campioni in vari punti del sito e registrati secondo le direzioni nord-sud ed est-ovest.Una relazione lineare tra il drenaggio dell'acqua (misurato da log-trasmissività) e fu proposto lo spessore di uno strato di sale. ( T lui dati, Rifiuti pericolosi , è Insieme di dati 11.6 nel file zippato
http://support.sas.com/publishing/bbu/59882/59882.zip .)
Un modello di regressione spaziale viene adattato utilizzando una struttura di potenza anisotropica spaziale con un effetto nugget. Questa struttura consente (1) alla distanza di essere una funzione di potenza della correlazione spaziale, (2) alle correlazioni spaziali di differire in direzioni diverse e (3) alla variazione su piccole distanze.
Spatial anisotropic power with nugget Potenza anisotropa spaziale con nugget
Results using spatial anisotropic power with nuggetRisultati utilizzando la potenza anisotropica spaziale con nugget
Stima del parametro di covarianza rapporto suggerisce una correlazione spaziale altamente significativa e che due coefficienti di correlazione sono, rispettivamente, 0,81 (Est-Ovest) e 0,91 (Nord-Sud). Tuttavia, non sembra esserci alcuna pepita basata sui limiti di confidenza.Stime dei parametri degli effetti fissi mostrano un significativo effetto negativo (-0,025) sul drenaggio dell'acqua di spessore di sale.
Rimetto a posto il modello rimuovendo l'effetto pepita.
Results using spatial anisotropic power without nugget Risultati utilizzando la potenza anisotropa spaziale senza nugget
Notiamo alcuni piccoli cambiamenti: le correlazioni spaziali stimate sono rispettivamente 0,86 e 0,82 e l'effetto dello spessore del sale è -0,021. Confrontando la bontà di adattamento utilizzando AICc, il secondo modello è leggermente migliore in quanto i suoi AIC sono più piccoli (84,7 contro 86,4)
Per testare formalmente l'esistenza della correlazione spaziale, adattiamo un modello di errori indipendenti selezionando Residuo come la struttura (cioè assumendo nessuna correlazione spaziale). La differenza nel valore -2 Residual Log Likelihood tra i due modelli forma un test del rapporto di verosimiglianza χ2. La probabilità logaritmica residua -2 dal modello degli errori indipendenti è 94,07, quindi la differenza è 13,72 (= 94,07-80,35). Ciò produce un valore p di 0,001 per DF=2. Pertanto, in questo sito si trova una correlazione spaziale significativa.
Riepilogo
Si spera che questi esempi abbiano illustrato la versatilità dei modelli misti lineari e la facilità di adattamento di un modello misto con JMP. Prima di chiudere vorrei condividere alcuni suggerimenti generali.
- Per eseguire un modello misto, i dati devono essere organizzati in un formato "alto e magro" in cui più misure di una risposta sono impilate in un'unica colonna. Se i tuoi dati sono in un formato "breve e largo", utilizza la funzione Tabelle JMP Pila trasporre.
- Segui il Requisiti della struttura di covarianza ripetuta di JMP quando si immettono le colonne Ripetuto e Oggetto.http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
- Prova diverse strutture di covarianza e valuta diversi modelli confrontando AICc o BIC. Più piccolo è l'AICc (o BIC), migliore è l'adattamento di un modello.Ceteris paribus , un modello parsimonioso è migliore.
- Un modello a errori indipendenti (cioè un modello con solo effetti fissi) può servire come modello di base per eseguire un test del rapporto di verosimiglianza χ2 sull'esistenza di una struttura di covarianza e.
- Tieni presente che quando in un modello sono inclusi sia effetti casuali che effetti ripetuti, spesso non ci sono dati sufficienti per stimare entrambi gli effetti.
