Modelli misti lineari con JMP® Pro: un volto, molti sapori*
Jian Cao, dottore di ricerca
SAS Institute, Inc.
24 marzo 2015
Bruxelles, Belgio
Astratto
Una delle nuove funzionalità introdotte in JMP Pro 11 sono i modelli misti. Questa nuova personalità di modellazione nella piattaforma Stima modello consente di adattare una varietà di modelli di regressione con effetti fissi e casuali insieme a un'appropriata struttura di covarianza. Cos'è un modello misto? Quando e perché adattarsi ad un modello misto? E come si adatta JMP a un modello del genere? In questo articolo cercherò di dissipare i miti sui modelli misti 1) esaminando brevemente il contesto statistico, 2) discutendo perché i modelli misti forniscono stime migliori e le conseguenze dell'adattamento dei modelli di regressione tradizionali ai dati in cui le misurazioni di una variabile di risposta sono correlate o manca la variabile esplicativa chiave e 3) illustrare i modelli misti di JMP® Pro adattando diversi tipi di modelli misti ampiamente utilizzati nelle applicazioni della vita reale.
Ringraziamenti: vorrei ringraziare Christopher Gotwalt e Laura Lancaster per il loro aiuto.
* Il materiale presentato in questo documento si applica anche a JMP Pro 12.Il miglioramento chiave del nuovo JMP Pro 12 è un algoritmo di ottimizzazione migliorato che consente a JMP di funzionare più velocemente rispetto a JMP Pro 11 per dati di grandi dimensioni .
JMP Pro 11 ha aggiunto una nuova personalità di modellazione, Modello misto, alla sua piattaforma Stima modello.Cos'è un modello misto? Come si adatta JMP a un modello del genere? Quali sono le applicazioni chiave in cui è possibile applicare i modelli misti? In questo articolo cercherò di sfatare i miti sui modelli misti e di dimostrare le capacità di JMP con esempi di vita reale.
Cos'è un modello misto lineare
I modelli misti lineari sono una generalizzazione dei modelli di regressione lineare , y=Xβ +ε . Estendere il modello per consentire effetti casuali, Z , il nuovo modello diventa y=Xβ+Z γ + ε . Questo è il modello misto lineare poiché sono presenti entrambi gli effetti fissi, X, ed effetti casuali, Z.
Per il parametri dell'effetto casuale, γ ed errore casuale ε :
(1) γ E ε sono distribuiti normalmente e (2) non esistono correlazioni tra E ε .JMP fornisce diverse strutture di uso comune per ε . I coefficienti ad effetto fisso , , e matrici di covarianza per E sono stimati congiuntamente mediante il metodo della massima verosimiglianza ristretta. Il montaggio di modelli misti richiede UN dati aggiuntivi su ciascuna unità di sezione trasversale o, in caso di modellazione di dati spaziali, dimensioni delle misurazioni. Esistono modelli misti per risposte distribuite non normali o modelli misti non lineari ; Tuttavia, Limiterò l'ambito della mia discussione ai modelli misti lineari supportati in JMP Pro.
Perché modelli misti
Quando esiste una correlazione tra le risposte o un importante variabile esplicativa manca, la mancata presa in considerazione di ciò porta a stime distorte degli effetti del trattamento e di altri fattori.
Ecco alcuni casi d'uso comuni per i modelli misti:
- Permettendo coefficienti
- Analisi di progetti a blocchi randomizzati e progetti a trama divisa in cui fattori facili e difficili da modificare determinano più termini di errore;
- Controllo dell'eterogeneità individuale non osservata sotto forma di effetti casuali (cioè modelli di dati panel);
- Analisi di misure ripetute dove gli errori all'interno del soggetto sono correlati;
- Risposte multiple correlate perché le misure provengono dagli stessi soggetti;
- Le materie sono gerarchiche (ovvero, studenti all'interno delle scuole) . Questo è noto come modello lineare gerarchico o modelli multilivello;
- Variabilità spaziale (cioè regressione geospaziale);
Con JMP Pro puoi specificare e adattare facilmente tutti questi modelli utilizzando l'interfaccia punta e clicca ed esaminare i risultati in modo intuitivo.
Passaggi per specificare un modello misto in JMP Pro
- 1. Selezionare Analizza => Adatta modello e scegli Personalità del modello misto ;
- 2. Seleziona una variabile di risposta continua dalla tabella dati come Y e costruire effetti fissi come faresti normalmente con un adattamento dei minimi quadrati standard;
3A. Utilizzo Effetti casuali scheda per specificare coefficienti casuali o effetti casuali;
3B. Utilizzo Struttura ripetuta scheda per selezionare una struttura di covarianza per gli errori del modello;
- 4. Fare clic Correre .
Passerò ora all'esempio per mostrare quattro diverse tipologie di modelli misti: modello a coefficienti casuali, analisi di misure ripetute, modello di dati panel e regressione geospaziale.
Esempio 1: modelli a coefficienti casuali— consentendo intercettazioni e pendenze variare casualmente tra i soggetti
In questo esempio siamo interessati a stimare l’effetto sulla resa del grano dell’umidità nel terreno prima della semina, consentendo a ciascuna varietà di grano di avere una deviazione casuale dagli effetti sulla popolazione. Pertanto è necessario un modello a coefficienti casuali. L'esperimento seleziona casualmente 10 varietà dalla popolazione di grano e le assegna a ciascuna sei appezzamenti di terreno .In totale vengono raccolte 60 osservazioni con 6 misurazioni della resa per ciascuna varietà. (I dati "Grano" sono disponibili nella directory Dati di esempio di JMP.)
Ho seguito i passaggi sopra indicati per specificare il modello. Da Effetti fissi scheda, specificare l'Umidità insieme a un'intercettazione predefinita come effetti fissi.
Fit Model: Fixed EffectsFit Model: Fixed EffectsModello adatto: effetti fissi
Successivamente, dal Effetti casuali scheda, utilizzando Coefficienti casuali di nidificazione pulsante per richiedere l'intercettazione casuale e l'effetto Umidità per ciascuna varietà. 
Fit Model: Random EffectsFit Model: Random EffectsModello adatto: effetti casuali
Infine, da Struttura ripetuta scheda, selezionare Residuo per il termine di errore del modello.
Fit Model: Repeated StructuresFit Model: Repeated Structures Modello adatto: strutture ripetute
La schermata seguente mostra Stime dei parametri di covarianza con effetti casuali, stime dei parametri con effetti fissi E Coefficienti casuali .Discutiamoli a turno.
La stima della varianza per Intercept è 18,89 con una stima dell'errore standard di 9,11, quindi il punteggio z è 2,07 (=18,89/9,11). Utilizzando la funzione di distribuzione normale di JMP Formula Editor possiamo trovare che il valore p è 0,0192, indicando che la variazione nella resa di base tra le varietà è statisticamente significativa.Allo stesso modo, il P -valore per Cov(Umidità, Intercetta) , 0,3777 e valore p per Var(Umidità) è 0,0380.
IL Coefficienti casuali il rapporto fornisce il BLUP (B est Predittore lineare imparziale) valori per la differenza di ciascuna varietà dall'intercettazione della popolazione e dall'effetto dell'umidità della popolazione riportato in Stime dei parametri degli effetti fissi. Per la varietà 1, l'effetto stimato dell'umidità sulla resa è 0,61 (=0,66-0,05) e la resa di base è 34,39 (=33,43+0,96) e l'equazione della resa prevista è
Combinando sia gli effetti fissi che le stime dei coefficienti casuali, troviamo un effetto complessivo significativo sulla resa dell’umidità nel grano e scopriamo variazioni significative nell’effetto dell’umidità tra le diverse varietà.
Altre applicazioni dei modelli a coefficienti casuali
Il modello di crescita individuale è un tipo di modello a coefficienti casuali in cui casuale tempo l'effetto è stimato per ogni individuo.Il suo viene fatto specificando un continuo variabile temporale come giorno o mese come effetto casuale e tu cantare Coefficienti casuali di nidificazione pulsante per richiedere pendenza separata (cioè crescita) e intercettazione per ciascun individuo.
Nella ricerca educativa, i soggetti sono spesso annidati in un ordine gerarchico.Aggiungendo più gruppi di dichiarazioni con effetti casuali puoi adattarli Modelli lineari gerarchici/Modelli multilivello .
Esempio 2: analisi di misure ripetute: contabilizzazione degli errori correlati
Le misure ripetute sono le misurazioni multiple di una risposta raccolta dagli stessi soggetti nel tempo.In questo studio clinico, i soggetti (cioè i pazienti) sono stati assegnati in modo casuale a diversi gruppi di trattamento. Il livello di colesterolo totale di ciascun soggetto è stato misurato più volte durante lo studio. L’obiettivo dello studio è verificare se nuovi farmaci sono efficaci nel ridurre il colesterolo. Che cosa Ciò che rende distinta l'analisi di misure ripetute è la correlazione delle misurazioni all'interno di un soggetto. La mancata considerazione di ciò spesso porta a conclusioni errate sull’effetto del trattamento. (I dati, Colesterolo impilato , è disponibile nella directory dei dati di esempio di JMP.
JMP Pro offre tre strutture di covarianza comunemente utilizzate:
- Non strutturato
- AR(1) (autoregressivo del primo ordine) stima la correlazione tra due misurazioni distanti un'unità di tempo.La correlazione diminuisce all’aumentare della differenza temporale.
- CS
La seguente schermata mostra il Effetti fissi parte dell'analisi delle misure ripetute, che include Trattamento , Mese , AM PM e le loro interazioni.
Fixed effects part of the modelFixed effects part of the model Effetti fissi parte del modello
Considererò tre diverse strutture di covarianza per gli errori all'interno del soggetto.Per prima cosa usiamo Non strutturato. Fare domanda a Tempo colonna come ripetuto, E Paziente colonna come Soggetto --questo definisce le misurazioni ripetute all'interno di un soggetto. È importante notare che JMP lo richiede Soggetto colonna avere un valore univoco e quello Ripetuto essere categorica per il Non strutturato opzione.
Unstructured Covariance StructureUnstructured Covariance Structure Struttura di covarianza non strutturata
I rapporti chiave includono Stime dei parametri di covarianza degli effetti ripetuti, Stime dei parametri a effetti fissi, E Test Test ad effetti fissi .
Results using UnstructuredResults using Unstructured Risultati utilizzando Non strutturato
Un modo per testare la significatività statistica delle stime della covarianza è calcolare i punteggi z e trovare i relativi valori p, come ho fatto nel precedente esempio del modello a coefficienti casuali. Possiamo però verificare i limiti di confidenza: se l’intervallo di confidenza al 95% per una stima della covarianza include zero, allora possiamo dire che la stima non è statisticamente significativa da zero a α = 5%.Come possiamo vedere, tutte e sei le stime della varianza sono significativamente diverse da zero ma la maggior parte le stime di covarianza non lo sono. Ciò suggerisce che si dovrebbero prendere in considerazione strutture parsimoniose, come AR (1).
Test sugli effetti fissi il rapporto mostra un effetto del trattamento altamente significativo. C livello di colesterolo si riscontra inoltre una variazione significativa da un mese all'altro e dalla mattina al pomeriggio.
Successivamente, consideriamo AR(1) come struttura di covarianza per gli errori entro soggetto. Tienilo presente Ripetuto utilizzata in AR(1) da JMP deve essere una variabile continua.Zolla erbosa sì— numero di giorni dalla data di inizio della sperimentazione per ciascuna misurazione: viene utilizzato al posto della variabile categoriale utilizzata per l'opzione ONU.
AR(1) Covariance StructureAR(1) Covariance Structure AR(1) Struttura di covarianza
IL Effetti ripetuti Stima dei parametri di covarianza il rapporto mostra una correlazione intra-soggetto altamente significativa di 0,95. I risultati degli effetti fissi sono simili a quelli dell'opzione ONU (non mostrati): l'effetto del trattamento e gli effetti del tempo sono statisticamente significativi.
Results using AR(1)Results using AR(1) Risultati utilizzando AR(1)
Per completare il nostro esempio, infine, adattiamo il modello con a CS struttura. Per fare ciò, seleziona Residuo come il Struttura di covarianza ripetuta – ma non è necessario specificarlo Ripetuto E Soggetto colonne con questa opzione; invece, aggiungiamo l'ID soggetto, Paziente, come effetto casuale sul Effetti casuali scheda. Questo è
w La covarianza tra soggetti è modellata attraverso il soggetto ef perfetto.
CS Covariance Structure with random subject effect and residual errorCS Covariance Structure with random subject effect and residual error Struttura di covarianza CS con effetto soggetto casuale ed errore residuo
Results using CSResults using CSRisultati utilizzando CS
Giudicata in base ai limiti di confidenza del 95%, la covarianza tra due misure qualsiasi sullo stesso argomento non è statisticamente significativa a α =0,05 (in realtà, valore p= 0,0621 ). I risultati dei test a effetto fisso sono simili a quelli dei modelli precedenti e pertanto non vengono mostrati qui.
Quindi, quale struttura ripetuta dovrebbe essere adottata? Un criterio per il confronto dei modelli è AICc. Dal Adattare le statistiche riportato da JMP (non mostrato), gli AICc sono: Non strutturato —703.84, AR(1) —652,63 e CS —832,55. COSÌ, AR(1) è il vincitore.
Esempio 3: Modelli di dati panel: controllo dell'eterogeneità non osservata
Questo esempio è tratto da Vella e Verbeek (1998), discusso in Econometria introduttiva di Jeffrey Woodridge come Esempio 14.4 . Vedi i riferimenti qui sotto per maggiori informazioni.
I dati originali provenivano da Coorte dell'indagine longitudinale nazionale sulla gioventù del 1979 (NLSY79). Secondo i dati, ciascuno dei 545 lavoratori di sesso maschile ha lavorato ogni anno dal 1980 al 1987. Siamo interessati a stimare l'effetto sui guadagni salariali dell'appartenenza al sindacato tenendo conto dell'istruzione, dell'esperienza lavorativa, dell'etnia, ecc.
Sebbene NLSY79 raccolga informazioni di base dettagliate sui lavoratori da utilizzare come variabili di controllo, esiste ancora una differenza individuale che non può essere osservata o misurata. I dati panel forniscono un modo per tenere conto dell’eterogeneità individuale: se si può presumere che l’eterogeneità non osservata non sia correlata con tutte le variabili esplicative incluse nel modello, possiamo tenerne conto trattandola come un effetto casuale.
Seguendo la discussione di Woodridge è adatta un'equazione Log (salario) in cui l'ID del lavoratore viene inserito come effetto casuale per catturare le differenze non osservate.
Fixed effects part of the Log(Wage) EquationFixed effects part of the Log(Wage) Equation Parte degli effetti fissi dell'equazione logaritmica (salario).
Random effects part of the Log(Wage) EquationRandom effects part of the Log(Wage) EquationParte degli effetti casuali dell'equazione logaritmica (salario).
Seleziono Residuo per il termine di errore di modalità. Il modello si chiama modello ad effetto casuale unidirezionale in econometria .
I risultati sono mostrati sotto.
Panel Model ResultsPanel Model Results Risultati del modello di pannello
Dal Stime dei parametri di covarianza degli effetti casuali riferiamo che troviamo quell'individuo eterogeneità rappresenta il 47,8% (=0,11/(0,11+0,12)) della variazione totale, indicando un ampio effetto di eterogeneità non osservato. In altre parole, un’analisi OLS produrrebbe probabilmente risultati fuorvianti.
IL Stime dei parametri degli effetti fissi Il rapporto mostra un tasso stimato di rendimento dell’istruzione al 9,2% e un premio sindacale al 10,5%, entrambi altamente significativi dal punto di vista statistico. A titolo di confronto, un OLS aggregato stimerebbe il premio sindacale al 18,2%. Vedi Woodridge (2013, pagina 495).
Riferimenti
Francis Vella e Marno Verbeek (1998), " Di chi aumentano gli stipendi i sindacati? Un modello dinamico di sindacalismo e determinazione del tasso salariale per i giovani ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. I dati possono essere scaricati dal sito web del Journal http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
Jeffrey M. Woodridge (2013), Econometria introduttiva: un approccio moderno (5 th ndr), CENGAGE Apprendimento.
Esempio 4: modellazione di dati geospaziali, tenendo conto della correlazione spaziale
Come le misure ripetute sono correlate nel tempo, i dati spaziali sono probabilmente correlati nello spazio.Cioè, misurazioni che sono relativamente vicini tra loro sono più simili di quelli più distanti. Pertanto, nell’analisi dobbiamo tenere conto della dipendenza spaziale.
I dati spaziali vengono registrati insieme a coordinate come latitudine e longitudine, posizioni di righe e colonne, direzioni nord-sud ed est-ovest. La distanza tra due misurazioni viene calcolata utilizzando a Distanza euclidea funzione, che viene utilizzata per formare una struttura di covarianza. IO Se la funzione distanza non dipende dalle direzioni delle misurazioni, si dice che lo sia la covarianza isotropo; altrimenti lo è anisotropo .Inoltre, UN pepita l'effetto può essere aggiunto per tenere conto dei cambiamenti improvvisi su piccole distanze in un'area locale.
JMP Pro ne fornisce quattro Distanza euclidea funzioni per strutture isotrope: potenza, esponenziale, gaussiana e sferica.Sono disponibili varie forme di strutture anisotrope.È inoltre possibile aggiungere un effetto nugget alle strutture di covarianza.
L'esempio seguente è tratto da SAS per modelli misti, 2a edizione , 2006, pp. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). Per indagare sul drenaggio dell'acqua in un sito di smaltimento di rifiuti pericolosi, sono stati prelevati 30 campioni in vari punti del sito e registrati in base alle direzioni nord-sud ed est-ovest.Una relazione lineare tra il drenaggio dell'acqua (misurato da log-trasmissività) e fu proposto lo spessore di uno strato di sale. ( T lui dati, Rifiuti pericolosi , È Insieme di dati 11.6 nel file zippato
http://support.sas.com/publishing/bbu/59882/59882.zip .)
Un modello di regressione spaziale è adattato utilizzando una struttura di potere anisotropa spaziale con un effetto nugget. Questa struttura consente (1) alla distanza di essere una funzione di potenza della correlazione spaziale, (2) alle correlazioni spaziali di differire in direzioni diverse e (3) alla variazione su piccole distanze.
Spatial anisotropic power with nuggetSpatial anisotropic power with nugget Potenza anisotropa spaziale con nugget
Results using spatial anisotropic power with nuggetResults using spatial anisotropic power with nuggetRisultati utilizzando il potere anisotropo spaziale con nugget
Stima dei parametri di covarianza il rapporto suggerisce una correlazione spaziale altamente significativa e che due coefficienti di correlazione sono, rispettivamente, 0,81 (Est-Ovest) e 0,91 (Nord-Sud). Tuttavia, sembra che non esista alcun nugget basato sui limiti di confidenza.Stime dei parametri degli effetti fissi mostrano un effetto negativo significativo (-0,025) sul drenaggio dell'acqua dello spessore del sale.
Rimonto il modello eliminando l'effetto pepita.
Results using spatial anisotropic power without nuggetResults using spatial anisotropic power without nugget Risultati utilizzando il potere anisotropo spaziale senza nugget
Notiamo alcuni cambiamenti minori: le correlazioni spaziali stimate sono rispettivamente 0,86 e 0,82, e l'effetto dello spessore del sale è -0,021. Confrontando la bontà dell'adattamento utilizzando AICc, il secondo modello è leggermente migliore poiché i suoi AIC sono più piccoli (84,7 contro 86,4)
Per testare formalmente l'esistenza della correlazione spaziale, adattiamo un modello di errori indipendenti mediante selezione Residuo come struttura (cioè non assumendo alcuna correlazione spaziale). La differenza nel valore di verosimiglianza logaritmica residua -2 tra i due modelli costituisce un test del rapporto di verosimiglianza χ2. La probabilità logaritmica residua -2 dal modello degli errori indipendenti è 94,07, quindi la differenza è 13,72 (=94,07-80,35). Ciò produce un valore p di 0,001 per DF=2. Pertanto, in questo sito si trova una correlazione spaziale significativa.
Riepilogo
Si spera che questi esempi abbiano illustrato la versatilità dei modelli misti lineari e la facilità di adattare un modello misto con JMP. Prima di chiudere vorrei condividere alcuni suggerimenti generali.
- Per eseguire un modello misto, i dati devono essere organizzati in un formato “alto e sottile” in cui più misure di una risposta sono impilate in un’unica colonna. Se i tuoi dati sono in formato “breve e ampio”, utilizza la funzione Tabelle JMP Pila trasporre.
- Segui il Requisiti della struttura di covarianza ripetuta JMP quando si immettono le colonne Ripetuti e Oggetto.http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
- Prova diverse strutture di covarianza e valuta diversi modelli confrontando AICc o BIC. Più piccolo è l'AICc (o BIC), migliore è l'adattamento di un modello.Ceteris paribus , è preferibile un modello parsimonioso.
- Un modello di errori indipendenti (cioè un modello con solo effetti fissi) può servire come modello di base per eseguire un test del rapporto di verosimiglianza χ2 sull'esistenza di una struttura di covarianza e.
- Tieni presente che quando in un modello sono inclusi sia effetti casuali che effetti ripetuti, spesso non ci sono dati sufficienti per stimare entrambi gli effetti.
