Modelli misti lineari con JMP® Pro: una faccia, molti sapori*
Dott. Jian Cao
Istituto SAS, Inc.
24 marzo 2015
Bruxelles, Belgio
Astratto
Una delle nuove funzionalità introdotte in JMP Pro 11 sono i modelli misti. Questa nuova personalità di modellazione nella piattaforma Fit Model consente di adattare una varietà di modelli di regressione con effetti fissi e casuali insieme a una struttura di covarianza appropriata. Cos'è un modello misto? Quando e perché si dovrebbe adattare un modello misto? E come adatta JMP un modello del genere? In questo articolo cercherò di dissipare i miti sui modelli misti 1) esaminando brevemente il background statistico, 2) discutendo perché i modelli misti forniscono stime e conseguenze migliori dell'adattamento dei modelli di regressione tradizionali ai dati in cui le misurazioni di una variabile di risposta sono correlate o manca una variabile esplicativa chiave e 3) illustrando i modelli misti di JMP® Pro adattando diversi tipi di modelli misti ampiamente utilizzati nelle applicazioni della vita reale.
Ringraziamenti: Vorrei ringraziare Christopher Gotwalt e Laura Lancaster per il loro aiuto.
* Il materiale presentato in questo documento è valido anche per JMP Pro 12. Il miglioramento principale del nuovo JMP Pro 12 è l'algoritmo di ottimizzazione migliorato che consente a JMP di funzionare più velocemente rispetto a JMP Pro 11 per dati di grandi dimensioni .
JMP Pro 11 ha aggiunto una nuova personalità di modellazione, Mixed Model, alla sua piattaforma Fit Model. Cos'è un mixed model? Come JMP adatta un tale modello? Quali sono le applicazioni chiave in cui possono essere applicati i mixed model? In questo articolo, cercherò di dissipare i miti sui mixed model e di dimostrare la capacità di JMP con esempi concreti.
Che cosa è un modello misto lineare
I modelli misti lineari sono una generalizzazione dei modelli di regressione lineare , y=Xβ +e. Estendendo il modello per consentire effetti casuali, Z , il nuovo modello diventa y=Xβ+Z γ + ε. Questo è il modello misto lineare poiché sono presenti sia effetti fissi, X, sia effetti casuali, CON.
Per l'parametri di effetto casuale, γe errore casuale ε:
(1) e e e sono distribuiti normalmente e (2) non ci sono correlazioni tra E ε. JMP fornisce diverse strutture comunemente utilizzate perε. I coefficienti di effetto fissi , , e matrici di covarianza per E sono stimati congiuntamente dal metodo della massima verosimiglianza ristretta. L'adattamento di modelli misti richiedeadati aggiuntivi su ciascuna unità di sezione trasversale o, nel caso di modellazione di dati spaziali, dimensioni delle misurazioni.Esistono modelli misti per risposte non distribuite normalmente o modelli misti non lineari; Tuttavia, Limiterò l'ambito della mia discussione ai modelli misti lineari supportati in JMP Pro.
Perché modelli misti
Quando esiste una correlazione tra le risposte o un variabile esplicativa importanteè mancante, la mancata considerazione di ciò porta a stime distorte degli effetti del trattamento e di altri fattori.
Ecco alcuni casi d'uso comuni per i modelli misti:
- Consentirecoefficienti
- Analisi di progetti a blocchi randomizzati e progetti a plot diviso in cui i fattori difficili da modificare e quelli facili da modificare determinano più termini di errore;
- Controllo dell'eterogeneità individuale non osservata sotto forma di effetti casuali (ad esempio, modelli di dati panel);
- Analisi delle misure ripetutedove gli errori intra-soggetto sono correlati;
- Risposte multiple correlate perché le misure sono prese dagli stessi soggetti;
- Le materie sono gerarchiche (ad esempio, studenti all'interno delle scuole)Questo è noto come modello lineare gerarchico o modelli multilivello;
- Variabilità spaziale (ad esempio, regressione geospaziale);
Con JMP Pro puoi specificare e adattare facilmente tutti questi modelli utilizzando l'interfaccia punta e clicca e rivedere i risultati in modo intuitivo.
Passaggi per specificare un modello misto in JMP Pro
- 1.Selezionare Analizza => Adatta modello e scegliere Personalità modello misto ;
- 2.Seleziona una variabile di risposta continua dalla tua tabella dati come Y e costruisci effetti fissi come faresti normalmente con un adattamento standard dei minimi quadrati;
3A. Utilizzare la scheda Effetti casuali per specificare coefficienti casuali o effetti casuali;
3B. Utilizzare la scheda Struttura ripetuta per selezionare una struttura di covarianza per gli errori del modello;
- 4. Fare clic su Esegui .
Passerò ora ad un esempio per mostrare quattro diversi tipi di modelli misti: modello a coefficienti casuali, analisi di misure ripetute, modello di dati panel eregressione geospaziale.
Esempio 1: Modelli di coefficienti casuali—consentendo intercettazioni e pendenzevariare casualmente tra i soggetti
In questo esempio siamo interessati a stimare l'effetto sulla resa del grano dell'umidità pre-semina nel terreno, consentendo a ogni varietà di grano di avere una deviazione casuale dagli effetti della popolazione. Quindi, è richiesto un modello di coefficiente casuale.L'esperimento seleziona casualmente 10 varietà dalla popolazione di grano e assegna ciascuna asei appezzamenti di terrenoIn totale, vengono raccolte 60 osservazioni con 6 misurazioni di resa per ciascuna varietà. (I dati, "Grano", sono disponibili nella directory Sample Data di JMP.)
Ho seguito i passaggi indicati sopra per specificare il modello.Dalla scheda Effetti fissi , specificare Umidità insieme a un'intercettazione predefinita come effetti fissi.
Fit Model: Fixed EffectsModello di adattamento: effetti fissiModello di adattamento: effetti fissi
Successivamente, dalla scheda Effetti casuali , utilizzare il pulsante Annida coefficienti casuali per richiedere l'intercettazione casuale e l'effetto umidità per ciascuna varietà. 
Fit Model: Random EffectsModello di adattamento: effetti casualiModello di adattamento: effetti casuali
Infine, dalla scheda Struttura ripetuta , selezionare Residuo per il termine di errore del modello. 
Fit Model: Repeated Structures Modello di adattamento: strutture ripetute Modello di adattamento: strutture ripetute
La seguente schermata mostra Random Effects Covariance Parameter Estimates, Fixed Effects Parameter Estimates e Coefficienti casuali . Discutiamoli uno alla volta. 
La stima della varianza per Intercept è 18,89 con una stima dell'errore standard di 9,11, quindi lo z-score è 2,07 (=18,89/9,11). Utilizzando la funzione Normal Distribution di JMP Formula Editor possiamo trovare il p-value pari a 0,0192, il che indica che la variazione nella resa di base tra le varietà è statisticamente significativa. Analogamente, il p -value per Cov(Umidità, Intercetta) è 0,3777 e il p-value per Dove(Umidità) è 0,0380.
Il rapporto sui coefficienti casuali fornisce il BLUP (Best Predittore lineare imparziale)valori per quanto ogni varietà differisce dall'intercetta della popolazione e dall'effetto dell'umidità della popolazione riportato nelle stime dei parametri degli effetti fissi. Per la varietà 1, l'effetto stimato dell'umidità sulla sua resa è 0,61 (=0,66-0,05), e la resa di base è 34,39 (=33,43+0,96) e l'equazione della resa prevista è
Combinando sia gli effetti fissi che le stime dei coefficienti casuali, riscontriamo un effetto complessivo significativo dell'umidità sulla resa del grano e scopriamo variazioni significative nell'effetto dell'umidità tra le diverse varietà.
Altre applicazioni dei modelli di coefficienti casuali
Il modello di crescita individuale è un tipo di modello a coefficienti casuali in cuil'effetto del tempo casuale èstimato per ogni individuo. Il suo è fatto specificando un continuovariabile temporale comegiorno o mese come effetto casuale, euPremere il pulsante Coefficienti casuali nidificati per richiedere pendenza (cioè crescita) e intercetta separate per ogni individuo.
Nella ricerca educativa, gli argomenti sono spesso annidati in un ordine gerarchico. Aggiungendo più gruppi di dichiarazioni di effetti casuali è possibile adattare Modelli lineari gerarchici/Modelli multilivello .
Esempio 2: Analisi delle misure ripetute: contabilizzazione degli errori correlati
Le misure ripetute sono le misurazioni multiple di una risposta raccolte dagli stessi soggetti nel tempo. In questo studio clinico, i soggetti (vale a dire, i pazienti) sono stati assegnati in modo casuale a diversi gruppi di trattamento. Il livello di colesterolo totale di ciascun soggetto è stato misurato più volte durante lo studio.L'obiettivo dello studio è verificare senuovi farmaci sono efficaci nell'abbassare il colesterolo. Cosarende distinta l'analisi delle misure ripetute è la correlazione delle misurazioni all'interno di un soggetto. Non tenerne conto spesso porta a conclusioni errate sull'effetto del trattamento. (I dati, Colesterolo accatastato , sono disponibili nella directory Sample Data di JMP.
JMP Pro offre tre strutture di covarianza comunemente utilizzate:
- Non strutturato
- ARRIVARE(1)(autoregressivo di primo ordine) stima la correlazione tra due misurazioni che distano un'unità di tempo. La correlazione diminuisce all'aumentare della differenza di tempo.
- Servizio clienti
La seguente schermata mostra la parte Effetti fissi dell'analisi delle misure ripetute, che include Trattamento , Mese , mattina/pomeriggio e le loro interazioni. 
Fixed effects part of the model Effetti fissi parte del modello Effetti fissi parte del modello
Considererò tre diverse strutture di covarianza per gli errori intra-soggetto. Per prima cosa, usiamo Non strutturato. ApplicaColonna Tempo come Ripetuta e colonna Paziente come Soggetto : questo definisce le misurazioni ripetute all'interno di un soggetto. È importante notare che JMP richiede che la colonna Soggetto abbia un valore univoco e che la colonna Ripetuta sia categoriale per l'opzione Non strutturata . 
Unstructured Covariance Structure Struttura di covarianza non strutturata Struttura di covarianza non strutturata
I rapporti chiave includono le stime dei parametri di covarianza degli effetti ripetuti,Stime dei parametri degli effetti fissi,e test Test degli effetti fissi . 
Results using Unstructured Risultati utilizzando risultati non strutturati Risultati utilizzando risultati non strutturati
Un modo per testare la significatività statistica delle stime di covarianza è calcolare i punteggi z e trovare i loro valori p, come ho fatto nel precedente esempio di modello di coefficienti casuali. Tuttavia, possiamo controllare i limiti di confidenza: se l'intervallo di confidenza del 95% per una stima di covarianza include zero, allora possiamo dire che la stima non è statisticamente significativa da zero aα=5%. Come possiamo vedere, tutte e sei le stime della varianza sono significativamente diverse da zero, ma la maggior parte dile stime di covarianza non lo sono. Ciò suggerisce che si dovrebbero considerare strutture parsimoniose, come AR (1).
Test degli effetti fissiil rapporto mostra un effetto del trattamento altamente significativo. Clivello di colesterolosi è anche scoperto che varia notevolmente da un mese all'altro e dalla mattina al pomeriggio.
Successivamente, consideriamo ARRIVARE(1) come la struttura di covarianza per gli errori entro i soggetti. Si noti che la colonna Ripetuto utilizzata in AR(1) da JMP deve essere una variabile continua. Quindi, D ays, ovvero il numero di giorni dalla data di inizio della sperimentazione a ogni misurazione, viene utilizzato al posto di una variabile categoriale utilizzata per l'opzione UN. 
AR(1) Covariance Structure AR(1) Struttura di covarianza AR(1) Struttura di covarianza
Il report Effetti ripetuti Stima del parametro di covarianza mostra una correlazione intra-soggetto altamente significativa pari a 0,95. I risultati degli effetti fissi sono simili a quelli dell'opzione ONU (non mostrata): l'effetto del trattamento e gli effetti temporali sono statisticamente significativi. 
Results using AR(1) Risultati utilizzando AR(1) Risultati utilizzando AR(1)
Per completare il nostro esempio, infine, adattiamo il modello con una struttura Servizio clienti . Per farlo, selezioniamo Residuo come Struttura di covarianza ripetuta —ma non c'è bisogno di specificare le colonne Ripetuto e Soggetto con questa opzione; invece, aggiungiamo l'ID del soggetto, Patient, come effetto casuale nella scheda Effetti casuali . Questo è
wLa covarianza tra soggetti è modellata attraverso l'effetto del soggettoperfetto. 
CS Covariance Structure with random subject effect and residual error Struttura di covarianza CS con effetto soggetto casuale ed errore residuo Struttura di covarianza CS con effetto soggetto casuale ed errore residuo
Results using CSRisultati utilizzando CSRisultati utilizzando CS
Giudicata in base ai limiti di confidenza del 95%, la covarianza tra due misure sullo stesso argomento non è statisticamente significativa aα=0,05 (in realtà, valore p= 0,0621). I risultati dei test ad effetto fisso sono simili ai modelli precedenti e pertanto non vengono mostrati qui.
Quindi, quale struttura ripetuta dovrebbe essere adottata? Un criterio per il confronto dei modelli è AICc. Dalle statistiche di adattamento riportate da JMP (non mostrate), AICc sono: Non strutturato —703,84, ARRIVARE(1) —652,63 e Servizio clienti —832,55. Quindi, ARRIVARE(1) è il vincitore.
Esempio 3: Modelli di dati del pannello: controllo dell'eterogeneità non osservata
Questo esempio è tratto daVella e Verbeek (1998), che è discusso in Econometria introduttiva di Jeffrey Woodridge comeEsempio 14.4. Per maggiori informazioni, vedere i riferimenti riportati di seguito.
I dati originali provengono dal Indagine longitudinale nazionale sui giovani, coorte del 1979 (NLSY79). Nei dati, ciascuno dei 545 lavoratori maschi ha lavorato ogni anno dal 1980 al 1987. Siamo interessati a stimare l'effetto sui guadagni salariali dell'appartenenza al sindacato, tenendo conto di istruzione, esperienza lavorativa, etnia, ecc.
Sebbene NLSY79 raccolga informazioni di base dettagliate sui lavoratori da utilizzare come variabili di controllo, esiste comunque una differenza individuale che non può essere osservata o misurata. I dati del panel forniscono un modo per spiegare l'eterogeneità individuale: se si può supporre che l'eterogeneità non osservata non sia correlata a tutte le variabili esplicative incluse nel modello, possiamo spiegarla trattandola come un effetto casuale.
Seguendo la discussione di Woodridge, viene adattata un'equazione Log(Wage) in cui l'ID del lavoratore viene inserito come effetto casuale per catturare le differenze non osservate. 
Fixed effects part of the Log(Wage) Equation Parte degli effetti fissi dell'equazione del logaritmo (salario) Parte degli effetti fissi dell'equazione del logaritmo (salario)
Random effects part of the Log(Wage) EquationEffetti casuali parte dell'equazione Log(Wage)Effetti casuali parte dell'equazione Log(Wage)
Seleziono Residuo per il termine di errore di moda. Il modello è chiamato modello a effetto casuale unidirezionale in econometria .
I risultati sono mostrati di seguito. 
Panel Model Results Risultati del modello del pannello Risultati del modello del pannello
Dal rapporto sulle stime dei parametri di covarianza degli effetti casuali scopriamo che i singolil'eterogeneità rappresenta il 47,8% (=0,11/(0,11+0,12)) della variazione totale, indicando un grande effetto di eterogeneità non osservato. In altre parole, un'analisi OLS produrrebbe probabilmente risultati fuorvianti.
Il rapporto Stime dei parametri degli effetti fissi mostra un tasso stimato di ritorno all'istruzione del 9,2% e un premio sindacale del 10,5%, entrambi altamente significativi dal punto di vista statistico. A titolo di confronto, un OLS aggregato stimerebbe il premio sindacale al 18,2%. Vedere Woodridge (2013, pagina 495).
Riferimenti
Francis Vella e Marno Verbeek (1998), " A chi aumentano i salari dei sindacati? Un modello dinamico di sindacalismo e determinazione del tasso salariale per i giovani uomini ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. I dati possono essere scaricati dal sito web del Journalhttp://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
di Jeffrey M. Woodridge (2013),Introduzione all'econometria: un approccio moderno ( 5a ed.),Apprendimento CENGAGE.
Esempio 4: Modellazione dei dati geospaziali, tenendo conto della correlazione spaziale
Come le misure ripetute sono correlate nel tempo, i dati spaziali sono probabilmente correlati nello spazio. Vale a dire, le misurazioni che sonorelativamente vicine tra loro sono più simili di quelle più distanti. Quindi, dobbiamo tenere conto della dipendenza spaziale nell'analisi.
I dati spaziali vengono registrati insieme alle coordinate comelatitudine e longitudine, posizioni di riga e colonna, direzioni nord-sud ed est-ovest. La distanza tra due misurazioni viene calcolata utilizzando una distanza euclidea funzione, che viene utilizzata per formare una struttura di covarianza. ISe la funzione distanza non dipende dalle direzioni delle misurazioni, allora la covarianza si dice che èisotropico;altrimenti è anisotropico .Inoltre,è possibile aggiungere un effetto pepita per tenere conto di cambiamenti bruschi su piccole distanze in un'area locale.
JMP Pro fornisce quattroDistanza euclidea funzioni per strutture isotropiche: potenza, esponenziale, gaussiana e sferica. Sono disponibili varie forme di strutture anisotropiche. Un effetto nugget può anche essere aggiunto alle strutture di covarianza.
L'esempio seguente è tratto da SAS for Mixed Models, 2a edizione , 2006, pp. 457-460. (http://www.sas.com/store/prodBK_59882_en.htm). Per studiare il drenaggio dell'acqua in un sito di smaltimento di rifiuti pericolosi, sono stati prelevati 30 campioni in varie posizioni del sito e registrati in base alle direzioni nord-sud ed est-ovest. È stata proposta una relazione lineare tra il drenaggio dell'acqua (misurato tramite trasmissività logaritmica) e lo spessore di uno strato di sale.(TI dati, Rifiuti pericolosi , sono il Data Set 11.6 nel file compresso
http://support.sas.com/publishing/bbu/59882/59882.zip)
Un modello di regressione spaziale viene adattato utilizzando una struttura di potenza anisotropica spaziale con un effetto nugget. Questa struttura consente (1) alla distanza di essere una funzione di potenza della correlazione spaziale, (2) alle correlazioni spaziali di differire in direzioni diverse e (3) alla variazione su piccole distanze. 
Spatial anisotropic power with nugget Potenza anisotropica spaziale con pepita Potenza anisotropica spaziale con pepita
Results using spatial anisotropic power with nuggetRisultati utilizzando il potere anisotropico spaziale con nuggetRisultati utilizzando il potere anisotropico spaziale con nugget
Stima del parametro di covarianzail rapporto suggerisce una correlazione spaziale altamente significativa e che due coefficienti di correlazione sono, rispettivamente, 0,81 (Est-Ovest) e 0,91 (Nord-Sud). Tuttavia, non sembra esserci alcun nugget basato sui limiti di confidenza. Stime dei parametri degli effetti fissi mostrano un effetto negativo significativo (-0,025) sul drenaggio dell'acqua dello spessore del sale.
Riadatto il modello eliminando l'effetto pepita. 
Results using spatial anisotropic power without nugget Risultati utilizzando il potere anisotropico spaziale senza nugget Risultati utilizzando il potere anisotropico spaziale senza nugget
Notiamo alcuni piccoli cambiamenti: le correlazioni spaziali stimate sono rispettivamente 0,86 e 0,82 e l'effetto dello spessore del sale è -0,021. Confrontando la bontà di adattamento usando AICc, il secondo modello è leggermente migliore poiché i suoi AIC sono più piccoli (84,7 contro 86,4)
Per testare formalmente l'esistenza di una correlazione spaziale, adattiamo un modello di errori indipendenti selezionando Residuo come struttura (ad esempio, supponendo che non ci sia alcuna correlazione spaziale). La differenza nel valore di -2 Residual Log Likelihood tra i due modelli forma un test del rapporto di verosimiglianza χ2. La -2 Residual Log Likelihood dal modello di errori indipendenti è 94,07, quindi la differenza è 13,72 (=94,07-80,35). Ciò produce un valore p di 0,001 per DF=2. Pertanto, in questo sito si trova una correlazione spaziale significativa.
Riepilogo
Spero che questi esempi abbiano illustrato la versatilità dei modelli misti lineari e la facilità di adattamento di un modello misto con JMP. Prima di chiudere, vorrei condividere alcuni suggerimenti generali.
- Per eseguire un modello misto, i dati devono essere organizzati in un formato "alto e sottile" in cui più misure di una risposta sono impilate in una singola colonna. Se i tuoi dati sono in un formato "corto e largo", usa la funzione Pila di JMP Tables per trasporre.
- Quando si immettono colonne Ripetute e Oggetto, attenersi ai requisiti della struttura di covarianza ripetuta di JMP .http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
- Prova diverse strutture di covarianza e valuta diversi modelli confrontando AICc o BIC. Più piccolo è AICc (o BIC), migliore è l'adattamento di un modello. A parità di condizioni , un modello parsimonioso è migliore.
- Un modello di errori indipendenti (vale a dire un modello con solo effetti fissi) può servire come modello di base per eseguire un test del rapporto di verosimiglianza χ2 sull'esistenza di una struttura di covarianza e.
- Tieni presente che quando in un modello vengono inclusi sia effetti casuali che effetti ripetuti, spesso i dati a disposizione non sono sufficienti per stimare entrambi gli effetti.
