Perché i valori AICc e BIC sotto la personalità Std Least Squares differiscono da quelli sotto quello Mixed Model?Se utilizzo esattamente gli stessi dati e il modello misto, ottengo valori AICc e BIC diversi a seconda che io usi le personalità Std Least Squares (SLS) o Mixed Model. Esiste una formula di semplificazione di questi criteri per il caso SLS? Se è così, che cosa è? E qual è il caso della personalità della regressione generalizzata?
Ri: Perché i valori AICc e BIC sotto la personalità Std Least Squares differiscono da quelli sotto il Modello misto?Le piattaforme Time Series e Mixed Model in JMP non utilizzano gli stessi algoritmi di stima. ARIMA esegue un passaggio di inizializzazione per avviare il filtro Kalman, mentre il Modello misto no. Tuttavia, la differenza è piccola e trascurabile.
Grazie per le tue domande
Ri: Perché i valori AICc e BIC sotto la personalità Std Least Squares differiscono da quelli sotto il Modello misto?Ciao @phersh e @jiancao ,
In allegato a questo messaggio troverai un set di dati simulato che ho messo insieme per esemplificare il mio punto precedente, vengono mostrate le formule per la simulazione.
La risposta è "y" che viene osservata attraverso t (tempo). Non esiste alcun effetto fisso, solo un modello di intercettazione. Gli script salvati mostrano (1) grafico t vs. y, (2) soluzione ARIMA, (3) soluzione di modello misto con AR (1) covarianza, (3) soluzione di modello misto con effetto casuale, (4) soluzione di modello misto con AR (1) covarianza ed effetto casuale. Dato il modo in cui ho simulato i dati, la soluzione (4) è quella corretta, e in effetti è quella con AICc e BIC più bassi.
Questo per mostrare cosa intendevo nel mio precedente post, se voglio confrontare diverse strutture di covarianza con la stessa specifica di effetto fisso (qui nessuna, intercetta) Sono costretto a usare la personalità del Modello Misto (es. ML). Inoltre, la soluzione di serie temporali AR (1) (anche ML) non produce gli stessi valori di LogLikelihood AICc / BIC / -2 trovati con la soluzione Mixed Model AR (1) - anche se ho notato che la loro differenza tende a svanire con la dimensione dei dati cresce che non è mostrato qui.
Ri: Perché i valori AICc e BIC sotto la personalità Std Least Squares differiscono da quelli sotto il Modello misto? @fdottaviano buone notizie! È possibile confrontare diverse specifiche di effetti casuali nella piattaforma del modello misto.
Grazie ancora a @jiancao ,
È possibile utilizzare AICc o BIC da Modelli misti per confrontare diverse specifiche di effetti casuali con gli stessi o diversi set di effetti fissi.
Per quanto riguarda la specifica della struttura della covariata in misure ripetute, non so se è possibile utilizzare AIC o BIC per confrontarlo con un modello di effetto casuale in Modelli misti. Hai un caso d'uso in cui desideri confrontarli? La tecnica di confronto che ho descritto sopra può essere utilizzata per qualsiasi modello creato.
@jiancao stavo cercando di sottolineare che i REML usati da SLS sarebbero stati diversi per i modelli con diversi insiemi di effetti fissi anche con le stesse strutture di covarianza (la specifica degli effetti casuali è equivalente alla struttura CS). Ma suppongo che ciò abbia causato confusione:
“La differenza chiave è che in REML LL c'è un termine di penalità, (1/2) log | X`VinvX |, che coinvolge gli effetti fissi, X, nel modello. Quindi, quando la parte a effetto fisso di due modelli è diversa (diciamo, effetti principali vs effetti principali + interazioni con entrambi aventi la stessa struttura di covarianza), REML LL, quindi, AICc e BIC, saranno diversi. Ciò rende il confronto tra modelli non valido. "
Ri: Perché i valori AICc e BIC sotto la personalità Std Least Squares differiscono da quelli sotto il Modello misto? @fdottaviano ,
Un'altra grande domanda.
Un'opzione per confrontare ML con SLS o modelli di tutti i diversi tipi di effetti fissi ed effetti casuali è quella di salvare le formule di previsione dai modelli sotto colonne di salvataggio e formula di previsione. Quindi utilizzare la piattaforma di confronto dei modelli nel menu di analisi / modellazione predittiva. Questo non ti darà AICc o BIC parzialmente a causa delle diverse piattaforme di modellazione che calcolano la probabilità di log in modo diverso. Un altro motivo della mancanza di AICc o BIC è quello di consentire il confronto tra modelli basati su alberi e modelli lineari. Il confronto tra modelli ti darà RSquare, RASE, AAE. Ti permetterà anche di confrontare i residui per ciascun modello
Questo è disponibile solo in JMP Pro.
Ri: Perché i valori AICc e BIC sotto la personalità Std Least Squares differiscono da quelli sotto il Modello misto?Grazie @phersh ,
Fammi vedere se ho capito bene.
Quello che ho imparato è che le personalità "SLS" e "Regressione generalizzata" usano entrambe REML, e la personalità "Modello misto" usa ML.
Poiché la regressione generalizzata può eseguire solo modelli a effetti fissi, non vi è alcun rischio di confronti non validi tra i modelli - in termini AICc o BIC - perché sono tutti composti da effetti fissi.
Quando vuoi adattare un modello misto (effetti fissi + casuali) hai due alternative in termini di personalità: SLS e Modello misto.
Se utilizzo SLS, posso confrontare i modelli - in termini AICc o BIC - con diverse specifiche di effetti casuali - ad es. due effetti casuali contro un effetto casuale contro nessun effetto casuale - PREVISTO tutti i modelli hanno la stessa specifica di effetto fisso.
Se utilizzo il modello misto, posso confrontare i modelli - in termini AICc o BIC - con diverse specifiche di effetti fissi - ad es. Superficie di risposta e principale effetto + interazioni vs. solo effetti principali - FORNITO che tutti i modelli hanno le stesse specifiche di effetti casuali.
Per vedere come il mio materiale di allenamento SAS PROC MIXED si adatta a JMP, dovremmo prima iniziare con una specifica di effetti fissi completa e testare diverse specifiche di effetti casuali usando REML, ovvero usando la personalità SLS. Una volta selezionata la migliore specifica di effetto casuale - ad es. AICc o BIC più bassi - testiamo quindi diverse specifiche di effetti fissi usando ML, ovvero usando la personalità del modello misto. Una volta selezionata la migliore specifica di effetto fisso - ad es. AICc o BIC più bassi - torniamo alla personalità SLS e stimiamo il modello finale comprendente le migliori specifiche sia fisse che casuali. Fin qui tutto bene.
Tuttavia, cosa succede se sono in dubbio tra due modelli con una determinata specifica di effetto fisso e diverse strutture di covarianza - ad esempio effetto casuale vs. spaziale covarianza? In JMP posso usare solo la personalità Modello misto per adattarla al modello spaziale. Come tale, il modello spaziale può essere montato solo tramite ML, il che mi costringe a usare la stessa personalità del Modello misto per adattare il modello con un effetto casuale in modo che entrambi possano essere montati con lo stesso metodo: che è ML. Ora, se voglio selezionarne uno basato su AICc o BIC, non sarebbe valido? Come potrei confrontare le mele con le mele in questa situazione?
Ri: Perché i valori AICc e BIC sotto la personalità Std Least Squares differiscono da quelli sotto il Modello misto?Grazie a @jiancao per la risposta su questo. Prima di tutto davvero un'ottima domanda. Questo deriva da diverse piattaforme di modellazione che utilizzano diverse probabilità di log.
Di seguito sono mostrati ML LL e REML LL utilizzati da Mixed Model e SLS con effetti casuali @jiancao catturati dalla documentazione SAS https://support.sas.com/documentation/cdl/en/statug/63962/HTML/default/viewer.htm#statug_mixed_sect025.htm )
La differenza fondamentale è che in REML LL esiste un termine di penalità, (1/2) log | X`VinvX | , che coinvolge gli effetti fissi, X, nel modello. Quindi, quando la parte a effetto fisso di due modelli è diversa (diciamo, effetti principali vs effetti principali + interazioni con entrambi aventi la stessa struttura di covarianza), REML LL, quindi, AICc e BIC, saranno diversi. Ciò rende il confronto tra modelli non valido.
Questa è la logica alla base della decisione di JMP di utilizzare ML LL, non REML. In altre parole, nella personalità Modello misto, è possibile utilizzare AIC o BIC per confrontare diversi modelli con diverse specifiche di effetti fissi. (Dico che la decisione di JMP è perché SAS Proc Mixed utilizza REML come metodo di stima predefinito ma offre ML come opzione:cara_que_sonríe_con_ojos_sonrientes:)
Un'ulteriore nota: la "Probabilità di registro residua -2" nel rapporto Statistiche di adattamento del modello misto segue il REML LL (ovvero include il termine di penalità) e corrisponde alla probabilità di registro -2 riportata nella sezione Stime dei componenti di varianza REML di SLS.
Per la piattaforma di regressione generalizzata, a questo punto non supportiamo effetti casuali, quindi questo non sarebbe d'aiuto nel caso.
GenReg ha molte tecniche diverse come il lazo e la rete elastica che consentono la selezione variabile e l'adattamento del modello in un solo passaggio. La regressione della cresta è utile quando si hanno fattori correlati. Ecco una bella panoramica.
https://www.jmp.com/support/help/en/15.1/?os=win&source=application#page/jmp/overview-of-the-generalized-regression-personality.shtml
