Perché i coefficienti di intercettazione nei modelli lineari generalizzati dipendono dalla matrice di progettoHo pensato molto ai termini dell'intercetta in glm. Regressione logistica in particolare. Nella regressione lineare standard possiamo stimare il termine dell'intercetto senza alcuna conoscenza della matrice di progetto. È solo la media delle risposte. Ho pensato che il principio sarebbe rimasto lo stesso in altri modelli. Il principio è
- Una volta che si conoscono le risposte e la funzione di collegamento, è possibile determinare il termine di intercettazione. Dovrebbe essere lo stesso di eseguire la finestra di dialogo glm senza alcun predittore (modello NULL).
Questo non è il caso. Le intercettazioni sono molto vicine al modello NULL. Ottengo anche valori di intercettazione diversi se cambio la matrice di progetto. Forse è dovuto al fatto che i coefficienti sono generati da un algoritmo di ricerca. Ho anche fatto la stessa cosa per Poisson glm e ho trovato la stessa cosa ... l'intercetta è vicina al modello NULL ma non è la stessa.
È interessante notare che, se si esegue LASSO e si continua ad aumentare la penalità, l'intercetta converge verso (restringendosi) verso il modello NULL. Questo risultato è indipendente dalla matrice di progettazione.
Suppongo che sarebbe bello se potessi semplicemente calcolare il termine di intercettazione dalle risposte e la funzione di collegamento prima di stimare i coefficienti della covariata. La modella sarebbe migliore?
Ri: Perché i coefficienti di intercettazione nei modelli lineari generalizzati dipendono dalla matrice di progettoGrazie Marco,
Il concetto di centrare la risposta è facile da capire nei casi in cui le risposte sono numeriche. Supponiamo di avere una risposta binaria come {T, F} e la tengo nella forma non codificata intenzionalmente. Non esiste un modo naturale per dare un significato al centrare la risposta. Anche se lo codifichiamo come {0, 1} e centriamo la risposta, avremmo generalmente un vettore di valori tra 0 e 1. Questa risposta centrata non è nell'insieme di vettori di risposta realizzabili che devono essere un vettore di 0 e di 1. Quindi in questo caso il termine dell'intercetto sembra essere piuttosto importante da mantenere poiché collega, attraverso la funzione di collegamento, la frazione di 1 nella risposta. Se ci sono lo stesso numero di T e F, l'intercetta è 0 ... ma non altrimenti. Quindi possiamo calcolare l'intercettazione dal vettore di risposta (un po 'come centrare la risposta) e poi eseguire il lazo o qualunque algoritmo di apprendimento e concentrarci solo sulle altre colonne.
Quindi, anche se sono stato informato che centrare le risposte binarie non è una buona idea, penso che sia più profondo di così. L'intercettazione è importante per portare con sé il modello, anche se non è centrale per comprendere i coefficienti degli altri predittori.
Ri: Perché i coefficienti di intercettazione nei modelli lineari generalizzati dipendono dalla matrice di progettoCiao Marco,
Ho pensato di ottenere una risposta rapida e perspicace da parte tua. Grazie. Non avevo pensato all'aspetto di centrare le X. Facevo esplicitamente il centramento (e ridimensionamento della normalizzazione) perché sto applicando LASSO a un problema di regressione logistica per la selezione delle funzionalità. Posso vedere che ora se non centrano la matrice del disegno ottengo una risposta diversa. Quando è centrato, l'intercetta è quasi esattamente la funzione di collegamento applicata alla risposta media (frazione di positivi). Molto bello Il problema mi ha fatto pensare all'immagine che presenterei per il restringimento di LASSO perché lo spazio di risposta è ora agli angoli del cubo unità. Aggiungete a ciò che la soluzione ottimale si restringe verso un punto all'interno esattamente uguale alla risposta media (volte (1, 1, 1, ...) quando la penalità aumenta.
L'intera faccenda ha portato a un'altra domanda. Uno che potrebbe piacere. Ci sono alcuni angoli del cubo di unità in cui non esiste una soluzione di massima verosimiglianza. Queste sono risposte in cui JMP ci dirà che i coefficienti sono instabili perché abbiamo una combinazione lineare delle colonne della matrice di disegno che può classificare perfettamente le risposte. La domanda che avevo era ... qual è il numero massimo di angoli instabili in funzione del numero di osservazioni, n. Ovviamente il numero deve essere inferiore a 2 ^ N perché raramente si incontrano soluzioni instabili (magari provare sempre il classificatore lineare prima per evitare questo). La risposta è bella. È legato alla sequenza del numero di torta ... è Cake (N -1) nel caso di 3 predittori. Diventa davvero difficile per più di 3 predittori.
Ri: Perché i coefficienti di intercettazione nei modelli lineari generalizzati dipendono dalla matrice di progettoBasti pensare all'intercettazione y in questo caso della regressione OLS in cui la prima analisi utilizza X per il regressore e la seconda analisi utilizza X dopo il centraggio:
Quindi l'intercettazione non è generalmente uguale alla risposta media, ma lo sarà se si centrano le variabili predittore e si utilizza la funzione di collegamento identità.
Ri: Perché i coefficienti di intercettazione nei modelli lineari generalizzati dipendono dalla matrice di progettoL'intercetta (in particolare, l'intercetta y) è il termine costante nel predittore lineare (combinazione lineare) utilizzato nella regressione ordinaria dei minimi quadrati, nei modelli lineari generalizzati e nella regressione generalizzata (JMP). Generalmente è il valore del predittore lineare quando tutte le variabili predittive sono impostate a zero. Generalmente non è la risposta media. Questo risultato dipende dai valori predittori nel caso della regressione OLS. Nel caso di GLM, dipende anche dalla funzione di collegamento. Se si desidera che l'intercetta sia la risposta media, è necessario centrare le variabili predittive e utilizzare il collegamento dell'identità.
