Modello: il VIF elevato è un problema in tutti i casi?Ecco la situazione: sto cercando di costruire un modello per esprimere una particolare Y usando 25 parametri in X. Tutti i dati dei miei parametri X sono forniti dalla stessa singola tecnologia, che sta analizzando 1 campione utilizzando 25 frequenze (il mio X), come scansione di frequenza per ottenere la massima informazione. In altre parole, per ogni singolo dato Y, avrò 25 X.
Ma il problema è che quando costruisco modelli, ottengo enormi VIF perché i miei parametri X sono intrinsecamente collineari in quanto sono solo frequenze della stessa tecnologia, quindi si evolvono allo stesso modo...
E se faccio come ho imparato, ovvero rimuovendo ogni parametro uno per uno in base al VIF più alto, mi ritrovo con una singola frequenza rimasta, che rimuove tutto l'interesse della tecnologia di scansione.
In quel caso particolare, il modello è davvero influenzato da queste colinearità o possiamo fidarci?
@alexbeck Forse?
Ri: Modello: Il VIF alto è un problema in tutti i casi?@martindemel puoi dare un'occhiata a questo dopo il tuo ritorno dalle vacanze?
Ri: Modello: Il VIF alto è un problema in tutti i casi?Bene ! Proverò tutto questo e vedrò cosa riesco a trovare. Molte grazie !Ri: Modello: Il VIF alto è un problema in tutti i casi?Assolutamente. Tutto nel modello è abbastanza OK: i valori anomali erano checker con residui studentizzati, Adj. R2 va benissimo ecc... Solo i VIF sono pazziRi: Modello: Il VIF alto è un problema in tutti i casi?Ho dimenticato di menzionare ma quando parlo di VIF elevato, intendevo decine e decine di migliaia... Se ancora la mia varianza non è così alta, posso tollerare tali valori?
Il PLS è stato menzionato in precedenza, lo proverò!
Purtroppo non ho JMP Pro...Ri: Modello: Il VIF alto è un problema in tutti i casi?Non ho idea di cosa succederebbe se lo strumento Functional Data Explorer, lo scoprirò grazie mille per questo suggerimento!
In effetti, tra tutte le mie 25 frequenze, solo poche sono davvero rilevanti per spiegare la mia Y, e quindi durante la modellazione ho usato stepwise per rimuovere quelle non significative. In caso contrario, otterrò un modello con circa 18 parametri non significativi e solo 6 significativi ... Ha davvero senso?
Controllerò anche PLS in effetti è una buona idea, grazie per il tuo aiuto!Ri: Modello: Il VIF alto è un problema in tutti i casi?Scusa se sono stato abbastanza chiaro, riproviamo:
Non si tratta esattamente di 25 livelli di X, ma di 25 diversi X provenienti dalla stessa tecnologia. La techno scansiona varie frequenze e per ognuna darà un valore, che è la mia X.
E quando menziono un VIF elevato, parlo di decine e decine di migliaia...Ri: Modello: Il VIF alto è un problema in tutti i casi?Ci sono molte tecniche che potresti usare in questa situazione.I modelli regolarizzati come la regressione della cresta o le reti neurali possono superare abbastanza bene la collinearità.Puoi anche utilizzare tecniche di riduzione della dimensionalità come i componenti principali ed eseguire la regressione sui punteggi dei componenti.
Ri: Modello: Il VIF alto è un problema in tutti i casi?Come indica Mark, le "regole empiriche" dovrebbero essere sempre usate con cautela. Nella costruzione di un modello appropriato, ci sono un certo numero di tecniche utilizzato (ad es., valutare le ipotesi ( NID(0, S 2 )) , R-quadrato-R-quadrato Adj, test per valori anomali, analisi dei residui, ecc.) di cui VIF è solo uno.
Ri: Modello: Il VIF alto è un problema in tutti i casi?Ho visto una "regola empirica" comune per VIF: sotto 10 è buono, sopra 10 è cattivo. Questa regola è purtroppo inutile e non dovrebbe essere seguita.
In generale, un VIF tollerabile dipende dalla dimensione relativa della stima del parametro e dalla varianza della risposta. Se i tuoi cambiamenti di risposta sono enormi e la tua varianza è piccola, puoi tollerare un VIF molto grande. D'altra parte, se i cambiamenti della tua risposta sono piccoli e la tua varianza è grande, allora un VIF piccolo potrebbe essere troppo.
Mi chiedo se potresti usare un altro metodo di regressione. Ad esempio, PLS ha molto successo dove le X sono il dominio di alcuni spettri, come la lunghezza d'onda o il peso molecolare. Questi X sono altamente correlati. Il modello di regressione PLS sfrutta queste informazioni invece di penalizzarti con la collinearità.
Se disponi di JMP Pro, puoi anche trattare la X come dati funzionali e salvare i componenti principali funzionali. Questi FPC verrebbero utilizzati al posto di X nel modello di regressione di Y.
Cosa ne pensi?
Ri: Modello: Il VIF alto è un problema in tutti i casi?Sembra che tu possa effettivamente voler utilizzare Functional Data Explorer. Per ogni Y hai una gamma di frequenze che definisce un profilo. Questo è esattamente ciò che l'esploratore di dati funzionali intende analizzare.
Tuttavia, se si desidera utilizzare la regressione, i VIF elevati non rappresentano un grosso problema se NON si rimuove alcun termine dal modello completo (il modello con tutte le X nel modello) e si è interessati a utilizzare solo il modello per previsione.
Dal momento che sembra che tu sia più interessato a quali frequenze sono più importanti (rimuovendo i termini non significativi con VIF alti), continuerai a correre il rischio che i VIF alti causino problemi. Il tuo approccio è probabilmente il migliore se ti attieni alla regressione, ma ricorda che i VIF elevati significano che la varianza sulle stime dei parametri è gonfiata. Ciò significa anche che le stime dei parametri sono terribilmente instabili. La rimozione di una X dal modello potrebbe alterare drasticamente le stime dei parametri e il test di significatività degli altri parametri. Il modello con cui ti ritroverai potrebbe non essere il migliore.
Se hai davvero bisogno di identificare le caratteristiche importanti di questi profili, dai un'occhiata a Esplora dati funzionali. Se questa non è un'opzione, dovresti considerare di esaminare una tecnica di modellazione progettata per gestire la multicollinearità. PLS o PCR sono solo due di queste tecniche.
Ri: Modello: Il VIF alto è un problema in tutti i casi?Non credo di aver compreso completamente la questione. Sembra che tu abbia 25 livelli di una X (frequenza).... quindi stai creando un modello con solo una X nel modello? Avresti molti gradi di libertà per stimare un modello non lineare piuttosto complesso, ma c'è solo un predittore nell'equazione.
Valori elevati di VIF (>10 eccessivi, >5 dovrebbero essere valutati) sono solo un'indicazione che il tuo modello dovrebbe essere rivalutato (l'utilità dei modelli potrebbe essere sopravvalutata). Sì, è una misura della multicollinearità, ma i valori alti non indicano necessariamente cosa è collineare. Questo di solito richiede competenze in materia per comprendere e compensare adeguatamente.
