Scopri di più nel nostro corso online gratuito:
Pensiero statistico per la risoluzione dei problemi industriali
In questo video mostriamo come adattare un modello di regressione penalizzato utilizzando la regressione generalizzata in JMP Pro. Utilizziamo il file Bodyfat 07.jmp e adattiamo un modello per %Fat utilizzando il Lazo con convalida.
Innanzitutto, adattiamo un modello di regressione lineare per %Fat.
Per fare ciò, selezioniamo Fit Model dal menu Analyze. Selezioniamo %Fat per il ruolo Y, selezioniamo tutti i predittori come effetti del modello e utilizziamo la colonna di convalida nel ruolo di convalida.
Quindi selezioniamo Regressione generalizzata dal menu Personalità.
La distribuzione della risposta predefinita è Normale.Eseguiremo questo modello con la distribuzione normale.
Puoi vedere che abbiamo adattato un modello di regressione dei minimi quadrati standard. Quando esaminiamo la tabella Stime dei parametri, puoi vedere che tre dei predittori sono significativi.
Tuttavia, diamo un'occhiata ai VIF, o fattori di inflazione della varianza, per vedere se c'è un problema con la multicollinearità.
Per fare ciò, facciamo clic con il pulsante destro del mouse sulla tabella Stime dei parametri e selezioniamo Colonne e quindi VIF. Puoi vedere che molti di questi valori sono maggiori di 10 e due dei valori sono maggiori di 100. Questo ci dice che la multicollinearità è davvero un problema con questi dati.
Quando si dispone di predittori correlati, è possibile utilizzare un metodo di stima penalizzato anziché la regressione dei minimi quadrati.
Il metodo predefinito è Lazo, che è l'abbreviazione di Least Absolute Shrinkage and Selection Operator. Il Lazo applica una penalità per ridurre le stime dei parametri. Poiché può ridurre le stime a zero, il lazo può essere utilizzato anche per la selezione delle variabili.
Ci sono molte opzioni disponibili per il Lazo, ma eseguiremo il modello con le impostazioni predefinite.
Abbiamo usato una colonna di convalida quando abbiamo specificato il modello, quindi Colonna di convalida è il metodo di convalida predefinito.
Faremo clic su Vai per eseguire questo modello.
Viene mostrato il modello migliore, selezionato dal Lazo. Questo è il modello con il valore ottimale del parametro di penalità, Lambda.
Iniziamo con tutti i termini nel modello. Questo è lo stesso del nostro modello dei minimi quadrati. Per fare ciò, trasciniamo la linea rossa nel percorso della soluzione delle stime dei parametri completamente a destra.
Il percorso della soluzione mostra l'entità delle stime dei parametri centrate e ridimensionate. Per mostrare queste stime, selezioniamo Rapporti di regressione dal triangolo rosso per il modello, quindi Stime dei parametri per Predittori centrati e in scala.
La riga superiore è per la stima del parametro per l'addome, che è 117,87.
La seconda riga dall'alto è BMI. Questa stima è 88,9.
Mentre trasciniamo la linea rossa da destra a sinistra, aumentiamo il valore del parametro di penalità, Lambda. Puoi vedere che, mentre lo facciamo, molte delle stime dei parametri diventano più piccole. Cioè, si restringono.
Ad esempio, la stima per il BMI si è ridotta da 88,9 a 51,25. La stima del parametro per il peso si è ridotta a zero. Questo termine è stato rimosso dal modello.
Qui è stata applicata una grossa sanzione. Tutto è stato rimosso dal modello tranne l'altezza e l'addome.
Come si determina quando interrompere la rimozione dei termini dal modello? Cioè, come determiniamo il valore ottimale del parametro della penalità?
Questo modello è stato creato utilizzando una colonna di convalida, pertanto JMP utilizza una statistica chiamata verosimiglianza negativa in scala.
Il modello viene creato utilizzando i dati nel training set. Il modello migliore è quello che ha il valore minimo della probabilità logaritmica negativa in scala per il set di convalida.
Questo modello include diversi parametri. Le stime per peso, indice di massa corporea, coscia e ginocchio sono state rimosse dal modello.
Diamo un'occhiata a questo modello ridotto. Per fare ciò, selezioniamo Show Prediction Expression dal triangolo rosso per il modello.
Le stime dei parametri sono semplicemente coefficienti in un modello lineare, proprio come si otterrebbe se si adattasse un modello di regressione lineare multipla.
Ciò rende i modelli penalizzati facili da interpretare e spiegare.
