Nel campo dell'apprendimento automatico, spesso abbiamo a che fare con dati con molte variabili e, quando si ha a che fare con tali dati, può verificarsi multicollinearità. In questi casi si può ricorrere alla regressione regolarizzata, come il Lasso, un metodo per evitare la multicollinearità.
In JMP Pro, la regressione regolarizzata può essere utilizzata come metodo denominato "regressione generalizzata", che consente una stima stabile del modello che riduce gli effetti della multicollinearità riducendo le stime dei parametri (coefficienti di regressione) e selezionando le variabili.
Il grafico seguente mostra cosa succede quando i coefficienti di regressione vengono ridotti dal Lazo. Esaminando il report "Stime per le variabili esplicative originali", possiamo vedere che le variabili esplicative con effetti ridotti sono state ridotte a 0, il che conferma che Lasso sta eseguendo la selezione delle variabili.
Come funziona la regressione Lasso in presenza di multicollinearità? In questo articolo utilizziamo dati ipotetici in cui la relazione reale con la risposta (Y) è predeterminata ed esaminiamo quanto bene la regressione Lasso, l'analisi di regressione multipla e i metodi graduali possano stimare il modello reale.
sommario
Dati virtuali
Variabile di risposta: Y
Variabili esplicative: da X1 a X20 (20 variabili)
Y viene generato da numeri casuali normali con la media che è una combinazione lineare di diverse variabili esplicative e un errore standard di 10.
Prepareremo due tipi di dati in questo formato e confronteremo l'efficacia della regressione Lasso.
1. Dati con scarsa correlazione tra variabili esplicative
2. Dati con un certo grado di correlazione tra variabili esplicative (multicollinearità)
Ciò ci consente di esaminare in che modo la presenza o l'assenza di multicollinearità influisce sulla selezione delle variabili e sulla stima del modello .
*Questi due tipi di dati campione sono allegati al presente articolo.
1. Esempio di dati con scarsa correlazione tra variabili esplicative
Dati : "data_without_correlation.jmp"
Correlazione tra variabili esplicative (r) : da -0,06 a 0,10
Utilizzando questi dati, i modelli sono stati adattati mediante analisi di regressione multipla, regressione graduale (regola di arresto: BIC minimo) e regressione Lasso (metodo di convalida: BIC) e i coefficienti di regressione ottenuti sono riassunti nella tabella seguente. Nella colonna "Equazione vera" sono elencati i coefficienti veri delle variabili esplicative utilizzate per generare Y.
Nel metodo graduale, i coefficienti delle variabili non selezionate vengono visualizzati come 0 e, nella regressione Lasso, se un coefficiente viene ridotto a 0 tramite regolarizzazione, viene anch'esso visualizzato come 0.
Questi risultati confermano che entrambi i metodi stimano modelli che sono prossimi all'equazione reale, con coefficienti per le variabili inefficaci pari a zero o molto piccoli.
In altre parole, in dati con una correlazione pressoché nulla tra variabili esplicative, l'analisi di regressione multipla, i metodi stepwise e la regressione Lasso sono stati tutti in grado di stimare la vera relazione di risposta con un'ampia accuratezza.
2. Esempio di dati con un certo grado di correlazione tra variabili esplicative
Dati : "data_without_correlation.jmp"
Correlazione tra variabili esplicative (r)：-0.50～0.52
Con tali dati, la correlazione tra variabili esplicative può facilmente rendere instabili le stime dei coefficienti di regressione. Se si esegue un'analisi di regressione multipla su questi dati, il VIF sarà molto ampio e gli effetti della multicollinearità saranno evidenti.
Come nel caso 1, abbiamo adattato i modelli utilizzando l'analisi di regressione multipla, la regressione stepwise e la regressione Lasso e presentiamo una tabella che riassume i coefficienti ottenuti.
Nell'analisi di regressione multipla, gli effetti della multicollinearità hanno prodotto coefficienti significativamente diversi dai valori reali.
Anche con il metodo graduale, non sono state selezionate variabili importanti, sono state selezionate variabili non necessarie e non è stata eseguita la selezione corretta delle variabili in base all'equazione reale.
D'altro canto , con la regressione Lasso, come nel caso 1, siamo stati in grado di ridurre le variabili esplicative inefficaci a 0 e di ottenere stime quasi accurate per le variabili efficaci.
3. Simulazione per i coefficienti Lasso
Negli esempi finora abbiamo utilizzato dati in cui i valori Y sono stati generati da un insieme di numeri casuali normali utilizzando la funzione Random Normal. Tuttavia, poiché si tratta di numeri casuali, i risultati possono variare a seconda dei numeri casuali selezionati.
Utilizzando la funzionalità "Simulazione" di JMP, è possibile ripetere la stima sulla base di un gran numero di set di numeri casuali normali per ottenere una distribuzione simulata dei coefficienti di regressione. Ciò ci consente di valutare la validità e l'affidabilità della selezione delle variabili utilizzando la regressione Lasso.
Qui utilizziamo delle simulazioni per esaminare la frequenza con cui le variabili inefficaci vengono ridotte a 0 e la frequenza con cui le variabili efficaci vengono stimate come diverse da zero, quando si esegue una regressione Lasso su "dati in qualche modo correlati" (Caso 2).
Passaggi per eseguire una simulazione in JMP
Quando si esegue una regressione Lasso, mostriamo come eseguire 500 simulazioni sulle stime.
- Fare clic con il pulsante destro del mouse sul numero "Valore stimato" nel report Lasso "Stime per variabili esplicative originali" e selezionare "Simula".
- Apparirà una finestra di simulazione, quindi imposta la colonna di origine su Y e la colonna di destinazione su Y. Imposta il numero di campioni su 500 (il numero di simulazioni) e il valore del seed casuale su 123456 (un valore specificato per comodità per riprodurre i risultati).
Verrà generata una nuova tabella dati con la distribuzione dei coefficienti di regressione ottenuti dalle 500 simulazioni.
Se si esegue lo script "Distribuzione univariata" sulla tabella dei dati di output, verrà visualizzata la distribuzione simulata di ciascuna variabile. Inoltre, nel report "Statistiche riepilogative" verranno visualizzati il "Numero di zeri" e la "Percentuale di zeri".
Il numero di zeri e la percentuale di zeri per ciascuna variabile ottenuta sopra sono riassunti in una tabella.
Le variabili che non hanno alcun effetto sull'equazione reale vengono ridotte notevolmente a 0 dalla regressione Lasso. D'altra parte, le variabili con grandi valori assoluti dei coefficienti nell'equazione reale (ad esempio, X7, X12) non sono mai state ridotte a 0 in nessuna delle 500 simulazioni, il che indica che potevano sempre essere incluse nel modello.
Le simulazioni hanno confermato che la regressione Lasso può eliminare le variabili inefficaci con elevata probabilità e selezionare stabilmente le variabili importanti, anche nei casi di dati multicollineari .
Tuttavia, in pratica, si noti che nei dati con forte multicollinearità, la regressione Lasso tende a selezionare solo una variabile esplicativa altamente correlata ed escludere le altre.
di Naohiro Masukawa (JMP Giappone)
Naohiro Masukawa - Comunità degli utenti JMP
