Riadattamento di una regressione del lazo con penalità singolaScenario: utilizzo i dati di convalida per ottimizzare la penalità del lazo e ora voglio adattare tutti i miei dati (formazione + convalida) specificando quel termine di penalità ottimizzato.
Non vedo alcun modo per farlo all'interno della piattaforma di regressione generalizzata. Cosa è consigliato qui?
Modellazione predittiva e apprendimento automaticoRe: Rimontaggio di una regressione con lazo a singola penalitàFammi riprovare. Lazo/Ridge/Elastic Net sono metodi di regressione penalizzati che adattano un modello lineare ai dati riducendo al minimo la somma dei residui al quadrato più un termine di penalità proporzionale a una funzione delle grandezze dei coefficienti di regressione. Il comportamento in JMP è quello di adattarsi a una serie di modelli in cui il peso del termine di penalità varia su una griglia e la penalità ottimale è selezionata da un criterio scelto.
La mia domanda è questa: se so quale peso di penalità voglio usare, c'è un modo per adattare direttamente nuovi dati con quel peso di penalità? Questo può essere utile se voglio adattare un set di dati più ampio con una penalità che ho precedentemente determinato e non sono interessato a ottimizzare nuovamente quel peso della penalità. Si vedrebbe che ciò sarebbe possibile impostando il numero di punti della griglia su 1 e specificando una "frazione minima di penalità" in base al peso della penalità desiderato, ma ciò non funziona (la dimensione della griglia di 1 non è accettata) e come convertire la sanzione lambda in "frazione minima di sanzione" non è chiaro dalla documentazione.
Re: Rimontaggio di una regressione con lazo a singola penalitàIn sostanza, sembra che tu stia chiedendo di segnare le osservazioni utilizzando il modello scelto. Il salvataggio della formula di previsione come menzionato da DS ti mostrerà le previsioni per tutte le osservazioni, sia i set di allenamento che di convalida. Se sei interessato a ottenere NUOVE osservazioni, allora dovresti pubblicare la tua formula di previsione nel Formula Depot. Quindi, quando apri la tua nuova tabella di dati, puoi eseguire lo script della formula sulla nuova tabella. Questo segnerà tutte le nuove osservazioni.
In alternativa, puoi tagliare la formula di previsione dalla tabella dei dati e incollarla in una nuova colonna della formula nella nuova tabella.
Re: Rimontaggio di una regressione con lazo a singola penalitàLo scenario che mi interessa è quello in cui sto utilizzando una partizione dati fissa (colonna di convalida) e ho eseguito una regressione penalizzata (indipendentemente da lazo, cresta o rete elastica). Questi mi danno un percorso di soluzione e un modello ottimizzato basato sulla probabilità logaritmica in scala dei dati di convalida. Il parametro di ottimizzazione restituito può essere utilizzato per adattare (rapidamente) un modello aggiornato utilizzando dati di addestramento aggiuntivi a un valore predefinito del parametro di ottimizzazione. C'è un modo per eseguire lazo (o cresta o rete elastica) senza generare un intero percorso di soluzione?
Re: Rimontaggio di una regressione con lazo a singola penalitàCiao @Mittman ,
Anche se non sono sicuro di quale sia l'effettivo algoritmo sottostante, c'è solo un'ottimizzazione molto limitata sulla modellazione Lasso.dalla penalizzazione L1. È abbastanza buono nel ridurre i fattori non importanti, ma non è eccezionale se hai multicollinearità tra fattori e risposta. Qualcosa da tenere a mente è che quando si utilizza la convalida incrociata (usando la colonna di convalida), l'algoritmo la utilizza per iniziare a ridurre al minimo le stime per i fattori. Questo aiuta l'algoritmo a portare i fattori non importanti a 0 e semplifica il modello. Se esegui nuovamente (anche utilizzando lo stesso tipo di spaziatura/spaziatura della griglia e frazione di penalità), ti ritroverai con un modello diverso perché utilizzerà un metodo di convalida diverso per semplificare il modello. Se desideri confrontare i modelli che si adattano alla tua colonna di convalida rispetto a quelli che utilizzano AICc o K-fold, con ogni modello che generi, puoi andare al pulsante rovente accanto all'adattamento e selezionare Salva colonne > Salva formula di previsione. È quindi possibile confrontare il modo in cui i diversi modelli si adattano alla risposta, ad esempio nella piattaforma di confronto dei modelli.
Alcuni altri pensieri:
1. Potresti prendere in considerazione l'idea di fare la rete elastica in quanto combina i metodi penalizzati L1 (Lasso) e L2 (Ridge). Tipo il meglio di entrambi i mondi.
2. Potresti voler eseguire alcuni bootstrap o simulazioni sulle stime per i fattori per determinarne l'entità e se sono davvero importanti o meno. Assicurati di confrontare la grandezza con l'errore Std della stima per vedere se l'errore è maggiore della stima stessa.
3. Se stai lavorando alla creazione di modelli, è una buona idea scorrere altre piattaforme di modellazione in JMP per vedere quale modello si adatta meglio. Potrebbe essere che un modello KNN, SVM o NN superi effettivamente gli altri modelli in termini di capacità predittiva. Assicurati di guardare alcune delle altre piattaforme di modellazione come SLS, GenLinReg, ecc. Non sai mai quale modello finirà per superare gli altri.
4. Se stai utilizzando una colonna di convalida per la convalida incrociata, potresti considerare come partizionare i dati in formazione e convalida, poiché ciò può influire sulle prestazioni del modello.
5. Se i tuoi dati provengono da un DOE e stai utilizzando la piattaforma GenReg, come regola pratica, è meglio limitarti ai primi cinque metodi di stima nella piattaforma GenReg.
Spero che sia di aiuto!,
ds
