Scenario: utilizzo i dati di convalida per regolare la mia penalità con lazo e ora voglio riadattarmi a tutti i miei dati (allenamento + convalida) specificando il termine di penalità ottimizzato.
Non riesco comunque a farlo all'interno della piattaforma di regressione generalizzata. Cosa è consigliato qui?
Ciao @Mittman ,
Anche se non sono sicuro di quale sia l'effettivo algoritmo sottostante, c'è solo un'ottimizzazione molto limitata sulla modellazione Lasso.dalla penalizzazione L1. È abbastanza buono nel ridurre i fattori non importanti, ma non è eccezionale se hai multicollinearità tra fattori e risposta. Qualcosa da tenere a mente è che quando si utilizza la convalida incrociata (usando la colonna di convalida), l'algoritmo la utilizza per iniziare a ridurre al minimo le stime per i fattori. Questo aiuta l'algoritmo a portare i fattori non importanti a 0 e semplifica il modello. Se esegui nuovamente (anche utilizzando lo stesso tipo di spaziatura/spaziatura della griglia e frazione di penalità), ti ritroverai con un modello diverso perché utilizzerà un metodo di convalida diverso per semplificare il modello. Se desideri confrontare i modelli che si adattano alla tua colonna di convalida rispetto a quelli che utilizzano AICc o K-fold, con ogni modello che generi, puoi andare al pulsante rovente accanto all'adattamento e selezionare Salva colonne > Salva formula di previsione. È quindi possibile confrontare in che misura diversi modelli si adattano alla risposta, ad esempio nella piattaforma di confronto dei modelli.
Alcuni altri pensieri:
1. Potresti prendere in considerazione l'idea di fare la rete elastica in quanto combina i metodi penalizzati L1 (Lasso) e L2 (Ridge). Tipo il meglio di entrambi i mondi.
2. Potresti voler eseguire alcuni bootstrap o simulazioni sulle stime per i fattori per determinarne l'entità e se sono davvero importanti o meno. Assicurati di confrontare la grandezza con l'errore Std della stima per vedere se l'errore è maggiore della stima stessa.
3. Se stai lavorando alla creazione di modelli, è una buona idea scorrere altre piattaforme di modellazione in JMP per vedere quale modello si adatta meglio. Potrebbe essere che un modello KNN, SVM o NN superi effettivamente gli altri modelli in termini di capacità predittiva. Assicurati di guardare alcune delle altre piattaforme di modellazione come SLS, GenLinReg, ecc. Non sai mai quale modello finirà per superare gli altri.
4. Se stai utilizzando una colonna di convalida per la convalida incrociata, potresti considerare come partizionare i dati in formazione e convalida, poiché ciò può influire sulle prestazioni del modello.
5. Se i tuoi dati provengono da un DOE e stai utilizzando la piattaforma GenReg, come regola pratica, è meglio limitarti ai primi cinque metodi di stima nella piattaforma GenReg.
Spero questo sia di aiuto!,
ds
Lo scenario che mi interessa è quello in cui sto utilizzando una partizione dati fissa (colonna di convalida) e ho eseguito una regressione penalizzata (indipendentemente da lazo, cresta o rete elastica). Questi mi danno un percorso di soluzione e un modello ottimizzato basato sulla log-verosimiglianza in scala dei dati di convalida. Il parametro di ottimizzazione restituito può essere utilizzato per adattare (rapidamente) un modello aggiornato utilizzando dati di addestramento aggiuntivi a un valore predefinito del parametro di ottimizzazione. C'è un modo per eseguire il lazo (o cresta o rete elastica) senza generare un intero percorso di soluzione?
