GenReg per la selezione delle variabili ProblemaUno dei miei clienti utilizza GenReg per la selezione delle variabili e ha sperimentato Lasso ed Elastic Net.
Il loro modello ha 14 effetti principali, con i relativi termini quadratici e di interazione associati (molte variabili da esaminare).
Dopo aver eseguito Lasso o Elastic Net, il modello finale creato contiene tutti i termini senza termini azzerati.Il risultato è strano soprattutto considerando che quando eseguono la stessa analisi usando stepwise ci sono termini omessi dal modello.
Qualcuno ha già riscontrato questo tipo di comportamento durante l'utilizzo di Lasso o Elastic Net?
Oggetto: GenReg per problema di selezione delle variabiliGrazie a tutti per i vostri suggerimenti. Dopo una sessione di debug con il cliente e @jiancao siamo finalmente riusciti a dare un senso al loro problema che era in gran parte correlato all'utilizzo di troppi dati (250.000 righe) per addestrare il modello. Le caratteristiche uniche e il volume dei dati stavano portando l'errore del modello a livelli molto piccoli che poi creavano la situazione in cui ogni termine iniziava a mostrare un certo livello di significatività (nessun termine azzerato).
Utilizzando un set di dati più piccolo e ugualmente rappresentativo (15.000 righe), siamo riusciti a ottenere che Lasso ed Elastic-Net eseguano la selezione delle variabili e costruiscano un modello utile per la loro applicazione.
Oggetto: GenReg per problema di selezione delle variabiliEhi Nick,
sebbene probabilmente abbiano pensato a fondo alla convalida, è una buona cosa fare nei loro dati con convalida casuale? Possano avere valori categorici in cui potresti voler stratificare la convalida probabilmente in base a uno di quei valori categorici.
La prossima cosa è provare come Pete ha suggerito la selezione in avanti in GenReg per vedere se questo fa la differenza per Lasso nella selezione delle variabili. Potresti anche voler usare il lazo a due stadi e la selezione in avanti a due stadi.
Come appare il percorso della soluzione, ci sono effetti del modello che si restringono verso lo zero (semplicemente non raggiungono lo 0) o per niente (più linee orizzontali)?
Infine puoi chiedere al cliente di controllare l'esecuzione di Bootstrap Forest più volte e verificare se le variabili sono ancora tutte importanti o se alcune di esse sono una volta importanti, l'altra no. Quindi l'ordine non è coerente (piccoli cambiamenti all'interno dei primi pochi vanno bene, ma enormi cambiamenti sono fondamentali). Questo ti dirà che c'è qualcosa nei dati che deve essere scoperto prima di un'ulteriore modellazione.
Ultimo ma non meno importante, stai usando il lazo adattivo o no? Quando i tuoi dati sono altamente collineari (sarebbero visti da BF che cambia gli ordini come un matto;) ), le versioni adattive di Lasso ed Elastic Net potrebbero non fornire buone soluzioni. Questo perché le versioni adattive presumono che l'MLE fornisca una buona stima. Deseleziona l'opzione Adattivo in questi casi.
Migliore,
Martino
Oggetto: GenReg per problema di selezione delle variabiliEhi Nick,
Hanno provato la selezione in avanti o l'eliminazione all'indietro da GenReg?Se vedessero le variabili di eliminazione Stepwise, dovrebbero vederlo accadere in GenReg.
Il modello include effetti con valori p elevati?
Qualcos'altro da controllare nell'Elastic Net è l'Elatic Net Alpha se è più vicino a 0 invece che a 1 funzionerà più come una regressione della cresta e non eseguirà effettivamente la selezione delle variabili.Per quanto riguarda un lazo, controllerei solo per assicurarmi che non forzassero l'inclusione dei termini nei controlli avanzati.
Oggetto: GenReg per problema di selezione delle variabili150.000 righe
Oggetto: GenReg per problema di selezione delle variabiliQuante righe?Oggetto: GenReg per problema di selezione delle variabiliSì, stanno usando una colonna di convalida.
Oggetto: GenReg per problema di selezione delle variabiliStanno convalidando in modo incrociato in Genreg?
