convalida incrociata utilizzando la qualità di adattamento k-foldSto usando Lasso fit con leave one out o K-fold cross validation. Per favore, consigliami il modo migliore per visualizzare l'R quadrato e altre metriche di qualità di fit (ad esempio, AIC) nell'output. Sarebbe utile averlo per il training set e il validation set (media di tutti i hold out).
Modellazione predittiva e apprendimento automaticoRe: convalida incrociata utilizzando la qualità di adattamento k-foldCiao @daniel_s ,
Benvenuti nella Community!
Per ottenere metriche delle prestazioni della regressione LASSO sui singoli fold e in media, penso che sia più semplice avviare la regressione generalizzata dalla piattaforma Screening del modello , selezionando solo le opzioni "Regressione generalizzata" e "Metodi aggiuntivi", specificando il tipo di termini che possono entrare nel modello (ad esempio introducendo interazioni ed effetti quadratici), il numero di fold e il seed per la riproducibilità (se necessario):
Una volta avviata la piattaforma, si aprirà una nuova finestra con tutte le informazioni sulle singole pieghe e il riepilogo:
Spero che questa risposta ti aiuti,
Re: convalida incrociata utilizzando la qualità di adattamento k-foldGrazie. È utile. Immagino che selezionerei quindi la migliore piega e "eseguirei la selezione" in cui otterresti i risultati di adattamento del lazo con la migliore piega K utilizzata come convalida
Re: convalida incrociata utilizzando la qualità di adattamento k-foldCiao @daniel_s ,
Dopo aver lanciato il modello LASSO con la convalida incrociata K-fold, ci sono infatti diversi modi per procedere con i risultati:
- Scegli il modello LASSO con le migliori prestazioni nella "migliore" piega di convalida : non consigliato in quanto ciò sembrerebbe una "selezione selettiva" e non una "valutazione onesta" e una procedura di selezione: è più simile alla selezione dei dati giusti per il modello, anziché all'adattamento del modello giusto ai tuoi dati, quindi potresti finire per sovraadattare i tuoi dati di convalida.
- Dopo aver valutato la coerenza e la robustezza dei risultati, riaddestra il modello su tutti i dati : questo approccio potrebbe sembrare logico, poiché una volta valutato che il tuo modello è robusto e ha risultati simili in tutte le pieghe, potresti essere tentato di utilizzare tutti i dati per migliorare ulteriormente il tuo modello. Potrebbe essere un'opzione praticabile se sei sicuro che i parametri del modello (ad esempio, termini inclusi e valore di penalità) potrebbero essere mantenuti gli stessi tra l'adattamento con i dati di convalida incrociata e l'adattamento con tutti i dati, per garantire che il tuo modello non si adatti eccessivamente all'intero set di dati. Questo approccio ha lo svantaggio di perdere di vista la convalida del modello, quindi se qualcosa va storto nei dati di test, è difficile eseguire il debug del modello senza dati di convalida.
- Crea una media del modello dei tuoi K modelli : questo è il mio approccio preferito (se possibile). Una volta che hai i tuoi K modelli, puoi eseguire ogni modello e salvare la loro formula di previsione usando "Publish Prediction Formula" per archiviare i tuoi modelli nel Deposito di formule :
Una volta che la formula dei modelli è nel deposito delle formule, puoi cliccare sul triangolo rosso accanto a "Deposito delle formule" e selezionare " Confronto dei modelli ". Questo creerà un breve riepilogo delle prestazioni del tuo modello e se clicchi sul triangolo rosso accanto a "Confronto dei modelli", puoi creare una media del modello :
Questa opzione creerà una nuova formula nella tua tabella dati, che corrisponde all'equazione media dei tuoi K modelli (nel mio caso, l'equazione/modello medio dei miei 5 modelli individuali cross-validati):
Puoi quindi confrontare ancora una volta le prestazioni dei tuoi K modelli individuali e del tuo modello medio utilizzando la stessa piattaforma di confronto modelli.
Si noti che questo approccio potrebbe non essere facile/fattibile se si dispone di un gran numero di fold e/o se i modelli utilizzati sono complessi (come le reti neurali). Per modelli semplici come i modelli di regressione e i "modelli base" di apprendimento automatico (come Decision Tree, SVM, kNN, ...), questo approccio aiuta a evitare l'overfitting e ad assicurare proprietà di robustezza e generalizzazione, senza "perdere" alcun dato nella convalida.
Puoi leggere di più sulla convalida incrociata nei seguenti post:
VALIDAZIONE INCROCIATA - METODO DELLA COLONNA DI VALIDAZIONE
k-piega r2
Consiglio vivamente anche la playlist "Making Friends with Machine Learning" di Cassie Kozyrkov per saperne di più sulla formazione, la convalida e il test dei modelli: Fare amicizia con l'apprendimento automatico - YouTube
Spero che questa risposta ti aiuti e risponda alle tue domande,
Re: convalida incrociata utilizzando la qualità di adattamento k-foldGrazie! Le tue intuizioni erano perfette per il percorso di apprendimento automatico che sto seguendo.
Re: convalida incrociata utilizzando la qualità di adattamento k-foldSolo per completare la mia analisi, se uso il modello medio dal modello K fold, come descritto sopra, vorrei rivedere l'importanza di ogni variabile indipendente del modello. In genere userei un VIF. Per favore, consigliatemi come potrei farlo sulla formula media?
Grazie.
Re: convalida incrociata utilizzando la qualità di adattamento k-foldCiao @daniel_s
Non so se seguirti: i valori VIF sono utili per valutare il grado di collinearità tra le variabili, ma non riflettono l'importanza di queste variabili sulla risposta.
È possibile confrontare le stime dei parametri dalla formula del modello medio per confrontare l'importanza dei fattori.
Puoi anche caricare la formula media nel Profilatore (disponibile nel menu Grafico, seleziona "Espandi formula intermedia" per assicurarti che la tua risposta sia collegata ai tuoi predittori originali) e utilizzare l'opzione " Valuta importanza variabile " per calcolare l'importanza delle variabili (in termini di effetti principali ed effetti totali) in base agli indici di Sobol.
Spero che questa risposta ti aiuti,
Re: convalida incrociata utilizzando la qualità di adattamento k-foldGrazie! Ho ancora molto da imparare e la tua risposta mi offre una piattaforma per continuare.
