Formazione e Validazione R2 in rete Lazo/ElasticoCarissimi,
Utilizzo la convalida incrociata k-fold in combinazione con modelli di regressione penalizzati (lazo, rete elastica) e desidero esaminare i valori R2 (medi) dei set di training/convalida per verificare l'overfitting e la varianza spiegata. Ho già cercato tra le tante opzioni, ma non riesco a trovarlo. C'è un modo per mostrarlo? Sarebbe fantastico se questo potesse essere mostrato nella tabella panoramica, in modo da poterlo utilizzare per la selezione del modello.
Grazie, Markus
Mac OSModellazione predittiva e machine learningOggetto: Formazione e convalida R2 in rete lazo/elasticaGrazie, ma ovviamente conosco la piattaforma di screening dei modelli, ma esegue modelli semplificati e non fornisce le opzioni dei modelli completi. Ad esempio, presumo che il modello neurale nello screening del modello sia piuttosto semplice con solo poche unità nascoste.
Quando voglio eseguire la convalida incrociata annidata con un modello neurale più complesso a 2 livelli, ad esempio, questo non può essere fatto con lo screening del modello, non è vero?
Ci sono anche altre cose che possono essere fatte solo all'interno del ciclo interno. Ad esempio, l’imputazione viene spesso effettuata solo all’interno del ciclo interno, perché sarebbe ingiusto utilizzare per l’imputazione l’intero campione, compreso il campione di prova indipendente.
Pertanto, sto cercando uno script con il quale sia possibile eseguire la convalida incrociata annidata. Potrei quindi, ad esempio, inserire l'imputazione solo all'interno del ciclo interno.
Oggetto: Formazione e convalida R2 in rete lazo/elasticaCIAO @MarkusJH ,
Benvenuto nella Comunità!
Per rispondere alla tua domanda, un'opzione potrebbe essere quella di utilizzare la piattaforma "Model Screening" disponibile nel menu "Analyze", "Predictive Modeling".
Una volta nella piattaforma "Model Screening", puoi deselezionare metodi diversi da "Regressione generalizzata" e "Metodi aggiuntivi" (qui eseguiti sul set di dati Titanic) e specificare se desideri includere interazioni di 2 fattori o termini quadratici nel modello. Puoi anche specificare il numero di pieghe per la convalida incrociata e un seme casuale se desideri risultati riproducibili:
Al termine dell'analisi, puoi visualizzare i risultati della convalida come un riepilogo in tutte le pieghe. Questa tabella riepilogativa può aiutarti a selezionare il/i modello/i più appropriato/i (puoi selezionare il/i modello/i che desideri vedere in maggiore dettaglio (o fare clic su "Seleziona dominante") e quindi fare clic su "Esegui selezionato" per aprire la finestra piattaforma di Regressione Generalizzata per avere maggiori dettagli sui modelli selezionati):
E puoi anche dare un'occhiata ai risultati individuali per pieghe (se necessario) aprendo il menu "Formazione" e "Convalida" (qui su "Formazione", l'identificatore delle pieghe può essere visto nell'ultima colonna per ogni tipo di modello addestrato) :
Spero di aver capito la tua domanda e che questa risposta ti possa aiutare.
Se fraintendo qualcosa e non era quello che ti aspettavi, potresti fornire maggiori dettagli su quale piattaforma utilizzi attualmente, quali informazioni hai già e quali mancano?
Re: Formazione e convalida R2 in Lasso/Elastic net... oppure un'altra cosa che si vorrebbe fare nel ciclo interno sarebbe la selezione degli iperparametri, ad esempio il numero di unità nascoste.
Naturalmente, alla fine del ciclo interno, deve esserci un criterio che definisce il modello migliore, che viene poi sottoposto alla convalida incrociata del ciclo esterno.
Re: Formazione e convalida R2 in Lasso/Elastic netHo chiesto a JMP una domanda simile su Elastic Net Regression e su come avrei potuto ottenere una qualche forma di R-Squared e la risposta è stata che non è disponibile per i metodi di convalida KFold o Leave-One-Out, ma solo per AICc e BIC. Quindi penso che tu debba calcolarlo manualmente da solo. Penso che sia abbastanza fastidioso perché SAS può farlo.
Re: Formazione e convalida R2 in Lasso/Elastic net@MarkusJH
Puoi confrontare i valori R2 su k fold utilizzando la piattaforma Model Comparison nel menu Analyze > Predictive Modeling. Segui questi passaggi:
- Crea una colonna K Fold utilizzando l'utilità Crea colonna di convalida e seleziona "Crea colonna K Fold" (in basso a sinistra nella finestra di dialogo).
- Avvia Gen Reg e carica la colonna KFold come ruolo di convalida.
- Esegui il tuo modello di regressione (Elastic Net, Lasso, ecc.) e assicurati che Colonna di convalida sia selezionata come metodo di convalida.
- Quando sei soddisfatto del modello, salva la formula di previsione nella tabella dati.
- Per visualizzare il valore R2 per ogni fold, avviare il confronto dei modelli dal menu Analizza > Modellazione predittiva
- Carica la colonna della formula salvata come Y e la colonna di convalida KFold come Gruppo
- Il report risultante mostrerà le misure di adattamento per ogni Fold nella colonna:
