Accesso alle metriche out-of-fold per K-Fold CVEsiste un modo per accedere alle metriche out-of-fold quando si utilizza K-Fold CV con metodi come Neural e SVM? Per quanto ne so, JMP riporta solo le metriche del fold con le migliori prestazioni, il che non è molto utile.
Modellazione statistica avanzataModellazione predittiva e apprendimento automaticoRe: Accesso alle metriche out-of-fold per K-Fold CVCiao @CentroidError56 ,
Sì, utilizza la piattaforma Screening del modello con i modelli che vuoi testare selezionati per accedere ai risultati di convalida nel report.
Misure di adattamento per addestramento, convalida e test
Dalle opzioni della piattaforma Model Screening è possibile salvare una tabella Risultati KFolds .
Spero che questa soluzione ti sia d'aiuto,
Re: Accesso alle metriche out-of-fold per K-Fold CVCiao Victor,
Grazie per la risposta. Per quanto ne so, funziona solo con le impostazioni predefinite per ciascun metodo. Ho delle configurazioni derivanti da progetti di tuning che vorrei confrontare utilizzando i dati di fold. Non sembra possibile a meno che non esegua ogni fold manualmente, il che richiederebbe molto tempo. Mi sfugge qualcosa?
Re: Accesso alle metriche out-of-fold per K-Fold CVCiao @CentroidError56 ,
Hai ragione, questa opzione funziona solo con le impostazioni predefinite degli iperparametri.
Ecco come procederei con configurazioni di iperparametri specifici da testare sulle stesse pieghe:
- Crea una colonna di convalida K-fold utilizzando la piattaforma "Make Validation Column" . Specifica le colonne di stratificazione (le X) e il target (Y). Puoi quindi definire il numero di fold e impostare un seed casuale.
- Avvia la piattaforma di modellazione che preferisci con questa colonna K-fold nel ruolo di convalida.
In questo esempio illustrativo, ho utilizzato il dataset JMP Diabetes e la piattaforma SVM. Ho realizzato un progetto di ottimizzazione per trovare 3 impostazioni appropriate per gli iperparametri (modelli 2, 3 e 20):
-
Premo quindi CTRL + clic sull'opzione Pubblica formula di previsione (disponibile nel triangolo rosso accanto a qualsiasi modello). Viene creata una nuova finestra Formula Depot con la formula dei tre modelli visti in precedenza:
-
Nel triangolo rosso accanto a Formula Depot, clicco sull'opzione Confronto modelli e seleziono i miei tre modelli:
JMP nota che la mia colonna di convalida a 5 pieghe viene utilizzata per tutti i modelli e chiede se può essere utilizzata come colonna di raggruppamento, quindi faccio clic su Sì per ottenere risultati di modelli individuali per ogni piega.
- Ora ho accesso alla misurazione individuale delle prestazioni per ciascuno dei tre modelli:
Questo metodo dovrebbe funzionare indipendentemente dalla piattaforma di modellazione utilizzata, poiché utilizza solo la formula di previsione dei modelli, consentendo di combinare diversi tipi di modelli.
Spero che questa risposta risolva il tuo problema,
Re: Accesso alle metriche out-of-fold per K-Fold CVCiao Victor,
Funziona! Grazie mille!
