Nel file JMP allegato, ho creato tre modelli di regressione separati per ciascuna variabile di risposta peso, diametro di sterzata e potenza con tre colonne di convalida separate (set di addestramento = 70%, set di convalida = 15%, set di addestramento = 15%).
È necessario creare una colonna di convalida per ogni variabile di risposta per creare modelli di regressione oppure è sufficiente una colonna di convalida per ogni variabile di risposta?
Ciao @madhu ,
Felice anno nuovo 2025!
Non esistono soluzioni giuste o sbagliate alla tua domanda.
Poiché stai creando un modello predittivo in un modo basato sull'apprendimento automatico (ovvero basato sui dati) per diverse risposte, ecco l'uso dei diversi set:
- Set di allenamento : Usato per l'addestramento effettivo del/i modello/i,
- Set di convalida : Utilizzato per l'ottimizzazione del modello (regolazione fine degli iperparametri, selezione delle caratteristiche/soglie, ... ad esempio) e la selezione del modello,
- Set di prova : Utilizzato per la generalizzazione e la valutazione delle prestazioni predittive del modello selezionato su dati nuovi/non visti. In questa fase non dovresti avere diversi modelli in competizione.
Considererei più utile, per il "debug", l'uso di una colonna di convalida per tutte e tre le risposte, per capire quante informazioni possono essere estratte dai dati e fornire una migliore valutazione/confronto della difficoltà del compito predittivo in base alla risposta, utilizzando gli stessi dati di addestramento e convalida.
Se modifichi la ripartizione delle osservazioni nei tuoi set di training, validation e test con diverse colonne di validation, può essere più difficile capire perché una certa risposta non è prevista correttamente/precisamente: è a causa della stratificazione/ripartizione dei punti utilizzati per adattare il modello? Oppure è perché la previsione di questa risposta è più difficile da ottenere?
Nota a margine, anche se utilizzi una colonna di convalida, consiglierei di creare una formula di colonna di convalida stratificata: la stratificazione sulle funzionalità aiuta a garantire che le distribuzioni dei tuoi set di training, convalida e test siano simili, impedendo qualsiasi spostamento della distribuzione dei dati tra i set che potrebbe compromettere la generalizzazione dell'apprendimento/adattamento del modello del tuo algoritmo. L'utilizzo di un tipo di colonna di convalida della formula ti consente di creare simulazioni e valutare la robustezza del tuo algoritmo con varie suddivisioni simili dei tuoi dati.
Vedi Risolto: Come posso automatizzare e riassumere molte convalide ripetute in un'unica tabella di output? - JMP User Community
e risolto: Boosted Tree - Ottimizzazione della PROGETTAZIONE DELLE TABELLE - Comunità di utenti JMP
È anche possibile utilizzare una colonna di convalida incrociata K-Fold con un valore iniziale casuale fisso (per garantire la riproducibilità dei risultati del modello) per valutare la robustezza e le prestazioni predittive dell'algoritmo sulle diverse risposte.
Spero che questa risposta ti aiuti,
Ciao @Victor_G
Grazie per i commenti alla mia richiesta. Hanno senso. Cordiali saluti.
