Come eseguire la convalida incrociata k-fold su modelli ML (ad esempio rete neurale e foresta casuale) e controllare le prestazioni del modello su dati di test fissi?Ho un set di dati di classificazione su cui voglio adattare la rete neurale e il modello di foresta casuale. Sto eseguendo la convalida incrociata k-fold per selezionare il modello migliore .
Ho dati separati (dati di test fissi) su cui voglio testare le prestazioni del modello. Come posso passare i dati a JMP e ottenere un rapporto di classificazione?
Modellazione predittiva e machine learningRi: Come eseguire la convalida incrociata k-fold su modelli ML (ad esempio rete neurale e foresta casuale) e controllare le prestazioni del modello su dati di test fissi?CIAO @abhinavsharma91 ,
Per utilizzare la convalida incrociata K-folds su diversi modelli di Machine Learning, puoi utilizzare la piattaforma "Model Screening" (accessibile in "Analyze", "Predictive Modeling", "Model Screening") e selezionare quali algoritmi desideri provare (nel tuo esempio Neural Networks e Random Forest) e il numero di pieghe utilizzate per la convalida incrociata (esempio qui sul set di dati del giocattolo "Diamonds Data" con una convalida incrociata di 5 volte):
Per i dati del test, sono disponibili diverse opzioni:
- Se i tuoi dati sono divisi in due set di dati (uno per l'addestramento, uno per il test), puoi eseguire il modello sulla tabella dati di addestramento con convalida incrociata, salvare le formule per il modello con le migliori prestazioni e quindi copiare e incollare la colonna della formula del modello sul datatable di test, in modo che non venga effettuata alcuna fuga di dati per la valutazione imparziale delle prestazioni del modello sui dati di test.
- Puoi anche avere tutti i tuoi dati sullo stesso datatable, ma "nascondere ed escludere" le righe che verranno utilizzate per i test; in questo modo, i modelli non utilizzeranno i dati dei tuoi test per l'addestramento e la convalida incrociata, ma salvando le formule avrai comunque previsioni per le righe nascoste ed escluse (e sulla stessa tabella).
Spero che questa risposta ti possa aiutare,
