Proporzione tra dimensione dell'allenamento e set di dati di testCiao, ho un set di dati relativamente piccolo con 95 osservazioni / registrazioni e circa 70 variabili per ogni record. L'obiettivo è rilevare quali variabili influenzano la risposta e trovare le impostazioni ottimali di tali variabili. A causa del numero limitato di osservazioni, ho deciso di dividere i dati in solo due categorie, set di dati di training e test (omettendo il set di dati di validazione). La mia strategia è applicare un albero decisionale con la piattaforma di partizione seguita da una regressione dei minimi quadrati con le variabili che sembrano più importanti. La mia domanda è: se esiste un consiglio generale per quanto riguarda le proporzioni delle dimensioni del set di dati di allenamento e test? Ho provato con una divisione in cui il 75% delle osservazioni è incluso nei dati di allenamento e il 25% nel set di dati di test, ma non sono sicuro che questa sia la proporzione ottimale.
Mi chiedo anche se sia possibile applicare una procedura bootstrap per la divisione in training e test set di dati. L'idea è di fare un gran numero di divisioni e in qualche modo fare una media dei risultati. Non sono sicuro che abbia senso. Sto eseguendo JMP 15.
analiticaRi: proporzione tra dimensione dell'allenamento e set di dati di testÈ possibile utilizzare la convalida incrociata di k-fold, l'adattamento del CV per piccoli set di dati.
Inoltre, con JMP Pro, è possibile utilizzare la regressione generalizzata con LASSO per la selezione delle variabili.
Ri: proporzione tra dimensione dell'allenamento e set di dati di testGrazie, ha senso applicare la convalida incrociata di k-fold. Suppongo che dovrei usare la regressione graduale, da allora Convalida incrociata di k-fold non è un'opzione con minimi quadrati standard. Purtroppo non sono un utente Pro (ancora), quindi non ho accesso alla regressione generalizzata.
Suppongo che riserveresti ancora una parte dei dati per testare la capacità predittiva del modello finale?
Ri: proporzione tra dimensione dell'allenamento e set di dati di testIl ruolo del set di prova è utile nella valutazione onesta mediante convalida incrociata, ma ci sono compromessi. Utilizzi K-fold CV perché hai un piccolo set di dati. Tenere una parte per i test potrebbe compromettere sia la formazione sia la selezione del modello migliore. Il metodo di convalida incrociata si basa sulla conferma del modello con dati futuri, ma utilizzando invece alcuni dei dati esistenti. Intendi valutare il modello con nuove osservazioni? Quindi il set di test potrebbe non offrire un vantaggio unico.
