Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?Ho un piccolo set di dati con 154 molecole (allegato). Sto cercando di prevedere KV40 utilizzando 6 fattori. Dall'esame di studi simili in letteratura, molti utilizzano il metodo di convalida "leave-one-out" per creare modelli per set di dati così piccoli, quindi per replicarlo in JMP, ho fatto quanto segue:
Modello di adattamento: regressione graduale
- superficie di risposta utilizzata per i fattori
- utilizzato k (convalida incrociata k-fold) = numero di campioni = 154
- ha lasciato tutto il resto come predefinito
Risultato:
r2 = 0,84; r2 (k-volte) = 0,72
Dopo la trasformazione box-cox: r2 = 0,87 (r2_adj = 0,86)
Ho provato a farlo con una colonna di convalida (70:30) e non ho ottenuto un risultato buono come questo. Ho JMP pro. La mia preoccupazione è: sto creando un modello falso o eccessivo quando eseguo questo tipo di convalida incrociata? Esiste un modo migliore per farlo? C'è qualcosa che dovrei guardare o testare? Grazie.
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?Ciao @tnad Mi sono appena imbattuto in questo post e spero che non ti dispiaccia un'ulteriore risposta 3,5 anni dopo!
Penso che impostare K = 154 per Stepwise in questo caso non sia consigliabile poiché l'algoritmo ricerca la piega migliore, che in questo caso consisterebbe in una sola osservazione.In generale è importante eseguire l'annidamento graduale all'interno di ciascuna piega per evitare un adattamento eccessivo e ciò è disponibile nell'opzione Piega K annidata in Retinatura modello.Inoltre penso che 154 osservazioni siano sufficienti per k-fold e che il k-fold nidificato ripetuto sia un ottimo modo per confrontare i modelli.
Lo screening del modello rivela che Neural Boosted funziona meglio di Stepwise per questi dati con Test R2 = 0,87 vs 0,77 utilizzando Log10 (KV40) come Y, K = 5 e L = 4.Ho anche provato il nuovo componente aggiuntivo Torch Deep Learning (disponibile su richiesta all'indirizzo Primi utilizzatori di JMP ) e con un po' di messa a punto sto ottenendo risultati simili se non migliori con la sua convalida incrociata 5 volte.
In generale, Neural, Torch, XGBoost e altre piattaforme in JMP possono essere utili per la modellazione predittiva QSAR.
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?Sì, K = N produce una convalida incrociata "lasciarne uno".
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?Ho appena capito questo...
cottura: incorporare l'uovo al composto
geologia: intenso ripiegamento del mantello terrestre
affari: il club ha chiuso dopo un anno
Sport: il corridore ha piegato dopo un miglio
carte: sapere quando piegarle
geografia: il paese è adagiato in una piega collinare
web design: il testo Above the Fold non richiede lo scorrimento
cambiamento: un aumento di 10 volte degli incidenti
carta: l'origami si piega per formare un'anatra
espressione: incrocia le mani
agricoltura: mettere le pecore nell'ovile
Deve essere la versione agricola! Significa penna! I dati sono suddivisi in K penne/sottoinsiemi/pieghe.
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?Oh! È abbastanza sorprendente per me, poiché l'idea della crossvlidazione di K-fold si basa sulla divisione di un set di dati in K-fold dove K-1 è destinato all'addestramento e 1 alla convalida. Potrei essere confuso, però. Dal tuo post sembra che questa strategia sia attribuita più al "leave on out", non è vero?Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?La valutazione onesta mediante convalida incrociata viene comunemente implementata in tre modi: trattenere i set (addestrare, convalidare, testare), k-fold o tralasciarne uno. Usare k = N (dimensione del campione) è un modo di usare CV k-fold per ottenere l'ultimo approccio.
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?Ciao! Posso chiederti perché k = 154 era per la tua convalida incrociata?
Normalmente ne inserisco 5 (20% per la convalida) per k a seconda del set di dati, sebbene fossero tutti abbastanza piccoli per il normale test di convalida dell'addestramento.
Grazie!
In futuro, è auspicabile che JMP Pro implementi un'opzione per visualizzare la distribuzione delle pieghe durante l'elaborazione dei dati in questo modo.
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?La preoccupazione è l'adattamento eccessivo, ma il motivo della mia affermazione si basa sull'intero schema di "valutazione onesta". Uno utilizza alcuni dati per addestrare il modello e dati separati e completamente nuovi per convalidare o selezionare il modello (due set di controllo). Questo approccio è valido ma è ancora limitato ai dati già visti attraverso l'apprendimento e la selezione. Non può parlare di generalizzazione di nuovi dati. Sono necessari nuovi dati per testare la scelta dei modelli. Questi dati possono essere un terzo set di controllo o dati futuri. Il rischio di attendere dati futuri dipende dalla situazione, quindi se è disponibile una grande quantità di dati, è preferibile il terzo gruppo di controllo.
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?@Mark_Bailey Quando hai menzionato "Hai utilizzato la convalida incrociata per la selezione del modello. Avrai bisogno di nuovi dati per testare il modello selezionato e vedere se l'addestramento si generalizza alla popolazione più ampia."
È perché la convalida incrociata tende ad adattarsi eccessivamente?
Ri: Quanto è efficace la convalida incrociata K-fold per set di dati di piccole dimensioni?Giusto, una valutazione onesta per la selezione del modello con convalida incrociata è sempre valida, ma l'utilizzo di set di controllo per la convalida e il test è pratico e gratificante solo se si dispone di set di dati di grandi dimensioni. (C'è anche il problema di obiettivi rari anche con dati di grandi dimensioni set.) Questo è il motivo per cui è stata inventata la convalida incrociata K-fold. Leave-one-out significa semplicemente portare K pieghe all'estremo. Non mi aspetto che l'approccio con una resistenza di 70:30 funzioni bene con un campione così piccolo.
Hai utilizzato la convalida incrociata per la selezione del modello. Avrai bisogno di nuovi dati per testare il modello selezionato per vedere se l'addestramento si generalizza alla popolazione più ampia.
