Metodi di convalida incrociata "leave-one-out" o "k-fold"?Abbiamo ricevuto il commento del revisore come segue:
per confermare l'utilità del valore limite, sarebbe necessaria la convalida. Tuttavia, in questa coorte non è stata eseguita l’analisi di validazione. Poiché la dimensione del campione era piccola, sarebbe difficile eseguire uno studio di validazione esterna. tuttavia, l'analisi di convalida interna (o convalida incrociata) potrebbe essere effettuata mediante metodi statistici come i metodi di convalida incrociata "leave-one-out" o "k-fold".
Non sono riuscito a comprendere il metodo statistico utilizzato dal revisore.
Potresti risolvere questo problema con JMP?
finestreRi: metodi di convalida incrociata "leave-one-out" o "k-fold"?@Marimo ,
Leave-one-out è una versione della convalida incrociata k-fold in cui tutte le righe del set di dati vengono utilizzate come "set" di convalida una alla volta.
Ad esempio, se hai 20 righe nel tuo set di dati, potresti utilizzare una convalida incrociata k-fold 5 che utilizzerà il 20% dei tuoi dati 5 volte. In questo caso sarebbero 4 righe per la convalida incrociata e 16 righe per l'addestramento.
Ogni 20% utilizza qualcosa chiamato campionamento con sostituzione per cercare di garantire che tutti i dati siano inclusi in una delle cinque k-fold. L'altra opzione in questo esempio è creare un k-fold 20 che utilizza quindi ciascuna riga del set di dati come set di convalida. Maggiore è il numero di pieghe, minore è la percentuale di dati utilizzata per la convalida incrociata. La convalida incrociata K-fold è disponibile nella maggior parte delle piattaforme in JMP.
Un'altra opzione potrebbe essere quella di utilizzare un metodo come Bootstrap Forest che ha il campionamento con sostituzione integrato nell'algoritmo. Avresti bisogno di JMP Pro per sfruttare appieno questa piattaforma. Bootstrap Forest utilizza la media del modello per trovare le variabili più importanti nel set di dati costruendo molti modelli più piccoli (alberi) con diversi sottoinsiemi di dati.
HTH
Conto
Ri: metodi di convalida incrociata "leave-one-out" o "k-fold"?Domanda: se ho 20 righe e utilizzo K=20 pieghe, è esattamente la stessa cosa della convalida "leave-one-out"? Ho sempre pensato che quest'ultimo utilizzi ogni osservazione come un set di convalida (ruotato attraverso l'intero set di dati) mentre i campioni K-fold con sostituzione , quindi non mi è chiaro che ogni osservazione venga utilizzata per la convalida. Puoi chiarirlo?
Ri: metodi di convalida incrociata "leave-one-out" o "k-fold"?Ciao @Marimo ,
Benvenuto nella Comunità!
Ecco alcune informazioni sulla convalida, sull'uso di metodi di convalida specifici e su come farlo in JMP da un post precedente che ho fornito: https://community.jmp.com/t5/Discussions/CROSS-VALIDATION-VALIDATION-COLUMN- METODO/mp/588349/highlight/true#M79332
Spero che questa prima risposta ti possa aiutare,
