La scorsa settimana, Nate Silver ha tenuto un " Chiedimi qualunque cosa "Chattare su Reddit. Ci sono state molte domande molto buone, una delle quali ho trovato particolarmente importante all'inizio Anno internazionale delle statistiche : "Qual è il più grande abuso di statistiche"? A cui Nate ha risposto: "Overfitting".
Questa risposta è molto rilevante per la nostra discussione sulla modellizzazione predittiva, in particolare quando applicata a problemi nelle scienze della vita. In uno studio clinico, potremmo desiderare di prevedere la risposta di un paziente al fine di applicare un adattamento allo studio. Oppure potremmo voler capire quali soggetti potrebbero sperimentare una grave esperienza avversa o morte. Per problemi di genomica, speriamo di identificare alleli che contribuiscono a vari stati di malattia, o di prevedere gli effetti tossici di varie sostanze chimiche sulla base di dati di espressione genica in vivo e struttura chimica.
sovradattamento si verifica quando il modello si adatta al rumore e al segnale nei dati. Nei casi in cui un modello predittivo sovrasfruttato viene applicato a nuovi insiemi di dati, le prestazioni del modello sono spesso piuttosto scadenti. Ad esempio, prendiamo il caso più estremo in cui il numero di predittori indipendenti è uguale al numero di osservazioni in studio e non c'è regolarizzazione. In questo scenario, il modello raggiungerà una previsione perfetta ogni volta sui dati di allenamento, poiché ciascuna covariata può essere utilizzata per prevedere la risposta di una singola osservazione. Tuttavia, il modello probabilmente include numerose variabili che non sono utili nel predire il risultato. Il risultato? Quando il modello viene utilizzato per un nuovo set di dati, l'adattamento è terribile! Questo perché il modello è troppo specifico per il primo set di dati (cioè, il modello è overfit).
Quindi, perché sovraffollare una tale preoccupazione per le scienze della vita? A differenza delle applicazioni di data mining commerciale in finanza, vendita al dettaglio e telecomunicazioni, i set di dati dei domini delle scienze della vita hanno in genere più predittori di ordini di grandezza rispetto alle osservazioni (p >> n). In queste istanze di "dati di grandi dimensioni", è molto facile sovradimensionare i dati con modelli predittivi (come nel caso peggiore sopra riportato). Immaginate gli studi clinici di fase iniziale in cui ogni test noto all'umanità viene eseguito nel corso di diversi giorni o settimane per valutare la sicurezza di un nuovo farmaco. Che ne dite delle analisi degli SNP in cui il numero di predittori può facilmente estendersi a milioni? Come puoi vedere, il potenziale di sovralimentazione nelle scienze della vita è grande.
Come è possibile generare un modello utile, che può essere applicato a nuovi insiemi di dati con l'obiettivo di raggiungere previsioni accurate e generalizzabili? Come parte del processo di costruzione del modello, il modello deve essere testato o convalidato su uno o più insiemi di dati indipendenti per valutare se alcune delle covariate non sono necessarie. Ma come è questo pratico per i nostri scopi? Nelle applicazioni commerciali, sono in genere dati sufficienti per definire sottoinsiemi mutuamente esclusivi per addestrare un modello (il set di apprendimento o addestramento), nonché convalidare il modello (il set di validazione). Tuttavia, le osservazioni delle scienze della vita tendono ad essere più limitate a causa della spesa, del tempo e della difficoltà di ottenere soggetti o campioni sperimentali.
I metodi di convalida nelle scienze della vita spesso richiedono la previsione dei risultati per un piccolo sottogruppo di dati disponibili utilizzando le osservazioni rimanenti e la ripetizione di questo processo per tutti i sottogruppi. La Figura 1 illustra un esempio di convalida incrociata 5 volte. I dati sono suddivisi in cinque serie mutuamente esclusive, ciascuna delle quali rappresenta il 20% delle osservazioni disponibili. Un modello predittivo viene formato con l'80% dei dati (i quadrati blu) e quindi convalidato con il set di test (il quadrato rosso). Questo esercizio viene ripetuto altre quattro volte in modo che ogni partizione dei dati (cioè ogni quadrato) serva da set di test.
Inoltre, la simulazione può essere utilizzata per tenere conto delle differenze nel modo in cui i sottoinsiemi sono generati. Ad esempio, l'esercizio di convalida incrociata di cui sopra può essere ripetuto 10 volte, generando ogni volta una nuova partizione dei dati ed eseguendo la convalida incrociata. Dopo l'esercizio di simulazione, ci saranno 10 x 5 = 50 modelli. Per sviluppare il mio modello finale, sceglierei quei predittori selezionati nella maggior parte dei 50 modelli disponibili. Questo set di predittori può quindi essere utilizzato sull'insieme di dati completo per sviluppare il modello finale.
Quindi la prossima volta che un articolo di un giornale promuove un modello come il modo migliore per prevedere un particolare risultato, avvicinati a questo modello con cautela! Esaminare se gli autori hanno applicato il loro modello a nuovi dati o hanno applicato metodi di validazione incrociata onesti per valutare la sua prestazione predittiva. Altrimenti, potresti farti un disservizio usandolo.
JMP Clinical e Genomica di JMP avere un ampio set di modelli predittivi disponibili. Inoltre, strumenti robusti per convalida incrociata, curve di apprendimento (per rispondere alla domanda "I miei set di formazione sono abbastanza grandi?") E sono disponibili riduzioni predittive per sviluppare un utile modello predittivo per le applicazioni di scienze della vita.
Per maggiori informazioni, scarica questo aggiungere (lavora con JMP 10 ) o visualizzare questo on-demand webcast (che utilizza il componente aggiuntivo). Il componente aggiuntivo e il webcast illustrano i metodi sopra riportati utilizzando i dati di una sperimentazione clinica e uno studio di genomica utilizzando il sequenziamento di prossima generazione.
Richard Giambrone ha scritto:
Bella discussione Attualmente sto seguendo un corso di modellazione statistica, quindi questo argomento è il massimo per me. Mi piace l'esempio di sovralimentazione che hai dato. Grazie per la menzione di Nate Silver su Reddit. Non so cosa sia Reddit. Fuori dal mondo, ancora!
