446912_it-IT

liliconcom

JMP > Identificazione della firma predittiva da un set di dati di grandi dimensioni > Problema con evidente overfitting

Ciao comunità JMP,

Ho un ampio set di dati con circa 4.000 misurazioni di biomarcatori al basale in pazienti arruolati in uno studio clinico. Devo identificare tra questi dati quale combinazione di biomarcatori può predire l'esito clinico 12 settimane dopo.

Ho usato un approccio piuttosto ingenuo che sembra produrre risultati grossolanamente sovradimensionati:

1. Eseguire tutti i 4.000 biomarcatori tramite Screening > Screening di risposta dove Response è l'output clinico binario alla settimana 12
2. Seleziona i primi 10 - 20 biomarcatori (basati su FDR)
3. Utilizzare i biomarcatori selezionati (come Effetti del modello) sulla piattaforma Fit Model > Stepwise dove Y è l'output clinico binario alla settimana 12; criteri = minimizza BIC
4. Genera il modello

Sebbene questo approccio abbia prodotto eccellenti "predittori" della risposta clinica alla settimana 12 (ROC AUC > 0,940), ha anche prodotto un'elevata ROC AUC quando testato con una variabile "fittizia" generata casualmente (ROC AUC ~ 0,870). Quest'ultimo mi indica che il mio metodo è gravemente inappropriato a causa del sovradattamento.

Ho esplorato la fattibilità di lavorare con i sottogruppi di pazienti Discovery e Validation (50% dell'intera popolazione), ma non ha risolto il mio problema con l'overfitting.

 

Oltre a utilizzare le piattaforme di modellazione avanzate fornite da JMP Pro, esistono tecniche migliori in JMP per affrontare una domanda del genere?

 

Grazie per l'aiuto.

 

Migliore,

TS

 

 

AnalisiRe: JMP > Identificazione della firma predittiva da un set di dati di grandi dimensioni > Problema con evidente overfitting

Puoi fornire qualche dettaglio in più sulla tua variabile di risposta generata casualmente?Come lo hai creato esattamente?

Re: JMP > Identificazione della firma predittiva da un set di dati di grandi dimensioni > Problema con evidente overfitting

ciao Dale,

 

Grazie per aver seguito questa domanda relativamente aperta. Ho creato la variabile casuale utilizzando la seguente formula:

random uniform (0,1) > 0.5;

Da notare che ho eseguito il mio "metodo" descritto sopra su otto diverse versioni della variabile fittizia (ad esempio, ricalcola la formula), ottenendo valori ROC AUC compresi tra 0,770 e 0,870.

Non mi sono mai imbattuto in un simile comportamento, ma non ho mai lavorato con più di 1.200 variabili di biomarcatori.

Grazie per l'aiuto.

Migliore,

TS

Re: JMP > Identificazione della firma predittiva da un set di dati di grandi dimensioni > Problema con evidente overfitting

Non conosco la risposta, ma posso confermare quello che hai trovato.Ho creato una variabile di risposta binaria (casuale) e 20 fattori normali casuali con 200 osservazioni.Ho ottenuto AUC=.71!Lo trovo davvero molto sorprendente.Sospetto che abbia qualcosa a che fare con una limitazione dell'AUC come misura delle prestazioni, ma come ho detto, non capisco davvero questo comportamento.Nel mio caso, certamente non dovrebbe essere overfitting.Sono ansioso di vedere cosa possono dire gli altri su questo.

Re: JMP > Identificazione della firma predittiva da set di dati di grandi dimensioni > Problema con evidente overfitting

Per aumentare il mistero, ho allegato la simulazione che ho fatto.Questa volta ho usato una colonna di convalida.Cose degne di nota: la regressione logistica (script salvato nel file) mostra AUC intorno a .71 per i dati di addestramento e molto inferiore (inferiore a .5) per i dati di convalida.Questa è una chiara prova di overfitting.Tuttavia, ho anche eseguito lo screening del modello - tutti i metodi (inclusa la regressione logistica) mostrano AUC intorno a 0,5 per i dati di addestramento e inferiore per i dati di convalida - che mi sembra ragionevole.Inoltre, il modello di regressione logistica non è significativo (e solo 1 o 2 fattori sono significativi, su ciò che ti aspetteresti per 20 fattori casuali).Tra le cose che non capisco c'è il motivo per cui la piattaforma di regressione logistica e la regressione logistica all'interno della piattaforma di screening del modello danno risultati così diversi.So (o credo) che lo screening del modello non trova gli iperparametri di ottimizzazione tanto quanto le singole piattaforme di modellazione, ma la differenza tra 0,7 e 0,5 sui dati di addestramento mi sembra troppo grande.