Il miglior approccio di modellazione predittiva per i dati sanitariCiao a tutti,
Questo è più "sput balling" che altro, quindi ecco qui. In poche parole, sto cercando di sviluppare un test diagnostico per i coralli di barriera in modo da poter sapere quali probabilmente moriranno a causa del cambiamento climatico e quali no. Da una serie di esperimenti condotti in laboratorio, ora conosco le firme proteiche associate ai coralli resilienti e sensibili allo stress, quindi, in teoria, ora potrei avere la capacità di uscire nell'oceano, campionare nuove colonie che non ho non avere alcuna conoscenza a priori e fare previsioni sulla loro salute.
Analiticamente, ho provato parecchie cose con le proteine che ho profilato, grandi proporzioni delle quali sono collineari (rendendo gli approcci di regressione standard poco adatti). Sembra che l'utilizzo dell'approccio di analisi discriminante per set di dati di coralli "sani" e "stressati" possa darmi la risposta che desidero. Ho giocato con l'analisi discriminante graduale e fondamentalmente ho cercato di identificare il numero minimo di proteine che ordinassero correttamente al 100% i campioni in base allo stato di salute. Sto interpretando correttamente? Sembra che l'analisi discriminante sia fondamentalmente un MANOVA con una sorta di funzione predittiva (sebbene MANOVA non possa essere utilizzato in questo caso poiché ho 272 proteine misurate in soli 11 campioni).
Oggi ho visto un fantastico webinar JMP sulla regressione generalizzata, quindi ci ho giocato. Ho impostato la mia Y come stato di salute (binomio: sano vs. stressato) e ho usato le 272 proteine come variabili x. In alcuni casi, l'insieme finale di proteine "più informative" era simile a quelle derivate dal DCA, ma tendeva ad essercene di più (dell'ordine di cinque proteine potrebbero essere fondamentalmente utilizzate per costruire un modello in grado di prevedere con precisione la salute dei coralli). Un problema, ovviamente, è che sto usando campioni di cui conosco già la risposta (cioè, se i coralli sono vissuti o sono morti). Rischio quindi di averla sovraccaricata. L'analisi discriminante sembra letteralmente adattarsi completamente ai dati, forse senza lasciare spazio di manovra per casualità o rumore. Dato che ho creato una colonna di convalida per la regressione generalizzata, ciò dovrebbe, in parte, ridurre la possibilità di un adattamento eccessivo, giusto?
E poi ci sono minimi quadrati parziali, ma ogni volta che ho usato PLS con set di dati OMICS (trascrittoma o proteoma), l'R2 è sempre pietosamente basso, come 0,05-0,07. La scorsa settimana ho visto un webinar davvero eccellente sulla regressione generalizzata in cui il presentatore utilizza fondamentalmente Formula Depot per compilare i modelli derivati da una serie di approcci, che sostanzialmente mi hanno dato l'idea di fare questo tipo di analisi. Immagino, in chiusura, che la mia domanda principale sia, quando si tenta di creare modelli predittivi per una risposta binomiale (sana vs. malata, in questo caso) con centinaia o migliaia di predittori, uno qualsiasi di questi metodi è considerato l'"oro standard?" Potrebbe anche valere la pena ricordare che i dati sono generalmente distribuiti in modo non normale. Questo set di dati è molto piccolo e, se si fa clic sulla PCA, i campioni non sani sono facilmente distinguibili.
Re: Il miglior approccio di modellazione predittiva per i dati sanitariUna cosa da tenere a mente è anche il tuo approccio generale perché sembra davvero rispetto al tuo problema globale, c'è un approccio in due fasi,
Passaggio 1: modellazione esplicativa per provare a caratterizzare un sistema, quindi è necessario esaminare prima i metodi di modellazione i cui punti di forza sono l'identificazione/riduzione delle variabili.
Passaggio 2: modellazione predittiva per fare affermazioni sulla salute futura o sui nuovi sistemi corallini e prospettive per il loro futuro. Quindi modelli in cui le capacità predittive sono le più desiderabili.
Un bel webinar che aiuta a differenziare gli approcci è qui:
https://www.jmp.com/en_us/events/ondemand/analytictically-looking/to-explain-or-predict-that-is-the-question.html
Re: Il miglior approccio di modellazione predittiva per i dati sanitariGrazie a tutti per i vostri suggerimenti e feedback. Mi rendo conto che cercare di prevedere il destino dei coralli in natura sulla base di 11 campioni di un singolo esperimento condotto nel 2010 è a dir poco precario! Fortunatamente, ho raccolto tonnellate di dati sul campo da diversi coralli raccolti a diverse temperature, salinità, livelli di luce, paesi, latitudini, ecc. e spero di unire questi dati con quelli degli esperimenti di laboratorio per iniziare a mettere insieme una sorta di corallo sistema diagnostico. Mi piace l'approccio ai biomarcatori del sangue umano in cui ti mostrano la tua concentrazione, così come il normale intervallo "sano". Non sappiamo ancora quali siano gli intervalli salutari per i coralli, quindi potrebbe essere qualcosa che deve essere elaborato prima.
In termini del miglior approccio di modellazione per questo tipo di attività, credo di essere felice di sentire che nessuno ha detto "dovresti assolutamente usare questo approccio, che hai totalmente trascurato di menzionare" poiché ho fondamentalmente indagato su tutti i vari opzioni là fuori. Alla fine, probabilmente finirò per usare un mix di approcci, anche se sto diventando sempre più interessato a questi modelli di regressione generalizzati perché sembrano trovare un buon equilibrio tra il NON overfitting ma NON la realizzazione di un modello così complesso da non avrebbe alcuna applicazione pratica. Poi di nuovo, questo potrebbe essere solo il caso del mio set di dati, piuttosto che una proprietà generale di questo approccio!
In ogni caso, sono lieto che così tanti algoritmi e piattaforme di questo tipo siano disponibili in JMP Pro. Non credo che sarò mai in grado di tornare al normale JMP ora!
Re: Il miglior approccio di modellazione predittiva per i dati sanitariDarò il mio scarso feedback... Mi sembra che una delle domande a cui stai cercando di rispondere sia: "Gli studi che ho svolto in un ambiente di laboratorio hanno qualche capacità di trarre conclusioni nel "mondo reale"? Non credo che si possa rispondere a questo attraverso l'analisi dei dati. Quello che suggerisco è di concentrarti su due cose:
1. Sviluppare variabili di risposta migliori (rispetto a discrete). Questo può assumere la forma di una variabile continua (ad esempio, gradazione di candeggina, percentuale di proteine x, ecc.) o se non è possibile creare una risposta continua, creare almeno una risposta ordinale.
2. Progettare piani di campionamento. I piani di campionamento vengono creati in funzione delle tue ipotesi. I piani possono essere gerarchici (nidificati), sistematici o incrociati. Hanno lo scopo di separare e assegnare diverse fonti di variazione e aumentare lo spazio di inferenza. Quindi dovrebbe sembrare che tu sia interessato a ciò che causa il degrado delle barriere coralline. Puoi campionare le barriere coralline reali in funzione delle tue ipotesi. Diciamo che ipotizzi che la salinità ambientale abbia qualche effetto. Dovresti prelevare più campioni all'interno della stessa salinità e quindi campionare da un luogo che ha una diversa quantità di salinità. Diciamo che la tua ipotesi ha qualcosa a che fare con i contaminanti ambientali. La stessa idea prende le mele, preleva più campioni da un'area di contaminanti "uguali" e quindi seleziona un luogo diverso in cui la contaminazione è diversa. Naturalmente questo può essere accelerato con idee di progettazione sperimentale, ma gli esperimenti devono essere condotti nel mondo reale, non in laboratorio. Vedi Fisher, et. al.
Re: Il miglior approccio di modellazione predittiva per i dati sanitari@abmayfield : Tornerò alla tua '...domanda principale...', rispetto a una metodologia di modellazione 'gold standard'. IMO la nozione di "gold standard" è semplicemente impossibile da specificare. Se posso diventare un po' filosofico, c'è un motivo per cui così tanti metodi di modellazione sono "là fuori". Se si ripensa alla crescita e alla proliferazione dei metodi di modellazione, è davvero perché nessun metodo funziona meglio per tutti i tipi di problemi e dati. Quindi l'idea che ho sempre predicato ai praticanti è di provarne MOLTI per i TUOI problemi e dati e poi vedere quale funziona 'meglio'. Per le risposte categoriali binarie, alcuni metodi chiave di diagnostica del modello sono il tasso di classificazione errata, le curve ROC e così via. Le piattaforme Formula Depot e Model Comparison di JMP Pro possono rendere efficiente l'attività di confronto.
Re: Il miglior approccio di modellazione predittiva per i dati sanitariGrazie per aver dato un'occhiata a questo. Sono stato deliberatamente vago sulla mia vera domanda biologica, quindi forse espandendomi renderà le mie domande e le mie esigenze più chiare. Voglio prevedere quali coralli si canderanno (un processo in cui diventano bianchi a causa della perdita di simbionti e poi muoiono). Fondamentalmente, ho monitorato la biologia molecolare dei coralli nei giorni-settimane precedenti lo sbiancamento in modo da poter mettere in relazione le concentrazioni di biomarcatori e la probabilità di sbiancamento. Fondamentalmente, le varie piattaforme multivariate producono risultati simili rispetto alla selezione dei biomarcatori candidati (cioè le proteine che meglio distinguono i coralli inclini allo sbiancamento da quelli resistenti allo sbiancamento). Quello che mi chiedo, però, è se questi risultati avranno un valore predittivo nel mondo reale quando li testerò con coralli non ancora campionati. Ho chiaramente bisogno di un modello con una certa flessibilità e penso che alcuni degli approcci che ho provato non siano approcci di modellazione predittiva di per sé, ma esplicativi, nel qual caso si adattano al 100% dei dati e quindi sono inclini a un adattamento eccessivo . Forse questa è una testimonianza dell'avere solo 11 coralli e 272 caratteristiche, cioè il modello risultante sarà intrinsecamente overfit.
https://www.jmp.com/en_us/events/ondemand/mastering-jmp/using-jmp-pro-to-build-generalized-regression-models.html Questo webinar sta cercando di ottenere qualcosa di simile anche se con gli esseri umani (collegando la probabilità di contrarre il diabete dalle firme dei biomarcatori). Tuttavia, in questo caso, la Y è una variabile continua, quindi forse devo cercare di capire come classificare i coralli, come hai detto, lungo un continuum da 0 a 10 o qualcosa del genere.
Re: Il miglior approccio di modellazione predittiva per i dati sanitariChiaramente non capisco il tuo problema, quindi questo commento potrebbe non essere utile.Se hai davvero oltre 800 funzioni e 11 osservazioni, non riesco a immaginare di poter concludere nulla.Non dovrebbe essere difficile distinguere tra osservazioni sane e malsane (letteralmente, dovresti essere in grado di farlo con quasi tutti i set di una manciata di quelle caratteristiche, anche se sarebbe in gran parte un modello privo di significato).Ancora più importante, non sono affatto sicuro della tua variabile di risposta dicotomica.Le barriere coralline sono davvero sane o malsane, senza gradazioni?Di solito, studi sulla salute come questo tratterebbero questi dati come dati censurati: le osservazioni vengono prese in un determinato momento e in quel momento i campioni malsani potrebbero essere osservati mentre quelli sani devono essere trattati come sani finora (il che significa il tempo per un cattivo esito è la variabile di risposta continua e i dati sono censurati).Oppure stai proponendo di prendere osservazioni solo in un momento in cui puoi dichiarare definitivamente il reef sano o malsano?
