Combinazione di modelliSe ho imparato una cosa da Discovery Summit Americas quest'anno, è stato quanto sia comune fare la media e/o creare modelli di insieme, qualcosa di cui avevo sentito parlare ma che non avevo mai considerato (essendo un novizio di modellazione). Così ho deciso di farlo. Creare un modello d'insieme è facile; Ho salvato il modello come formula di previsione e l'ho semplicemente inclusa come predittore nella fase successiva di screening del modello (utilizzando la schermata del modello di JMP Pro 16). Quello che sembrerebbe più semplice, il modello di media, mi confonde. Se trovo due modelli che mi piacciono, salvo entrambi come formule di previsione nella mia tabella dati, quindi creo una nuova colonna in cui sono combinati, sembra che la probabilità venga combinata, ma la formula non è in una sintassi in cui io potrebbe applicarlo a nuovi dati (mostra solo la media delle probabilità). Se pubblico entrambi i modelli nel Formula Depot, posso fare la media in questo modo abbastanza facilmente, quindi questa è la mia soluzione attuale, ma non dovrei anche essere in grado di calcolarne la media nella tabella stessa? Penso che il problema potrebbe essere che, poiché la formula di previsione ha una formula E una probabilità, quando vado a combinarle, viene calcolata solo la probabilità, quando in realtà voglio fare la media delle formule stesse. Posso fare la media di entrambi in un modo che mi permetta di copiare quella formula mediata in una nuova tabella di dati e testarla con nuovi dati? In caso contrario, Formula Depot è stato progettato per fare proprio questo, quindi non è un grosso problema. Voglio solo avere alcune opzioni! Forse rimuovo solo la parte di probabilità in cui viene lasciata SOLO la formula nella cella delle informazioni della colonna?
AnalisiRe: Combinazione di modelliDalla tua descrizione, sembra che tu voglia fare la media delle previsioni (discrete) piuttosto che delle probabilità (continue).Non l'ho visto fare in questo modo.Esiste una tecnica, la previsione conforme, progettata per vedere quanto siano robuste le previsioni da un modello.Ma quello che stai descrivendo sarebbe simile al seguente: supponiamo che ci siano 2 classi da prevedere e le codifichi come continue, 0 e 1. Supponiamo di avere 3 modelli: 2 di loro prevedono uno 0 per un caso particolare e 1 prevede un 1 Quindi, la tua "media" produrrebbe un risultato di 1/3 che immagino prenderesti come probabilità di ottenere un 1. Idea interessante ma non sono sicuro di quale base statistica abbia un tale approccio.Inoltre, sembra che sarebbe limitato alle classificazioni binarie (anche se questo è solo un limite).Sarò curioso di vedere quali altre risposte otterrai.
Re: Combinazione di modelliCiao @abmayfield ,
Mi è piaciuto il tuo discorso, ho dovuto guardarlo su richiesta, non sono riuscito a partecipare alla visione dal vivo e alle domande e risposte.
Normalmente, potresti fare la media delle colonne di previsione se stai eseguendo una tipica formula di regressione, qualcosa che è numerico. Prenderesti semplicemente la media dei due. Ma, dal momento che stai lavorando con un valore categorico sì o no (o anche forse), diventa più complicato perché deve trasformare gli input numerici X in una funzione logistica che poi trova la probabilità e confronta i risultati con un IfMax ( ) funzione.
Prendiamo ad esempio il file Big Class. Se provi a prevedere :sex con :height e :weight, ottieni una funzione di output logistica, nel mio esempio, sto cercando di prevedere sex = M. Esistono tuttavia funzioni intermedie che vengono utilizzate per determinare Prob[M] e Prob[F]. La funzione lineare è proprio questo, qualcosa come Lin[M] = a + b*:altezza + c*:peso, dove a, b e c sono solo coefficienti di adattamento. Per ottenere le probabilità JMP utilizza quindi la trasformazione 1/(1_exp(-Lin[M])) per Prob[M] e 1/(1+exp(Lin[M]) per Prob[F], che è solo 1- Prob[M]. Il risultato più probabile è quindi MaxIf(Prob[M]=>M, Prob[F]=>F) e qualunque Prob[y] sia maggiore è il risultato più probabile, M o F.
Nel tuo caso, se lavori con risultati categorici, penso che dovrai fare la media delle funzioni Lin[Y] per poi trasformarlo in una probabilità. È la funzione lineare che si adatta ai dati, non la funzione di probabilità, ecco perché devi fare la media prima di trasformare la funzione lineare.
Se puoi cambiare il tuo risultato in una risposta continua, allora una semplice media di formule di previsione è semplice. Finché il tipo di modellazione è nominale o ordinale, JMP lo tratterà come livelli discreti ed eseguirà ogni volta la modellazione logistica.
Un'idea che ho dovuto usare forse una scala continua è quella di rappresentare la percentuale di sbiancamento all'interno di una determinata area. Diciamo che assegni 100 cm^2 (una toppa di 10 cmx10 cm) di corallo e determini che circa 2 cmX3 cm (o 6 cm^2) sono sbiancati, quindi la percentuale di sbiancamento sarebbe del 60%. In questo modo, potresti ottenere una rappresentazione più accurata di quanto un esemplare di corallo è sbiancato e ora hai una risposta continua che può essere modellata con regressione vs classificazione.
Spero questo sia di aiuto!,
DS
PS Il Discovery Summit è stato fantastico. Mi sono piaciuti molto i discorsi. Inoltre, sto aggiornando la mia GUI per generare automaticamente le tabelle di ottimizzazione in base all'input dell'utente. Ti farò sapere quando la nuova versione sarà pronta. Dovrebbe aiutare ad automatizzare ancora di più il processo generando un progetto di riempimento dello spazio con il numero di esecuzioni che si desidera eseguire.
Re: Combinazione di modelliSì! Credo, come al solito, che tu abbia ragione riguardo alla strana natura del tentativo di prevedere una variabile categoriale, in cui hai effettivamente bisogno di due equazioni, rendendo così le cose più complicate. Quello che spero di fare alla fine è avere una dimensione del campione abbastanza grande da dove ho un vero gradiente, 1-10, 1-5 o 1-100, l'idea è la stessa: 1=terribile, il numero più alto=ottimo . Anche in questo caso, ho due categorie (resistente allo sbiancamento vs. sensibile allo sbiancamento) o talvolta tre (le prime due + "intermedio"). Potrei giocare a ricodificarli come 1, 50 e 100 rispettivamente per suscettibili, intermedi e resistenti e vedere che tipo di risultati ottengo. Penso che più campioni ottengo e analizzo, più senso ha che la mia Y sia una variabile continua. Con 20 campioni con cui sto giocando ora, non ho dati sufficienti per andare essenzialmente oltre i 2-3 contenitori. Ma sarà interessante vedere se i miei modelli sembrano molto diversi quando ricodico le mie classificazioni categoriali in una variabile continua. Sicuramente renderebbe tutta la costruzione di modelli più fluida. E in realtà, in natura NON sarà così semplice come "sano" vs "malato"; Mi aspetto di raccogliere un gradiente che abbraccia uno spettro di salute come vedresti negli esseri umani (ad esempio, quello che vedi nel set di dati del diabete JMP). La cosa divertente di questo esercizio, tuttavia, per quanto riguarda il punteggio di probabilità, è che non ho mai guardato così tanto; Sono andato direttamente all'"ipotesi" di JMP. Ma ora guardare le probabilità effettive è super interessante perché questo è in definitiva ciò che voglio segnalare: il corallo A ha una probabilità del 95% di sbiancarsi. Quindi, attraverso questo esercizio di calcolo della media del modello, ho accidentalmente raccolto alcune sfumature interessanti che prima mi ero completamente perso! E come ho detto prima, anche se per il momento sono "bloccato" con risposte categoriali, la funzione di media del modello di Formula Depot funziona bene per questo.
Sarai felice di sapere che, grazie alla tua GUI, ci sono oltre 20.000 modelli di reti neurali (21.450, ma chi conta?!) nel mio articolo inviato di recente (che descrive essenzialmente la fase 1 = l'esperimento di laboratorio). Ovviamente, solo una manciata ha superato tutti i controlli di qualità, con ancora meno argomenti discussi a lungo nel testo, ma è stato estremamente utile vedere quali parametri NN sono essenzialmente più importanti per me da regolare. Inoltre, voglio costruire il modello più semplice, (potenzialmente) più parsimonioso, quindi se un NN ha due livelli nascosti, ciascuno con tre nodi di attivazione, mentre un secondo modello ha un livello con NTANH(3), a parità di tutto il resto, io Sceglierei quest'ultimo, anche se immagino che questo non sia davvero critico poiché anche il più semplice è piuttosto complesso. Una cosa che ho cercato di imparare quest'anno al Discovery, cosa che ho fatto grazie a Chris Gotwalt, è se le metriche di importanza variabile sotto NN Profiler possono essere utilizzate essenzialmente per dirti quali analiti sono stati più influenti nel modello. La vecchia regola era che le NN sono una scatola nera, ed è troppo complicato scoprire quali variabili di risposta fossero più importanti, ma sono felice di vedere che questo non è del tutto vero. Sono difficili da interpretare? Sì. Puoi dire che il comportamento di una proteina si adatta in un modo particolare e facilmente definibile con il potere predittivo del modello? Forse no. Ma se un biologo molecolare mi chiedesse: "Quali proteine del corallo erano più importanti nel tuo miglior modello NN" potrei almeno elencarne alcune dalla caratteristica di importanza variabile del profiler NN. Questo è in realtà il motivo per cui ho scelto di discutere il modello gen-reg nel mio intervento; Non ero sicuro di poter "fidarmi" del profiler per un NN (!), ma ora vedo che posso. Ma in ogni caso, questo è il motivo per cui, come modellista alle prime armi, traggo così tanto vantaggio da questo tipo di simposi. Grazie ancora per la tua risposta ben ponderata e per tutto il tuo aiuto in generale.
