La modellazione predittiva consiste nel trovare il modello che predice accuratamente il risultato di interesse. Diciamo, ad esempio, che voglio prevedere la progressione di una particolare malattia – in questo caso il diabete – dopo un anno, sulla base di una serie di fattori. Più specificamente, voglio identificare i pazienti che hanno maggiori probabilità di avere un'elevata progressione della malattia in modo che possano essere effettuati interventi appropriati.
io ho JMP Pro, e so che ci sono diversi possibili modelli predittivi che posso adattare. Ad esempio, posso adattare un modello di regressione, vari tipi di modelli basati su alberi o una rete neurale, solo per citarne alcuni. Quale piattaforma di modellazione dovrei usare? Quale tipo di modello prevederà il risultato in modo più accurato? Per ogni data situazione di modellazione, il modello migliore dipende in gran parte dai dati: non esiste un tipo di modello che funzioni meglio per tutti i problemi.
Per trovare il modello migliore per lo scenario del diabete, posso adattare tutti i possibili modelli, uno alla volta, utilizzando la convalida incrociata. Posso salvare i singoli modelli nella tabella dei dati o nel deposito delle formule, quindi utilizzare il confronto dei modelli per confrontare le prestazioni dei modelli sul set di convalida per selezionare quello migliore. Oppure posso selezionare la migliore combinazione di modelli. Anche se questo metodo fa più che portare a termine il lavoro, richiede un po' di lavoro.
Ora, con la nuova piattaforma Model Screening in JMP Pro 16, abbiamo reso tutto molto più semplice. Model Screening fornisce un flusso di lavoro efficiente per adattare, confrontare, esplorare, selezionare e quindi distribuire contemporaneamente il miglior modello predittivo.
Per illustrare, utilizzerò i dati sul diabete della libreria JMP Sample Data. La risposta, o variabile di esito, è Y Binaria, che ha due possibili valori: Bassa (per una bassa progressione della malattia) e Alta. I predittori, o fattori, sono l'età attraverso il glucosio.
Seleziono Screening modello dal menu Analizza > Modellazione predittiva e specifico la risposta ei fattori. La colonna Convalida suddivide i dati in set di addestramento e convalida, quindi lo userò per la convalida del modello.
La parte superiore della finestra di dialogo Screening modello è mostrata qui:
Nella parte inferiore della finestra di dialogo, sono disponibili diversi metodi di modellazione tra cui scegliere, insieme a molte diverse opzioni di adattamento e convalida incrociata. Nota che XGBoost è un metodo disponibile, perché ho installato il file Componente aggiuntivo XGBoost dal Comunità di utenti JMP .
Userò i modelli predefiniti, ma aggiungerò interazioni bidirezionali e imposterò il seme casuale su 11111 per rendere riproducibili i miei risultati.
Tutti i modelli che hanno senso per questi dati sono idonei e vengono fornite diverse statistiche di convalida. I modelli sono ordinati in ordine decrescente rispetto a Generalized RSquare, ma per trovare il modello o i modelli che si distinguono in tutte le statistiche di convalida, faccio clic su Seleziona dominante.
Vedo che i modelli di punta, nel complesso, sono Neural Boosted e Generalized Regression Lasso con interazioni bidirezionali.
Per esplorare le classificazioni per questi modelli, selezionerò Decision Threshold dal menu del triangolo rosso in alto. Questa opzione fornisce una vasta gamma di informazioni per confrontare l'accuratezza della classificazione dei modelli selezionati. La sezione superiore mostra la suddivisione delle classificazioni vero e falso per ciascun modello e, se cambio la soglia di probabilità (trascinando la barra di scorrimento o utilizzando la casella di modifica), posso vedere come cambiano le classificazioni e gli errori di classificazione per diversi limiti.
La sezione inferiore contiene schede che mostrano diversi grafici e metriche di classificazione. La scheda Metriche per i dati di convalida è mostrata qui. In questo scenario, voglio identificare i pazienti che hanno maggiori probabilità di avere un alto tasso di progressione del diabete. Quindi, voglio trovare il modello che si traduce nel tasso di falsi negativi più basso. A una soglia di probabilità di 0,42, il modello di regressione generalizzata ha un basso tasso di falsi negativi, pur mantenendo un basso tasso di falsi positivi rispetto all'altro modello.
Ora, potrei voler dare un'occhiata più da vicino a questo modello. Model Screening rende tutto questo senza soluzione di continuità. Posso facilmente eseguire il modello selezionato in una nuova finestra facendo clic su Esegui selezionato.
Oppure, senza uscire dallo screening del modello, posso vedere i risultati direttamente nella struttura dei dettagli come mostrato qui. In Model Screening ho accesso a tutte le opzioni che vedrei in Generalized Regression. Così, ad esempio, posso interagire con il percorso della soluzione e posso salvare o pubblicare il modello per la distribuzione. Posso anche eseguire altri modelli per vedere se riesco a ottenere ulteriori miglioramenti nella precisione del modello.
Ho solo toccato la superficie dello Screening del modello qui, ma spero che tu possa vedere come questo flusso di lavoro semplificato può aiutarti a risparmiare un sacco di tempo e fatica! Devi semplicemente specificare le variabili nel tuo modello, selezionare i modelli che desideri adattare e il metodo di convalida, e lo Screening del modello farà il resto!
Per ulteriori informazioni sull'adattamento e la convalida dei modelli predittivi in JMP Pro, vai a la pagina delle caratteristiche principali al nostro sito web.
Cosa dicono i clienti
"Avendo utilizzato lo screening del modello su JMP Pro 16 beta negli ultimi mesi, è già diventato una parte indispensabile della mia ricerca sulla modellazione predittiva della barriera corallina. Sebbene i modelli possano essere confrontati piuttosto facilmente nelle versioni precedenti di JMP Pro (ad es. la piattaforma di "confronto dei modelli" di JMP Pro 15), questo nuovo strumento rende ancora più semplice per gli utenti testare contemporaneamente molti modelli diversi (ad es. gen-reg, PLS, discriminante, reti neurali, ecc.) con lo stesso set di dati. Qualcosa che una volta mi richiedeva ore o addirittura giorni ora può essere fatto in pochi minuti (o addirittura secondi).Wow, che grande caratteristica! Questo sicuramente deve essere il più grande miglioramento dalla versione 15 alla 16, e sono sicuro che molti altri si sentiranno allo stesso modo".
- Anderson Mayfield, National Oceanic and Atmospheric Administration (NOAA) e University of Miami
CIAO @Patrick Giuliano , questo era un esempio relativamente superficiale e ho optato per 0,42 come soglia a scopo illustrativo. L'obiettivo qui era trovare un limite che portasse a un basso tasso di falsi negativi mantenendo un basso tasso di falsi positivi. Ma cosa costituisce tariffe accettabili? Ciò dipende in gran parte dalla situazione o dal problema della ricerca e dai "costi" di un particolare tipo di errore. Per una situazione particolare, potresti essere disposto ad accettare un tasso di falsi positivi più alto se si traduce in un tasso di falsi negativi migliore.I grafici possono aiutare a trovare il punto debole, per bilanciare i due tassi.
Questo è un piccolo set di dati, quindi i risultati sono abbastanza granulari. Ma, nel secondo grafico qui, vedo che il tasso di falsi positivi per il potenziamento neurale inizia a crescere rapidamente dopo circa 0,45 o 0,5 e il tasso di falsi negativi diminuisce rapidamente fino a quel punto e inizia a stabilizzarsi leggermente.
L'idea di aggiungere un'opzione "impostazioni ricordate" è avvincente. Saresti disposto a pubblicarlo nella Wish List di JMP?
Grazie!
Mia
@mia_stephens questo è fantastico, sono incuriosito dalla funzione "Soglie di decisione" e sto cercando di capirla un po' meglio.Nel tuo esempio qui, hai essenzialmente scelto l'"intersezione" sul conteggio di classificazione errata rispetto alla soglia di probabilità per le curve alte (il punto che ho cerchiato in nero nell'immagine allegata) nel determinare che la soglia di probabilità di 0,42 sarebbe una buona scelta per ridurre al minimo i falsi negativi (mantenendo il tasso di falsi positivi all'incirca allo stesso livello?)
Ho usato JMP 16 EA8 e ho eseguito quasi la stessa configurazione, tranne per il fatto che ho specificato "XGBoost" come opzione di adattamento del modello nella finestra di dialogo di screening del modello (mantenendo lo stesso seme casuale a 1111). 
Forse una caratteristica utile qui sarebbe quella di "ricordare le impostazioni" in un modo simile, poiché ciò può essere fatto nel profilo di previsione (dove genera un pulsante di opzione per raggiungere le impostazioni salvate) in modo da poter passare facilmente tra diverse soglie di probabilità per vedere direttamente/ confronta l'effetto alle soglie specifiche che ti interessano. Esempio di immagine allegata.
