La modellazione predittiva consiste nel trovare il modello che prevede con precisione il risultato di interesse. Diciamo, per esempio, che voglio prevedere la progressione di una particolare malattia – in questo caso il diabete – dopo un anno, sulla base di una serie di fattori. Più specificamente, voglio identificare i pazienti che hanno maggiori probabilità di avere un'elevata progressione della malattia in modo da poter effettuare interventi appropriati.
Io ho JMP Pro, e so che ci sono diversi possibili modelli predittivi che posso adattare. Ad esempio, posso adattare un modello di regressione, vari tipi di modelli basati su alberi o una rete neurale, solo per citarne alcuni. Quale piattaforma di modellazione dovrei usare? Quale tipo di modello prevederà il risultato in modo più accurato? Per ogni data situazione di modellazione, il modello migliore dipende in gran parte dai dati: non esiste un tipo di modello che funzioni meglio per tutti i problemi.
Per trovare il modello migliore per lo scenario del diabete, posso adattare tutti i possibili modelli, uno alla volta, utilizzando la convalida incrociata. Posso salvare i singoli modelli nella tabella dei dati o nel Formula Depot, quindi utilizzare Model Comparison per confrontare le prestazioni dei modelli sul set di convalida per selezionare quello migliore. Oppure posso selezionare la migliore combinazione di modelli. Anche se questo metodo è più che utile, richiede un po' di lavoro.
Ora, con la nuova piattaforma Model Screening in JMP Pro 16, abbiamo reso tutto molto più semplice. Model Screening fornisce un flusso di lavoro efficiente per l'adattamento, il confronto, l'esplorazione, la selezione e l'implementazione simultanea del miglior modello predittivo.
Per illustrare, utilizzerò i dati sul diabete dalla libreria JMP Sample Data. La risposta, o variabile di esito, è Y Binary, che ha due possibili valori: Basso (per progressione della malattia bassa) e Alto. I predittori, o fattori, sono l'età attraverso il glucosio.
Seleziono Screening modello dal menu Analizza > Modellazione predittiva e specifico la risposta e i fattori. La colonna Convalida suddivide i dati in set di addestramento e convalida, quindi la userò per la convalida del modello.
La parte superiore della finestra di dialogo Model Screening è mostrata qui:
Nella parte inferiore della finestra di dialogo, sono disponibili diversi metodi di modellazione tra cui scegliere, insieme a molte diverse opzioni di adattamento e convalida incrociata. Nota che XGBoost è un metodo disponibile, perché ho installato il file Componente aggiuntivo XGBoost dal Comunità di utenti JMP .
Userò i modelli predefiniti, ma aggiungerò interazioni bidirezionali e imposterò il seme casuale su 11111 per rendere riproducibili i miei risultati.
Tutti i modelli che hanno senso per questi dati sono adatti e vengono fornite diverse statistiche di convalida. I modelli sono ordinati in ordine decrescente di Generalized RSquare, ma per trovare il modello o i modelli che si distinguono in tutte le statistiche di convalida, farò clic su Seleziona dominante.
Vedo che i modelli di punta, nel complesso, sono Neural Boosted e Generalized Regression Lasso con interazioni bidirezionali.
Per esplorare le classificazioni per questi modelli, selezionerò Soglia di decisione dal menu del triangolo rosso in alto. Questa opzione fornisce una grande quantità di informazioni per confrontare l'accuratezza della classificazione dei modelli selezionati. La sezione superiore mostra la ripartizione delle classificazioni vero e falso per ciascun modello e, se cambio la soglia di probabilità (trascinando la linea di scorrimento o utilizzando la casella di modifica), posso vedere come cambiano le classificazioni e gli errori di classificazione per diversi limiti.
La sezione inferiore contiene schede che mostrano diversi grafici e metriche di classificazione. La scheda Metriche per i dati di convalida è mostrata qui. In questo scenario, voglio identificare i pazienti che hanno maggiori probabilità di avere un alto tasso di progressione del diabete. Quindi, voglio trovare il modello che si traduce nel tasso di falsi negativi più basso. A una soglia di probabilità di 0,42, il modello di regressione generalizzata ha un basso tasso di falsi negativi, pur mantenendo un basso tasso di falsi positivi rispetto all'altro modello.
Ora, potrei voler dare un'occhiata più da vicino a questo modello. Lo screening del modello lo rende perfetto. Posso facilmente eseguire il modello selezionato in una nuova finestra facendo clic su Esegui selezionato.
Oppure, senza uscire da Screening modello, posso vedere i risultati direttamente nella struttura Dettagli come mostrato qui. In Model Screening ho accesso a tutte le opzioni che vedrei in Generalized Regression. Quindi, ad esempio, posso interagire con il percorso della soluzione e posso salvare o pubblicare il modello per la distribuzione. Posso persino eseguire altri modelli per vedere se posso ottenere ulteriori miglioramenti nella precisione del modello.
Ho solo toccato la superficie di Model Screening qui, ma spero che tu possa vedere come questo flusso di lavoro semplificato può aiutarti a risparmiare un sacco di tempo e fatica! Devi semplicemente specificare le variabili nel tuo modello, selezionare i modelli che desideri adattare e il metodo di convalida e Model Screening fa il resto!
Per saperne di più sull'adattamento e la convalida dei modelli predittivi in JMP Pro, vai a la pagina delle caratteristiche principali sul nostro sito web.
Cosa dicono i clienti
"Avendo utilizzato lo screening del modello su JMP Pro 16 beta negli ultimi mesi, è già diventato una parte indispensabile della mia ricerca sulla modellazione predittiva della barriera corallina. Sebbene i modelli potessero essere confrontati piuttosto facilmente nelle versioni precedenti di JMP Pro (ad esempio, la piattaforma di "confronto modelli" di JMP Pro 15), questo nuovo strumento rende ancora più semplice per gli utenti testare contemporaneamente molti modelli diversi (ad esempio, gen-reg, PLS, discriminante, reti neurali, ecc.) con lo stesso set di dati. Qualcosa che una volta mi richiedeva ore o addirittura giorni ora può essere fatto in pochi minuti (o addirittura secondi).Wow, che grande caratteristica! Questo sicuramente deve essere il più grande miglioramento dalla versione 15 alla 16, e sono sicuro che molti altri si sentiranno allo stesso modo."
- Anderson Mayfield, National Oceanic and Atmospheric Administration (NOAA) e l'Università di Miami
CIAO @PatrickGiuliano , questo era un esempio relativamente superficiale e ho scelto 0,42 come soglia a scopo illustrativo. L'obiettivo qui era trovare un limite che portasse a un basso tasso di falsi negativi mantenendo un basso tasso di falsi positivi. Ma, ciò che costituisce tariffe accettabili? Ciò dipende in gran parte dalla situazione o dal problema della ricerca e dai "costi" di un particolare tipo di errore. Per una situazione particolare, potresti essere disposto ad accettare un tasso di falsi positivi più elevato se si traduce in un tasso di falsi negativi migliore.I grafici possono aiutare a trovare il punto debole, per bilanciare i due tassi.
Questo è un piccolo set di dati, quindi i risultati sono abbastanza granulari. Ma, nel secondo grafico qui, vedo che il tasso di falsi positivi per il potenziamento neurale inizia a crescere rapidamente dopo circa 0,45 o 0,5, e il tasso di falsi negativi scende rapidamente fino a quel punto e inizia a stabilizzarsi un po'.
L'idea di aggiungere un'opzione "impostazioni ricordate" è convincente. Saresti disposto a postarlo nella Wish List di JMP?
Grazie!
Mia
@mia_stephens questo è fantastico, sono incuriosito dalla funzione "Soglie di decisione" e sto cercando di capirlo un po' meglio.Nel tuo esempio qui, hai essenzialmente scelto l '"intersezione" sul conteggio degli errori di classificazione rispetto alla soglia di probabilità per le curve alte (il punto che ho cerchiato in nero nell'immagine allegata) nel determinare che la soglia di probabilità di 0,42 sarebbe una buona scelta per ridurre al minimo i falsi negativi (mantenendo il tasso di falsi positivi all'incirca allo stesso livello?)
Ho usato JMP 16 EA8 e ho eseguito quasi la stessa configurazione, tranne per il fatto che ho specificato "XGBoost" come opzione di adattamento del modello nella finestra di dialogo di screening del modello (mantenuto lo stesso seme casuale a 1111). 
Forse una funzione utile qui sarebbe quella di "ricordare le impostazioni" in un modo simile a quello che può essere fatto nel Prediction Profiler (dove genera un pulsante di opzione per raggiungere le impostazioni salvate) in modo da poter passare facilmente tra diverse soglie di probabilità per vedere direttamente/ confronta l'effetto alle soglie specifiche che ti interessano. Immagine di esempio allegata.
