Altoparlante
|
Trascrizione
|
| Mia Stephens |
screening del modello. |
| |
Se lavori con la modellazione predittiva, scoprirai che lo screening del modello ti aiuta a semplificare il flusso di lavoro della modellazione predittiva. |
| |
Quindi, in questo discorso fornirò una panoramica della modellazione predittiva, parlerò dei diversi tipi di modelli predittivi che possiamo utilizzare in JMP. |
| |
Parleremo del flusso di lavoro di modellazione predittiva all'interno del più ampio flusso di lavoro di analisi e vedremo come lo screening del modello può aiutarci a semplificare questo flusso di lavoro. |
| |
Parlerò di alcune metriche per confrontare i modelli concorrenti utilizzando i dati di convalida e vedremo un paio di esempi in JMP Pro. |
| |
Per prima cosa parliamo un po' della modellazione predittiva e di cos'è la modellazione predittiva. |
| |
Probabilmente sei stato esposto all'analisi della regressione e la regressione è un esempio di modellazione esplicativa. E nella regressione siamo tipicamente interessati a costruire un modello |
| |
per una risposta, o Y, in funzione di una o più X, e potremmo avere diversi obiettivi di modellazione. Potremmo essere interessati a identificare variabili importanti. Quindi quali sono le X chiave, o variabili di input chiave, |
| |
ad esempio, in un contesto di risoluzione dei problemi su cui potremmo concentrarci per affrontare il problema? |
| |
Potremmo essere interessati a capire come cambia, in media, la risposta in funzione delle variabili di input. |
| |
una variazione di una unità in X è associata a una variazione di cinque unità in Y. Quindi questo è il classico modello esplicativo e se hai studiato statistica a scuola, probabilmente è così che impari sulla regressione. |
| |
Ora, per contrastare, la modellazione predittiva ha un obiettivo leggermente diverso. Nella modellazione predittiva il nostro obiettivo è prevedere o classificare accuratamente i risultati futuri. |
| |
Quindi, se la nostra risposta è continua, vogliamo essere in grado di prevedere la prossima osservazione, il prossimo risultato, nel modo più preciso o accurato possibile. |
| |
E se la nostra risposta è categorica, allora siamo interessati alla classificazione. E ancora una volta siamo interessati a utilizzare i dati attuali per prevedere cosa accadrà a livello individuale in futuro. |
| |
E potremmo adattare e confrontare molti modelli diversi e nella modellazione predittiva potremmo anche utilizzare alcuni modelli più avanzati. Potremmo usare alcune tecniche di apprendimento automatico come le reti neurali. |
| |
E alcuni di questi modelli potrebbero non essere così facili da interpretare e molti di loro hanno molti parametri di messa a punto diversi che possiamo impostare. Di conseguenza, con la modellazione predittiva possiamo avere un problema con l'overfitting. |
| |
Ciò che significa overfitting è che ci adattiamo a un modello più complesso di quanto dovrebbe essere. |
| |
Quindi, con la modellazione predittiva generalmente utilizziamo la convalida e ci sono diverse forme di convalida che possiamo utilizzare. |
| |
Utilizziamo la convalida per il confronto e la selezione dei modelli e, fondamentalmente, protegge dall'overfitting ma anche dall'underfitting. |
| |
E l'underfitting è quando adattiamo un modello che non è così complesso come dovrebbe essere. Non sta davvero catturando la struttura nei nostri dati. |
| |
Ora, nell'appendice alla fine delle diapositive, ho estratto alcune diapositive che illustrano perché la convalida è importante, ma per il focus di questo discorso userò semplicemente la convalida quando inserisco i modelli predittivi. |
| |
Esistono molti tipi diversi di modelli che possiamo inserire in JMP Pro e questo non è affatto un elenco esaustivo. |
| |
Possiamo adattare diversi tipi di modelli di regressione. Se abbiamo una risposta continua, possiamo adattare un modello di regressione lineare. |
| |
Se la nostra risposta è categorica, un modello di regressione logistica, ma possiamo anche adattare modelli lineari generalizzati e penalizzare i metodi di regressione, e questi provengono tutti dalla piattaforma del modello di adattamento. |
| |
Ci sono molte opzioni sotto la piattaforma di modellazione predittiva, quindi reti neurali, reti neurali con potenziamento e diversi numeri di livelli e nodi, |
| |
alberi di classificazione e regressione e metodi basati su alberi più avanzati e molte altre tecniche. |
| |
E ci sono anche un paio di opzioni di modellazione predittiva dalla piattaforma dei metodi multivariati, quindi analisi discriminante |
| |
e i minimi quadrati parziali sono due diversi... due tipi aggiuntivi di modelli che possiamo utilizzare per la modellazione predittiva. E a proposito, i minimi quadrati parziali sono disponibili anche dal modello fit. |
| |
E perché abbiamo così tanti modelli? |
| |
Nella modellazione predittiva, scoprirai spesso che nessuno modella |
| |
o il tipo di modellazione funziona sempre al meglio. In determinate situazioni, una rete neurale potrebbe essere la migliore e le reti neurali generalmente hanno prestazioni piuttosto... piuttosto buone. |
| |
Ma in altri casi potresti scoprire che un modello più semplice funziona effettivamente meglio, quindi il tipo di modello che si adatta meglio ai tuoi dati e prevede in modo più accurato si basa in gran parte sulla tua risposta, ma anche sulla struttura dei tuoi dati. |
| |
Quindi potresti adattare diversi tipi di modelli e confrontare questi modelli prima di trovare il modello che si adatta in modo più accurato o prevede in modo più accurato. |
| |
Quindi, all'interno del flusso di lavoro analitico più ampio, in cui inizi con una sorta di problema che stai cercando di risolvere, e raccogli i dati, prepari i dati ed esplori i dati, |
| |
la modellazione predittiva è inattiva nei modelli di analisi e creazione. E il tipico flusso di lavoro di modellazione predittiva potrebbe assomigliare a questo, in cui si adatta un modello con la convalida. |
| |
Quindi salvi quella formula in una tabella di dati o la pubblichi nell'archivio delle formule. |
| |
E poi si monta un altro modello e lo si ripete, quindi si possono montare diversi modelli |
| |
e quindi confrontare questi modelli. E in JMP Pro, puoi utilizzare la piattaforma di confronto dei modelli per fare ciò e confrontare le prestazioni dei modelli sui dati di convalida, quindi scegli il modello migliore o i migliori modelli di combinazione e quindi distribuisci il modello. |
| |
E ciò che è diverso con lo screening del modello è che tutto l'adattamento e il confronto del modello, questa selezione viene eseguita all'interno di un'unica piattaforma, la piattaforma di screening del modello. |
| |
Quindi useremo un esempio con cui potresti avere familiarità, e c'è un blog sullo screening dei modelli che utilizza questi dati che sono pubblicati nella Community, e questi sono i dati sul diabete. |
| |
Quindi lo scenario è che i ricercatori vogliano prevedere il tasso di progressione della malattia, un anno dopo il basale. |
| |
Quindi ci sono diverse misurazioni di base e poi ci sono due diversi tipi di risposte. |
| |
La risposta Y è la misura quantitativa, una misura continua, quindi questo è il tasso di progressione della malattia e poi c'è una seconda risposta, Y binaria, che è alta o bassa. |
| |
Quindi Y Binary può rappresentare un alto tasso di progressione o un basso tasso di progressione. |
| |
E l'obiettivo della modellazione predittiva qui è prevedere i pazienti che hanno maggiori probabilità di avere un alto tasso di progressione della malattia, in modo che possano essere intraprese le azioni correttive |
| |
per impedire questo. Quindi daremo un'occhiata ai modelli di adattamento in JMP Pro per entrambe queste risposte e vedremo come adattare gli stessi modelli utilizzando lo screening del modello. |
| |
E prima di passare a JMP, voglio solo parlare un po' di come confrontiamo i modelli predittivi. |
| |
Confrontiamo i modelli predittivi sul set di convalida o sul set di test. Quindi in pratica quello che stiamo facendo è adattare un modello a un sottoinsieme dei nostri dati chiamato i nostri dati di addestramento. |
| |
E poi adattiamo quel modello ai dati che sono stati tenuti fuori (in genere li chiamiamo dati di convalida) per vedere come si comporta bene il modello. |
| |
E se abbiamo risposte continue, possiamo usare misure di errore, quindi root significa errore quadrato (RMSE) o RASE, che è l'errore quadratico medio del percorso, quindi questa è la misura dell'errore di previsione. |
| |
AAE, MAD, MAE, queste sono misure dell'errore medio e ci sono diverse misure R al quadrato che potremmo usare. |
| |
Per ottenere risposte categoriche, siamo molto spesso interessati a misure di errore o errata classificazione. |
| |
Potremmo anche essere interessati a guardare una curva ROC, guardare AUC (area sotto la curva) o sensibilità, o specificità, falsi positivi, tasso di falsi negativi. |
| |
il punteggio F1 e MCC, che è il coefficiente di correlazione di Matthews. |
| |
Quindi fammi passare a JMP. |
| |
Mettilo via e aprirò i dati sul diabete. |
| |
E lascia che lo ingrandisca così puoi vederlo. |
| |
Quindi questi sono i dati. Ci sono... ci sono informazioni su 442 pazienti, e ancora, abbiamo una risposta Y, che è continua e questa è la quantità di progressione della malattia dopo un anno. E inizieremo guardando Y, ma poi abbiamo anche la seconda variabile, Y Binary. |
| |
Abbiamo informazioni di base. |
| |
E c'è una convalida della colonna. Quindi, di nuovo la convalida, quando adattiamo i modelli, adatteremo i modelli solo utilizzando i dati di addestramento e utilizzeremo i dati di convalida per dirci quando smettere di far crescere il modello e per darci misure di quanto è buono il il modello si adatta davvero. |
| |
Ora per costruire questa colonna, c'è un'utilità sotto la modellazione predittiva chiamata colonna di convalida del modello. |
| |
E questo ci offre molte opzioni per creare una colonna di convalida, in modo da poter suddividere i dati in convalida dell'addestramento e set di test. |
| |
E, nella maggior parte dei casi, se usiamo questo tipo di tecnica per suddividere i nostri dati in sottoinsiemi, |
| |
si consiglia di disporre di un set di prova. Avere un set di test ti consente di avere una valutazione delle prestazioni del modello sui dati che non sono stati utilizzati per creare i modelli o per arrestare la crescita del modello, quindi lo consiglierei, anche se non disponiamo di un set di test in questo caso. |
| |
Quindi diciamo che voglio... voglio trovare un modello che preveda nel modo più accurato la risposta. Quindi, come hai visto, ci sono molti modelli diversi tra cui scegliere. |
| |
Inizierò con il modello in forma. |
| |
E questo di solito è un buon punto di partenza. |
| |
Quindi costruirò un modello di regressione con Y come nostra risposta, le X come effetti del modello, e a questo punto inserirò solo gli effetti principali. E aggiungerò una colonna di convalida. |
| |
Ora dal modello di adattamento, l'impostazione predefinita qui sarà dei minimi quadrati standard, ma ci sono molti tipi diversi di modelli che possiamo adattare. |
| |
Eseguirò semplicemente il modello dei minimi quadrati. |
| |
Un paio di cose da sottolineare qui. Notare il marcatore qui, V. |
| |
Ricorda che adattiamo il nostro modello ai dati di addestramento, ma vogliamo anche vedere come si comporta bene il modello sui dati di convalida, quindi tutti questi marcatori con una V sono osservazioni nel set di convalida. |
| |
Poiché abbiamo la convalida, qui c'è una sezione di convalida incrociata, quindi possiamo guardare il quadrato R sul set di addestramento e anche sul set di convalida e quindi su RASE. |
| |
E spesso quello che vedrai è che le statistiche di convalida saranno in qualche modo peggiori delle statistiche di allenamento, e più sono lontane, migliore è l'indicazione che il tuo modello è overfit o underfit. |
| |
Voglio sottolineare un'altra cosa qui che va davvero oltre lo scopo di questo discorso, ed è questo profiler di previsione. |
| |
E il profiler di previsione |
| |
è in realtà uno dei motivi per cui ho iniziato a utilizzare JMP. È un modo davvero potente per comprendere il tuo modello. |
| |
E quindi posso cambiare i valori di qualsiasi X e vedere cosa succede alla risposta prevista, e questa è la media, quindi con |
| |
questi modelli, stiamo prevedendo la media. Ma notate come queste bande si espandono a ventaglio per il colesterolo totale e LDL, HDL, giusto. E questo perché non abbiamo dati in quelle regioni. |
| |
In modo che la nuova funzionalità, voglio sottolineare molto velocemente e ancora una volta questo va oltre lo scopo di questo discorso, è questa cosa chiamata controllo dell'estrapolazione. E se accendo un avviso e trascino |
| |
colesterolo totale, nota che mi sta dicendo che c'è una possibile estrapolazione. Questo mi sta dicendo che sto cercando di prevedere in una regione in cui non ho davvero alcun dato, e se mi giro |
| |
questo controllo di estrapolazione attivo, nota che tronca questa barra, questa linea, quindi sostanzialmente sta dicendo che non puoi fare previsioni in quella regione. Quindi è qualcosa che potresti voler controllare se stai adattando i modelli. È uno strumento davvero potente. |
| |
Quindi diciamo che ho fatto tutto il lavoro diagnostico. Ho ridotto questo modello e voglio essere in grado di salvare i miei risultati. |
| |
Bene, ci sono un paio di modi per farlo. Posso andare alla colonna rossa, salvare colonne, salvare la formula di previsione. |
| |
Quindi questo salva il modello lineare che ho appena creato nella tabella dei dati. Quindi puoi vederlo qui sullo sfondo. E poi, se aggiungo nuovi valori a questa tabella di dati, prevederà automaticamente la risposta. |
| |
Ma potrei voler salvare il modello in un'altra forma, quindi per fare questo, potrei pubblicare |
| |
questa formula al deposito di formule. E il deposito delle formule è in realtà indipendente dalla mia tabella di dati, ma ciò che questo mi consente di fare è copiare lo script e incollarlo in un'altra tabella di dati con nuovi dati per ottenere nuovi dati. |
| |
Oppure potrei voler generare codice in una lingua diversa per consentirmi di distribuirlo all'interno di una sorta di sistema di produzione. |
| |
Vado avanti e chiudo questo. Questo è solo un modello. Ora è possibile, se inserisco un modello più complicato o sofisticato, che possa ottenere prestazioni migliori? |
| |
Quindi potrei montare un altro modello. Quindi, per esempio, potrei... devo solo richiamare. Potrei cambiare la personalità dai minimi quadrati standard per generalizzare la regressione. |
| |
E questo mi consente di specificare diverse distribuzioni di risposta. E mi limiterò a rimanere normale e fare clic su Esegui. |
| |
Quindi questo mi consentirà di adattare diversi metodi penalizzati e utilizzare anche diverse tecniche di selezione delle variabili. E se non hai verificato la regressione generalizzata, |
| |
è una piattaforma di modellazione moderna super potente e super flessibile. Faccio solo clic su Vai. E diciamo che mi adatto a questo modello |
| |
e voglio poter confrontare questo modello con il modello che ho già salvato. Quindi potrei salvare la formula di previsione nella tabella dei dati. Quindi ora ho un'altra colonna in background nella tabella dei dati. |
| |
Oppure potrei voler pubblicare di nuovo questo |
| |
A |
| |
il dettaglio della formula, quindi ora ho due diversi modelli qui. E posso andare avanti. Quindi questo è solo un modello della regressione generalizzata. Posso anche adattare diversi tipi di |
| |
modelli predittivi dal menu di modellazione predittiva, ad esempio reti neurali o partizioni o foreste bootstrap o alberi potenziati. |
| |
Ora, in genere ciò che dovrei fare è adattare tutti questi modelli, salvare i risultati nella tabella dei dati o nel deposito delle formule e, se li salvo in |
| |
la tabella dei dati, posso utilizzare questa piattaforma di confronto dei modelli per confrontare i diversi modelli concorrenti. E potrei avere molti modelli, qui ne ho solo due. |
| |
E in realtà non devo nemmeno specificare quali sono i modelli, devo solo specificare la convalida. E in realtà mi piace mettere la convalida qui nel campo per. |
| |
Quindi questo mi dà le mie statistiche di adattamento sia per il set di addestramento che per il set di convalida, e guarderò solo le statistiche per la fase di convalida. Quindi lo userei per aiutarmi a scegliere il modello con le migliori prestazioni. |
| |
E quello che mi interessa è un valore più alto di R quadrato, un valore più basso di RASE (l'errore quadratico medio della radice) e un errore assoluto medio più basso. E tra questi due modelli, sembra che questo modello di regressione dei minimi quadrati sia il migliore. |
| |
Ora, se dovessi adattare tutti i modelli possibili, questo potrebbe... potrebbe richiedere molto tempo. Quindi, invece di fare questo, la novità di JMP Pro 16 è una piattaforma chiamata screening del modello. |
| |
E quando lancio lo screening del modello, c'è un dialogo in alto, proprio come abbiamo visto, quindi vado avanti e compilo questo. |
| |
E aggiungerò una convalida ma a lato, quello che vedi è che posso selezionare diversi modelli diversi e adattarli tutti in una volta. |
| |
Quindi albero decisionale, foresta bootstrap, albero potenziato, K vicini più vicini, giusto, posso adattare tutti questi modelli. |
| |
E non eseguirà modelli che non hanno senso, quindi ho una regressione logistica a risposta continua come una delle mie opzioni, non eseguirà un modello di regressione logistica |
| |
con una risposta continua. Si noti che ho anche questa opzione quaggiù, XGBoost. |
| |
E il motivo che appare è che c'è un componente aggiuntivo e in realtà utilizza librerie open source, e se installi questo componente aggiuntivo (è disponibile nella nostra comunità di utenti JMP, |
| |
si chiama XGBoost e funziona solo in JMP Pro), ma se installi questo componente aggiuntivo, verrà visualizzato automaticamente nella finestra di dialogo di screening del modello. |
| |
Quindi clicco solo su OK, e quando clicco su OK, ciò che farà sarà uscire e lanciare ognuna di queste piattaforme. |
| |
E poi tirerà tutti i risultati in una finestra. Quindi ho cliccato bene. Non ho molti dati qui, quindi è molto veloce. |
| |
E sotto i dettagli, questi sono tutti i singoli modelli adatti. E se apro uno di questi dialoghi, posso vedere i risultati e ho accesso a opzioni aggiuntive che saranno disponibili da quel menu. |
| |
Quindi nasconderò i dettagli. E per impostazione predefinita, ciò che fa è riportare le statistiche per i dati di addestramento, ma mi mostra i risultati per i dati di convalida, quindi posso vedere R quadrato e posso vedere RASE. |
| |
E per impostazione predefinita è l'ordinamento in ordine di RASE dove il più basso è il migliore. |
| |
Ma ho alcune piccole opzioni di scorciatoia quaggiù, quindi se volessi trovare i modelli migliori e potrebbe essere che R quadrato è il migliore per alcuni modelli, ma RASE è migliore per altri, farò clic su seleziona dominante . |
| |
E in questo caso, ha selezionato il potenziamento neurale, quindi in tutti questi modelli, il modello migliore è il potenziamento neurale. E se voglio dare un'occhiata più da vicino a questo modello, posso guardare i dettagli quassù sotto neurale |
| |
o, posso semplicemente dire, eseguire selezionato. |
| |
Ora non ho parlato di questo, ma nella finestra di dialogo c'è un'opzione per impostare un seme casuale. |
| |
E se imposto quel seme casuale, i risultati che vengono lanciati qui saranno identici a quelli che vedo qui. Quindi questo è un... questo è un |
| |
modello neurale con tre nodi che utilizzano la funzione TanH, ma utilizza anche il potenziamento. Quindi, nel progettare questa piattaforma, gli sviluppatori hanno fatto molte simulazioni per determinare il miglior punto di partenza e le migliori impostazioni predefinite per i diversi modelli. |
| |
Quindi il potenziamento neurale è il migliore. |
| |
E |
| |
se voglio essere in grado di distribuire questo modello, ora quello che posso fare è salvare lo script |
| |
o potrei eseguirlo, o posso salvarlo nella formula più profonda. |
| |
Quindi questo è con una risposta continua e ci sono alcune altre opzioni sotto il triangolo rosso. Cosa succede se ho una risposta categorica? Per una risposta categorica, posso utilizzare la stessa piattaforma. Quindi, di nuovo, andrò alla selezione dei modelli. |
| |
Farò clic su richiama, ma invece di usare Y, userò Y binario. |
| |
E non cambierò nessuno dei metodi predefiniti. Inserirò un seme casuale, quindi ad esempio 12345, sto solo prendendo un numero casuale. |
| |
E ciò che questo farà è darmi ripetibilità. Quindi, se salvo un modello nella tabella dei dati o nel deposito delle formule, |
| |
le statistiche saranno le stesse nel modello, l'adattamento sarà lo stesso. Alcune altre opzioni qui. Potremmo voler disattivare alcune cose come i rapporti. |
| |
Potremmo voler utilizzare un metodo di convalida incrociata diverso, quindi questa piattaforma include la convalida K fold, ma utilizza anche la convalida incrociata K fold nidificata. |
| |
E possiamo ripeterlo. Quindi davvero carino. A volte il partizionamento dei nostri dati nella convalida e nel test dell'addestramento non è il migliore e K fold |
| |
può effettivamente essere un po 'meglio. E ci sono alcune opzioni aggiuntive in fondo. Quindi potremmo voler aggiungere interazioni a due vie. Potremmo voler aggiungere effetti quadratici. |
| |
In metodi aggiuntivi, questo si adatterà a metodi di regressione generalizzati aggiuntivi. Quindi vado avanti e faccio clic su OK. |
| |
OK. Esegue tutti i modelli e, di nuovo, questo è un piccolo set di dati. È molto veloce. |
| |
Bene, l'aspetto grafico è lo stesso, ma ora le statistiche sono diverse. Quindi ho il tasso di classificazione errata. Ho un'area sotto la curva. Ho anche alcune misure di R quadrati e quindi l'errore quadratico medio della radice. |
| |
Farò clic su seleziona dominante e, ancora una volta, il metodo dominante è potenziato neuralmente. |
| |
Ora, cosa succede se voglio essere in grado di esplorare alcuni di questi diversi modelli? Quindi quell'errata classificazione qui è una discreta quantità inferiore a quella per gradi. |
| |
L'AUC è in qualche modo simile, è complessivamente il più basso ma forse non molto migliore. E fammi prendere alcuni di questi. Quindi se clicco su alcuni di questi, forse... forse selezionerò questi quattro, questi cinque. |
| |
Posso guardare le curve ROC, se sono interessato a guardare le curve ROC per confrontare i modelli. |
| |
E ci sono alcuni bei controlli qui per permettermi di disattivare i modelli e concentrarmi su determinati modelli. |
| |
E una nuova funzionalità di cui sono davvero entusiasta è questa cosa chiamata soglia di decisione. |
| |
E ciò che la soglia di decisione ci permette di guardare, |
| |
e inizia guardando i dati di addestramento, ci sta dando un'istantanea dei nostri dati. |
| |
E il tasso di classificazione errata si basa su un limite di 0,5 per la classificazione. Quindi per ciascuno dei modelli, mi mostra i punti che erano effettivamente alti e bassi. E se ci concentriamo sull'alto, i punti verdi sono stati correttamente classificati come alti. |
| |
E quelli nell'area rossa sono stati classificati in modo errato, quindi ci mostra classificazioni corrette e classificazioni errate, e poi riporta tutte le statistiche qui a lato |
| |
E poi in basso vediamo diverse metriche oltre a molti grafici che ci consentono di esaminare classificazioni false e anche classificazioni vere. |
| |
Chiudo questo e guardo il file |
| |
dati di convalida. |
| |
Allora perché è utile? Bene, potresti avere uno scenario particolare in cui sei interessato a massimizzare la sensibilità |
| |
pur mantenendo una certa specificità. E la sensibilità... e qui ci sono alcune definizioni. La sensibilità è il vero tasso positivo; |
| |
la specificità è il vero tasso negativo. Questo è... questo è uno scenario in cui vogliamo guardare alla progressione della malattia, quindi vogliamo assicurarci di... stiamo mantenendo un alto tasso di sensibilità |
| |
assicurandoci anche che la nostra specificità sia alta, va bene. Quindi quello che possiamo fare con questo è che c'è un dispositivo di scorrimento qui, e possiamo prendere questo dispositivo di scorrimento, |
| |
e possiamo vedere come cambiano le classificazioni quando cambiamo il limite per la classificazione. |
| |
Quindi penso che questo sia uno strumento davvero potente quando guardi i modelli concorrenti, perché potresti avere alcuni modelli che hanno il totale con un taglio di 0,5, potrebbero avere il miglior tasso di classificazione errata. |
| |
Ma potresti anche avere scenari in cui, se modifichi il limite di classificazione, diversi modelli potrebbero funzionare in modo diverso. Quindi, per esempio, se mi trovo in una certa regione qui, potrei scoprire che il modello graduale è effettivamente migliore. |
| |
Ora, per illustrare ulteriormente questo, voglio aprire un esempio diverso. |
| |
E questo esempio si chiama marketing con carta di credito. |
| |
E se torno alle mie diapositive solo per introdurre questo scenario. |
| |
Questo è uno scenario in cui |
| |
abbiamo molti dati basati su ricerche di mercato sull'accettazione di offerte di carte di credito. |
| |
La risposta è, l'offerta è stata accettata. E questo è uno scenario in cui solo il 5,5% delle offerte dello studio è stato effettivamente accettato. |
| |
Ora ci sono fattori che ci interessano, quindi ci sono diversi tipi di premi che vengono offerti, |
| |
e ci sono diversi tipi di mailer. Quindi questo è in realtà un esperimento progettato. In un certo senso, in realtà, ignoreremo quella parte... quell'aspetto di questo studio. |
| |
E ci sono anche informazioni finanziarie, quindi continueremo a... attenerci a un obiettivo in questo esempio, e questo è l'obiettivo di identificare i clienti che hanno maggiori probabilità di accettare l'offerta. |
| |
E se siamo in grado di identificare i clienti più probabili, in questo scenario potremmo inviare offerte solo al sottoinsieme che è più probabile che accetti l'offerta e ignori il resto. Quindi questo è lo scenario qui. |
| |
E aprirò questi dati. |
| |
Ho 10.000 osservazioni e la mia risposta è offerta accettata. |
| |
E ho già salvato lo script nella tabella dei dati, quindi ho miglia aeree, tipo di mailer, livello di reddito, rating del credito e poche altre informazioni finanziarie. |
| |
Sta andando a buon fine... ho eseguito uno script di salvataggio. Sta esaminando tutti i modelli. E il neurale, in questo caso, impiegherà più tempo perché sta eseguendo un neural potenziato. |
| |
Ci vorrà ancora qualche secondo. Sta eseguendo macchine vettoriali di supporto. Le macchine vettoriali di supporto andranno in timeout e in realtà non funzioneranno se ho più di 10.000 osservazioni. |
| |
Gli darò un altro secondo. Sto usando la convalida quindi sto usando la convalida standard per questo, dove ho una colonna di convalida. E in questo caso, ho una colonna di zeri e uno e JMP riconoscerà gli zeri per i dati di addestramento e quelli per i dati di convalida. |
| |
Va bene. Ci siamo. Ok, quindi è stato eseguito, e se hai a che fare con una tabella di dati di grandi dimensioni, c'è un... c'è un rapporto che puoi eseguire |
| |
guardare i tempi trascorsi. E per questo scenario, la macchina vettoriale di supporto ha effettivamente impiegato più tempo, ed è per questo che, a volte, non funziona se abbiamo più di 10.000 osservazioni. |
| |
Quindi diamo un'occhiata a questi. Quindi il nostro miglior modello, se seleziono dominante, è un potenziamento neurale e un albero decisionale, ma voglio sottolineare qualcosa qui. Notare il tasso di classificazione errata. |
| |
Il tasso di classificazione errata è identico per tutti i modelli, ad eccezione delle macchine vettoriali di supporto. E perché è così? Bene, se eseguo una distribuzione dell'offerta accettata |
| |
(lascia che lo ingrandisca un po' così possiamo vederlo) e concentrati solo sui dati di convalida, nota che il punto 0,063% delle nostre osservazioni era Sì. Questo è esattamente ciò che il nostro modello ha previsto. |
| |
E perché lo fa? |
| |
Chiederò nuovamente la soglia di decisione. |
| |
E concentrandoci su questo grafico qui, e questo grafico ha molti usi, e in questo caso, ciò che ci mostra è che il nostro limite per la classificazione è 0,5 |
| |
ma nessuna delle nostre probabilità stimate era nemmeno vicina a quello, giusto. Di conseguenza, il modello ha classificato correttamente i no come no |
| |
o classificato i sì come no. Non ha mai classificato nulla come un sì, perché nessuna delle probabilità era maggiore di 0,5. Quindi, se allungo questo ragazzo, |
| |
giusto, posso vedere la differenza in questi due modelli. Quindi la massima probabilità era di circa 0,25 per il potenziamento neurale e per l'albero decisionale era di circa 0,15. |
| |
E nota che per l'albero decisionale, l'albero decisionale sta fondamentalmente facendo una serie di divisioni binarie e fondamentalmente ho diversi valori predittivi, mentre un potenziamento neurale mi mostra un bel modello casuale nei punti. Quindi lasciami cambiare questo in qualcosa come .12. |
| |
Giusto, e si interrompe a 0,12, infatti, se lo faccio scorrere, noto che più in basso ottengo, in realtà comincio a ottenere (attivare le metriche qui) comincio a ottenere dei veri positivi. |
| |
E comincio a ricevere dei falsi positivi. Quindi, mentre lo trascino, puoi vederlo nella barra, ma la barra è un po' piccola, giusto. Potenziato neurale, sto iniziando a vedere alcuni veri positivi e alcuni falsi positivi. |
| |
E ora inizi a vederli. Non appena supero questa prima serie di punti, comincio a vederlo per l'albero decisionale. |
| |
Quindi, usare un taglio di 0,5 non ha senso per questi dati, e di nuovo potrei... potrei provare a trovare un taglio che mi dia la massima sensibilità, pur mantenendo un livello decente di specificità. |
| |
In questo caso, indicherò queste altre due statistiche. |
| |
F1 è il punteggio F1, e questa è davvero una misura di quanto bene siamo in grado di catturare i veri aspetti positivi. |
| |
MCC è il coefficiente di correlazione di Matthews, e questa è una buona misura di quanto bene si classifica all'interno di ciascuna delle quattro possibilità. Quindi ho... |
| |
Posso avere un falso positivo, un falso negativo, un vero positivo, un vero negativo. |
| |
E in realtà non ho detto che corrisponde alle caselle qui, ma ho quattro diverse opzioni. MCC è un coefficiente di correlazione compreso tra meno uno e più uno, che misura come prevedo in ciascuna quattro... in ciascuna di queste quattro caselle. |
| |
Quindi potrei voler esplorare il taglio che ti dà il valore F1 massimo o il valore MCC massimo. E diciamo che trascino in questo modo verso il basso. Notalo |
| |
la sensibilità sta crescendo rapidamente e la specificità sta iniziando a diminuire, quindi forse intorno a 0,5, giusto, raggiungo un punto in cui sto iniziando a scendere troppo in profondità nella specificità. |
| |
Potrei trovare un taglio e in fondo c'è questa opzione per impostare una matrice di profitto. Se imposto questa come matrice dei profitti, fondamentalmente, ciò che accadrà è che mi permetterà di segnare nuovi dati usando questo limite. |
| |
Quindi se lo imposto qui e premo ok, giusto, qualsiasi previsione futura che faccio, se lo salvo nella tabella dei dati o nel deposito delle formule, userà quel taglio. |
| |
E questo è uno scenario in cui potrei effettivamente avere alcune informazioni finanziarie che potrei inserire nella matrice dei profitti. |
| |
Quindi, per esempio, invece di usare il dispositivo di scorrimento per selezionare il limite, forse ho una certa conoscenza del valore in dollari associato alle mie classificazioni. E forse se la risposta effettiva è un no, |
| |
ma invio loro un'offerta, quindi c'è un sì, penso che saranno sì e invio loro un'offerta. Forse questo mi costa $ 5, giusto, quindi ho un valore negativo lì. |
| |
E forse ho un'idea del potenziale profitto, quindi forse i profitti... il potenziale profitto in questo periodo di tempo è di $ 100 e forse ho perso qualche opportunità. Forse dico, sai, è -100 se |
| |
la persona avrebbe effettivamente risposto, ma non le ho inviato l'offerta. Quindi forse questa è un'opportunità persa ea volte lasciamo questo vuoto. Ora, se invece uso questo, |
| |
Ho alcune informazioni aggiuntive che vengono visualizzate, quindi riconosce che ho una matrice di profitto. E ora, se guardo le metriche, posso prendere decisioni sul mio miglior modello basato su questo profitto. |
| |
Quindi sto portando queste informazioni aggiuntive nel processo decisionale, ea volte abbiamo una matrice di profitto e possiamo usarla direttamente ea volte no. E questo è uno di quei casi in cui posso vedere che il modello potenziato neurale mi darà i migliori profitti complessivi. |
| |
Quindi questa è un'anteprima della proiezione del modello e fammi tornare alle mie diapositive. |
| |
E cosa abbiamo visto qui? Bene, abbiamo parlato di modellazione predittiva |
| |
e come la modellazione predittiva abbia un obiettivo diverso rispetto alla modellazione esplicativa. Quindi il nostro obiettivo qui è prevedere o classificare accuratamente i risultati futuri, quindi vogliamo valutare le osservazioni future. |
| |
E in genere adattiamo e confrontiamo molti modelli utilizzando la convalida e scegliamo il modello o la combinazione di modelli che fa il lavoro migliore, che prevede in modo più accurato. |
| |
Lo screening del modello semplifica davvero questo flusso di lavoro in modo da poter adattare molti modelli diversi, contemporaneamente, con un'unica piattaforma. |
| |
E in realtà sono andato solo con l'impostazione predefinita, quindi posso adattare modelli molto più sofisticati di quelli che effettivamente ci sto. Rende davvero facile selezionare i modelli dominanti, esplorare i dettagli del modello. Possiamo adattare nuovi modelli |
| |
dai dettagli. Questa soglia decisionale, se hai a che fare con dati categorici, ti consente di esplorare i limiti per la classificazione e integra anche la possibilità di includere una matrice di profitto. |
| |
E per qualsiasi modello selezionato, possiamo distribuire il modello nel deposito delle formule o salvarlo nella tabella dei dati. Quindi un nuovo strumento davvero potente. |
| |
Per maggiori informazioni. Le metriche di classificazione, le conosco prima di vedere il punteggio F1 e il coefficiente di correlazione di Matthews, quelle statistiche erano relativamente nuove per me. |
| |
Per dare un senso alla sensibilità e alla specificità, questo post di Wikipedia ha alcuni esempi davvero molto carini e una discussione davvero bella. |
| |
Ci sono anche alcune risorse davvero interessanti per la modellazione predittiva e anche per lo screening dei modelli. Nella community degli utenti di JMP è disponibile un nuovo percorso, Learn JMP, che ha accesso a video, |
| |
Padroneggiare i video della serie JMP. L'anno scorso al JMP Discovery di Tucson c'è stata una bella chiacchierata di Ruth Hummel e Mary Loveless su quale modello e quando. |
| |
E questo fa un buon lavoro nel parlare di diversi obiettivi di modellazione e quando potresti voler utilizzare ciascuno dei modelli. |
| |
Se sei nuovo di zecca nella modellazione predittiva, il nostro corso online gratuito, STIPS, che è Pensiero statistico per la risoluzione dei problemi industriali, Modulo 7 è un'introduzione alla modellazione predittiva. |
| |
Quindi consiglierei questo. C'è un blog sullo screening dei modelli che utilizza i dati sul diabete che indicherò, e voglio anche sottolineare che c'è una seconda edizione di questo libro, Building Better Models with JMP Pro, |
| |
che uscirà entro i prossimi due mesi. Non hanno ancora una nuova copertina, ma lo faranno...includeranno la proiezione del modello in quel libro. |
| |
Quindi questo è tutto quello che ho. Non esitate a postare commenti per questo post o porre domande, e spero che vi piaccia il resto della conferenza. Grazie. |
