Altoparlante
|
Trascrizione
|
| Mia Stephens |
screening del modello. |
| |
Se lavori con la modellazione predittiva, scoprirai che lo screening del modello ti aiuta a semplificare il flusso di lavoro della modellazione predittiva. |
| |
Quindi in questo discorso fornirò una panoramica della modellazione predittiva, parlerò dei diversi tipi di modelli predittivi che possiamo utilizzare in JMP. |
| |
Parleremo del flusso di lavoro di modellazione predittiva all'interno del più ampio flusso di lavoro di analisi e vedremo come lo screening del modello può aiutarci a semplificare questo flusso di lavoro. |
| |
Parlerò di alcune metriche per confrontare modelli concorrenti utilizzando dati di convalida e vedremo un paio di esempi in JMP Pro. |
| |
Per prima cosa parliamo un po 'della modellazione predittiva e di cos'è la modellazione predittiva. |
| |
Probabilmente sei stato esposto all'analisi di regressione e la regressione è un esempio di modellazione esplicativa. E nella regressione siamo tipicamente interessati a costruire un modello |
| |
per una risposta, o Y, in funzione di una o più X, e potremmo avere obiettivi di modellazione diversi. Potremmo essere interessati a identificare variabili importanti. Quindi quali sono le X chiave o le variabili di input chiave, |
| |
per esempio, in un contesto di problem solving su cui potremmo concentrarci per affrontare il problema? |
| |
Potremmo essere interessati a capire come cambia la risposta, in media, in funzione delle variabili di input. |
| |
una variazione di un'unità in X è associata a una variazione di cinque unità in Y. Quindi questo è il classico modello esplicativo e se hai preso statistiche a scuola, questo è probabilmente il modo in cui impari sulla regressione. |
| |
Ora, al contrario, la modellazione predittiva ha un obiettivo leggermente diverso. Nella modellazione predittiva il nostro obiettivo è prevedere o classificare accuratamente i risultati futuri. |
| |
Quindi, se la nostra risposta è continua, vogliamo essere in grado di prevedere l'osservazione successiva, il risultato successivo, nel modo più preciso o accurato possibile. |
| |
E se la nostra risposta è categorica, allora siamo interessati alla classificazione. E ancora una volta siamo interessati a utilizzare i dati attuali per prevedere cosa accadrà a livello individuale in futuro. |
| |
E potremmo adattare e confrontare molti modelli diversi, e nella modellazione predittiva potremmo anche usare alcuni modelli più avanzati. Potremmo usare alcune tecniche di apprendimento automatico come le reti neurali. |
| |
E alcuni di questi modelli potrebbero non essere così facili da interpretare e molti di loro hanno molti parametri di regolazione diversi che possiamo impostare. Di conseguenza, con la modellazione predittiva possiamo avere un problema con l'overfitting. |
| |
Ciò che significa overfitting è che adattiamo un modello più complesso di quanto dovrebbe essere. |
| |
Pertanto, con la modellazione predittiva generalmente utilizziamo la convalida e ci sono diverse forme di convalida che possiamo utilizzare. |
| |
Usiamo la convalida per il confronto e la selezione del modello e, fondamentalmente, protegge dall'overfitting ma anche dal underfitting. |
| |
E l'underfitting è quando adattiamo un modello che non è così complesso come dovrebbe essere. Non sta realmente catturando la struttura nei nostri dati. |
| |
Ora, nell'appendice alla fine delle diapositive, ho estratto alcune diapositive che illustrano perché la convalida è importante, ma per il fulcro di questo discorso userò semplicemente la convalida quando adatterò i modelli predittivi. |
| |
Esistono molti tipi diversi di modelli che possiamo inserire in JMP Pro, e questo non è affatto un elenco esaustivo. |
| |
Possiamo adattare diversi tipi di modelli di regressione. Se abbiamo una risposta continua, possiamo adattare un modello di regressione lineare. |
| |
Se la nostra risposta è categorica, un modello di regressione logistica, ma possiamo anche adattare modelli lineari generalizzati e penalizzare i metodi di regressione, e questi sono tutti dalla piattaforma del modello di adattamento. |
| |
Ci sono molte opzioni sotto la piattaforma di modellazione predittiva, quindi reti neurali, reti neurali con boosting e diversi numeri di livelli e nodi, |
| |
alberi di classificazione e regressione, metodi basati su alberi più avanzati e molte altre tecniche. |
| |
E ci sono anche un paio di opzioni di modellazione predittiva dalla piattaforma dei metodi multivariati, quindi discrimina l'analisi |
| |
e i minimi quadrati parziali sono due diversi ... due tipi aggiuntivi di modelli che possiamo utilizzare per la modellazione predittiva. E a proposito, i minimi quadrati parziali sono disponibili anche dal modello fit. |
| |
E perché abbiamo così tanti modelli? |
| |
Nella modellazione predittiva, scoprirai spesso che nessuno modello |
| |
o il tipo di modellazione funziona sempre al meglio. In alcune situazioni, una rete neurale potrebbe essere la migliore e le reti neurali sono generalmente abbastanza ... piuttosto buone prestazioni. |
| |
Ma potresti scoprire in altri casi che un modello più semplice ha effettivamente le prestazioni migliori, quindi il tipo di modello che si adatta meglio ai tuoi dati e prevede in modo più accurato si basa in gran parte sulla tua risposta, ma anche sulla struttura dei tuoi dati. |
| |
Quindi potresti adattare diversi tipi di modelli e confrontare questi modelli prima di trovare il modello che si adatta più accuratamente o prevede più accuratamente. |
| |
Quindi, all'interno del flusso di lavoro analitico più ampio, in cui inizi con una sorta di problema che stai cercando di risolvere e compili i dati, li prepari ed esplori i dati, |
| |
la modellazione predittiva è in calo nell'analisi e nella creazione di modelli. E il tipico flusso di lavoro di modellazione predittiva potrebbe essere simile a questo, in cui si adatta un modello con convalida. |
| |
Quindi si salva la formula in una tabella dati o la si pubblica nel depot delle formule. |
| |
E poi si inserisce un altro modello e lo si ripete, quindi è possibile adattare diversi modelli |
| |
e poi confronta questi modelli. E in JMP Pro, puoi utilizzare la piattaforma di confronto dei modelli per eseguire questa operazione e confrontare le prestazioni dei modelli sui dati di convalida, quindi scegliere il modello migliore o i migliori modelli di combinazione e quindi distribuire il modello. |
| |
E la differenza con lo screening del modello è che tutto l'adattamento e il confronto del modello, questa selezione viene effettuata all'interno di un'unica piattaforma, la piattaforma di screening del modello. |
| |
Quindi utilizzeremo un esempio con cui potresti avere familiarità e c'è un blog sullo screening dei modelli che utilizza questi dati che vengono pubblicati nella Comunità, e questi sono i dati sul diabete. |
| |
Quindi lo scenario è che i ricercatori vogliono prevedere il tasso di progressione della malattia, un anno dopo il basale. |
| |
Quindi ci sono diverse misurazioni di base e poi ci sono due diversi tipi di risposte. |
| |
La risposta Y è la misura quantitativa, una misura continua, quindi questo è il tasso di progressione della malattia e poi c'è una seconda risposta, Y Binary, che è alta o bassa. |
| |
Quindi Y Binary può rappresentare un alto tasso di progressione alto o un basso tasso di progressione. |
| |
E l'obiettivo della modellazione predittiva qui è prevedere i pazienti che hanno maggiori probabilità di avere un alto tasso di progressione della malattia, in modo che le azioni correttive possano essere intraprese |
| |
per evitare ciò. Quindi ... daremo un'occhiata ai modelli di adattamento in JMP Pro per entrambe queste risposte e vedremo come adattare gli stessi modelli utilizzando lo screening del modello. |
| |
E prima di passare a JMP, voglio solo parlare un po 'di come confrontiamo i modelli predittivi. |
| |
Confrontiamo i modelli predittivi sul set di convalida o sul set di test. Quindi, in pratica, ciò che stiamo facendo è adattare un modello a un sottoinsieme dei nostri dati chiamato i nostri dati di addestramento. |
| |
Quindi adattiamo quel modello ai dati che sono stati forniti (in genere li chiamiamo dati di convalida) per vedere le prestazioni del modello. |
| |
E se abbiamo risposte continue, possiamo usare misure di errore, quindi radice significa errore quadratico (RMSE) o RASE, che è errore quadrato medio del percorso, quindi questa è la misura dell'errore di previsione. |
| |
AAE, MAD, MAE, queste sono misure dell'errore medio e ci sono diverse misure del quadrato R che potremmo usare. |
| |
Per ottenere risposte categoriche, siamo molto spesso interessati a misure di errore o errata classificazione. |
| |
Potremmo anche essere interessati a guardare una curva ROC, guardare AUC (area sotto la curva) o sensibilità, o specificità, falsi positivi, tasso di falsi negativi. |
| |
il punteggio F1 e MCC, che è il coefficiente di correlazione di Matthews. |
| |
Quindi fammi passare a JMP. |
| |
Mettilo via e aprirò i dati sul diabete. |
| |
E fammi fare questo grande in modo che tu possa vederlo. |
| |
Quindi questi sono i dati. Ci sono ... ci sono informazioni su 442 pazienti e, di nuovo, abbiamo una risposta Y, che è continua e questa è l'entità della progressione della malattia dopo un anno. E inizieremo guardando Y, ma poi abbiamo anche la seconda variabile, Y Binary. |
| |
Abbiamo informazioni di base. |
| |
E c'è una convalida della colonna. Quindi di nuovo la convalida, quando adattiamo i modelli, adatteremo i modelli solo utilizzando i dati di addestramento e useremo i dati di convalida per dirci quando smettere di far crescere il modello e per darci misure di quanto è buono il modello si adatta effettivamente. |
| |
Ora per creare questa colonna, è disponibile un'utilità nella modellazione predittiva chiamata colonna di convalida del modello. |
| |
E questo ci offre molte opzioni per la creazione di una colonna di convalida, in modo da poter suddividere i dati in una convalida dell'addestramento e in un set di test. |
| |
E, nella maggior parte dei casi, se utilizziamo questo tipo di tecnica per partizionare i nostri dati in sottoinsiemi, |
| |
si consiglia di avere un set di prova. Avere un set di test consente di avere una valutazione delle prestazioni del modello sui dati che non sono stati utilizzati per la creazione dei modelli o per arrestare la crescita del modello, quindi lo consiglio, anche se non abbiamo un set di test in questo Astuccio. |
| |
Quindi diciamo che voglio ... Voglio trovare un modello che preveda la risposta nel modo più accurato. Quindi, come hai visto, ci sono molti modelli diversi tra cui scegliere. |
| |
Inizierò con il modello in forma. |
| |
E questo di solito è un buon punto di partenza. |
| |
Quindi costruirò un modello di regressione con Y come risposta, le X come effetti del modello, e a questo punto inserirò solo gli effetti principali. E aggiungerò una colonna di convalida. |
| |
Ora dal modello di adattamento, l'impostazione predefinita qui sarà i minimi quadrati standard, ma ci sono molti diversi tipi di modelli che possiamo adattare. |
| |
Eseguirò semplicemente il modello dei minimi quadrati. |
| |
Un paio di cose da sottolineare qui. Notare il marcatore qui, V. |
| |
Ricorda che adattiamo il nostro modello ai dati di addestramento, ma vogliamo anche vedere come si comporta bene il modello sui dati di convalida, quindi tutti questi marcatori con una V sono osservazioni nel set di convalida. |
| |
Poiché abbiamo la convalida, qui è presente una sezione di convalida incrociata, quindi possiamo guardare il quadrato R sul set di addestramento e anche sul set di convalida e poi RASE. |
| |
E spesso ciò che vedrai è che le statistiche di convalida saranno leggermente peggiori delle statistiche di allenamento, e più sono lontane, migliore è l'indicazione che il tuo modello è overfit o underfit. |
| |
Voglio sottolineare un'altra cosa qui che va davvero oltre lo scopo di questo discorso, ed è questo profiler di previsione. |
| |
E il profiler di previsione |
| |
è in realtà uno dei motivi per cui ho iniziato a utilizzare JMP. È un modo davvero potente per comprendere il tuo modello. |
| |
Quindi posso modificare i valori di qualsiasi X e vedere cosa succede alla risposta prevista, e questa è la media, quindi con |
| |
questi modelli, prevediamo la media. Ma nota come queste bande si espandono per il colesterolo totale e LDL, HDL, giusto. E questo perché non abbiamo dati in quelle regioni. |
| |
In modo che la nuova funzionalità, voglio sottolineare molto rapidamente e ancora una volta questo va oltre lo scopo di questo discorso, è questa cosa chiamata controllo dell'estrapolazione. E se attivo un avviso e trascino |
| |
colesterolo totale, nota che mi sta dicendo che c'è una possibile estrapolazione. Questo mi sta dicendo che sto cercando di prevedere in una regione in cui davvero non ho dati e se mi rivolgo |
| |
questo controllo di estrapolazione su, nota che tronca questa barra, questa linea, quindi in pratica sta dicendo che non puoi fare previsioni in quella regione. Quindi è qualcosa che potresti voler controllare se stai adattando i modelli. È uno strumento davvero potente. |
| |
Quindi diciamo che ho fatto tutto il lavoro diagnostico. Ho ridotto questo modello e voglio poter salvare i miei risultati. |
| |
Bene, ci sono un paio di modi per farlo. Posso andare alla colonna rossa, salvare le colonne, salvare la formula di previsione. |
| |
Quindi questo salva il modello lineare che ho appena creato nella tabella dei dati. Quindi puoi vederlo qui in background. Quindi, se aggiungo nuovi valori a questa tabella di dati, predice automaticamente la risposta. |
| |
Ma potrei voler salvare il modello in un'altra forma, quindi per fare questo, potrei pubblicare |
| |
questa formula al deposito della formula. E il depot delle formule è in realtà indipendente dalla mia tabella di dati, ma ciò che questo mi permette di fare è che posso copiare lo script e incollarlo in un'altra tabella di dati con nuovi dati per assegnare nuovi dati. |
| |
Oppure potrei voler generare codice in una lingua diversa per consentirmi di distribuirlo all'interno di una sorta di sistema di produzione. |
| |
Vado avanti e chiudo questo. Questo è solo un modello. Ora è possibile, se si adatta un modello più complicato o sofisticato, che possa ottenere prestazioni migliori? |
| |
Quindi potrei montare un altro modello. Quindi, per esempio, potrei ... Sto solo per richiamare. Potrei cambiare la personalità dai minimi quadrati standard per generalizzare la regressione. |
| |
E questo mi permette di specificare diverse distribuzioni di risposta. E mi limiterò a normale e farò clic su Esegui. |
| |
Quindi questo mi consentirà di adattare diversi metodi penalizzati e anche di utilizzare diverse tecniche di selezione delle variabili. E se non hai verificato la regressione generalizzata, |
| |
è una piattaforma di modellazione moderna super potente e super flessibile. Faccio solo clic su Vai. E diciamo che mi adatti a questo modello |
| |
e voglio poter confrontare questo modello con il modello che ho già salvato. Quindi potrei salvare la formula di previsione nella tabella dei dati. Quindi ora ho un'altra colonna in background nella tabella dei dati. |
| |
Oppure potrei voler pubblicare di nuovo questo |
| |
per |
| |
il dettaglio della formula, quindi ora ho due modelli diversi qui. E posso andare avanti. Quindi questo è solo un modello della regressione generalizzata. Posso anche montare diversi tipi di file |
| |
modelli predittivi dal menu di modellazione predittiva, ad esempio reti neurali o partizioni o foreste di bootstrap o alberi potenziati. |
| |
Ora, in genere quello che dovrei fare è adattare tutti questi modelli, salvare i risultati nella tabella dei dati o nel depot delle formule e, se li salvo in |
| |
la tabella dei dati, posso utilizzare questa piattaforma di confronto dei modelli per confrontare i diversi modelli concorrenti. E potrei avere molti modelli, qui ne ho solo due. |
| |
E in realtà non devo nemmeno specificare quali sono i modelli, ho solo bisogno di specificare la convalida. E in realtà mi piace mettere la convalida qui nel campo per. |
| |
Quindi questo mi fornisce le mie statistiche di adattamento sia per il set di allenamento che per il set di convalida, e guarderò solo le statistiche per la fase di convalida. Quindi lo userei per aiutarmi a scegliere il modello più performante. |
| |
E quello che mi interessa è un valore più alto di R quadrato, un valore più basso di RASE (l'errore quadratico medio della radice) e un errore assoluto medio inferiore. E tra questi due modelli, sembra che questo modello di regressione dei minimi quadrati sia il migliore. |
| |
Ora, se dovessi adattare tutti i modelli possibili, questo può ... questo può richiedere molto tempo. Quindi, invece di farlo, la novità di JMP Pro 16 è una piattaforma chiamata screening del modello. |
| |
E quando lancio lo screening del modello, ha un dialogo in alto, proprio come abbiamo visto, quindi vado avanti e lo popolerò. |
| |
E aggiungerò una convalida, ma oltre, quello che vedi è che posso selezionare diversi modelli diversi e adattare questi diversi modelli tutti in una volta. |
| |
Quindi albero decisionale, foresta bootstrap, albero potenziato, vicini più vicini K, giusto, posso adattare tutti questi modelli. |
| |
E non eseguirà modelli che non hanno senso, quindi ho una regressione logistica a risposta continua come una delle mie opzioni, non eseguirà un modello di regressione logistica |
| |
con una risposta continua. Nota che ho anche questa opzione qui sotto, XGBoost. |
| |
E il motivo che appare è che c'è un componente aggiuntivo e in realtà utilizza librerie open source, e se installi questo componente aggiuntivo (è disponibile nella nostra comunità di utenti JMP, |
| |
si chiama XGBoost e funziona solo in JMP Pro), ma se installi questo componente aggiuntivo, apparirà automaticamente nella finestra di dialogo di screening del modello. |
| |
Quindi farò solo clic su OK e quando faccio clic su OK, ciò che farà è uscire e avviare ciascuna di queste piattaforme. |
| |
E poi tirerà tutti i risultati in una finestra. Quindi ho cliccato su ok. Non ho molti dati qui, quindi è molto veloce. |
| |
E sotto i dettagli, questi sono tutti i singoli modelli che erano adatti. E se apro uno di questi dialoghi, posso vedere i risultati e ho accesso alle opzioni aggiuntive che saranno disponibili da quel menu. |
| |
Quindi metterò da parte i dettagli. E per impostazione predefinita, ciò che viene fatto è riportare le statistiche per i dati di allenamento, ma mi mostra i risultati per i dati di convalida, quindi posso vedere il quadrato R e posso vedere RASE. |
| |
E per impostazione predefinita, ordina in ordine di RASE dove il più basso è il migliore. |
| |
Ma ho alcune piccole opzioni di scelta rapida qui sotto, quindi se volessi trovare i modelli migliori e potrebbe essere che R quadrato sia il migliore per alcuni modelli, ma RASE è migliore per altri, farò clic su Seleziona dominante . |
| |
E in questo caso, ha selezionato il potenziamento neurale, quindi in tutti questi modelli, il modello migliore è potenziato neurale. E se voglio dare un'occhiata più da vicino a questo modello, posso anche guardare i dettagli qui sotto neurale |
| |
oppure, posso semplicemente dire, esegui selezionato. |
| |
Ora non ne ho parlato, ma nella finestra di dialogo c'è un'opzione per impostare un seme casuale. |
| |
E se imposto quel seme casuale, i risultati che vengono lanciati qui saranno identici a quelli che vedo qui. Quindi questo è un ... questo è un |
| |
modello neurale con tre nodi che utilizzano la funzione TanH, ma utilizza anche il potenziamento. Quindi, nella progettazione di questa piattaforma, gli sviluppatori hanno fatto molte simulazioni per determinare il miglior punto di partenza e le migliori impostazioni predefinite per i diversi modelli. |
| |
Quindi il potenziamento neurale è il migliore. |
| |
E |
| |
se voglio essere in grado di distribuire questo modello, ora quello che posso fare è salvare lo script |
| |
oppure posso eseguirlo, oppure posso salvarlo nella formula più profonda. |
| |
Quindi questo è con una risposta continua e ci sono alcune altre opzioni sotto il triangolo rosso. E se ho una risposta categorica? Per una risposta categorica, posso utilizzare la stessa piattaforma. Quindi di nuovo, vado alla proiezione del modello. |
| |
Farò clic su richiama, ma invece di usare Y, userò Y Binary. |
| |
E non cambierò nessuno dei metodi predefiniti. Inserirò un seme casuale, quindi ad esempio 12345, sto solo prendendo un numero casuale. |
| |
E ciò che questo farà è darmi ripetibilità. Quindi, se salvo un modello nella tabella dati o nel depot delle formule, |
| |
le statistiche saranno le stesse nel modello, l'adattamento sarà lo stesso. Alcune altre opzioni qui. Potremmo voler disattivare alcune cose come i rapporti. |
| |
Potremmo voler utilizzare un diverso metodo di convalida incrociata, quindi questa piattaforma include la convalida K fold, ma utilizza anche la convalida incrociata K fold nidificata. |
| |
E possiamo ripetere questo. Quindi così davvero carino. A volte il partizionamento dei nostri dati nella convalida e nel test dell'addestramento non è il massimo e K fold |
| |
può effettivamente essere un po 'meglio. E ci sono alcune opzioni aggiuntive in fondo. Quindi potremmo voler aggiungere interazioni a due vie. Potremmo voler aggiungere effetti quadratici. |
| |
Con metodi aggiuntivi, questo si adatterà a metodi di regressione generalizzata aggiuntivi. Quindi vado avanti e faccio clic su OK. |
| |
OK. Funziona con tutti i modelli e di nuovo, questo è un piccolo set di dati. È molto veloce. |
| |
Esatto, l'aspetto grafico è lo stesso, ma ora le statistiche sono diverse. Quindi ho il tasso di errata classificazione. Ho un'area sotto la curva. Ho anche alcune misure del quadrato R e quindi l'errore quadratico medio della radice. |
| |
Faccio clic su seleziona dominante e, di nuovo, il metodo dominante viene potenziato neurale. |
| |
Ora, cosa succede se voglio essere in grado di esplorare alcuni di questi diversi modelli? Quindi l'errata classificazione qui è di una discreta quantità inferiore a quella per gradini. |
| |
L'AUC è un po 'simile, è complessivamente più bassa ma forse non molto migliore. E fammi prendere alcuni di questi. Quindi se clicco su alcuni di questi, forse ... forse selezionerò questi quattro, questi cinque. |
| |
Posso guardare le curve ROC, se sono interessato a guardare le curve ROC per confrontare i modelli. |
| |
E ci sono alcuni bei controlli qui per permettermi di disattivare i modelli e concentrarmi su determinati modelli. |
| |
E una nuova funzionalità di cui sono davvero entusiasta è questa cosa chiamata soglia decisionale. |
| |
E ciò che la soglia decisionale ci consente di guardare, |
| |
e inizia guardando i dati di addestramento, ci fornisce un'istantanea dei nostri dati. |
| |
E il tasso di errata classificazione si basa su un limite di 0,5 per la classificazione. Quindi per ciascuno dei modelli, mi mostra i punti che erano effettivamente alti e bassi. E se ci concentriamo sull'alto, i punti verdi sono stati correttamente classificati come alti. |
| |
E quelli nell'area rossa sono stati classificati erroneamente, quindi ci mostra le classificazioni corrette e le classificazioni errate, e quindi riporta tutte le statistiche qui a lato |
| |
E poi in basso vediamo diverse metriche diverse più molti grafici che ci permettono di guardare le false classificazioni e anche le classificazioni vere. |
| |
Chiudo questo e guardo il file |
| |
dati di convalida. |
| |
Allora perché è utile? Bene, potresti avere uno scenario particolare in cui sei interessato a massimizzare la sensibilità |
| |
pur mantenendo una certa specificità. E sensibilità ... e qui ci sono alcune definizioni. La sensibilità è il vero tasso positivo; |
| |
la specificità è il vero tasso negativo. Questo è uno ... questo è uno scenario in cui vogliamo guardare alla progressione della malattia, quindi vogliamo assicurarci di essere ... stiamo mantenendo un alto tasso di sensibilità |
| |
assicurandoci anche che la nostra specificità sia alta, va bene. Quindi quello che possiamo fare con questo è che c'è un cursore qui, e possiamo afferrare questo cursore, |
| |
e possiamo vedere come cambiano le classificazioni quando cambiamo il limite per la classificazione. |
| |
Quindi penso che questo sia uno strumento davvero potente quando guardi modelli concorrenti, perché potresti avere alcuni modelli con un taglio complessivo di 0,5, potrebbero avere il miglior tasso di errata classificazione. |
| |
Ma potresti anche avere scenari in cui, se modifichi il limite di classificazione, diversi modelli potrebbero funzionare in modo diverso. Quindi, ad esempio, se mi trovo in una determinata regione qui, potrei scoprire che il modello graduale è effettivamente migliore. |
| |
Ora, per illustrare ulteriormente questo aspetto, voglio aprire un esempio diverso. |
| |
E questo esempio si chiama marketing con carta di credito. |
| |
E se torno alle mie diapositive solo per introdurre questo scenario. |
| |
Questo è uno scenario in cui |
| |
abbiamo molti dati basati su ricerche di mercato sull'accettazione di offerte di carte di credito. |
| |
La risposta è: l'offerta è stata accettata. E questo è uno scenario in cui solo il 5,5% delle offerte nello studio sono state effettivamente accettate. |
| |
Ora ci sono fattori che ci interessano, quindi ci sono diversi tipi di ricompense che vengono offerti, |
| |
e ci sono diversi tipi di mailer. Quindi questo è in realtà un esperimento progettato. In un certo senso ignoreremo quella parte ... quell'aspetto di questo studio. |
| |
E ci sono anche informazioni finanziarie, quindi continueremo a ... attenerci a un obiettivo in questo esempio, e questo è l'obiettivo di identificare i clienti che hanno maggiori probabilità di accettare l'offerta. |
| |
E se riusciamo a identificare i clienti più probabili, in questo scenario potremmo inviare offerte solo al sottoinsieme che ha maggiori probabilità di accettare l'offerta e ignorare il resto. Quindi questo è lo scenario qui. |
| |
E ho intenzione di aprire questi dati. |
| |
Ho 10.000 osservazioni e la mia risposta è un'offerta accettata. |
| |
E ho già salvato lo script nella tabella dei dati, quindi ho miglia aeree, tipo di mailer, livello di reddito, valutazione del credito e poche altre informazioni finanziarie. |
| |
Sta passando ... Ho eseguito uno script di salvataggio. Sta attraversando tutti i modelli. E neurale, in questo caso, impiegherà più tempo perché esegue un neurale potenziato. |
| |
Ci vorranno ancora qualche secondo. Funziona con macchine a vettore di supporto. Le macchine vettoriali di supporto andranno in timeout e in realtà non funzioneranno se ho più di 10.000 osservazioni. |
| |
Gli do un altro secondo. Sto usando la convalida quindi sto usando la convalida standard per questo, dove ho una colonna di convalida. E in questo caso, ho una colonna di zeri e uno e JMP riconoscerà gli zeri per i dati di addestramento e quelli per i dati di convalida. |
| |
Va bene. Ecco qua. Ok, quindi è stato eseguito, e se hai a che fare con una tabella di dati di grandi dimensioni, c'è un ... c'è un rapporto che puoi eseguire |
| |
per guardare i tempi trascorsi. E per questo scenario, la macchina vettoriale di supporto ha effettivamente impiegato più tempo, ed è per questo che, a volte, non verrà eseguita se abbiamo più di 10.000 osservazioni. |
| |
Quindi diamo un'occhiata a questi. Quindi il nostro miglior modello, se seleziono dominante, è un potenziamento neurale e un albero decisionale, ma voglio sottolineare qualcosa qui. Notare la percentuale di errori di classificazione. |
| |
Il tasso di errata classificazione è identico per tutti i modelli, ad eccezione delle macchine a vettori di supporto. E perché è così? Bene, se eseguo una distribuzione di offerta accettata |
| |
(permettimi di ingrandirlo un po 'in modo da poterlo vedere) e concentrati solo sui dati di convalida, nota che il punto .063% delle nostre osservazioni era Sì. Questo è esattamente ciò che prevedeva il nostro modello. |
| |
E perché lo fa? |
| |
Chiederò di nuovo la soglia decisionale. |
| |
E concentrandoci su questo grafico qui, e questo grafico ha molti usi, e in questo caso, ciò che ci mostra è che il nostro limite per la classificazione è .5 |
| |
ma nessuna delle nostre probabilità adattate era nemmeno vicina a quella, giusto. Di conseguenza, il modello ha classificato correttamente i no come no |
| |
o ha classificato i sì come no. Non ha mai classificato nulla come un sì, perché nessuna delle probabilità era maggiore di 0,5. Quindi se allungo questo ragazzo, |
| |
giusto, posso vedere la differenza in questi due modelli. Quindi la probabilità massima era di circa 0,25 per il potenziamento neurale e per l'albero decisionale era di circa 0,15. |
| |
E si noti che per l'albero decisionale, l'albero decisionale fondamentalmente esegue una serie di divisioni binarie e fondamentalmente ho diversi valori predittivi, mentre un potenziato neurale mi mostra un bel modello casuale nei punti. Quindi lasciami cambiare questo in qualcosa come .12. |
| |
Giusto, e si interrompe a .12, infatti, se lo faccio scorrere, noto che più in basso ottengo, in realtà comincio a ottenere (ho intenzione di attivare le metriche qui), inizio a ottenere dei veri positivi. |
| |
E comincio a ricevere alcuni falsi positivi. Quindi mentre lo trascino, puoi vederlo nella barra, ma la barra è un po 'piccola, giusto. Neurale potenziato, sto iniziando a vedere alcuni veri positivi e alcuni falsi positivi. |
| |
E ora inizi a vederli. Non appena supero questo primo insieme di punti, inizio a vederlo per l'albero decisionale. |
| |
Quindi, usare un taglio di 0,5 non ha senso per questi dati, e ancora una volta potrei ... Potrei provare a trovare un taglio che mi dia la massima sensibilità, pur mantenendo un livello decente di specificità. |
| |
In questo caso, segnalerò queste altre due statistiche. |
| |
F1 è il punteggio F1, e questa è davvero una misura di quanto siamo in grado di catturare i veri aspetti positivi. |
| |
MCC è il coefficiente di correlazione di Matthews, e questa è una buona misura di quanto bene si classifica all'interno di ciascuna delle quattro possibilità. Quindi ho ... |
| |
Posso avere un falso positivo, un falso negativo, un vero positivo, un vero negativo. |
| |
E in realtà non l'ho detto corrispondente alle caselle qui, ma ho quattro diverse opzioni. Il Centro clienti è un coefficiente di correlazione compreso tra meno uno e più uno, che misura come prevedo in ogni quattro ... in ciascuna di queste quattro caselle. |
| |
Quindi potrei voler esplorare il taglio che ti dà il valore F1 massimo o il valore MCC massimo. E diciamo che trascino in questo modo verso il basso. Notalo che |
| |
la sensibilità sta crescendo rapidamente e la specificità sta iniziando a diminuire, quindi forse è intorno a 0,5, giusto, arrivo a un punto in cui sto iniziando a scendere troppo nella specificità. |
| |
Potrei trovare un taglio e in fondo c'è questa opzione per impostare una matrice dei profitti. Se lo imposto come matrice dei profitti, in pratica, ciò che accadrà è che mi consentirà di ottenere nuovi dati utilizzando questo limite. |
| |
Quindi, se lo imposto qui e premo ok, giusto, qualsiasi previsione futura che faccio, se lo salvo nella tabella dei dati o nel depot della formula, utilizzerà quel taglio. |
| |
E questo è uno scenario in cui potrei effettivamente avere alcune informazioni finanziarie da inserire nella matrice dei profitti. |
| |
Quindi, ad esempio, invece di utilizzare il cursore per scegliere il limite, forse ho una certa conoscenza del valore in dollari associato alle mie classificazioni. E forse se la risposta effettiva è no, |
| |
ma mando loro un'offerta, quindi c'è un sì, penso che saranno sì e mando loro un'offerta. Forse questo mi costa $ 5, giusto, quindi ho un valore negativo lì. |
| |
E forse ho un'idea del potenziale profitto, quindi forse i profitti ... il potenziale profitto in questo periodo di tempo è di $ 100 e forse ho perso qualche opportunità. Forse dico, sai, è -100 se |
| |
la persona avrebbe effettivamente risposto, ma non ho inviato loro l'offerta. Quindi forse questa è un'opportunità persa ea volte lasciamo questo vuoto. Se invece lo uso, |
| |
Ho alcune informazioni aggiuntive che vengono visualizzate, quindi riconosce che ho una matrice dei profitti. E ora se guardo le metriche, posso prendere decisioni sul mio miglior modello basato su questo profitto. |
| |
Quindi sto introducendo queste informazioni aggiuntive nel processo decisionale, ea volte abbiamo una matrice dei profitti e possiamo usarla direttamente ea volte no. E questo è uno di quei casi in cui posso vedere che il modello potenziato neurale mi darà i migliori profitti complessivi. |
| |
Quindi questa è un'anteprima della proiezione del modello e lasciatemi tornare alle mie diapositive. |
| |
E cosa abbiamo visto qui? Bene, abbiamo parlato di modellazione predittiva |
| |
e come la modellazione predittiva abbia un obiettivo diverso dalla modellazione esplicativa. Quindi il nostro obiettivo qui è quello di prevedere o classificare accuratamente i risultati futuri, quindi vogliamo valutare le osservazioni future. |
| |
E in genere inseriremo e confronteremo molti modelli utilizzando la convalida e sceglieremo il modello o la combinazione di modelli che fa il lavoro migliore, che prevede in modo più accurato. |
| |
Lo screening dei modelli semplifica davvero questo flusso di lavoro in modo da poter adattare molti modelli diversi, allo stesso tempo, con un'unica piattaforma. |
| |
E in realtà ho scelto solo il valore predefinito, quindi posso montare modelli molto più sofisticati di quelli che effettivamente si adattano lì. Rende davvero facile selezionare i modelli dominanti, esplorare i dettagli del modello. Possiamo montare nuovi modelli |
| |
dai dettagli. Questa soglia decisionale, se hai a che fare con dati categoriali, ti consente di esplorare i limiti per la classificazione e integra anche la possibilità di includere una matrice di profitto. |
| |
E per qualsiasi modello selezionato, possiamo distribuire il modello nel depot delle formule o salvarlo nella tabella dei dati. Quindi un nuovo strumento davvero potente. |
| |
Per maggiori informazioni. Le metriche di classificazione, lo so prima di vedere il punteggio F1 e il coefficiente di correlazione di Matthews, quelle statistiche erano relativamente nuove per me. |
| |
Per dare un senso alla sensibilità e alla specificità, questo post di Wikipedia contiene alcuni esempi davvero, davvero carini e una discussione davvero piacevole. |
| |
Ci sono anche alcune risorse davvero interessanti per la modellazione predittiva e anche per lo screening dei modelli. Nella comunità degli utenti di JMP, c'è un nuovo percorso, Impara JMP, che ha accesso ai video, |
| |
Padroneggiare i video della serie JMP. C'è stato un bel discorso lo scorso anno al JMP Discovery di Tucson di Ruth Hummel e Mary Loveless su quale modello e quando. |
| |
E questo fa un buon lavoro nel parlare di diversi obiettivi di modellazione e quando potresti voler utilizzare ciascuno dei modelli. |
| |
Se sei nuovo di zecca nella modellazione predittiva, il nostro corso online gratuito, STIPS, che è Statistical Thinking for Industrial Problem Solving, Modulo 7 è un'introduzione alla modellazione predittiva. |
| |
Quindi lo consiglierei. C'è un blog sullo screening dei modelli che utilizza i dati sul diabete che farò notare e voglio anche sottolineare che c'è una seconda edizione di questo libro, Building Better Models with JMP Pro, |
| |
uscirà nei prossimi due mesi. Non hanno ancora una nuova copertina, ma includeranno la proiezione del modello in quel libro. |
| |
Quindi è tutto quello che ho. Sentitevi liberi di postare commenti per questo post o porre domande, e spero che vi divertirete per il resto della conferenza. Grazie. |
