Relatore | Trascrizione |
| Mia Stephens | probabilmente non ci vorranno 45 minuti. |
| Va bene, stiamo bene. |
| accidenti, perché quel testo è appena arrivato. |
| Jason Wiggins, JMP | Hai visto, stavo solo per chiedere che avevo iniziato a registrare ma che qualcuno entrerà e taglierà l'inizio alla fine del così. |
| Mia Stephens | Direi che stai registrando. |
| Jason Wiggins, JMP | si. |
| Posso fermarmi se vuoi. |
| ehm. |
| Jason Wiggins, JMP | Bene, la registrazione è iniziata. |
| Mia Stephens | ciao mi chiamo MIA Stevens e sono un product manager di JMP. |
| E oggi parleremo di una nuova funzionalità apparsa per la prima volta nello screening dello schermo del modello JMPed 16 o JMP pro 16. |
| In realtà, lasciami ricominciare da capo. |
| Jason Wiggins, JMP | La registrazione è ricominciata. |
| Mia Stephens | Ciao, sono Mia Stephens. |
| E io sono un product manager JMP. E oggi parleremo dello screening dei modelli. Lo screening dei modelli è una nuova piattaforma in JMP Pro 16 e consente di adattare più modelli contemporaneamente, il che consente di semplificare il flusso di lavoro di modellazione predittiva. |
| Quindi inizieremo parlando un po' di cosa intendiamo per modellazione predittiva, e questo è in contrasto con la modellazione più classica o la modellazione esplicativa. |
| Vedremo i tipi di modelli che puoi creare in JMP Pro e parleremo un po' del flusso di lavoro di modellazione predittiva. E poi vedremo come utilizzare lo screening del modello per ottimizzare questo flusso di lavoro. |
| Vedremo diverse metriche per confrontare i modelli concorrenti e utilizzeremo due diversi esempi in JMP Pro e utilizzerò JMP Pro 16.1. |
| Quindi, prima, cosa intendiamo per modellazione predittiva? |
| La maggior parte di noi ha seguito corsi di statistica all'università o all'università o tramite la tua azienda, e in genere, quando noi... quando impariamo la modellazione statistica è modellazione esplicativa. |
| E ciò che intendiamo con questo è che sei interessato a studiare qualche variabile Y, qualche risposta di interesse, in funzione di diverse X o variabili di input. |
| Quindi potremmo essere interessati a identificare variabili importanti, forse siamo in una sorta di situazione di problem solving in cui vogliamo cercare di identificare le X più importanti, le cause potenziali più importanti. |
| Quindi, come risultato della modellazione esplicativa, potremmo essere in grado di identificare, ad esempio, che X1, X3 e X6 sono potenziali cause di variazione in Y, e questo potrebbe portarti a studiare ulteriormente queste variabili utilizzando un esperimento progettato. |
| Potremmo anche essere interessati a quantificare la natura della relazione, quindi, ad esempio, potremmo essere interessati a capire come Y, la nostra risposta, cambia in media, in funzione delle X. |
| una variazione di una unità in X è associata a una variazione di cinque unità in Y. |
| Quindi questo è ciò a cui di solito pensiamo quando parliamo di modellazione o modellazione statistica o analisi di regressione. |
| Ora, al contrario, la modellazione predittiva riguarda la previsione o la classificazione accurata dei risultati futuri. |
| Quindi nella modellazione classica, in genere facciamo affermazioni sulla media, la media complessiva. Nella modellazione predittiva, vogliamo sapere cosa accadrà dopo. Quindi, per esempio, questo cliente si ritirerà? Sarà questo cliente |
| accettare l'offerta della carta di credito? La macchina si romperà? Quindi siamo interessati a prevedere cosa accadrà dopo. Quindi siamo interessati all'accuratezza, all'accuratezza delle nostre previsioni. |
| Nella modellazione predittiva, tendiamo ad adattare e confrontare molti diversi modelli possibili e questo implica o può coinvolgere alcune tecniche molto avanzate. |
| E alcune di queste tecniche potrebbero non essere molto facili da interpretare. Quindi, se pensi alle reti neurali, le reti neurali sono generalmente considerate una sorta di scatola nera. |
| E con questi modelli più complessi, l'overfitting può essere un problema, e ciò che intendo per overfitting è che tendiamo... possiamo adattare un modello che è molto più complesso del necessario. |
| Quindi, nella modellazione predittiva, tendiamo a utilizzare la convalida del modello. Utilizziamo la convalida del modello per proteggere dall'overfitting e anche dall'underfitting. E ciò che la convalida del modello implica è la divisione dei nostri dati, e un modo tipico per dividere i nostri dati è quello di tenere alcuni dei nostri dati... |
| bene, alcuni dei nostri dati vengono utilizzati per addestrare il nostro modello, alcuni dei nostri dati sono stati mantenuti e potremmo anche avere un terzo set che è stato resistito. E il modo in cui utilizziamo questi dati è che adattiamo i nostri modelli utilizzando i dati di addestramento |
| e poi vediamo quanto bene il modello ha funzionato sui dati di convalida. E potrebbe essere utilizzato il terzo passaggio, spesso chiamato test set, |
| perché la convalida... i dati di convalida in JMP vengono spesso utilizzati per controllare la dimensione del modello. Quindi lo vedremo in azione tra pochi minuti. |
| Non entrerò in molti dettagli sulla convalida, ma se questo è un argomento per te relativamente nuovo, ci sono alcune diapositive alla fine di questo mazzo che ho preso in prestito dal nostro corso online gratuito, STIPS, e illustra perché la convalida è importante. |
| In JMP Pro ci sono molti tipi diversi di modelli predittivi che puoi adattare. |
| Alcuni di questi sono disponibili dal modello di adattamento, quindi se hai una risposta continua, puoi adattare un modello di regressione lineare. Se hai una risposta categorica, puoi adattarti |
| un modello di regressione logistica. Questo può essere un modello di regressione ordinale o multinomiale o binomiale. Puoi adattare modelli lineari generalizzati o modelli di regressione penalizzata come rete elastica e lazo e regressione della cresta. |
| C'è un menu di modellazione predittiva con molti elementi, ad esempio le reti neurali. E puoi adattare le reti neurali in JMP Pro con |
| due strati, con più nodi, più funzioni di attivazione, con con boosting. E generalmente in JMP, |
| puoi adattare modelli per risposte categoriali o risposte continue utilizzando la stessa piattaforma. Puoi adattare una varietà di diversi tipi di alberi, alberi di classificazione se hai a |
| risposta categoriale, alberi di regressione se si dispone di una risposta continua. Puoi anche adattare alcuni tipi di alberi più complicati, come la foresta di bootstrap e gli alberi potenziati. E puoi vedere che ci sono anche altri metodi disponibili. |
| E ci sono un paio di piattaforme di modellazione predittiva con metodi multivariati, quindi discrimina l'analisi e i minimi quadrati parziali. Quindi questo non è affatto un elenco esaustivo e sottolineerò che anche i minimi quadrati parziali sono disponibili dal modello fit. |
| La domanda è: perché abbiamo bisogno di così tanti modelli? Nella modellazione esplicativa classica, in genere stiamo imparando l'analisi di regressione, ma ci sono chiaramente molti, molti più tipi di modelli che possiamo adattare. |
| Ebbene, il motivo è che nessun singolo tipo di modello è sempre il migliore. Il modello migliore dipende spesso dalla struttura dei dati. |
| Quante variabili hai, se hai X puramente continue o se hai un misto di variabili continue e categoriali, se hai un comportamento non lineare. |
| Quindi, nessun singolo tipo di modello è sempre il miglior modello per prevedere con precisione. Quindi generalmente proviamo diversi modelli e scegliamo il modello o i modelli combinati che fanno il lavoro migliore. |
| E pensiamo alla modellazione predittiva nel contesto del flusso di lavoro analitico più ampio. |
| Naturalmente c'è un qualche tipo di problema che stiamo cercando di risolvere, un problema di affari o un problema di ingegneria. |
| Ma noi compiliamo i dati, e questi potrebbero essere dati da una varietà di fonti diverse, e dobbiamo accoppiare questi dati, dobbiamo curare i dati. |
| Esploriamo e visualizziamo i dati per saperne di più su ciò che abbiamo a nostra disposizione e sulle esigenze di dati aggiuntivi. E l'aspetto della modellazione predittiva di questo è sotto analizzare i dati e costruire modelli e, nella mia mente, è qui che inizia davvero il divertimento. |
| Quindi il flusso di lavoro classico all'interno di JMP prevede l'adattamento di un modello con la convalida. |
| E poi salvi la formula di previsione nella tabella dei dati, oppure la pubblichi nel deposito delle formule e lo vedremo tra pochi istanti. |
| E poi ti adatti un altro modello. Quindi potresti iniziare con un modello di regressione e quindi adattare un modello basato su albero. E poi lo ripeti e ti adatti a diversi tipi di modelli. |
| Quindi usa il confronto dei modelli per valutare le prestazioni di ciascun modello sui dati di convalida. Quindi ricorda che utilizziamo i dati di addestramento per adattarsi al modello, ma per confrontare i modelli per vedere quale previsione è più accurata, utilizziamo la convalida o i dati del test. |
| E scegliamo il modello migliore o la migliore combinazione di modelli. |
| E poi distribuiamo il modello, quindi questo è un tipo di flusso di lavoro tipico. |
| Ora, con lo screening del modello, ciò che lo screening del modello fa è semplificare questo. In questo modo puoi adattare tutti i modelli desiderati all'interno della piattaforma di screening dei modelli, |
| confrontare quei modelli utilizzando i dati di convalida, selezionare il modello migliore. Puoi esplorare i modelli, puoi persino adattare nuovi modelli dallo screening dei modelli e quindi distribuire facilmente il modello migliore. |
| Quindi, per dare un'occhiata più da vicino a questo, useremo un paio di esempi, e il primo esempio è uno che potresti avere familiarità, |
| i dati sul diabete e questi si trovano nella directory dei dati di esempio. Quindi lo scenario è che i ricercatori vogliano essere in grado di prevedere il tasso di progressione della malattia |
| un anno dopo che sono state effettuate le misurazioni di base. Quindi ci sono 10 variabili di base e 442 pazienti, e ci sono due tipi di risposte che esamineremo qui. La risposta Y è una misura quantitativa che misura quanto è progredita la malattia in un anno. |
| E c'è anche una risposta binaria, alto/basso, quindi alto significa che c'è un alto... alto tasso di progressione della malattia e basso significa che c'è stato un basso tasso di progressione. |
| E l'obiettivo della modellazione qui è quello di prevedere i pazienti con maggiori probabilità di avere un alto tasso di progressione della malattia in modo da poter intraprendere azioni correttive. |
| Quindi, in definitiva, ciò che vorremmo essere in grado di fare è costruire un modello che ci permetta di classificare i futuri pazienti, in base alle loro variabili demografiche e alle informazioni di base che abbiamo qui. Quindi vogliamo essere in grado di farlo |
| prevedere con precisione se avranno un alto tasso di progressione della malattia o meno in modo che possiamo quindi agire. Ok, questo è lo scenario. |
| E prima di entrare in JMP, voglio parlare un po' di come decidiamo quale modello predice meglio. |
| E ho detto che usiamo la convalida o il set di test per questo, e ci sono diversi tipi di misure che possiamo usare. |
| Per le risposte continue, utilizziamo RMSE, che è l'errore del quadrato principale della radice, o RASE, che è una misura correlata, l'errore al quadrato medio della radice, e questo è l'errore di previsione, e qui il più basso è migliore. |
| Possiamo anche usare AAE (errore medio assoluto), MAD (deviazione media assoluta) o MAE e anche per questi, inferiore è meglio. Quindi queste sono...queste sono...queste sono specie di misure di errore medio. |
| E poi, R quadrato, e per R quadrato, che è davvero la misura della bontà dell'adattamento, più alto è meglio. |
| Quindi tendiamo a usarli per risposte continue; ci sono molti altri tipi di misure disponibili. |
| Poiché le risposte categoriche erano spesso interessate all'errata classificazione o al tasso di errore o ai tassi di accuratezza, potremmo essere interessati alla precisione. |
| Ci sono altre misure, area sotto la curva, che vediamo in una curva ROC, sensibilità e specificità, e queste hanno diversi tipi di nomi. |
| E ci sono un paio di altre misure che abbiamo aggiunto nello screening del modello che sono buone quando abbiamo dati sbilanciati. C'è un punteggio F1 e un MCC, che è il coefficiente di correlazione di Matthews, e questo è un valore che assume... |
| o una metrica che prende alcuni valori tra meno uno e più uno, ed è utile per misurare quando hai dati categoriali, quanto bene i dati sono classificati in tutte e quattro le possibili categorie, il vero positivo, il vero negativo, i falsi positivi e falsi negativi. |
| Quindi andiamo... entriamo in JMP. |
| E apro solo i dati. |
| Quindi questi sono... e li ingrandirò un po', questi sono di nuovo i dati sul diabete. |
| E se vuoi giocare con questi dati, c'è un blog che usa questi dati e puoi anche trovarli nella guida e quindi campionare i dati. |
| E ancora, abbiamo una risposta Y, lascia che la ingrandisca un po', che è la nostra misura continua della progressione della malattia. E poi abbiamo una Y binaria con risultati bassi o alti, e la prenderemo... daremo un'occhiata a ciascuno di questi. |
| Quindi, per iniziare, diamo un'occhiata se tu... se avessi JMP 15 o se non utilizzi lo screening del modello, come adatteresti i modelli predittivi per prevedere Y, la risposta continua, se hai JMP Pro? |
| Si noti che abbiamo diverse variabili demografiche. |
| Quindi ce ne sono 10, e c'è una colonna di convalida e la colonna di convalida suddivide i nostri dati in dati di addestramento e convalida. |
| Quindi adatteremo il nostro modello utilizzando i dati di addestramento e poi vedremo quanto bene si comporta il modello quando lo applichiamo ai dati di convalida. |
| Per creare questa colonna, c'è l'utilità in fase di analisi, la modellazione predittiva, la creazione di una colonna di convalida e questo ci consente di creare una colonna di convalida. |
| Potresti avere variabili che desideri utilizzare come colonne di stratificazione, quindi, ad esempio, vuoi assicurarti che i dati siano bilanciati tra |
| set di validazione. Farò semplicemente clic su OK qui. |
| E questo ci permette di assegnare una certa percentuale dei nostri dati nei diversi set. |
| E ci sono alcune opzioni aggiuntive qui sotto che sono utili, quindi il seme casuale è davvero bello se stai insegnando e vuoi che tutti i tuoi studenti abbiano lo stesso partizionamento. |
| Quindi questo è stato usato prima |
| analisi, quindi iniziamo semplicemente dando un'occhiata a questa colonna Y, la risposta continua. Quindi, se dovessi adattare modelli predittivi, un punto di partenza naturale è adattare un modello di regressione e la regressione in JMP è in base al modello di adattamento. |
| La mia risposta è Y, e mi adatterò...comincio adattando un modello solo per effetti principali. |
| Inserirò la convalida qui in questo campo di convalida e, per impostazione predefinita, la personalità è standard dei minimi quadrati. Ma se hai familiarità con JMP e JMP Pro, sai che ci sono molte opzioni diverse disponibili sotto la personalità. |
| Quando faccio clic su Esegui, |
| un cambiamento in JMP 16 è che se osserviamo il grafico effettivo per previsione o uno qualsiasi degli altri grafici, notiamo che ci sono dei punti... ci sono alcuni punti qui con una V, invece di un punto. |
| Questo per indicare che questi punti sono stati effettivamente assegnati al set di convalida, quindi stiamo fondamentalmente guardando, |
| sai, quanto bene il modello prevede nel rumore casuale che lo circonda, e puoi vedere che c'è un certo grado di dispersione. E |
| ricorda, stiamo adattando il nostro modello ai dati di addestramento e stiamo vedendo quanto bene si comporta sui dati di convalida. Quindi ci sono alcune statistiche in basso. Quindi, ogni volta che abbiamo la convalida, vedrai alcune statistiche extra per i set di addestramento e convalida. |
| E possiamo vedere che ci sono un paio di misure qui. C'è R Square e c'è anche RASE. |
| E generalmente quando si adatta il modello a un set di dati e poi si applica quel modello a nuovi dati, non funzionerà altrettanto bene sui nuovi dati. Quindi possiamo vedere che R quadrato è inferiore per il set di convalida e RASE, l'errore, è un po' più alto. |
| Una volta... l'unica cosa che vediamo quaggiù sotto il profilo di previsione |
| è quell'avviso ... nota che il colesterolo totale e l'LDL si espandono davvero alle estremità. |
| E mentre trascino |
| il valore del colesterolo, si noti quanto sia ampio questo intervallo di confidenza per la media. Quindi, mentre lo trascino nella fascia bassa, |
| diventa super largo e la stessa cosa che trascino nella fascia alta. In effetti, tutti questi intervalli per ciascuno dei predittori diventano super ampi. |
| E questo va un po' oltre lo scopo di questo discorso, ma questo è perché in realtà non abbiamo dati o molti dati in questa regione. Se ho preso... dai un'occhiata e lo farò |
| prendi queste due variabili, colesterolo totale e LDL come è un esempio... per il colesterolo e LDL. |
| Si noti che esiste una correlazione piuttosto forte tra questi. Non ho dati in questa regione e non ho dati in questa regione. |
| Quindi, se mai ti adatti un modello predittivo o qualsiasi tipo di modello in cui vedi queste bande che si aprono davvero a ventaglio, |
| è un'indicazione che le tue previsioni non saranno molto precise in quella regione. E c'è una nuova funzionalità in JMP Pro, |
| chiamato controllo di estrapolazione, che può avvisarti se questo è un problema. Quindi se lo trascino fuori, |
| nota che mi dice ehi, c'è una possibile estrapolazione; le tue previsioni potrebbero essere problematiche qui. E se attivo il controllo dell'estrapolazione, |
| nota che tronca queste bande, e in pratica sta dicendo che non puoi fare previsioni oltre quei limiti. Semplicemente non è valido. |
| Quindi questo va un po' oltre lo scopo di questo, ma se dovessi mai vedere bande nel tuo profilo di previsione che si stanno espandendo, |
| è spesso perché i tuoi predittori sono correlati tra loro, ed è... potrebbe essere che non hai molti dati per fare previsioni in quelle regioni. Quindi è bene esserne consapevoli. |
| Va bene, quindi tornando al compito a portata di mano, quindi vediamo, ho montato questo modello e ho ridotto il modello e sono comodo che questo sia, questo è il mio modello finale. |
| Salverò questo modello nella mia tabella di dati salvando la formula di previsione. E vedrai che aggiunge una nuova colonna alla tabella dei dati. E ho appena creato un modello lineare, quindi ho salvato quella formula nella tabella dei dati. |
| E un'alternativa è pubblicare questo, e lo pubblicherò nel deposito delle formule. |
| Quindi, alla fine, quello che ho intenzione di fare è adattare diversi tipi di modelli (e andrò avanti e chiuderò questo) e voglio confrontare quei modelli in modo da poterlo usare... |
| Posso farlo salvando la formula e andando ad analizzare, modellare predittiva, confrontare i modelli e lo farò tra un momento, o salvandola nel deposito delle formule. |
| E il vantaggio di salvarlo nel deposito delle formule è che ora ho il codice di punteggio. Quindi, ad esempio, se questo fosse il mio modello finale che volevo applicare a nuovi dati, |
| Potrei copiare questo script e applicarlo per ottenere nuovi dati |
| (e non lo farò qui), oppure posso creare codice in una varietà di linguaggi diversi, se voglio essere in grado di utilizzare questo modello in un ambiente di produzione. |
| Quindi quello era un semplice modello lineare. E se volessi adattare un diverso tipo di modello? |
| Potrei adattare un modello più complesso qui in fit model. |
| Quindi posso adattare un modello di regressione generalizzato e forse voglio adattare un modello Lazo, quindi farò clic su vai qui. |
| E c'è un confronto di modelli proprio qui all'interno della regressione generalizzata, ma diciamo che voglio salvare questo modello, giusto. |
| E non sto prestando troppa attenzione ai dettagli qui, ma salverò questo. Salverò la formula di previsione. Forse andrò avanti e pubblicherò anche quello. |
| Vai qui, pubblica questo. |
| E potrei ripeterlo, potrei adattarmi a un modello che ha interazioni. Potrei quindi procedere ad adattare un modello di rete neurale o un modello di partizione, un modello basato su albero e, se ho una risposta categorica, questo si adatterà |
| un albero di classificazione. Se ho una risposta continua, si adatterà a un albero di regressione. Potrei adattarmi a una foresta bootstrap, che è una raccolta di alberi più piccoli o alberi potenziati, quindi ci sono diversi tipi di modelli che posso adattare. |
| E una volta che ho ottenuto i miei modelli e salvato le formule o pubblicate nel deposito delle formule, voglio trovare quale modello prevede più accuratamente. |
| Quindi userò il confronto dei modelli. |
| E aggiungerò semplicemente la convalida come mia per variabile, |
| perché voglio essere in grado di vedere quanto bene ha funzionato il modello sui dati di convalida. E semplicemente usando questi due modelli e guardando i dati di convalida (riponerò i dati di addestramento), |
| Vedo che ho un errore medio inferiore per il modello dei minimi quadrati e il mio RASE è leggermente superiore per il modello dei minimi quadrati. |
| E il mio quadrato R è un po' meglio per il Lazo generalizzato. |
| Quindi questo è il modo tipico in cui potremmo eseguire la modellazione predittiva se abbiamo JMP 15 Pro o JMP Pro 15 o se non utilizziamo lo screening del modello. E ciò che fa lo screening del modello è che ci permette di fare tutto questo in un solo passaggio. Quindi entrerò nella modellazione predittiva e lancerò lo screening del modello. |
| E lo screening del modello, se guardi in basso nell'angolo qui, ci consente sostanzialmente di avviare ciascuna delle piattaforme che ha senso per il tipo di dati che abbiamo |
| ed eseguire automaticamente quei modelli. Quindi non dobbiamo entrare e selezionare il modello dal menu, possiamo eseguirlo automaticamente da qui. Quindi mi adatterò allo stesso tipo di modello, quindi qui è un modello solo per effetti principali. |
| Queste sono le mie X. Userò la stessa convalida. |
| E ci sono un sacco di opzioni qui di cui parleremo tra un momento, e farò clic su OK. E nota che ho un albero decisionale, una foresta di bootstrap, un albero potenziato, K vicini più vicini. |
| Per impostazione predefinita, Naive Bayes è disattivato, posso adattare un modello neurale. |
| Ce ne sono altri in fondo qui. Nota che ha XGBoost, quindi XGBoost è disponibile perché ho installato un componente aggiuntivo, il componente aggiuntivo XGBoost. |
| Quindi questo è un componente aggiuntivo gratuito che accede alle librerie open source e, se lo hai installato in JMP Pro, puoi avviarlo dalla piattaforma di screening del modello. Quindi lo lascerò spento e farò semplicemente clic su OK. |
| Quindi sta eseguendo i modelli ed eccolo lì. Quindi è uscito e in realtà ha saltato un passaggio, giusto. Esegue automaticamente ciascuno di questi modelli. |
| Inoltre, ci sono alcune simulazioni che usi per determinare i migliori valori iniziali per i parametri di ottimizzazione, quindi adattiamo tutti questi modelli. |
| E sta riportando la formazione di convalida e le statistiche di convalida per ciascuno dei modelli. E ora per capire quale di questi modelli è il migliore, |
| Seleziona dominante. E ciò che fondamentalmente fa select dominante è creare una frontiera tra le metriche disponibili, quindi premo select dominante qui. |
| E scopre che per questi dati, il modello migliore è il modello potenziato neurale, e quindi i dettagli per quel modello sono qui sotto neurale. |
| Quindi tutti i dettagli in realtà sono solo il lancio della piattaforma e l'acquisizione di tutte le informazioni, proprio qui all'interno di questa piattaforma. |
| Quindi tutti i dettagli sono qui per neurale, quindi fondamentalmente esegue un TanH, con tre nodi che viene potenziato. E posso vedere le statistiche di allenamento e le statistiche di convalida e se voglio essere in grado di vedere il modello che era effettivamente adatto, |
| ecco il modello sottostante. |
| Giusto, quindi questo è... quindi questo è il mio modello con le migliori prestazioni. Se voglio essere in grado di dare un'occhiata più da vicino a questi modelli, posso esplorarli da qui e ci sono alcune opzioni qui, posso guardare la trama effettiva per previsione. |
| E posso confrontare questi modelli, quindi, come previsto, c'è un po' meno variazione nei nostri... nei nostri dati di addestramento di quanto non ci sia nei dati di convalida e nel grafico effettivo per previsione. Posso disattivare alcuni modelli se voglio essere in grado di esplorare questo. |
| E posso anche avviare il profiler e se hai 16.1, il profiler è un'opzione. In realtà è un'opzione nascosta se hai 16.0 e di nuovo sono in Pro per questo. Il profiler è bello perché ci permette di esplorare i modelli che ci adattiamo, quindi ho selezionato tre modelli. |
| E lascia che lo ingrandisca un po'. |
| Forse non così grande. |
| Quindi ho una foresta di bootstrap, che è un modello basato su alberi, in cui sostanzialmente somma i risultati di un mucchio di alberi diversi insieme. |
| Ho un modello potenziato e i modelli neurali raccolgono davvero bene i comportamenti non lineari. E ho il modello Lasso, che è essenzialmente solo un modello lineare. |
| E puoi vedere questi modelli abbastanza chiaramente. Nota con lazo generalizzato, giusto, ho questa relazione lineare tra BMI |
| e la risposta. Con il neuro potenziato, posso vedere che c'è una certa curvatura. Posso vederlo qui con con LTG e con bootstrap forest, posso vedere che ho questa piccola funzione di passaggio, giusto, quindi in realtà si avvicina a questa relazione non lineare che abbiamo qui. |
| Quindi, se decidiamo che il modello potenziato neurale è il migliore, |
| quindi possiamo fondamentalmente avviare il modello, avviarlo da qui e possiamo salvare le formule nella tabella dei dati o pubblicarle nel deposito delle formule per la distribuzione. |
| Quindi fa risparmiare molto tempo e ci dà comunque la possibilità di esplorare i nostri modelli. |
| E se avessimo una risposta categorica? Quindi ricorda, abbiamo Y binario. Possiamo usare il binario Y allo stesso modo, quindi andrò ad analizzare e chiamerò di nuovo lo screening del modello, e premerò semplicemente il richiamo e invece di Y userò il binario Y. |
| Possiamo eseguire gli stessi tipi di modelli al suo interno. Se un certo tipo di modello non ha senso, non lo eseguirà. Quindi, ad esempio, la regressione dei minimi quadrati non ha senso qui, quindi in realtà non la eseguirà. |
| Ci sono alcune opzioni qui. Se seleziono set random seed, come 1, 2, 3, 4, 5, questo mi darà ripetibilità e se lancio un modello dai dettagli, |
| avrà... avrà gli stessi risultati. Ho alcune opzioni aggiuntive qui per la convalida. |
| Quindi risulta che in molti casi, utilizzando la classica partizione di training, validazione e test |
| in realtà non è il migliore, in particolare nei piccoli set di dati. Quindi potrei voler usare invece la convalida incrociata K fold e abbiamo anche la convalida incrociata nidificata. |
| E puoi eseguire ripetute convalida K fold. Quindi questa è una buona opzione, in particolare se hai un piccolo set di dati. |
| E ci sono alcune opzioni aggiuntive in fondo. Quindi potresti voler aggiungere interazioni bidirezionali o quadratiche. |
| Se sai che ti mancano i valori, potresti voler utilizzare l'informazione mancante. E metodi aggiuntivi si applicano a metodi di regressione generalizzata aggiuntivi. E se sei nel programma JMP 17 early adopter, noterai che questa parte della finestra di dialogo del menu |
| oppure il dialogo di avvio del modello è stato leggermente riorganizzato per farlo scorrere un po' meglio. Giusto, quindi userò solo le impostazioni predefinite qui con un seme casuale e farò clic su OK. |
| Quindi esegue tutti questi modelli. Ancora una volta, è molto, molto veloce. Bene e ora, poiché ho una risposta binaria, ho alcune metriche aggiuntive. ne ho due |
| R misure quadrate, ho il tasso di classificazione errata, quell'area sotto la curva, RASE. Ricorda che questo è correlato all'errore quadratico medio della radice. Ancora una volta, farò clic su seleziona dominante e di nuovo ha trovato potenziato neurale, e non è sempre così. |
| Se seleziono quelli che penso siano i modelli di punta, le opzioni sotto il triangolo rosso, puoi guardare le curve ROC per questi e, ancora, ci sono segni di spunta che posso attivare e disattivare i modelli. Lasciami |
| seleziona questo. E una delle mie nuove funzionalità preferite, che è disponibile anche dalla piattaforma di confronto dei modelli e in JMP 17 viene aggiunta a qualsiasi piattaforma di modellazione che esegue la modellazione di classificazione, è questa cosa chiamata soglia di decisione. |
| Penso che questa sia una delle... una delle... una delle cose più potenti che abbiamo aggiunto in JMP 16. |
| Quindi, con questi tre modelli selezionati, mi viene fornito un riepilogo delle classificazioni per quei tre modelli. |
| E lo renderò un po' più grande, così possiamo vedere un po' meglio. |
| Quindi il modo in cui leggiamo questo è che, se diamo un'occhiata al potenziamento neurale, ci sta mostrando che due categorie per potenziato neurale... neurale e stiamo prevedendo la probabilità di un aumento. Quindi queste sono probabilità adattate per alte. |
| E il cutoff è .5, quindi qualsiasi cosa al di sotto di .5 è classificata come bassa; qualsiasi cosa sopra .5 è classificata come alta. |
| Quindi, se guardiamo questo blocco rosso qui, questi sono tutti i punti che sono stati classificati come bassi, ma in realtà erano alti, e possiamo vedere quel numero qui. Ce n'erano 29, quindi questi erano i falsi negativi. |
| Il riquadro rosso inferiore, questi sono stati classificati come alti, |
| ma in realtà erano bassi. Quindi questi sono i falsi positivi, questi ragazzi qui. |
| E nella parte inferiore ci sono alcune metriche, alcuni grafici che ci aiutano a dare un senso a questo, e ci fanno... e ci aiutano a prendere alcune decisioni. E ci sono anche alcune metriche, quindi possiamo vedere gli stessi valori qui, i 29 falsi negativi, 17 falsi positivi. |
| E possiamo anche vedere i veri aspetti positivi e negativi. E quello che mi piace davvero di questo è che mi permette di esplorare diversi tagli. |
| Quindi, a seconda dei tuoi obiettivi di modellazione, ad esempio, potremmo essere interessati ad avere un tasso di sensibilità elevato, ma non vogliamo davvero avere un tasso di specificità basso. |
| Tasso di sensibilità, e questa chiave qui è davvero utile, la sensibilità è il vero tasso positivo; la specificità è il vero tasso negativo. |
| Sai, possiamo trovare un taglio che in realtà faccia un po' meglio a entrambi? E facendo clic e trascinando, puoi modificare il limite per la classificazione |
| e cerca di trovare un taglio che faccia un lavoro migliore. Quindi, ad esempio, a .26, e inserirò qui un bel numero arrotondato, con un taglio di .25, la sensibilità è maggiore, pur mantenendo un'elevata specificità. |
| I grafici che ho nascosto sono molto utili anche per interpretare questi numeri, quindi ci danno un quadro generale di falsa classificazione |
| per soglia, per porzione e quindi classificazione vera. Quindi, se sto cercando di trovare un punto che bilancia specificità e sensibilità, posso guardare questo grafico. |
| Quindi queste linee superiori sono la sensibilità, le linee tratteggiate sono la specificità e c'è un punto in cui sono ancora al di sopra di un certo valore per la sensibilità in cui... |
| sensibilità, dove la mia specificità rimane alta? E noi possiamo... possiamo bilanciarli. Quindi, se guardo qui, posso vedere che questo è il punto in cui entrambe le linee si incrociano. |
| E questo diventa davvero importante se abbiamo un caso in cui abbiamo dati sbilanciati. Quindi diamo un'occhiata a un altro esempio. Quindi ho intenzione di chiudere questo e |
| non salvare questo. E lasciami chiudere il deposito delle formule e, a proposito, il deposito delle formule è autonomo, quindi in pratica non è legato al set di dati che stavamo usando. Quindi è davvero facile prendere un modello e quindi applicarlo a nuovi dati. Ho intenzione di andare avanti e chiudere questo. |
| Quindi lo scenario qui per questo prossimo set di dati, i dati chiamati marketing delle carte di credito, e lo scenario è quello |
| che stiamo facendo delle ricerche di mercato sull'accettazione di offerte di carte di credito. E la risposta è offerta accettata. E un avvertimento è che solo il 5,5% delle offerte, |
| utilizzando dati storici, sono stati accettati. Questo è in realtà un esperimento progettato in cui stiamo esaminando diversi premi, diversi tipi di mailer, |
| informazioni finanziarie diverse, ma l'esperimento progettato è di tipo ricompensa e mailer. Ci concentreremo su questo particolare obiettivo di modellazione. Vogliamo identificare i clienti che hanno maggiori probabilità di accettare l'offerta della carta di credito. |
| E così facendo cercheremo di farlo |
| applichiamo il modello ai nuovi clienti e, in base alla classificazione di questi nuovi clienti, decideremo se inviare loro l'offerta o meno. |
| Quindi, se è molto improbabile che i clienti accettino l'offerta, non gliela invieremo. Se sono molto probabili, glielo invieremo. |
| Quindi questo è lo scenario e, tornando a JMP, abbiamo accettato l'offerta. E andrò avanti ed eseguirò uno script salvato qui mentre parlo dei dati. |
| Abbiamo 10.000 osservazioni, quindi ci vorrà un po' più di tempo, e in questo momento sta eseguendo quei modelli e sto usando solo le impostazioni predefinite qui. Quindi ho un'offerta accettata, |
| il tipo di ricompensa è miglia aeree, cashback o punti. Il tipo di mailer è lettera o cartolina. E poi il resto sono informazioni bancarie... informazioni bancarie storiche e alcune informazioni demografiche. |
| Vedi che sta eseguendo macchine vettoriali di supporto. Le macchine vettoriali di supporto possono essere un po' lente, in particolare nei grandi set di dati, e infatti, per impostazione predefinita, non funzioneranno se abbiamo oltre 10.000 osservazioni. |
| Possiamo vedere che abbiamo un equilibrio medio. E i dati vengono inseriti in una petizione per l'addestramento e la convalida e JMP riconoscerà automaticamente gli zeri come addestramento e quelli come convalida. Giusto, quindi ha eseguito tutti i modelli. |
| E se seleziono dominante, possiamo vedere che ha selezionato l'adattamento graduale e l'albero decisionale. |
| Ma voglio sottolineare questo tasso di classificazione errata. |
| Quindi questo è... questo è davvero qualcosa che vediamo molto spesso quando cerchiamo l'ago nel pagliaio, giusto. Se do un'occhiata a questi dati ed eseguirò solo una distribuzione di questi dati... |
| Lascia che lo ingrandisca un po', così possiamo vederlo un po' meglio, giusto. Quindi sto solo guardando i dati di convalida, notalo |
| 6,25, 6,2, 6,3% |
| dei valori erano sì, hanno risposto all'offerta ed è esattamente quello che stiamo ottenendo qui per il tasso di classificazione errata. |
| E per capire meglio questo, ho intenzione di attivare la soglia di decisione. |
| E rendilo un po' più grande. |
| Si noti che il sì previsto è tutto zero, e questo perché le probabilità previste erano tutte relativamente basse. |
| Ricorda che in una matrice di confusione classica, il cutoff è .5, e se hai dati sbilanciati, è molto improbabile che classificherai molte delle osservazioni come sì, in questo caso. |
| Mentre clicco e trascino, |
| e arrivo a questa prima serie di punti, poi comincio a vedere alcuni sì previsti. In effetti, attiverò le metriche. |
| Quando hai dati altamente sbilanciati, le probabilità previste potrebbero essere molto basse. |
| Quindi, avere questo dispositivo di scorrimento ti consente di esplorare i tagli |
| che possono influenzare sia la tua sensibilità che la tua specificità. Quindi, in un caso come questo, potremmo dire qualcosa del tipo, beh, se dovessimo inviare... |
| Inserisco solo .05 qui... se dovessimo inviare un'offerta di carta di credito alle probabilità previste, il 5% più alto delle probabilità previste di sì, giusto, la nostra sensibilità |
| tra i due modelli è di circa .72, .75 e la nostra specificità è ancora piuttosto alta. Quindi avere questo... questo taglio, questo cursore, ti consente di ottenere informazioni più utili dal tuo modello. |
| Quindi, quindi se... a 0,5, posso vedere che sto ottenendo dei veri aspetti positivi. Ricevo anche molti falsi positivi, giusto, quindi c'è un compromesso qui. |
| Ora, in un caso come questo, potresti anche avere degli impatti finanziari. Giusto. Quindi ha senso pensare a questo... |
| matrice di profitto. E c'è un pulsante. |
| faccio clic su questo. |
| La matrice del profitto è una proprietà di colonna per una particolare colonna e possiamo impostarla |
| quel valore, che taglia fuori dalla soglia di probabilità, come proprietà della colonna, oppure possiamo anche inserire dei valori. Sai, nello scenario classico forse costa $ 5 |
| se scegliamo di inviare a qualcuno un'offerta. |
| E se rispondono all'offerta, |
| forse vale $ 100. Quindi, se scegliamo di inviare un'offerta a qualcuno, e loro non rispondono, perdiamo $ 5. |
| Se scegliamo di inviare un'offerta a qualcuno e lui risponde, forse guadagniamo in media $ 100. E forse c'è qualche opportunità persa, forse diciamo che perdiamo $ 100 |
| se non rispondono. E spesso il costo di questo è che questo viene lasciato vuoto, inseriamo solo valori per i sì. Se applico questo e faccio clic su OK, |
| poi vengono aggiunti dei nuovi valori, giusto. Quindi, ora abbiamo una matrice dei profitti e se guardo le nostre metriche, possiamo vedere i profitti previsti. Così |
| in media, giusto, per ogni cliente in questo set di dati, significa che guadagnerà $ 1,50 se applichiamo il modello dell'albero decisionale e un po' meno se applichiamo il modello graduale. |
| Quindi, in una situazione come questa con dati sbilanciati quando ci sono dei costi sottostanti, ha senso usare la matrice del profitto. Se non abbiamo costi sottostanti, |
| quindi questo dispositivo di scorrimento ci aiuta a scegliere un taglio che ci consentirà di raggiungere il nostro obiettivo di modellazione, ok. Potrebbe essere per massimizzare la sensibilità, massimizzare la specificità o qualcos'altro. |
| Questo è essenzialmente lo screening del modello. |
| Lasciami chiudere questo e tornare al mazzo di diapositive. |
| Quindi abbiamo parlato un po' della modellazione predittiva e di cosa intendiamo per modellazione predittiva. |
| E abbiamo visto che puoi facilmente adattare e confrontare molti modelli utilizzando la convalida e lo screening del modello è tutto incentrato sullo snellimento di questo flusso di lavoro. |
| Puoi ancora uscire e adattare singoli modelli, se lo desideri, ma lo screening dei modelli ti consente di adattare tutti i modelli contemporaneamente in un'unica piattaforma e quindi confrontare questi modelli. |
| Per ulteriori informazioni, sono disponibili molti tipi diversi di metriche e molte, molte metriche per i dati di classificazione. C'è davvero un bel |
| pagina in Wikipedia sulla sensibilità e specificità e su tutte... tutte le varie metriche, e l'ho trovato davvero utile mentre stavo cercando di approfondire e capire come interpretare le metriche fornite. |
| Ci sono molte risorse sulla modellazione predittiva in generale e anche sullo screening dei modelli in JMP Pro |
| nella nostra...nella nostra Community di utenti. Di nuovo farò riferimento a STIPS. STIPS è il nostro corso di pensiero statistico per la risoluzione dei problemi industriali. |
| E il settimo modulo è un'introduzione alla modellazione predittiva, quindi se sei nuovo di zecca nella modellazione predittiva, ti consiglio di dare un'occhiata. E c'è anche un blog che utilizza i dati sul diabete che vengono pubblicati sulla nostra Community. E infine, sai, qualsiasi nuova funzionalità |
| tenderà a subire miglioramenti iterativi. Lo screening del modello è stato introdotto in JMP Pro 16. Stiamo già lavorando su JMP Pro 17 e ci sono già molti miglioramenti in lavorazione. |
| Quindi, se sei interessato a dare un'occhiata a ciò che sta arrivando, ti dà l'opportunità di fornire un feedback, |
| sai, contattaci per unirti al programma Early Adoctor e ti prepareremo. Grazie per il tuo tempo e spero che ti piaccia il resto della conferenza. |
