Altoparlante | Trascrizione |
| Mia Stephens | probabilmente non ci vorranno 45 minuti. |
| Va bene, stiamo bene. |
| dannazione, perché quel messaggio è appena arrivato. |
| Jason Wiggins, JMP | Hai visto, stavo solo per chiedere che avevo iniziato a registrare ma che qualcuno entrasse e tagliasse l'inizio alla fine del so. |
| Mia Stephens | Direi che stai registrando. |
| Jason Wiggins, JMP | Sì. |
| Posso fermarmi se vuoi. |
| ehm. |
| Jason Wiggins, JMP | Bene, la registrazione è iniziata. |
| Mia Stephens | salve, mi chiamo MIA Stevens e sono un product manager di JMP. |
| E oggi parleremo di una nuova funzionalità che è apparsa per la prima volta nello screening dello schermo del modello JMPed 16 o JMP pro 16. |
| In realtà, fammi ricominciare da capo. |
| Jason Wiggins, JMP | La registrazione è ricominciata. |
| Mia Stephens | Ciao, sono Mia Stephens. |
| E io sono un product manager di JMP. E oggi parleremo dello screening dei modelli. Lo screening dei modelli è una nuova piattaforma di JMP Pro 16 e consente di adattare più modelli contemporaneamente, semplificando il flusso di lavoro della modellazione predittiva. |
| Quindi inizieremo parlando un po' di cosa intendiamo per modellazione predittiva, e questo è in contrasto con la modellazione più classica o la modellazione esplicativa. |
| Vedremo i tipi di modelli che è possibile creare in JMP Pro e parleremo un po' del flusso di lavoro della modellazione predittiva. E poi vedremo come utilizzare lo screening del modello per semplificare questo flusso di lavoro. |
| Vedremo diverse metriche per confrontare i modelli concorrenti e utilizzeremo due diversi esempi in JMP Pro, e userò JMP Pro 16.1. |
| Quindi, in primo luogo, cosa intendiamo per modellazione predittiva? |
| La maggior parte di noi ha frequentato corsi di statistica all'università o all'università o tramite la vostra azienda, e in genere, quando noi... quando impariamo la modellazione statistica è una modellazione esplicativa. |
| E ciò che intendiamo con questo è che sei interessato a studiare qualche variabile Y, qualche risposta di interesse, in funzione di diverse X o variabili di input. |
| Quindi potremmo essere interessati a identificare variabili importanti, forse siamo in una situazione di tipo problem-solving in cui vogliamo cercare di identificare le X più importanti, le potenziali cause più importanti. |
| Quindi, come risultato della modellazione esplicativa, potremmo essere in grado di identificare, diciamo, che X1, X3 e X6 sono potenziali cause di variazione in Y, e questo potrebbe portarti a studiare ulteriormente queste variabili utilizzando un esperimento progettato. |
| Potremmo anche essere interessati a quantificare la natura della relazione quindi, ad esempio, potremmo essere interessati a capire come cambia in media Y, la nostra risposta, in funzione delle X. |
| una variazione di una unità in X è associata a una variazione di cinque unità in Y. |
| Quindi questo è ciò a cui generalmente pensiamo quando parliamo di modellazione o modellazione statistica o analisi di regressione. |
| Ora, al contrario, la modellazione predittiva riguarda la previsione o la classificazione accurata dei risultati futuri. |
| Quindi nella modellazione classica, di solito facciamo affermazioni sulla media, la media complessiva. Nella modellazione predittiva, vogliamo sapere cosa accadrà dopo. Quindi, ad esempio, questo cliente rinuncerà? Sarà questo cliente |
| accettare l'offerta della carta di credito? La macchina si romperà? Quindi siamo interessati a prevedere cosa accadrà dopo. Quindi siamo interessati all'accuratezza, all'accuratezza delle nostre previsioni. |
| Nella modellazione predittiva, tendiamo ad adattare e confrontare molti diversi modelli possibili e questo implica o può comportare alcune tecniche molto avanzate. |
| E alcune di queste tecniche potrebbero non essere molto facili da interpretare. Quindi, se pensi alle reti neurali, le reti neurali sono generalmente considerate una specie di scatola nera. |
| E con questi modelli più complessi, l'overfitting può essere un problema, e quello che intendo per overfitting è che tendiamo... possiamo adattare un modello che è molto più complesso del necessario. |
| Quindi, nella modellazione predittiva, tendiamo a utilizzare la convalida del modello. Utilizziamo la convalida del modello per proteggere dall'overfitting e anche dall'underfitting. E ciò che comporta la convalida del modello è dividere i nostri dati, e un modo tipico di dividere i nostri dati è di avere alcuni dei nostri dati tenuti fuori ... |
| beh, alcuni dei nostri dati vengono utilizzati per addestrare il nostro modello, alcuni dei nostri dati sono stati conservati e potremmo avere un terzo set anch'esso trattenuto. E il modo in cui utilizziamo questi dati è che adattiamo i nostri modelli utilizzando i dati di addestramento |
| e poi vediamo come si è comportato bene il modello sui dati di convalida. E potrebbe essere usato il terzo passo, e questo è spesso chiamato set di test, |
| perché la convalida ... i dati di convalida in JMP vengono spesso utilizzati per controllare quanto diventa grande il modello. Quindi lo vedremo in azione tra pochi minuti. |
| Non entrerò in molti dettagli sulla convalida, ma se questo è un argomento relativamente nuovo per te, ci sono alcune diapositive alla fine di questo mazzo che ho preso in prestito dal nostro corso online gratuito, STIPS, e illustra perché la convalida è importante. |
| In JMP Pro sono disponibili molti tipi diversi di modelli predittivi che è possibile adattare. |
| Alcuni di questi sono disponibili dal modello di adattamento, quindi se si dispone di una risposta continua, è possibile adattare un modello di regressione lineare. Se hai una risposta categorica, puoi adattarti |
| un modello di regressione logistica. Questo può essere un modello di regressione ordinale o multinomiale o binomiale. È possibile adattare modelli lineari generalizzati o modelli di regressione penalizzata come rete elastica e regressione Lasso e cresta. |
| C'è un menu di modellazione predittiva con molti elementi, ad esempio reti neurali. E puoi adattare le reti neurali in JMP Pro con |
| due livelli, con più nodi, più funzioni di attivazione, con potenziamento. E generalmente in JMP, |
| puoi adattare modelli per risposte categoriche o risposte continue utilizzando la stessa piattaforma. Puoi adattare una varietà di diversi tipi di alberi, alberi di classificazione se ne hai uno |
| risposta categorica, alberi di regressione se si dispone di una risposta continua. Puoi anche adattare alcuni tipi di alberi più complicati, come la foresta bootstrap e gli alberi potenziati. E puoi vedere che ci sono anche altri metodi disponibili. |
| E ci sono un paio di piattaforme di modellazione predittiva con metodi multivariati, quindi analisi discriminante e minimi quadrati parziali. Quindi questo non è affatto un elenco esaustivo e sottolineerò che i minimi quadrati parziali sono disponibili anche dal modello di adattamento. |
| La domanda è: perché abbiamo bisogno di così tanti modelli? Nella modellazione esplicativa classica, in genere stiamo imparando l'analisi di regressione, ma ci sono chiaramente molti, molti più tipi di modelli che possiamo adattare. |
| Bene, il motivo è che nessun singolo tipo di modello è sempre il migliore. Il modello migliore spesso dipende dalla struttura dei dati. |
| Quante variabili hai, se hai X puramente continue o se hai una combinazione di variabili continue e categoriali, se hai un comportamento non lineare. |
| Quindi, nessun singolo tipo di modello è sempre il modello migliore per prevedere con precisione. Quindi generalmente proviamo diversi modelli e scegliamo il modello o i modelli combinati che fanno il lavoro migliore. |
| E pensiamo alla modellazione predittiva nel contesto del più ampio flusso di lavoro analitico. |
| Ovviamente c'è qualche tipo di problema che stiamo cercando di risolvere, un problema aziendale o un problema di ingegneria. |
| Ma compiliamo dati, e questi potrebbero essere dati provenienti da varie fonti diverse, e dobbiamo accoppiare questi dati, dobbiamo curare i dati. |
| Esploriamo e visualizziamo i dati per saperne di più su ciò che abbiamo a nostra disposizione e ulteriori esigenze di dati. E l'aspetto della modellazione predittiva di questo è sotto analizzare i dati e costruire modelli e, nella mia mente, è qui che inizia davvero il divertimento. |
| Quindi il flusso di lavoro classico all'interno di JMP prevede l'adattamento di un modello con convalida. |
| E poi salvi la formula di previsione nella tabella dei dati o la pubblichi nel deposito delle formule e lo vedremo tra pochi istanti. |
| E poi monti un altro modello. Quindi potresti iniziare con un modello di regressione e quindi adattare un modello basato su albero. E poi lo ripeti e ti adatti a diversi tipi di modelli. |
| E quindi utilizzare il confronto dei modelli per valutare le prestazioni di ciascun modello sui dati di convalida. Quindi ricorda che utilizziamo i dati di addestramento per adattare il modello, ma per confrontare i modelli per vedere quale previsione è più accurata, utilizziamo la convalida o i dati di test. |
| E scegliamo il miglior modello o la migliore combinazione di modelli. |
| E poi distribuiamo il modello, quindi questo è un tipo di flusso di lavoro tipico. |
| Ora, con lo screening dei modelli, ciò che fa lo screening dei modelli è semplificare tutto questo. Quindi puoi adattare tutti i modelli desiderati all'interno della piattaforma di screening dei modelli, |
| confrontare questi modelli utilizzando i dati di convalida, selezionare il modello migliore. Puoi esplorare i modelli, puoi persino adattare nuovi modelli dallo screening dei modelli e quindi puoi facilmente distribuire il modello migliore. |
| Quindi, per dare un'occhiata più da vicino, useremo un paio di esempi, e il primo esempio è uno con cui potresti avere familiarità, |
| i dati sul diabete, e questi sono nella directory dei dati di esempio. Quindi lo scenario è che i ricercatori vogliono essere in grado di prevedere il tasso di progressione della malattia |
| un anno dopo che sono state effettuate le misurazioni di base. Quindi ci sono 10 variabili di base e 442 pazienti, e ci sono due tipi di risposte che esamineremo qui. La risposta Y è una misura quantitativa che misura quanto la malattia è progredita in un anno. |
| E c'è anche una risposta binaria, alto/basso, quindi alto significa che c'è un alto...alto tasso di progressione della malattia e basso significa che c'è stato un basso tasso di progressione. |
| E l'obiettivo di modellazione qui è prevedere i pazienti che hanno maggiori probabilità di avere un alto tasso di progressione della malattia in modo da poter intraprendere azioni correttive. |
| Quindi, alla fine, quello che vorremmo essere in grado di fare è costruire un modello che ci consenta di classificare i pazienti futuri, in base alle loro variabili demografiche e alle informazioni di base che abbiamo qui. Quindi vogliamo essere in grado di farlo |
| prevedere con precisione se avranno un alto tasso di progressione della malattia o meno in modo da poter agire. Ok, quindi questo è lo scenario. |
| E prima di entrare in JMP, voglio parlare un po' di come decidiamo quale modello prevede il meglio. |
| E ho detto che usiamo la convalida o il set di test per questo, e ci sono diversi tipi di misure che possiamo usare. |
| Per le risposte continue, usiamo RMSE, che è l'errore quadratico principale della radice, o RASE, che è una misura correlata, l'errore quadratico medio della radice, e questo è l'errore di previsione, e qui il più basso è migliore. |
| Possiamo anche usare AAE (errore assoluto medio), MAD (deviazione assoluta media) o MAE e anche per questi, più basso è meglio. Quindi queste sono... queste sono... queste sono una specie di misure dell'errore medio. |
| E poi, Rquadrato, e per Rquadrato, che in realtà è la misura della bontà dell'adattamento, più alto è meglio. |
| Quindi tendiamo a usarli per risposte continue; sono disponibili molti altri tipi di misure. |
| Poiché le risposte categoriche erano spesso interessate alla classificazione errata o al tasso di errore o ai tassi di accuratezza, potremmo essere interessati alla precisione. |
| Ci sono altre misure, area sotto la curva, che vediamo in una curva ROC, sensibilità e specificità, e queste hanno diversi tipi di nomi. |
| E ci sono un paio di altre misure che abbiamo aggiunto nello screening del modello che sono utili quando abbiamo dati sbilanciati. C'è un punteggio F1 e MCC, che è il coefficiente di correlazione di Matthews, e questo è un valore che assume... |
| o una metrica che prende alcuni valori tra meno uno e più uno, ed è utile per misurare quando hai dati categorici, quanto bene i dati sono classificati in tutte e quattro le possibili categorie, il vero positivo, il vero negativo, i falsi positivi e falsi negativi. |
| Quindi andiamo... passiamo a JMP. |
| E mi limiterò ad aprire i dati. |
| Quindi questi sono... e li ingrandirò un po', questi sono di nuovo i dati sul diabete. |
| E se vuoi giocare con questi dati, c'è un blog che usa questi dati, e puoi anche trovarli sotto aiuto e poi campionare i dati. |
| E ancora, abbiamo una risposta Y, fammelo ingrandire un po', che è la nostra misura continua della progressione della malattia. E poi abbiamo una Y binaria con risultati di basso o alto, e lo prenderemo... daremo un'occhiata a ognuno di questi. |
| Quindi, per iniziare, diamo un'occhiata se tu... se avessi JMP 15 o se non utilizzi lo screening del modello, come adatteresti i modelli predittivi per prevedere Y, la risposta continua, se hai JMP Pro? |
| Si noti che abbiamo diverse variabili demografiche. |
| Quindi ce ne sono 10, e c'è una colonna di convalida, e la colonna di convalida suddivide i nostri dati in dati di addestramento e convalida. |
| Quindi adatteremo il nostro modello usando i dati di addestramento, e poi vedremo come si comporta bene il modello quando lo applichiamo ai dati di convalida. |
| Per creare questa colonna, c'è l'utilità in analisi, modellazione predittiva, crea colonna di convalida e questo ci consente di creare una colonna di convalida. |
| Potresti avere variabili che desideri utilizzare come colonne di stratificazione, quindi, ad esempio, vuoi assicurarti che i dati siano bilanciati tra le |
| insiemi di convalida. Farò solo clic su OK qui. |
| E questo ci consente di assegnare una certa percentuale dei nostri dati nei diversi set. |
| E ci sono alcune opzioni aggiuntive qui che sono utili, quindi il seme casuale è davvero utile se stai insegnando e vuoi che tutti i tuoi studenti abbiano lo stesso partizionamento. |
| Quindi questo è stato utilizzato prima di |
| analisi, quindi iniziamo dando un'occhiata a questa colonna Y, la risposta continua. Quindi, se stavo adattando modelli predittivi, un punto di partenza naturale è adattare un modello di regressione e la regressione in JMP è sotto il modello di adattamento. |
| La mia risposta è Y, e mi limiterò ad adattare...iniziamo adattando un modello solo per gli effetti principali. |
| Inserirò la convalida qui in questo campo di convalida e, per impostazione predefinita, la personalità è i minimi quadrati standard. Ma se hai familiarità con JMP e JMP Pro, sai che ci sono molte opzioni diverse disponibili sotto personalità. |
| Quando clicco su Esegui, |
| un cambiamento in JMP 16 è che se guardiamo il grafico effettivo rispetto a quello previsto o uno qualsiasi degli altri grafici, notiamo che ci sono dei punti... ci sono alcuni punti qui con una V, invece di un punto. |
| Questo per indicare che questi punti sono stati effettivamente assegnati al set di convalida, quindi in pratica stiamo guardando, |
| sai, quanto bene il modello predice nel rumore casuale intorno a questo, e puoi vedere che c'è un certo grado di dispersione. E |
| ricorda, stiamo adattando il nostro modello ai dati di addestramento e stiamo vedendo quanto bene si comporta sui dati di convalida. Quindi ci sono alcune statistiche in basso. Quindi, ogni volta che abbiamo la convalida, vedrai alcune statistiche extra per i set di addestramento e convalida. |
| E possiamo vedere che ci sono un paio di misure qui. C'è R Square e c'è anche RASE. |
| E generalmente quando si adatta il modello a un set di dati e poi si applica quel modello a nuovi dati, non funzionerà altrettanto bene sui nuovi dati. Quindi possiamo vedere che R quadrato è più basso per il set di convalida e il RASE, l'errore, è un po' più alto. |
| Una volta... l'unica cosa che vediamo quaggiù sotto il profiler delle previsioni |
| è quella nota ... nota che il colesterolo totale e LDL si estendono davvero alle estremità. |
| E mentre trascino |
| il valore del colesterolo, nota quanto diventa ampio questo intervallo di confidenza per la media. Quindi, mentre lo trascino verso la fascia bassa, |
| diventa super largo e la stessa cosa che lo trascino verso la fascia alta. In effetti, tutti questi intervalli per ciascuno dei predittori diventano molto ampi. |
| E questo va oltre lo scopo di questo discorso, ma questo perché in realtà non abbiamo dati o molti dati in questa regione. Se ho preso... dai un'occhiata e lo farò |
| prendi queste due variabili, colesterolo totale e LDL come esempio... per il colesterolo e LDL. |
| Si noti che esiste una correlazione piuttosto forte tra questi. Non ho dati in questa regione e non ho dati in questa regione. |
| Quindi, se ti adatti a un modello predittivo o a qualsiasi tipo di modello in cui vedi queste bande che si aprono davvero a ventaglio, |
| è un'indicazione che le tue previsioni non saranno molto precise in quella regione. E c'è una nuova funzione in JMP Pro, |
| chiamato controllo di estrapolazione, che può avvisarti se questo è un problema. Quindi se lo trascino fuori, |
| nota che mi sta dicendo hey, c'è una possibile estrapolazione; le tue previsioni potrebbero essere problematiche qui. E se attivo il controllo dell'estrapolazione, |
| nota che tronca queste bande, e sostanzialmente sta dicendo che non puoi fare previsioni oltre quei limiti. Semplicemente non è valido. |
| Quindi questo è un po' oltre lo scopo di questo, ma se mai vedessi bande nel tuo profiler di previsione che si stanno aprendo a ventaglio, |
| è spesso perché i tuoi predittori sono correlati tra loro, ed è ... potrebbe essere che tu non abbia molti dati per fare previsioni in quelle regioni. Quindi è bene esserne consapevoli. |
| Va bene, quindi tornando al compito da svolgere, quindi vediamo, ho adattato questo modello e ridotto il modello e comodo che questo sia, questo è il mio modello finale. |
| Salverò questo modello nella mia tabella dati salvando la formula di previsione. E vedrai che aggiunge una nuova colonna alla tabella dei dati. E ho appena costruito un modello lineare, quindi ha salvato quella formula nella tabella dei dati. |
| E un'alternativa è pubblicare questo, e lo pubblicherò nel deposito delle formule. |
| Quindi, alla fine, quello che farò è adattare diversi tipi di modelli (e andrò avanti e chiuderò questo) e voglio confrontare quei modelli in modo da poterli usare... |
| Posso farlo salvando la formula e andando ad analizzare, modellazione predittiva, confronto di modelli e lo farò in un attimo, oppure salvandola nel deposito delle formule. |
| E il vantaggio di salvarlo nel deposito delle formule è che ora ho il codice del punteggio. Quindi, per esempio, se questo fosse il mio modello finale che volessi applicare a nuovi dati, |
| Potrei copiare questo script e posso applicarlo per segnare nuovi dati |
| (e non lo farò qui), oppure posso creare codice in una varietà di linguaggi diversi, se voglio essere in grado di utilizzare questo modello in un ambiente di produzione. |
| Quindi quello era un semplice modello lineare. E se volessi montare un tipo diverso di modello? |
| Potrei adattare un modello più complesso qui nel modello di adattamento. |
| Quindi posso adattare un modello di regressione generalizzato e forse voglio adattare un modello Lasso, quindi farò clic su vai qui. |
| E c'è un confronto tra modelli proprio qui all'interno della regressione generalizzata, ma diciamo che voglio salvare questo modello, giusto. |
| E non sto prestando troppa attenzione ai dettagli qui, ma salverò questo. Salverò la formula di previsione. Forse andrò avanti e pubblicherò anche quello. |
| Vai qui, pubblica questo. |
| E potrei ripeterlo, potrei adattarmi a un modello che ha interazioni. Potrei quindi procedere ad adattare un modello di rete neurale o un modello di partizione, un modello basato su albero e, se ho una risposta categorica, questo andrà bene |
| un albero di classificazione. Se ho una risposta continua, si adatterà a un albero di regressione. Potrei adattare una foresta bootstrap, che è una raccolta di alberi più piccoli o alberi potenziati, quindi ci sono diversi tipi di modelli che posso adattare. |
| E una volta che ho ottenuto i miei modelli e salvato le formule o pubblicate nel deposito delle formule, voglio trovare quale modello prevede in modo più accurato. |
| Quindi userò il confronto tra modelli. |
| E aggiungerò semplicemente la convalida come mia per variabile, |
| perché voglio essere in grado di vedere come si è comportato bene il modello sui dati di convalida. E usando solo questi due modelli e guardando i dati di convalida (metterò via i dati di addestramento), |
| Vedo che ho un errore medio inferiore per il modello dei minimi quadrati e il mio RASE è leggermente più alto per il modello dei minimi quadrati. |
| E la mia R quadrata è un po' meglio per il lazo generalizzato. |
| Quindi questo è il modo tipico in cui potremmo eseguire la modellazione predittiva se disponiamo di JMP 15 Pro o JMP Pro 15 o se non utilizziamo lo screening del modello. E quello che fa lo screening del modello è permetterci di fare tutto questo in un solo passaggio. Quindi entrerò nella modellazione predittiva e avvierò lo screening del modello. |
| E lo screening del modello, se guardi in basso nell'angolo qui, ci consente sostanzialmente di lanciare ciascuna delle piattaforme che ha senso per il tipo di dati che abbiamo |
| ed eseguire automaticamente quei modelli. Quindi non dobbiamo entrare e selezionare il modello dal menu, possiamo eseguirlo automaticamente da qui. Quindi mi adatterò allo stesso tipo di modello, quindi è un modello solo per gli effetti principali qui. |
| Queste sono le mie X. Userò la stessa convalida. |
| E ci sono un sacco di opzioni qui di cui parleremo tra un momento, e farò clic su OK. E nota che ho un albero decisionale, una foresta bootstrap, un albero potenziato, K vicini più vicini. |
| Per impostazione predefinita Naive Bayes è disattivato, posso adattare un modello neurale. |
| Ce ne sono altri in fondo qui. Si noti che ha XGBoost, quindi XGBoost è disponibile perché ho installato un componente aggiuntivo, il componente aggiuntivo XGBoost. |
| Quindi questo è un componente aggiuntivo gratuito che accede alle librerie open source e, se lo hai installato in JMP Pro, puoi avviarlo dalla piattaforma di screening dei modelli. Quindi lo lascerò disattivato e farò semplicemente clic su OK. |
| Quindi sta eseguendo i modelli ed eccolo lì. Quindi è uscito e in realtà ha saltato un passaggio, giusto. Esegue automaticamente ciascuno di questi modelli per me. |
| E, e ci sono alcune simulazioni che usi per determinare i migliori valori iniziali per i parametri di messa a punto, quindi adattiamo tutti questi modelli. |
| E sta segnalando l'addestramento alla convalida e le statistiche di convalida per ciascuno dei modelli. E ora per capire quale di questi modelli è il migliore, |
| Seleziona dominante. E ciò che fa fondamentalmente la selezione dominante è creare una frontiera tra le metriche disponibili, quindi ho selezionato la selezione dominante qui. |
| E scopre che per questi dati, il modello migliore è il modello potenziato neurale, e quindi i dettagli per quel modello sono qui sotto neurale. |
| Quindi tutti i dettagli sono in realtà solo l'avvio della piattaforma e l'acquisizione di tutte le informazioni, proprio qui all'interno di questa piattaforma. |
| Quindi tutti i dettagli sono qui per il neurale, quindi è fondamentalmente eseguito un TanH, con tre nodi potenziati. E posso vedere le statistiche di addestramento e le statistiche di convalida e se voglio essere in grado di vedere il modello effettivamente adatto, |
| ecco il modello sottostante. |
| Bene, quindi questo è... quindi questo è il mio modello con le migliori prestazioni. Se voglio essere in grado di dare un'occhiata più da vicino a questi modelli, posso esplorarli da qui e ci sono alcune opzioni qui, posso guardare la trama reale rispetto a quella prevista. |
| E posso confrontare questi modelli, quindi come previsto, c'è un po' meno variazione nei nostri... nei nostri dati di addestramento rispetto ai dati di convalida e al grafico effettivo previsto. Posso disattivare alcuni modelli se voglio essere in grado di esplorare questo. |
| E posso anche avviare il profiler e se hai 16.1, il profiler è un'opzione. In realtà è un'opzione nascosta se hai 16.0, e di nuovo sono in Pro per questo. Il profiler è carino perché ci permette di esplorare i modelli che adattiamo, quindi ho selezionato tre modelli. |
| E lascia che lo ingrandisca un po'. |
| Forse non così grande. |
| Quindi ho una foresta bootstrap, che è un modello basato su alberi, dove sostanzialmente somma i risultati di un gruppo di alberi diversi insieme. |
| Ho un modello potenziato e i modelli neurali rilevano davvero bene i comportamenti non lineari. E ho il modello Lasso, che essenzialmente è solo un modello lineare. |
| E puoi vedere questi modelli abbastanza chiaramente. Nota con il lazo generalizzato, giusto, ho questa relazione lineare tra BMI |
| e la risposta. Con il neuro potenziato, posso vedere che c'è una certa curvatura. Posso vederlo qui con LTG, e con bootstrap forest, posso vedere che ho questa piccola funzione passo, giusto, quindi in realtà sta approssimando questa relazione non lineare che abbiamo qui. |
| Quindi, se decidiamo che il modello potenziato neurale è il migliore, |
| quindi possiamo sostanzialmente avviare il modello, avviarlo da qui e possiamo salvare le formule nella tabella dei dati oppure pubblicarle nel deposito delle formule per la distribuzione. |
| Quindi risparmia molto tempo e ci dà comunque la possibilità di esplorare i nostri modelli. |
| E se avessimo una risposta categorica? Quindi ricorda, abbiamo Y binario. Possiamo usare Y binario allo stesso modo, quindi andrò ad analizzare, e di nuovo chiamo lo screening del modello, e premerò semplicemente richiama e invece di Y userò Y binario. |
| Possiamo eseguire gli stessi tipi di modelli al suo interno. Se un certo tipo di modello non ha senso, non lo eseguirà. Quindi, ad esempio, la regressione dei minimi quadrati non ha senso qui, quindi in realtà non la eseguirà. |
| Ci sono alcune opzioni qui. Se seleziono set random seed, come 1, 2, 3, 4, 5, questo mi darà ripetibilità e se lancio un modello dai dettagli, |
| avrà... avrà gli stessi risultati. Ho alcune opzioni aggiuntive qui per la convalida. |
| Quindi risulta che in molti casi, utilizzando il classico partizionamento di addestramento, convalida e test |
| in realtà non è il migliore, in particolare in piccoli set di dati. Quindi potrei voler usare invece la convalida incrociata K fold e abbiamo anche la convalida incrociata nidificata. |
| E puoi eseguire ripetute convalide K volte. Quindi questa è una buona opzione, in particolare se hai un piccolo set di dati. |
| E ci sono alcune opzioni aggiuntive in fondo. Quindi potresti voler aggiungere interazioni a due vie o quadratici. |
| Se sai che ti mancano dei valori, allora potresti voler usare information missing. E metodi aggiuntivi si applicano a metodi di regressione generalizzati aggiuntivi. E se fai parte del programma di adozione anticipata di JMP 17, noterai che questa parte della finestra di dialogo del menu |
| oppure il dialogo di lancio del modello è stato un po' riorganizzato per farlo scorrere un po' meglio. Bene, quindi userò solo le impostazioni predefinite qui con un seme casuale e fare clic su OK. |
| Quindi esegue tutti questi modelli. Di nuovo, è molto, molto veloce. Bene e ora, poiché ho una risposta binaria, ho alcune metriche aggiuntive. ne ho due |
| R quadrato misura, ho il tasso di classificazione errata, quell'area sotto la curva, RASE. Ricorda che questo è correlato all'errore quadratico medio. Ancora una volta, farò clic su Seleziona dominante e di nuovo ho trovato il potenziamento neurale, e non è sempre così. |
| Se seleziono quelli che penso siano i modelli migliori, le opzioni sotto il triangolo rosso, puoi guardare le curve ROC per questi e, ancora una volta, ci sono segni di spunta che posso attivare e disattivare i modelli. Lasciami |
| seleziona questo. E una delle mie nuove funzionalità preferite, che è disponibile anche dalla piattaforma di confronto dei modelli e in JMP 17 viene aggiunta a qualsiasi piattaforma di modellazione che esegue la modellazione della classificazione, è questa cosa chiamata soglia di decisione. |
| Penso che questa sia una delle...una delle...una delle cose più potenti che abbiamo aggiunto in JMP 16. |
| Quindi, con questi tre modelli selezionati, mi viene fornito un riepilogo delle classificazioni per quei tre modelli. |
| E lo renderò un po' più grande, così possiamo vedere un po' meglio. |
| Quindi il modo in cui leggiamo questo è che, se diamo solo un'occhiata al potenziamento neurale, ci sta mostrando che due categorie per neurale ... potenziamento neurale e stiamo prevedendo la probabilità di alto. Quindi queste sono probabilità adattate per alto. |
| E il limite è 0,5, quindi qualsiasi cosa al di sotto di 0,5 è classificata come bassa; qualsiasi valore superiore a 0,5 è classificato come alto. |
| Quindi, se guardiamo questo blocco rosso qui, questi sono tutti i punti che sono stati classificati come bassi, ma in realtà erano alti, e possiamo vedere quel numero qui. Ce n'erano 29, quindi questi erano i falsi negativi. |
| La casella rossa inferiore, queste sono state classificate come alte, |
| ma in realtà erano bassi. Quindi questi sono i falsi positivi, questi ragazzi qui. |
| E in fondo ci sono alcune metriche, alcuni grafici per aiutarci a dare un senso a questo, e fa... e ci aiuta a prendere alcune decisioni. E ci sono anche alcune metriche, quindi possiamo vedere quegli stessi valori qui, i 29 falsi negativi, 17 falsi positivi. |
| E possiamo anche vedere i veri aspetti positivi e negativi. E quello che mi piace davvero di questo è che mi permette di esplorare diversi tagli. |
| Quindi, a seconda dei tuoi obiettivi di modellazione, ad esempio, potremmo essere interessati ad avere un alto tasso di sensibilità, ma in realtà non vogliamo avere un basso tasso di specificità. |
| Tasso di sensibilità, e questa chiave qui è davvero utile, la sensibilità è il vero tasso positivo; la specificità è il vero tasso negativo. |
| Sai, possiamo trovare un taglio che in realtà funzioni un po' meglio in entrambi? E facendo clic e trascinando, puoi modificare il limite per la classificazione |
| e prova a trovare un taglio che faccia un lavoro migliore. Quindi, per esempio, a 0,26, e inserirò solo un bel numero arrotondato qui, a un taglio di 0,25, la sensibilità è più alta, pur mantenendo un'elevata specificità. |
| I grafici che ho nascosto sono molto utili anche per interpretare questi numeri, quindi ci danno un quadro generale della falsa classificazione |
| per soglia, per porzione, e poi vera classificazione. Quindi, se sto cercando di trovare un punto che bilanci specificità e sensibilità, posso guardare questo grafico. |
| Quindi queste linee superiori sono la sensibilità, le linee tratteggiate sono la specificità e c'è un punto in cui sono ancora al di sopra di un certo valore per la sensibilità dove... |
| sensibilità, dove la mia specificità rimane alta? E possiamo... possiamo bilanciarli. Quindi se guardo qui, posso vedere che questo è il punto in cui entrambe le linee si incrociano. |
| E questo diventa davvero importante se abbiamo un caso in cui abbiamo dati sbilanciati. Quindi diamo un'occhiata a un altro esempio. Quindi lo chiuderò e |
| non salvare questo. E lasciatemi chiudere il deposito delle formule e, a proposito, il deposito delle formule è autonomo, quindi sostanzialmente non è legato al set di dati che stavamo usando. Quindi è davvero facile prendere un modello e quindi applicarlo a nuovi dati. Vado avanti e chiudo questo. |
| Quindi lo scenario qui per questo prossimo set di dati, i dati chiamati marketing della carta di credito, e lo scenario è quello |
| che stiamo effettuando delle ricerche di mercato sull'accettazione delle offerte di carte di credito. E la risposta è offerta accettata. E un avvertimento è che solo il 5,5% delle offerte, |
| utilizzando dati storici, sono stati accettati. Questo è in realtà un esperimento progettato in cui esaminiamo diverse ricompense, diversi tipi di mailer, |
| diverse informazioni finanziarie, ma l'esperimento progettato è in ricompensa e tipo di mailer. Ci concentreremo su questo particolare obiettivo di modellazione. Vogliamo identificare i clienti che hanno maggiori probabilità di accettare l'offerta della carta di credito. |
| E così facendo proveremo a farlo |
| applicare il modello ai nuovi clienti e, in base alla classificazione per questi nuovi clienti, prenderemo una decisione se inviare loro l'offerta o meno. |
| Quindi, se i clienti non sono molto propensi ad accettare l'offerta, non gliela invieremo. Se sono molto probabili, allora glielo invieremo. |
| Quindi questo è lo scenario e, tornando a JMP, abbiamo accettato l'offerta. E vado avanti ed eseguo qui uno script salvato mentre parlo dei dati. |
| Abbiamo 10.000 osservazioni, quindi ci vorrà un po' più di tempo, e in questo momento sta eseguendo quei modelli, e sto solo usando le impostazioni predefinite qui. Quindi ho accettato l'offerta, |
| il tipo di premio è miglia aeree, cashback o punti. Il tipo di mailer è lettera o cartolina. E poi il resto sono informazioni bancarie ... storiche bancarie e alcune informazioni demografiche. |
| Vedi che sta eseguendo macchine vettoriali di supporto. Le macchine vettoriali di supporto possono essere un po' lente, in particolare nei grandi insiemi di dati, e infatti, per impostazione predefinita, non funzioneranno se abbiamo più di 10.000 osservazioni. |
| Possiamo vedere che abbiamo un equilibrio medio. E i dati vengono sottoposti a petizione per l'addestramento e la convalida e JMP riconoscerà automaticamente gli zeri come addestramento e quelli come convalida. Giusto, quindi esegue tutti i modelli. |
| E se seleziono dominante, possiamo vedere che ha selezionato l'adattamento graduale e l'albero decisionale. |
| Ma voglio sottolineare questo tasso di classificazione errata. |
| Quindi questo è... questo è davvero qualcosa che vediamo molto spesso quando cerchiamo l'ago nel pagliaio, giusto. Se do un'occhiata a questi dati, e mi limiterò a eseguire una distribuzione di questi dati... |
| Fammi ingrandire un po', così possiamo vederlo un po' meglio, giusto. Quindi sto solo guardando i dati di convalida, notalo |
| 6,25, 6,2, 6,3% |
| dei valori erano sì, hanno risposto all'offerta, ed è esattamente quello che stiamo ottenendo qui per il tasso di classificazione errata. |
| E per capirlo meglio, attiverò la soglia di decisione. |
| E fallo un po' più grande. |
| Si noti che il sì previsto è tutto zero, e questo perché le probabilità previste erano tutte relativamente basse. |
| Ricorda che in una matrice di confusione classica, il cutoff è .5, e se hai dati sbilanciati, è molto improbabile che tu classifichi molte delle osservazioni come sì, in questo caso. |
| Mentre clicco e trascino, |
| e arrivo a questa prima serie di punti, poi comincio a vedere alcuni sì previsti. In effetti, attiverò le metriche. |
| Quando hai dati altamente sbilanciati, le probabilità previste potrebbero essere molto basse. |
| Quindi, avere questo dispositivo di scorrimento ti consente di esplorare i tagli |
| che può influire sia sulla tua sensibilità che sulla tua specificità. Quindi, in un caso come questo, potremmo dire qualcosa del tipo, beh, se dovessimo inviare... |
| Metterò solo 0,05 qui... se dovessimo inviare un'offerta di carta di credito alle probabilità previste, il 5% superiore delle probabilità previste di sì, giusto, la nostra sensibilità |
| tra i due modelli è di circa .72, .75 e la nostra specificità è ancora piuttosto alta. Quindi avere questo...questo taglio, questo cursore, ti permette di ottenere informazioni più utili dal tuo modello. |
| Quindi, quindi se...a 0,5, posso vedere che sto ottenendo dei veri positivi. Ricevo anche molti falsi positivi, giusto, quindi c'è un compromesso qui. |
| Ora, in un caso come questo, potresti anche avere degli impatti finanziari. Giusto. Quindi ha senso pensarci... |
| matrice di profitto. E c'è un pulsante. |
| clicco su questo. |
| La matrice dei profitti è una proprietà della colonna per una particolare colonna e possiamo impostarla |
| quel valore, che è tagliato fuori dalla soglia di probabilità, come proprietà della colonna, oppure possiamo anche inserire dei valori. Sai, nello scenario classico forse costa $ 5 |
| se scegliamo di inviare a qualcuno un'offerta. |
| E se rispondono all'offerta, |
| forse vale $ 100. Quindi, se scegliamo di inviare a qualcuno un'offerta e non risponde, perdiamo 5 dollari. |
| Se scegliamo di inviare a qualcuno un'offerta e loro rispondono, forse guadagniamo in media $ 100. E forse c'è qualche opportunità persa, forse diciamo che perdiamo $ 100 |
| se non rispondono. E spesso il costo di questo è che questo viene lasciato vuoto, inseriamo semplicemente i valori per i sì. Se lo applico e faccio clic su OK, |
| quindi vengono aggiunti alcuni nuovi valori, giusto. Quindi, ora abbiamo una matrice dei profitti e se guardo le nostre metriche, possiamo vedere i profitti previsti. COSÌ |
| in media, giusto, per ogni cliente in questo set di dati, si dice che guadagnerà $ 1,50 se applichiamo il modello dell'albero decisionale e un po' meno se applichiamo il modello graduale. |
| Quindi, in una situazione come questa con dati sbilanciati quando ci sono dei costi sottostanti, ha senso usare la matrice dei profitti. Se non abbiamo costi sottostanti, |
| quindi questo cursore ci aiuta a scegliere un taglio che ci consentirà di raggiungere il nostro obiettivo di modellazione, ok. Potrebbe essere per massimizzare la sensibilità, massimizzare la specificità o qualcos'altro. |
| Quindi questo è essenzialmente lo screening del modello. |
| Consentitemi di chiudere questo e tornare al mazzo di diapositive. |
| Quindi abbiamo parlato un po' della modellazione predittiva e di cosa intendiamo per modellazione predittiva. |
| E abbiamo visto che puoi facilmente adattare e confrontare molti modelli utilizzando la convalida e lo screening del modello si basa sull'ottimizzazione di questo flusso di lavoro. |
| Puoi ancora uscire e adattare i singoli modelli, se lo desideri, ma lo screening dei modelli ti consente di adattare tutti i modelli contemporaneamente in un'unica piattaforma e quindi confrontare questi modelli. |
| Per ulteriori informazioni, sono disponibili molti tipi diversi di metriche e molte, molte metriche per i dati di classificazione. C'è davvero un bel |
| pagina in Wikipedia sulla sensibilità e la specificità e tutte le... tutte le varie metriche, e l'ho trovato davvero utile mentre cercavo di scavare e capire come interpretare le metriche fornite. |
| Ci sono molte risorse sulla modellazione predittiva in generale e anche sullo screening dei modelli in JMP Pro |
| nella nostra... nella nostra comunità di utenti. Ancora una volta farò riferimento a STIPS. STIPS è il nostro corso di pensiero statistico per la risoluzione di problemi industriali. |
| E il settimo modulo è un'introduzione alla modellazione predittiva, quindi se sei nuovo di zecca nella modellazione predittiva, ti consiglio di provarlo. E c'è anche un blog che utilizza i dati sul diabete pubblicati nella nostra community. E infine, sai, qualsiasi nuova funzionalità |
| tenderà a subire miglioramenti iterativi. Lo screening del modello è stato introdotto in JMP Pro 16. Stiamo già lavorando su JMP Pro 17 e ci sono già molti miglioramenti in cantiere. |
| Quindi, se sei interessato a dare un'occhiata a ciò che sta arrivando, ti dà l'opportunità di fornire un feedback, |
| sai, contattaci per unirti al programma di adozione anticipata e ti aiuteremo. Grazie per il vostro tempo e spero che vi piaccia il resto della conferenza. |
