Altoparlante | Trascrizione |
| Clay Barker | Grazie, mi chiamo Clay Barker. Sono uno sviluppatore statistico del gruppo JMP e oggi parlerò di una nuova funzionalità di JMP Pro per 16. Si chiama selezione dei termini e ci ho lavorato con i miei colleghi Paris Faison ed Ernest Pasour. |
| Pertanto i dati di testo stanno diventando sempre più comuni nella pratica. Potremmo avere recensioni dei clienti su un prodotto che realizziamo, potremmo avere descrizioni di alcuni eventi o registri di manutenzione per alcune delle nostre apparecchiature. |
| E in questo esempio qui sulle mie diapositive, questo è tratto da |
| incidenti aerei...set di dati sugli incidenti che abbiamo nei dati campione. |
| E ogni riga di dati è una descrizione di qualche incidente aereo, di un incidente o di altro tipo di malfunzionamento. |
| Pertanto, se non hai mai utilizzato la piattaforma Text Explorer, è stata introdotta in JMP 13 e la utilizziamo principalmente per riepilogare e analizzare i dati di testo. |
| Quindi semplifica lo svolgimento di attività comuni come esaminare le parole e le frasi più frequenti o più comuni e semplifica operazioni come raggruppare i documenti o cercare temi, come l'analisi degli argomenti. E tutto è guidato da quella che viene chiamata matrice dei termini del documento. |
| Allora qual è la matrice dei termini del documento? È più semplice pensarlo semplicemente come una matrice di variabili indicatrici del fatto che ciascun documento includa o meno una particolare parola o frase. |
| E possiamo ponderarlo in base alla frequenza con cui la parola ricorre in ciascun documento. Quindi ogni documento è una riga nella nostra matrice dei termini del documento e ogni colonna è una parola. |
| Quindi, per fare un esempio davvero semplice, la prima riga è "la confezione della pizza era frustrante". Quindi abbiamo un 1 per l'imballaggio, |
| un 1 per la pizza, un 1 per frustrante e 0 per tutte le altre parole. E, allo stesso modo, per la seconda riga, abbiamo un 1 per odore, ottimo, gusto e pizza e 0 altrove. È solo un semplice riepilogo delle parole presenti in ciascun documento. |
| Ho anche detto che ci sono un paio di varianti della matrice dei termini del documento. Il più semplice è il binario; sono solo uno e zero. |
| Ma potremmo voler includere informazioni sulla frequenza con cui ricorre ciascuna parola, quindi ecco un'altra frase leggermente più lunga in cui pizza appare più volte. |
| Nella matrice dei termini del documento binario, la colonna della pizza è ancora 1 perché non ci interessa quanto spesso si verifica. Per il ternario è 2, perché il ternario è zero, uno e due. È 0 se la parola non ricorre, è 1 se ricorre una volta ed è 2 se ricorre più di una volta. |
| Indipendentemente dal fatto che si ripeta quattro volte qui, abbiamo comunque codificato come 2. E poi la frequenza è davvero semplice. È semplicemente il numero di volte in cui ciascuna parola ricorre in quel documento. |
| Questi sono tre molto semplici, offriamo anche la ponderazione TF-IDF, che è un po' come una frequenza relativa, ma puoi saperne di più su questi schemi di ponderazione in |
| Piattaforma Esplora testo. |
| Allora qual è il prossimo passo? Qual è la prossima cosa che potresti voler usare dopo? |
| Potresti voler utilizzare il testo per aiutare con qualche risultato. Quindi qui ho creato alcune recensioni di mobili e c'è una valutazione in stelle associata a ogni recensione, giusto. |
| Quindi potremmo pensare che quelle recensioni ci forniscano alcuni indizi sul motivo per cui qualcuno valuterebbe un prodotto più in alto o in meno. Quindi, in questa primissima riga, "le istruzioni erano frustranti" e l'utente ci ha valutato solo 3. Se questo... se questo schema si verifica spesso e molte persone valutano... |
| molte delle valutazioni più basse sono associate alle istruzioni, che potrebbero dirci che dobbiamo migliorare le istruzioni che inviamo con i nostri mobili. |
| Quindi l'idea semplice è usarli come modello di regressione. Prenderemo... prenderemo la matrice dei termini del nostro documento, |
| lo combineremo con le informazioni sulla nostra risposta e faremo semplicemente una regressione. |
| E questo ci aiuterà a capire perché ai clienti piacciono o non piacciono i nostri mobili o qualunque prodotto stiamo realizzando. |
| Può aiutarci a classificare gli oggetti, in base alle descrizioni, ne vedremo alcune più avanti, o forse vogliamo capire perché alcune macchine si guastano o meno in base ad alcuni dei loro registri di manutenzione. |
| E il modo in cui lo facciamo è davvero semplice. |
| In realtà stiamo solo creando un modello di regressione, in cui ciascuna delle nostre X, o variabili predittive, è una delle colonne nella matrice dei termini. Quindi, se stiamo modellando le valutazioni dei prodotti, si tratta di una semplice regressione lineare e se lo siamo |
| se stiamo modellando un risultato binario, ad esempio se un cliente consiglierebbe o meno il nostro prodotto |
| sono forse centinaia di parole e sarebbe logico non usarle tutte. Non tutti i dati saranno utili, quindi applicheremo una tecnica di selezione delle variabili al nostro modello di regressione e otterremo un modello più semplice, facile da interpretare e che si adatta bene. |
| E qui in basso è facile visualizzare la combinazione di queste variabili indicatore con la nostra valutazione della risposta, la nostra valutazione in stelle. |
| Quindi la nostra soluzione che sarà presente in JMP 16 è portare i modelli di regressione nella piattaforma Text Explorer. Se hai mai utilizzato la piattaforma di regressione generalizzata per eseguire la selezione delle variabili, stiamo essenzialmente incorporando quella piattaforma all'interno di Text Explorer. |
| Pertanto, se disponi di JMP Pro, vedrai la voce di selezione dei termini nel menu del triangolo rosso per Text Explorer. |
| Questo è ciò di cui siamo davvero entusiasti. Rende facile e veloce costruire e perfezionare questo tipo di modelli di regressione. |
| Quindi, quando lancerai questa piattaforma, e in un minuto esamineremo alcune demo, ma velocemente, |
| all'inizio del lancio, chiediamo solo informazioni sulla nostra risposta e sul tipo di modello che volevamo adattare. |
| Pertanto, può gestire entrambe le risposte continue, come una valutazione a stelle, e quando specifichi una risposta continua, fornisce un filtro in modo da poter filtrare alcune righe, in base alla risposta. |
| E quando abbiamo una colonna di risposta nominale, selezioniamo il livello target. Quindi, in questo caso, consiglieresti il nostro prodotto, sì o no. Modelleremo il... |
| modelleremo la raccomandazione uguale a no. |
| E se abbiamo una risposta a più livelli come blu, verde, giallo, sceglieremo il livello che vogliamo modellare e ne vedremo un esempio tra un minuto. |
| Quindi, dopo aver specificato la risposta, forniremo alla piattaforma alcune informazioni sul tipo di modello che vogliamo adattare. |
| Quindi, quando facciamo la selezione delle variabili, useremo la rete elastica o il lazo? Queste sono entrambe tecniche di selezione delle variabili integrate nella regressione generalizzata. E come faremo la convalida? Vogliamo usare l'AIC o il BIC? |
| Inoltre, possiamo specificare i dettagli sulla nostra matrice dei termini del documento. Possiamo selezionare la ponderazione e selezionare anche il numero massimo di termini che vogliamo considerare. Quindi, se vogliamo considerare le 200 parole più ricorrenti, il valore attuale è 200. |
| Quindi cosa succede quando lo avvii e premi il pulsante Esegui? Fondamentalmente fa tutto |
| devi fare. Imposta i dati correttamente dietro le quinte in modo che tu non debba preoccupartene. Effettua una selezione variabile, quindi ora abbiamo un piccolo sottoinsieme di parole che riteniamo utili per prevedere la nostra risposta e presenta i risultati in modo semplice |
| per interpretare il report, ed è abbastanza interattivo, come vedremo tra poco. Quindi eri in grado di farlo |
| salvare la matrice dei termini del documento nel set di dati, avviare tu stesso una piattaforma di regressione generalizzata, |
| ma non devi più farlo. È tutto, è tutto nella selezione dei termini ora. |
| Quindi le specifiche del modello, come facciamo a sapere cosa, come facciamo a sapere cosa selezionare? |
| I metodi di stima disponibili sono la rete elastica e il lazo. Il modo più semplice per ricordare la differenza tra questi |
| è che la rete elastica tende a selezionare gruppi di predittori correlati. Quindi in questo contesto, quando i nostri predittori sono tutti parole, |
| ciò significa che tenderà a selezionare gruppi di parole che tendono a presentarsi insieme. Quindi, se pensi alle istruzioni e al manuale, |
| quelle parole ricorrono spesso insieme a causa dei manuali di istruzioni. Quindi questi due predittori sarebbero altamente correlati e la rete elastica probabilmente li selezionerebbe entrambi, mentre il lazo probabilmente selezionerebbe l’istruzione o il manuale ma non necessariamente entrambi. |
| Metodi di validazione, abbiamo l'AIC e il BIC. |
| Quindi una sorta di regola pratica è che l’AIC tende a selezionare eccessivamente i modelli e il BIC tende a sottoselezionarli. Quindi nelle nostre specifiche, |
| è solo che l'AIC tenderà a selezionare un insieme di parole più ampio, mentre il BIC selezionerà un insieme di parole più piccolo. |
| E personalmente tendo a usare molto l'AIC nell'ambientazione perché preferirei avere più parole del necessario piuttosto che meno, ma in realtà è una questione di preferenze. |
| E la ponderazione dei termini del documento... |
| il termine documento ponderazione della matrice, intendo. |
| Dipende davvero dal tuo problema. Quindi in questo esempio, |
| la parola vernice ricorre più volte nella recensione. Ciò potrebbe significare che il recensore è stato molto... |
| preso... il disegno era molto importante per quel revisore e ciò potrebbe essere significativo nel nostro modello di regressione, quindi vorremmo utilizzare una ponderazione come la frequenza anziché quella binaria. |
| Quindi, una volta avviata la selezione dei termini, ti ritroverai in un posto come questo, dove abbiamo noi |
| un riepilogo di tutti i documenti a sinistra e tutte le parole che abbiamo selezionato a destra. E per ora tralascerò questo aspetto; è più facile capirlo quando iniziamo a fare una demo. |
| Un'altra cosa che riteniamo molto utile è che abbiamo un riepilogo, quindi puoi utilizzare la selezione dei termini per adattarli a una sequenza di modelli e poi sono tutti riepilogati in alto e puoi passare da uno all'altro. E ancora lo vedremo tra un attimo. |
| Quindi diamo solo un'occhiata alla piattaforma. |
| Quindi per prima cosa daremo un'occhiata a questo |
| set di dati sugli incidenti aerei che si trova nella cartella dei dati di esempio JMP. |
| Quindi ogni riga nella nostra tabella è un incidente. E sappiamo quanti danni ci sono stati all'aereo, che tipo di feriti ci sono stati e abbiamo una descrizione. Quindi quest'ultima colonna è una descrizione esatta di ciò che è accaduto nell'incidente. |
| Quindi lanceremo Text Explorer e, se non hai mai utilizzato Text Explorer prima, a sinistra abbiamo i termini più frequenti e a destra abbiamo le frasi più frequenti, quindi gruppi di parole. |
| Quindi vogliamo usare queste parole per forse capire |
| che... cosa fa sì che un incidente provochi di più, sai, subisca più danni o forse lesioni più gravi. Quindi andremo al menu del triangolo rosso e chiederemo la selezione del termine. |
| Quindi ora vediamo questo lancio che stavamo guardando solo un attimo fa, e voglio saperne di più sui danni, giusto. E in particolare voglio...potrei voler discriminare tra gli incidenti in cui l'aereo è stato distrutto rispetto a quelli con danni minori, quindi selezioneremo il livello target da distruggere. |
| Dirò che questo arresto anticipato, in questo modo, è una funzione che fa risparmiare tempo. COSÌ |
| quando eseguiamo la selezione delle variabili, può richiedere molto tempo per problemi molto più grandi. E se lasci selezionata questa casella di controllo, in un certo senso dirà |
| pensiamo di avere un modello sufficientemente buono; andremo avanti e ci fermeremo presto. Tendo a deselezionarlo a meno che non sappia di avere un problema molto più grande. |
| Quindi lo lascio con rete elastica, AIC e premiamo corri. |
| Quindi ora quello che succede in background è che sono stati creati i dati di cui avevo bisogno per adattarmi a questo modello di regressione, e si sta adattando al modello di regressione dietro le quinte, e ora ho il mio riepilogo. Quindi ogni |
| ogni documento è riepilogato su questo pannello di sinistra, quindi questo è il primo incidente aereo, questo è il secondo, che è vuoto. |
| Quindi il primo è che l'aereo ha toccato un cumulo di neve a lato della pista. |
| E abbiamo tutte le parole importanti evidenziate, quindi le parole blu hanno coefficienti negativi, le parole arancioni hanno coefficienti positivi. |
| E se ci interessano le parole, possiamo guardare questo pannello a destra. Tendo a preferire ordinare in base al coefficiente in modo da poter semplicemente fare clic in alto. |
| Quindi, in questo caso, le parole con coefficienti negativi hanno meno probabilità di essere distrutte. Quindi se |
| il documento contiene la parola atterraggio, se l'aereo è arrivato al punto in cui deve atterrare probabilmente non è un incidente molto grave. Quindi è meno probabile che lo siano |
| distrutto. D'altro canto, possiamo considerare i termini più positivi, e queste sono le parole più associate alla distruzione dell'aereo. |
| E quelle sono parole come il fuoco, testimoni. Se stanno intervistando testimoni per descrivere l'incidente probabilmente significa che chiunque fosse sull'aereo non ha potuto fare un'intervista. |
| Quindi fuoco, radar, rotazione, notte, queste sono tutte parole a cui sono fortemente associate |
| con l'essere distrutto. |
| Ora, forse siamo interessati anche al livello di infortuni e, in particolare, esamineremo i peggiori livelli di infortuni. |
| E faremo di nuovo la selezione dei termini. |
| E lo accetterò solo per essere veloce. |
| Quindi ora possiamo fare lo stesso genere di cose, ma ora guardando invece al livello degli infortuni. |
| Quindi, se l'intervista include il capitano o lo sbarco, probabilmente questi non sono molto gravi in termini di livello di infortuni. |
| Ma se ancora si menziona il radar, la notte, le montagne, queste sono parole molto più serie. Quindi possiamo andare avanti e indietro rapidamente tra queste due... queste due risposte e vedere quali parole sono predittive di quelle due |
| livello di lesioni e livello di danno. |
| Quindi diamo un'occhiata a un altro esempio. |
| Quindi questo è quello che mi piace davvero. Prima nei miei esempi parlavo di pizza. Adesso parleremo della birra. Quindi queste sono ovviamente cose che sono vicine e care al mio cuore. |
| Quindi quello che ho qui è che ho...ho scaricato una descrizione di ogni stile di birra, secondo alcune recensioni di birra |
| corpo. |
| Quindi ogni singola birra ha una descrizione. |
| E dice da dove viene la birra. Quindi abbiamo... |
| Stati Uniti, Germania, Irlanda. |
| Utilizza la selezione dei termini per vedere |
