Altoparlante | Trascrizione |
| Clay Barker | Grazie, mi chiamo Clay Barker. Sono uno sviluppatore di statistiche nel gruppo JMP e oggi parlerò di una nuova funzionalità in JMP pro per 16. Si chiama selezione dei termini e ci ho lavorato con i miei colleghi Paris Faison ed Ernest Pasour. |
| Quindi i dati di testo stanno diventando sempre più comuni nella pratica. Potremmo avere recensioni dei clienti di un prodotto che realizziamo, potremmo avere descrizioni di alcuni eventi o registri di manutenzione per alcune delle nostre apparecchiature. |
| E in questo esempio qui sul mio sulle mie diapositive, questo è dal |
| incidenti aerei ... set di dati sugli incidenti che abbiamo nei dati campione. |
| E ogni riga di dati è una descrizione di un incidente aereo, un incidente o un altro tipo di malfunzionamento. |
| Quindi, se non hai mai utilizzato la piattaforma Text Explorer, è stata introdotta in JMP 13 e la usiamo principalmente per riepilogare e analizzare i dati di testo. |
| In questo modo è facile svolgere attività comuni come guardare le parole e le frasi più frequenti o ricorrenti e semplifica operazioni come raggruppare i documenti o cercare temi, come l'analisi dell'argomento. E tutto è guidato da quella che viene chiamata la matrice dei termini del documento. |
| Allora qual è la matrice dei termini del documento? È più facile pensarlo solo come una matrice di variabili indicatore per stabilire se ogni documento include o meno una particolare parola o frase. |
| E possiamo valutarlo in base alla frequenza con cui la parola compare in ogni documento. Quindi ogni documento è una riga nella nostra matrice dei termini del documento e ogni colonna è una parola. |
| Quindi, per un esempio davvero semplice qui, la prima riga è "la confezione della pizza era frustrante". Quindi abbiamo un 1 per l'imballaggio, |
| un 1 per la pizza e un 1 per frustrante e 0 per tutte le altre parole. Allo stesso modo, per la seconda riga, abbiamo un 1 per l'odore, ottimo, gusto e pizza e 0 altrove. È solo un semplice riassunto di quali parole si trovano in ogni documento. |
| Ho anche detto che ci sono un paio di varianti della matrice dei termini del documento. Il più semplice è il binario; sono solo uno e zero. |
| Ma potremmo voler includere informazioni sulla frequenza con cui ricorre ogni parola, quindi ecco un'altra frase leggermente più lunga in cui la pizza appare più volte. |
| Nella matrice dei termini del documento binario, quella colonna pizza è ancora un 1 perché non ci interessa quanto spesso si verifica. Per il ternario è 2, perché il ternario è zero, uno e due. È 0 se la parola non compare, 1 se compare una volta e 2 se ricorre più di una volta. |
| Indipendentemente dal fatto che si verifichi quattro volte qui, abbiamo comunque codificato come 2. E poi la frequenza è davvero semplice. È solo il numero di volte in cui ogni parola ricorre in quel documento. |
| Quindi questi sono tre davvero semplici, offriamo anche la ponderazione TF-IDF, che è un po 'come una frequenza relativa, ma puoi saperne di più su questi schemi di ponderazione in |
| Piattaforma Text Explorer. |
| Allora qual è il passo successivo? Qual è la prossima cosa che potresti voler usare dopo? |
| Potresti voler usare il testo per aiutare con qualche risultato. Quindi qui ho fatto alcune recensioni di mobili e c'è una valutazione a stelle associata a ogni recensione, giusto. |
| Quindi potremmo pensare che quelle recensioni ci diano alcuni indizi sul motivo per cui qualcuno valuterebbe un prodotto più alto o più basso. Quindi, in questa primissima riga, "le istruzioni erano frustranti" e l'utente ci ha valutato solo con un 3. Se quello ... se quel modello accade spesso e molte persone stanno valutando ... |
| molte delle valutazioni più basse sono associate a istruzioni, che potrebbero dirci che dobbiamo migliorare le istruzioni che spediamo con i nostri mobili. |
| Quindi l'idea semplice è usarli come modello di regressione. Stiamo per ... prenderemo la nostra matrice dei termini del documento, |
| lo combineremo con le nostre informazioni di risposta e faremo solo una regressione. |
| E questo ci aiuterà a capire perché ai clienti piacciono o non piacciono i nostri mobili o qualunque prodotto stiamo realizzando. |
| Può aiutarci a classificare gli oggetti, in base alle descrizioni, ne vedremo alcuni in seguito, o forse vogliamo capire perché alcune macchine si guastano o meno sulla base di alcuni dei loro record di manutenzione. |
| E il modo in cui lo facciamo è davvero semplice. |
| In realtà stiamo solo creando un modello di regressione, in cui ciascuna delle nostre X, o variabili predittive, è una delle colonne nel termine matrice. Quindi, se stiamo modellando le valutazioni dei prodotti, questa è una semplice regressione lineare e se lo siamo |
| se stiamo modellando un risultato binario, ad esempio se un cliente consiglierebbe o meno il nostro prodotto |
| sono forse centinaia di parole e avrebbe senso non usarle tutte. Non tutti i dati saranno utili, quindi applicheremo una tecnica di selezione delle variabili al nostro modello di regressione e otterremo un modello più semplice che è facile da interpretare e che si adatta bene. |
| E qui in fondo è facile visualizzare la combinazione di queste variabili indicatore con la nostra valutazione di risposta, la nostra valutazione a stelle. |
| Quindi la nostra soluzione che sarà in JMP 16 è portare i modelli di regressione nella piattaforma Text Explorer. Se hai mai utilizzato la piattaforma di regressione generalizzata per eseguire la selezione delle variabili, stiamo essenzialmente incorporando quella piattaforma all'interno di Text Explorer. |
| Quindi, se hai JMP pro, vedrai l'elemento di selezione dei termini nel menu triangolo rosso per Text Explorer. |
| Questo è ciò di cui siamo davvero entusiasti. Rende facile e veloce costruire e perfezionare questi tipi di modelli di regressione. |
| Quindi, quando avvii questa piattaforma e esamineremo alcune demo in un minuto, ma solo rapidamente, |
| all'inizio del lancio, chiediamo solo informazioni sulla nostra risposta e sul tipo di modello che volevamo adattare. |
| Quindi può gestire entrambe le risposte continue, come una valutazione a stelle, e quando specifichi una risposta continua, fornisce un filtro in modo che tu possa filtrare alcune delle righe, in base alla risposta. |
| E quando abbiamo una colonna di risposta nominale, selezioniamo il livello di destinazione. Quindi, in questo caso, consiglieresti il nostro prodotto, sì o no. Stiamo per modellare il ... |
| modelleremo la raccomandazione uguale a no. |
| E se abbiamo una risposta a più livelli come blu, verde, giallo, sceglieremo il livello che vogliamo modellare e ne vedremo un esempio tra un minuto. |
| Quindi, dopo aver specificato la risposta, forniremo alla piattaforma alcune informazioni sul tipo di modello che vogliamo adattare. |
| Quindi quando facciamo la selezione delle variabili, useremo la rete elastica o il lazo? Queste sono entrambe tecniche di selezione delle variabili integrate nella regressione generalizzata. E come faremo la convalida? Vogliamo utilizzare l'AIC o il BIC? |
| Inoltre, possiamo specificare i dettagli sulla nostra matrice dei termini del documento. Possiamo selezionare la ponderazione e anche selezionare il numero massimo di termini che vogliamo considerare. Quindi, se vogliamo considerare le prime 200 parole che ricorrono più di frequente, questo è ciò che è impostato ora a 200. |
| Quindi cosa succede quando lo lanci e premi il pulsante Esegui? Fondamentalmente fa tutto |
| devi fare. Imposta correttamente i dati dietro le quinte in modo che tu non debba preoccupartene. Effettua una selezione variabile, quindi ora abbiamo un piccolo sottoinsieme di parole che riteniamo utili per prevedere la nostra risposta e presenta i risultati in modo semplice |
| per interpretare il report, ed è abbastanza interattivo, come vedremo tra poco. Quindi eri in grado di farlo da |
| salvare la matrice dei termini del documento nel tuo set di dati, avviando tu stesso una piattaforma di regressione generalizzata, |
| ma non devi più farlo. È tutto, è tutto in termini di selezione ora. |
| Quindi la specifica del modello, come sappiamo cosa, come sappiamo cosa selezionare? |
| I metodi di stima disponibili sono la rete elastica e il lazo. Il modo più semplice per ricordare la differenza tra quelli |
| è che la rete elastica tende a selezionare gruppi di predittori correlati. Quindi in questa impostazione, quando i nostri predittori sono tutte parole, |
| ciò significa che tenderà a selezionare gruppi di parole che tendono a ricorrere insieme. Quindi, se pensi alle istruzioni e al manuale, |
| quelle parole ricorrono spesso insieme a causa dei manuali di istruzioni. Quindi quei due predittori sarebbero altamente correlati e la rete elastica probabilmente li selezionerebbe entrambi, mentre il lazo selezionerebbe probabilmente l'istruzione o il manuale ma non necessariamente entrambi. |
| Metodi di convalida, abbiamo l'AIC e il BIC. |
| Quindi una sorta di regola pratica è che l'AIC tende a selezionare eccessivamente i modelli e il BIC tende a sottovalutare. Quindi nelle nostre specifiche, |
| è solo che l'AIC tenderà a selezionare un insieme di parole più grande, mentre il BIC selezionerà un insieme di parole più piccolo. |
| E personalmente tendo ad usare molto l'AIC nell'ambientazione perché preferirei avere più parole del necessario piuttosto che meno, ma in realtà è una questione di preferenza. |
| E la ponderazione dei termini del documento ... |
| il termine documento ponderazione matrice, intendo. |
| Dipende davvero dal tuo problema. Quindi in questo esempio, |
| la parola vernice compare più volte nella recensione. Ciò potrebbe significare che il recensore è stato molto ... |
| ha preso ... la vernice era molto importante per quel revisore e questo può essere significativo nel nostro modello di regressione, quindi vorremmo usare una frequenza come la ponderazione invece di una binario. |
| Quindi, una volta avviata la selezione dei termini, finirai in un posto come questo, dove abbiamo |
| un riepilogo di tutti i documenti a sinistra e di tutte le parole che abbiamo selezionato a destra. E per ora lo tralascerò; è più facile vedere quando iniziamo a fare una demo. |
| Un'altra cosa che riteniamo molto utile è che abbiamo un riepilogo, quindi puoi usare la selezione dei termini per adattare una sequenza di modelli e poi sono tutti riepilogati in alto e puoi passare avanti e indietro tra di loro. E di nuovo lo vedremo tra un momento. |
| Quindi diamo solo un'occhiata alla piattaforma. |
| Quindi prima daremo un'occhiata a questo |
| set di dati sugli incidenti aerei che si trova nella cartella dei dati di esempio JMP. |
| Quindi ogni riga della nostra tabella è un incidente. E sappiamo quanti danni ci sono stati all'aereo, che tipo di feriti ci sono stati, e abbiamo una descrizione. Quindi quest'ultima colonna è una descrizione di ciò che è accaduto esattamente nell'incidente. |
| Quindi avvieremo Text Explorer, e se non hai mai usato Text Explorer prima, a sinistra abbiamo i termini che ricorrono più di frequente, e a destra li abbiamo frasi che si verificano più frequentemente, quindi gruppi di parole. |
| Quindi vogliamo usare queste parole per forse capire |
| che ... cosa fa sì che un incidente causi di più, sai, subisca più danni o forse lesioni più gravi. Quindi andremo al menu del triangolo rosso e chiederemo la selezione del termine. |
| Quindi ora vediamo questo lancio che stavamo guardando solo un momento fa, e voglio saperne di più sui danni, giusto. E in particolare voglio ... Potrei voler discriminare tra incidenti in cui l'aereo è stato distrutto e meno danni, quindi selezioneremo il livello obiettivo da distruggere. |
| Menzionerò che questo arresto anticipato, quel tipo di è una funzione che fa risparmiare tempo. Così |
| quando facciamo la selezione delle variabili, può richiedere molto tempo per problemi molto più grandi. E se lasci selezionata questa casella di controllo, dirà |
| pensiamo di avere un modello abbastanza buono; andremo avanti e ci fermeremo presto. Tendo a deselezionarlo a meno che non sappia di avere un problema molto più grande. |
| Quindi lo lascio con rete elastica, AIC e andiamo a correre. |
| Quindi ora ciò che sta accadendo in background è che ha creato i dati di cui avevo bisogno per adattare questo modello di regressione, e sta adattando il modello di regressione dietro le quinte, e ora ho il mio riepilogo. Quindi ogni |
| ogni documento è riassunto in questo pannello di sinistra, quindi questo è il primo incidente aereo, questo è il secondo, che è vuoto. |
| Quindi questo primo è, l'aereo ha contattato un cumulo di neve sul lato della pista. |
| E abbiamo tutte le parole importanti evidenziate, quindi le parole blu hanno coefficienti negativi, le parole arancioni hanno coefficiente positivo. |
| E se siamo interessati alle parole, possiamo guardare questo pannello a destra. Tendo a ordinare in base al coefficiente, quindi puoi semplicemente fare clic in alto. |
| Quindi, in questo caso, le parole con coefficienti negativi hanno meno probabilità di essere distrutte. Quindi se |
| il documento contiene la parola atterraggio, se l'aereo è arrivato al punto in cui sta atterrando, probabilmente non è un incidente molto grave. Quindi è meno probabile che lo siano |
| distrutto. D'altro canto, possiamo guardare ai termini più positivi, e queste sono le parole più associate all'aereo che viene distrutto. |
| E quelle sono parole come il fuoco, testimoni. Se stanno interrogando testimoni per descrivere l'incidente, probabilmente significa che chiunque fosse sull'aereo non è stato in grado di fare un'intervista. |
| Quindi fuoco, radar, rotazione, notte, queste sono tutte parole altamente associate |
| con l'essere distrutti. |
| Ora, forse siamo interessati anche al livello di infortuni e, in particolare, esamineremo i peggiori livelli di infortunio. |
| E faremo di nuovo la selezione dei termini. |
| E lo accetterò solo per mantenerlo veloce. |
| Quindi ora possiamo fare lo stesso genere di cose, ma ora guardiamo invece al livello di infortunio. |
| Quindi, se l'intervista include il capitano o l'atterraggio, probabilmente non sono molto gravi in termini di livello di infortunio. |
| Ma se ancora una volta si parla di radar, notte, montagne, queste sono parole molto più serie. Quindi possiamo andare avanti e indietro velocemente tra queste due ... queste due risposte e vedere quali parole sono predittive di quelle due |
| livello di lesione e livello di danno. |
| Quindi diamo un'occhiata a un altro esempio. |
| Quindi questo è quello che mi piace davvero. In precedenza, stavo parlando della pizza nei miei esempi. Adesso parleremo della birra. Quindi queste sono ovviamente cose che sono vicine e care al mio cuore. |
| Quindi quello che ho qui è che ho ... ho scaricato una descrizione di ogni stile di birra, secondo alcune recensioni di birra |
| corpo. |
| Quindi ogni singola birra ha una descrizione. |
| E dice da dove viene la birra. Quindi abbiamo ... |
| Stati Uniti, Germania, Irlanda. |
| Usa la selezione dei termini per vedere |
