|
Altoparlante
|
Trascrizione
|
| Scott saggio |
Esplorazione investigativa del testo. Mi chiamo Scott Wise e sono Senior Manager del JMP Education Team. |
| |
E oggi ho una presentazione davvero divertente da vedere e l'obiettivo di questa presentazione è darti un po' più di familiarità |
| |
con le funzionalità e quanto sia facile eseguire l'esplorazione del testo in JMP e JMP Pro, oltre a mostrarti un modo diverso di considerare l'esplorazione del testo, ad esempio, posso fare per indagare su qualcosa come farebbe un detective? |
| |
Ok, quindi parleremo del peperoncino di mia nonna e di come questo si collega a una cucina di peperoncino del Texas. Prima di iniziare, |
| |
sfatiamo semplicemente parte della terminologia relativa al text mining e, per me, ci sono davvero cinque semplici passaggi. Trascorri il tuo tempo riassumendo i dati, letteralmente, scoprendo quali parole nel testo ricorrono più spesso, anche quale combinazione di parole ricorre più spesso. |
| |
Così il ??? chiamalo "guardare bene" il testo non strutturato e poi questo, questo potrebbe essere qualsiasi cosa. Potrebbe trattarsi di una frase che il tuo cliente ti ha dato riguardo alle prestazioni del tuo prodotto o servizio. Potrebbe essere... |
| |
potrebbero essere i social media, giusto, dove sai di capire cosa piace o cosa non piace alle persone in base ai commenti, |
| |
qualcosa sul tuo prodotto o servizio o potrebbe essere questo ragazzo, qualcosa come una ricetta. |
| |
L'ho visto fare anche sui brevetti quando le persone ricercano quali sono le cose popolari per le quali le persone richiedono brevetti e dovremmo farlo. |
| |
Quindi, in realtà, riassumendo, scopri quali sono le parole più importanti. Ora c'è un po' di preparazione che viene dopo, che consiste semplicemente nel scendere all'elenco più piccolo delle parole che ti interessano. |
| |
Quindi ovviamente non saremmo JMP se non lo visualizzassimo, lo analizzeremo e non potessimo anche modellarlo. Possiamo anche eseguire alcuni modelli avanzati. Quindi utilizzerò JMP Pro per farlo, versione 15.1, |
| |
e mi assicurerò di indicare cosa puoi fare in JMP e dove in realtà aggiungo un po' di Pro che aiuta a rispondere ulteriormente alla mia domanda. |
| |
documento, corpus e termine. Il documento sarà quello... |
| |
quelle cose che stai analizzando, fondamentalmente il singolo corpo del testo, ogni riga del testo. Quindi sono le mie ricette per il mio esempio. |
| |
Potrebbero essere diversi clienti che ti hanno risposto sul tuo prodotto o servizio. Il corpus è in realtà quel testo non strutturato che stai cercando di gestire, il corpo di quel testo che analizzerai. |
| |
E poi i termini saranno quelle parole o quella combinazione di parole che ti interessano e che possono aiutarti a rispondere a una domanda. Quindi parliamo della storia. Sai, perché mi è venuta l'idea di guardare le ricette con il peperoncino? Bene, questo torna a |
| |
quasi 25 anni fa, quando mi sono trasferito per la prima volta in Texas e sono venuto a lavorare per una grande azienda e, come la maggior parte delle grandi aziende del Texas, avevano un grande cuoco di peperoncino texano. |
| |
E mi è stato chiesto di partecipare. Tutti hanno partecipato. Ma mi è stato chiesto anche di fare ancora di più, mi è stato chiesto di fare il giudice. |
| |
Quindi avrei dovuto respingere il giudice. Pensavo fosse un onore per il nuovo arrivato, ma penso che fossi l'unico a cui potevano darlo, ho scoperto il perché. |
| |
Ma parliamo prima della reazione al peperoncino che ho portato. Quindi ho preso la ricetta del peperoncino che la mia famiglia ha sempre usato e veniva da mia nonna, nonna Lillian. |
| |
Questo non è peperoncino. Questo non è ciò che i texani consideravano il peperoncino. |
| |
Ora la buona notizia è che dovrei portarmeli a casa perché mi piace mangiarli. Consideravano qualcos'altro oltre al peperoncino. Il loro peperoncino non conteneva fagioli. Il loro peperoncino non era abbondante. Faceva molto caldo, molto brodoso. |
| |
Il mio aveva carne di manzo. Il loro era principalmente carne di maiale. Erano all in. Ecco l'altra cosa che mi ha messo nei guai. Non solo non gli è piaciuto il peperoncino di mia nonna, ma quasi non sono sopravvissuto al giudizio |
| |
perché il vero distintivo d'onore di un vero texano è preparare la ciotola di peperoncino più piccante. Quindi vuoi picchiare il tuo vicino. Vuoi battere il tuo collega. Quindi stavano gettando qui tutti i tipi di peperoncini piccanti e spezie empi. |
| |
E ho pensato, quasi mi faccio un buco nello stomaco solo provando ad assaggiarlo e tu stai bevendo tutto questo latte, cercando di spegnere il calore. COSÌ |
| |
era un battesimo del fuoco. Quindi la mia raccomandazione è, a meno che non ti piaccia il caldo, di non entrare come giudice, giusto. Non è una buona idea. Ma volevo posizionare; questo mi ha sempre dato fastidio. |
| |
Cosa, perché il peperoncino di mia nonna non è andato bene? Esistono davvero diversi tipi di peperoncino? Da dove vengono? |
| |
E si scopre che il peperoncino ha una storia davvero interessante. Puoi vedere alcuni blog e articoli di storia davvero interessanti su di esso e molto probabilmente è venuto fuori |
| |
America centrale, soprattutto Messico. E ci sono alcuni piatti leggeri, ma a San Antonio, è stato osservato per la prima volta essere venduto nello stato, sapremmo che ora è peperoncino, |
| |
sulla vecchia piazza San Antonio lì vicino ad Alamo. E fu usato durante le mandrie di bestiame e cominciò a diventare popolare e poi si diffuse nel mezzo del paese fino al Midwest. |
| |
E mi è stato detto che, sai, molte innovazioni alimentari sono state create alla Fiera Mondiale di St. Louis, sai, sono davvero decollate quando sono state mostrate, questa era una di queste. Il peperoncino è arrivato al |
| |
La Fiera Mondiale di St. Louis ed è diventata davvero popolare. |
| |
Quindi ci sono diverse varietà. E quindi l'idea era se... potessi usare l'esplorazione testuale su ingredienti e ricette? Basta prendere l'intera ricetta e buttarla dentro, vedere cosa succede. |
| |
E con cosa voglio confrontarlo? Quindi ho cercato quali fossero le regioni tradizionali; ne avevamo diversi, dal Texas fino al Michigan. |
| |
Quindi in Texas abbiamo diverse varietà. La Texas Bowl Red è quella che stavo assaggiando. Quello è chili con carne. UN |
| |
La frito pie è qualcosa che puoi mangiare durante una partita di football, ma è molto popolare e la Louisiana ha la sua versione. Il New Mexico, con peperoncini verdi e pollo, ha la sua versione. Oklahoma, Kansas City, Springfield, |
| |
Illinois, Cincinnati con il peperoncino sullo skyline ehi, mettilo sopra gli spaghetti. Michigan. Coney Island, gli hot dog, sai, la salsa di peperoncino che ci mettono sopra è davvero peperoncino. |
| |
Peperoncino bianco, di cui non si sa da dove provenga. Chili vegetariano. Ma ci sono molti stili là fuori adesso. |
| |
Quindi mi sono detto, se prendo tre ricette di ciascuno di questi stili e le confronto per controllare il peperoncino di mia nonna, posso trovare quello che cerco? |
| |
Quindi lo faremo e te lo mostrerò, mentre percorro i passaggi, ti mostrerò un riepilogo dei passaggi, poi andrò subito dietro e ti mostrerò come lo faccio nel JMP. |
| |
I primi passi saranno il riepilogo dei dati. Vogliamo trovare quelle parole che ci stanno a cuore. |
| |
Ora cosa succede quando entri? |
| |
qualsiasi di queste analisi del testo, questi dati di testo, come i miei ingredienti, in un esploratore di testo, lo eseguiranno attraverso una libreria |
| |
delle espressioni regolari e pensare alla parola come se fosse normale, semplicemente come cose che fanno parte del linguaggio quotidiano. |
| |
E non sono così utili. Non è utile se ho "il" e "e" nel mio elenco. Quindi cerca di aiutarti a tirare fuori le parole che non ti interessano. E sì, può essere personalizzato. |
| |
E ne ha già uno piuttosto potente integrato, ed è quello che ho usato. E poi arginare. Lo stemming è dove vai e |
| |
dì come vuoi che le parole siano trattate - quindi "dice" è "dice", "dice", hai plurali, diversi... diversi... |
| |
diverse versioni della parola radice. Vuoi contarli tutti nella radice della parola o vuoi che siano separati? Quindi questa è una considerazione. |
| |
E poi dopo riassumiamo. Fammi capire queste parole. Come puoi vedere, ho qui una piccola lista di parole. Quello dietro è inedito e poi quello davanti |
| |
in realtà è quello in cui abbiamo esaminato e in un certo senso ridimensionato l'elenco delle parole. Quindi quello che fai è cercare le parole che non ti interessano, chiamarle stop word, in pratica dire: rimuovile. Aggiungili nuovamente alla mia libreria di cose che non mi interessano. |
| |
Puoi anche riportare frasi che contano davvero. E una volta che li avremo, saremo in grado di visualizzarne alcuni. |
| |
E vedremo, nel mio caso, che mi sono davvero interessato agli ingredienti. Quindi saremo in grado di vedere quali ingredienti sono usciti più spesso. |
| |
E qui spesso vedete nuvole di parole, e nuvole di parole, sapete, più grande è la parola, maggiore è la sua frequenza. |
| |
E puoi guardarlo in una nuvola, proprio come un... solo un layout sporadico o puoi guardare un ordine dove, sai, la prima cosa lassù è la parola più grande. È come il |
| |
grafico che si trova davanti alla diapositiva. E dopo, ne faremo qualcosa. E così possiamo creare alcuni modelli base. |
| |
E uno dei modi più semplici per farlo è, una volta che sappiamo quali parole della nostra lista ci interessano, |
| |
possiamo aggiungerlo nuovamente alla nostra tabella dati. Si chiama salvare la matrice dei termini del documento. In questo caso, un modo semplice per farlo sono semplicemente i binari. Quindi ho una colonna separata qui, puoi vedere alla mia destra, dove |
| |
"cipolla" ne ha una in quella riga, sai, ricetta. Ha zero se non lo è, quindi puoi ottenere zeri e uno qui in colonne. E puoi vedere qual è la cosa più importante. |
| |
E molte volte provi a fare la modella per qualcosa del tipo, se fossi bloccato, |
| |
forse ho avuto i punteggi dei giudici da questo e posso dire, beh, ecco un punteggio numerico legato a ciascuna ricetta. Voglio vedere quali ingredienti |
| |
sono comuni che danno come risultato un punteggio elevato. Potrebbe essere qualcosa che sto facendo, quindi prova a farlo in modo un po' più predittivo. |
| |
Ma in questo caso, esaminerò il raggruppamento. Sono davvero interessato a raggruppare, in un certo senso, ricette insieme e vedere dove cade il peperoncino di mia nonna. Quindi ti mostrerò come lo faremo. Ma andiamo prima a JMP e vi mostriamo come eseguiamo questi passaggi in JMP. |
| |
Quindi ecco i miei dati grezzi. |
| |
In ogni documento qui, ogni riga contiene...il mio testo non strutturato e nei miei casi si tratta solo degli ingredienti grezzi. |
| |
E se clicco su una qualsiasi di queste celle qui, puoi vedere che sono letteralmente gli ingredienti copiati. Quindi c'è quello... il primo per il peperoncino Cajun della Louisiana. |
| |
Ci sono parole che mi stanno a cuore, come "pomodoro", "peperoncino in polvere" e "miele". Ci sono parole che non mi interessano, come "può". |
| |
Probabilmente sono le misure degli ingredienti che non mi interessano molto, come "uno", "due libbre", "cucchiaini da tè". Allora come ci occuperemo di questa cosa? Quindi cosa faremo? |
| |
andremo su Analizza e andremo su Esplora testo e inseriremo semplicemente questi ingredienti nella colonna di testo. |
| |
Chiederò la radice, come derivare per tutti i termini. Lo trovo molto utile. E poi utilizzerò l'espressione regolare incorporata. |
| |
Dico ok e ora ecco la mia lista iniziale. |
| |
Quindi quello che posso fare ora è andare e selezionare quelle cose che non mi interessano. Non mi interessano i numeri. Quindi forse posso entrare qui ed evidenziarli, fare clic con il tasto destro e dire "aggiungi una stop word", e poi verrà aggiunta all'elenco delle cose che non mi interessano. |
| |
Che ne dici del "peperoncino in polvere"? Sembra qualcosa che deve essere autonomo. Quindi farò clic con il tasto destro su quella frase. E dirò "aggiungi frase" e la aggiungerà. |
| |
Quindi vai e fai questo finché non ottieni un elenco ridotto e semplificato. |
| |
Eseguirò semplicemente il mio |
| |
La mia lista finita da esso. Ed ecco tutte le parole trovate dall'espressione regolare, e anche |
| |
cose che ho aggiunto |
| |
e fermare le parole. E ora, ecco il mio elenco completo di termini e frasi. E così ho aggiunto queste frasi. Mi preoccupo di. Quindi "cipolla" è risultata la più alta, poi "sale", poi "cumino", poi "peperoncino in polvere". |
| |
Come puoi immaginare, sarebbe davvero bello visualizzarlo e abbiamo una nuvola di parole. Quindi ecco la parola nuvola per tutto in questo. E ancora, sotto le mie opzioni del triangolo rosso qui, posso cambiarlo in un ordine per rendere più nitido ciò che viene fuori. |
| |
Se lo mantengo centrato, è qualcosa di divertente da fare. Sai che puoi aggiungere filtri ai tuoi dati e qualcosa che puoi fare è che a volte puoi trovare la risposta visivamente senza dover fare nient'altro. E quindi in tal caso, approfondirò questo argomento al mio |
| |
triangolo rosso. Otterrò un filtro dati locale. Guarderò semplicemente il tipo e dirò, beh, diamo un'occhiata |
| |
che aspetto ha il peperoncino di nonna Lillian, sai "pomodori", "fagioli" e "manzo", quel genere di cose. E come si paragonerebbe al peperoncino Cajun? |
| |
Beh, condividevano peperoncino in polvere e carne di manzo, ma, sai, potrebbero esserci cose diverse lì dentro. Sai, che differenza c'è con il peperoncino verde, |
| |
sai, che è più del peperoncino verde, sai. E lì dentro ci sono peperoncini crudi e jalapenos, brodo di pollo, tutto quel genere di cose, brodo di pollo. |
| |
Quindi questo è davvero interessante, ma probabilmente non abbastanza per capire cosa sta succedendo. Quindi sono andato |
| |
(e questo è un altro... hai tutte le opzioni qui sotto il triangolo rosso) Mi sono assicurato (e probabilmente devo assicurarmi qui) di disattivare il filtro dati locale, assicurarmi che tutto sia selezionato, che sto esaminando tutti i miei termini. |
| |
Ne ho 299 qui. Farò clic con il pulsante destro del mouse e dirò "salva matrice dei termini del documento". |
| |
E quando lo faccio, mi viene chiesto in che modo voglio salvarlo, con con con con pesi, che tipo di ponderazione. Fondamentalmente è binario, ci sono frequenze che posso usare, quanti termini, sai, la frequenza minima dei termini per ottenere effettivamente un posto nella tabella dei dati. E l'ho già fatto. |
| |
Quindi se mi avvicino e guardo... |
| |
A dire il vero |
| |
Lo farò e ti mostrerò come appare. Quindi dirò semplicemente "salva matrice dei termini del documento" e dirò "ok". |
| |
E ora, come ti ho mostrato nella diapositiva, ora capisco tutti i termini che mi interessano. E c'è il primo per "cipolla". Ecco quello per "peperoncino in polvere" e come si riferisce ai rispettivi |
| |
Ricetta, sai, righe. |
| |
Quindi so dove ce n'è uno, so che questo peperoncino Cajun aveva peperoncino in polvere. |
| |
Quando c'è zero, |
| |
questo qui assomiglia al peperoncino dell'Oklahoman o no, mi dispiace, il peperoncino del New Mexico non aveva peperoncino in polvere, quindi è così, è proprio così che funziona. E questo può essere utilizzato nella modellazione. Quindi puoi andare su Analizza modello di adattamento in JMP e prendere...e applicarlo effettivamente a qualche tipo di modello. |
| |
Ma quello che farò, dal momento che non sto davvero cercando di prevedere, è quali ingredienti mi daranno un punteggio più alto. Non ne ho nessuno, sai, |
| |
conosci i dati di output qui. Voglio davvero raggrupparli insieme e ho sentito in JMP Pro che posso effettivamente farlo. Quindi tornerò subito alle mie diapositive qui. |
| |
E parlerò dell'analisi dei dati. Quindi per fare ulteriori analisi |
| |
in JMP Pro, ti consente di eseguire alcune tecniche di raggruppamento davvero ottime e questi sono metodi multivariati e sono specializzati nella gestione dell'analisi del testo e nel lavorare con la matrice dei termini del documento che riguarda il testo. |
| |
E utilizza qualcosa chiamato analisi delle classi latenti. È uno dei termini. E questo è simile ai componenti principali, se sei abituato a usare quella tecnica. Ma sostanzialmente lo farà |
| |
chiedici quanti raggruppamenti o cluster di dati vogliamo esaminare. Guarderà attraverso quello spazio multidimensionale |
| |
tra tutto ciò che è in quelle colonne e la matrice dei termini del documento per i termini importanti nel tuo modello qui, i termini importanti che abbiamo sulla parola |
| |
elenco di parole, giusto? E li raggrupperà. E nel mio caso, sono riuscito a ridurlo a tre gruppi. |
| |
Quindi ce n'è uno a grappolo, che sembrava contenere molte ricette di peperoncino con carne macinata, salsa di pomodoro, peperoncino in polvere e fagioli. |
| |
C'è un gruppo due, che ha molto a che fare con pollo e peperoncini verdi, peperoncini crudi qui. |
| |
E poi c'è il gruppo tre, che conteneva di nuovo molti peperoncini, ma erano più peperoncini rossi ed erano a base di carne di maiale e questo aveva molto senso. |
| |
Ok, quindi quando ho creato questi cluster, sono stato in grado di utilizzare una probabilità di cluster per riga, questo mi ha dato la forza di questi singoli |
| |
ricette, le mie righe nel mio documento, giusto, queste queste originali... la mia ricetta di controllo, dove sono cadute e quanto erano forti. Perché li ho assegnati a qualunque cluster? E quando l'ho fatto, |
| |
22 era il cluster di mia nonna... era il controllo di mia nonna. E ho scoperto che era raggruppata nel primo gruppo insieme ad altre ricette, comprese quelle provenienti da Kansas City, Missouri. |
| |
Ce n'è uno al numero 24 che era molto vicino. Ora, le ricette del Texas per il gruppo tre contenevano peperoncini piccanti, spezie... molte spezie e spesso carne di maiale e niente fagioli, giusto? I bean erano qualcosa che appariva nel cluster uno, ma non nel cluster tre e poi... |
| |
Il gruppo due |
| |
era più per, sai, più per il peperoncino verde, |
| |
di più per quelle cose che vedi nel New Mexico, sai, peperoncino a base di pollo, cose con peperoncino verde. |
| |
Va bene, quindi quello che è successo è che sono riuscito a creare l'abbinamento e ho trovato una ricetta. E uno dei tre rappresentativi del Missouri |
| |
quello in realtà si chiamava peperoncino di Kansas City, ed era quasi identico al peperoncino di nonna Lillian. |
| |
Quindi quando ho chiesto a mia madre di questo, ho detto: "Beh, perché è potuto succedere? Non pensavo che venisse dal Missouri". E lei ha detto: "Tutto questo ha senso". Ha detto: "Nonna Lillian, |
| |
è cresciuta in una fattoria a St. Joseph, nel Missouri, ed era l'unica ragazza e aveva circa 11-12 fratelli. Quindi ha cucinato molto lei." |
| |
A proposito, lei è stata l'unica ad avere un'istruzione universitaria e quindi era piuttosto progressista per il periodo in cui visse ed era una dei miei parenti preferiti, ma la sua ricetta era molto indicativa di questo. Quindi vi mostriamo come appare dal vivo. |
| |
Quindi se vado a... |
| |
a questo punto, |
| |
Torno ai dati che avevo creato e in quell'hotspot chiederò questi modelli aggiuntivi che JMP Pro può fornire. Esiste un'analisi di classe latente che raggruppa i documenti utilizzando questo metodo, |
| |
basato sul modo binario per documentare la matrice dei termini. Quindi usa un documento... usa quella matrice dei termini del documento, sì, quindi non devi nemmeno salvarlo, lo genera automaticamente. |
| |
C'è anche un'analisi semantica latente, che fa... che fa un po' più di matematica, un metodo un po' più avanzato, ma entrambi fanno fondamentalmente la stessa cosa, e mi è piaciuta particolarmente questa analisi delle classi latenti. Quindi questo è quello che ho selezionato. |
| |
E ho chiesto tre cluster, puoi giocarci per vedere se fa la differenza. E ho provato più cluster e sono tornato a tre. |
| |
E al suo interno |
| |
opzioni, puoi esaminare le probabilità del cluster per riga. |
| |
E tra tutti i risultati, questo è quello che aveva più senso. Quindi ricorda, tornando alla mia diapositiva, questo mi ha aiutato a vedere dove cadeva il peperoncino di mia nonna, |
| |
Che erano le 22, |
| |
riga 22. E poi con cos'altro si combinava bene. Ed è così che ho potuto fare questa analisi. |
| |
È così semplice. |
| |
COSÌ, |
| |
è stata una rapida panoramica delle funzionalità di esplorazione del testo JMP in JMP e poi di come ho potuto utilizzare JMP Pro e |
| |
trova questi grappoli e metti il peperoncino di mia nonna e trova una ricetta corrispondente. Quindi, se hai fame di più, ho un collegamento al blog |
| |
nella presentazione che puoi...puoi fare clic su oppure puoi andare direttamente alla Community e digitare "grandma's chili" e puoi trovare quel blog. E insieme a quello ti darò anche, ti daremo anche noi |
| |
la ricetta. Così puoi preparare anche tu il peperoncino di nonna Lillian. |
| |
Quindi apprezziamo il fatto di potervelo mostrare oggi. |
| |
Assicurati di lasciare eventuali domande nella sezione Domande e risposte a cui possiamo rispondere. E prova questo, prova qualcosa |
| |
che hai intorno a te al lavoro, a casa, ovunque ci siano dati di testo non strutturati, dove vorresti esplorare e porre la domanda, e scoprirai che è un metodo fantastico, fantastico, molto potente e ti aiuta davvero ad affrontare questo problema terza dimensione dei dati. |
