Relatore
|
Trascrizione
|
| Scott saggio |
Esplorazione investigativa del testo. Mi chiamo Scott Wise e sono Senior Manager del JMP Education Team. |
| |
E ho una presentazione davvero divertente che possiamo vedere oggi e gli obiettivi di questa presentazione sono darti un po' più di familiarità |
| |
con le capacità e quanto è facile eseguire l'esplorazione del testo in JMP e JMP Pro, oltre a mostrarti un modo diverso di guardare l'esplorazione del testo, ad esempio, posso fare per indagare su qualcosa come farebbe un detective? |
| |
Ok, quindi parleremo del peperoncino di mia nonna e di come si collega a un peperoncino del Texas che si cucina. Prima di iniziare, |
| |
sfatiamo solo parte della terminologia relativa al text mining e, per me, ci sono davvero cinque semplici passaggi. Dedichi il tuo tempo a riassumere i dati, letteralmente, a scoprire quali parole nel testo ricorrono più spesso, anche quale combinazione di parole ricorre più spesso. |
| |
Così la ??? chiama questo guardare attraverso il testo non strutturato giusto e poi questo, questo potrebbe essere qualsiasi cosa. Questa potrebbe essere una frase che il tuo cliente ti ha dato in merito alle prestazioni del tuo prodotto o del tuo servizio. Potrebbe essere... |
| |
potrebbero essere i social media, giusto, dove sai che capisci cosa piace o non piace alle persone in base ai commenti, |
| |
qualcosa sul tuo prodotto o servizio o potrebbe essere questo ragazzo, qualcosa come una ricetta. |
| |
L'ho anche visto fare sui brevetti quando le persone stanno facendo ricerche su quali sono le cose popolari per cui le persone stanno applicando i brevetti e dovremmo farlo noi. |
| |
Quindi davvero, riassumendo, scoprire quali parole sono le più importanti. Ora c'è un po' di preparazione che viene dopo, che sta solo scendendo all'elenco più piccolo delle parole che ti interessano. |
| |
Quindi ovviamente non saremmo JMP se non lo visualizzeremo e non lo analizzeremo e possiamo anche modellarlo. Possiamo anche fare un po' di modellazione avanzata. Quindi userò JMP Pro per farlo, versione 15.1, |
| |
e sarò sicuro di sottolineare cosa puoi fare in JMP e dove in realtà aggiungo un po 'di Pro che aiuta a rispondere ulteriormente alla mia domanda. |
| |
documento, corpus e termine. I documenti saranno quelli... |
| |
quelle cose che stai analizzando, fondamentalmente il singolo corpo del testo, ogni riga del testo. Quindi sono le mie mie ricette per il mio esempio. |
| |
Potrebbero essere diversi clienti che ti hanno commentato il tuo prodotto o servizio. Corpus è in realtà quel testo non strutturato che stai cercando di gestire, il corpo di quel testo che analizzerai. |
| |
E poi i termini saranno quelle parole o quella combinazione di parole a cui tieni che possono aiutarti a rispondere a una domanda. Allora parliamo della storia. Sai, perché mi è venuto in mente di guardare le ricette del peperoncino? Bene, questo torna a |
| |
quasi 25 anni fa, quando mi sono trasferito per la prima volta in Texas e sono venuto a lavorare per una grande azienda e, come la maggior parte delle grandi aziende del Texas, avevano un grande peperoncino del Texas. |
| |
E mi è stato chiesto di partecipare. Tutti hanno partecipato. Ma mi è stato anche chiesto di fare anche di più, mi è stato chiesto di fare il giudice. |
| |
Quindi avrei dovuto rifiutare il giudice. Pensavo fosse un onore per il nuovo ragazzo, ma penso di essere l'unico a cui potevano darlo, ho scoperto il perché. |
| |
Ma parliamo prima della reazione al peperoncino che ho portato. Quindi ho avuto la ricetta del peperoncino che la mia famiglia ha sempre usato e veniva da mia nonna, nonna Lillian. |
| |
Questo non è peperoncino. Questo non è ciò che i texani consideravano il peperoncino. |
| |
Ora la buona notizia era che avrei dovuto portarne qualcuno a casa perché mi piace mangiarlo. Hanno considerato qualcos'altro oltre al peperoncino. Il loro peperoncino non conteneva fagioli. Il loro peperoncino non era abbondante. Era molto caldo, molto brodoso. |
| |
Il mio aveva carne di manzo. La loro aveva principalmente carne di maiale. Avevano tutto dentro. Ecco l'altra cosa che mi ha messo nei guai. Non solo non gli piaceva il peperoncino di mia nonna, ma quasi non sono sopravvissuto al giudizio |
| |
perché il vero distintivo d'onore di un vero texano è preparare la ciotola di peperoncino più piccante. Quindi vuoi battere il tuo vicino. Vuoi battere il tuo collega. Quindi stavano gettando tutti i tipi di peperoncini piccanti e spezie qui dentro. |
| |
E ho solo pensato, quasi mi fai un buco nello stomaco solo cercando di assaporarlo e stai bevendo tutto questo latte, cercando di spegnere il calore. Così |
| |
era un battesimo di fuoco. Quindi la mia raccomandazione è che, a meno che non ti piaccia il caldo, non entrare come giudice, giusto. Non è una buona idea. Ma volevo posizionare; che mi ha sempre infastidito. |
| |
Cosa, perché il peperoncino di mia nonna non andava bene? Esistono davvero diversi tipi di peperoncino? Da dove vengono? |
| |
E si scopre che il peperoncino ha una storia davvero interessante. Puoi vedere alcuni blog e articoli di storia davvero interessanti su di esso e molto probabilmente è uscito |
| |
Centro America, principalmente Messico. E ci sono alcuni piatti leggeri, ma a San Antonio, è stato visto per la prima volta essere venduto nello stato, sapremmo che ora è peperoncino, |
| |
sulla sulla piazza vecchia di San Antonio lì presso l'Alamo. Ed è stato utilizzato nei trasferimenti di bestiame e ha iniziato a diventare popolare e poi si è fatto strada nel centro del paese fino al Midwest. |
| |
E mi è stato detto che, sai, molte innovazioni alimentari sono state create alla Fiera mondiale di St. Louis, sai, sono decollate davvero quando sono state mostrate, questa era una di quelle. Il peperoncino è entrato nel |
| |
Fiera mondiale di St. Louis ed è diventata molto popolare. |
| |
Quindi ci sono diverse varietà. E quindi l'idea era se io... potevo usare l'esplorazione del testo su ingredienti e ricette? Prendi l'intera ricetta e scaricala, guarda cosa succede. |
| |
E a cosa voglio confrontarlo? Quindi ho cercato quali fossero le regioni tradizionali; ne abbiamo avuti diversi, dal Texas fino al Michigan. |
| |
Quindi in Texas abbiamo diverse varietà. Il Texas Bowl Red è quello che stavo assaggiando. Questo è peperoncino con carne. UN |
| |
Frito pie è qualcosa che otterrai a una partita di football, ma molto popolare, che la Louisiana ha la sua versione. Il New Mexico, con peperoncini verdi e pollo, ha la sua versione. Oklahoma, Kansas City, Springfield, |
| |
Illinois, Cincinnati con il peperoncino dell'orizzonte ehi, lo metti sugli spaghetti. Michigan. Coney Island, gli hot dog, sai, la salsa al peperoncino su cui ci hanno messo è peperoncino serio. |
| |
Peperoncino bianco, non si sa da dove provenga. Chili vegetariano. Ma ci sono molti stili che sono là fuori ora. |
| |
Quindi ho detto, se ho preso tre ricette da ciascuno di questi stili e l'ho confrontato per controllare il peperoncino di mia nonna, posso trovare quello che sto cercando? |
| |
Quindi lo faremo e ti mostrerò, mentre cammino attraverso i passaggi, ti mostrerò un riepilogo dei passaggi, poi andrò subito dietro e ti mostrerò come lo faccio in JMP. |
| |
I primi passi saranno la sintesi dei dati. Vogliamo trovare quelle parole a cui teniamo. |
| |
Ora cosa succede quando entri |
| |
qualsiasi di queste analisi di testo, questi dati di testo, come i miei ingredienti, in un esploratore di testo, lo eseguirà attraverso una libreria |
| |
di espressioni regolari e pensa alla parola come se fosse normale, solo cose che fanno solo parte del discorso di tutti i giorni. |
| |
E non sono così utili. Non è utile se ho "il" e "e" nella mia lista. Quindi cerca di aiutare a tirare fuori parole che non ti interessano. E sì, può essere personalizzato. |
| |
E ne ha già uno abbastanza forte integrato, ed è quello che ho usato. E poi arginare. Stemming è dove vai e |
| |
dì come vuoi trattare come parole -- quindi "dadi" è "dadi", "dadi", hai plurali, diversi...diversi... |
| |
diverse versioni della parola radice. Vuoi semplicemente contare tutto nella parola radice o vuoi che sia separato? Quindi questa è una considerazione. |
| |
E poi dopo riassumiamo. Fammi ottenere queste parole. Puoi vedere che ho qui un piccolo elenco di parole. Quello dietro è inedito e poi quello davanti |
| |
è in realtà quello in cui abbiamo esaminato e in qualche modo ridimensionato quell'elenco di parole. Quindi quello che fai è cercare parole che non ti interessano, le chiami parole interrotte, in pratica dici, rimuovile. Aggiungili di nuovo alla mia libreria di cose che non mi interessano. |
| |
Puoi anche riportare frasi che contano davvero. E una volta che li avrai, saremo in grado di visualizzarne alcuni. |
| |
E vedremo, nel mio caso, che mi sono davvero interessato agli ingredienti. Quindi saremo in grado di vedere quali ingredienti sono usciti più spesso. |
| |
E spesso vedi nuvole di parole qui, e nuvole di parole, sai, più grande è la parola, maggiore è la frequenza. |
| |
E puoi guardarlo in una nuvola, proprio come un... solo un layout sporadico o puoi guardare un ordine in cui, sai, la prima cosa lassù è la parola più grande. È come il |
| |
grafico che si trova davanti alla diapositiva. E dopo, faremo qualcosa con esso. E così possiamo creare alcuni modelli di base. |
| |
E uno dei modi più semplici per farlo è, una volta che sappiamo quali parole della nostra lista ci interessano, |
| |
possiamo aggiungerlo di nuovo alla nostra tabella di dati. Si chiama salvataggio della matrice dei termini del documento. In questo caso, un modo semplice per farlo sono solo i binari. Quindi ho una colonna separata qui, puoi vedere alla mia destra, dove |
| |
"cipolla" ne ha una in cui è in quelle righe, sai, ricetta. Ha zero se non lo è, quindi puoi ottenere zeri e uno qui nelle colonne. E puoi vedere qual è la cosa più importante. |
| |
E molte volte provi a modellare per qualcosa del tipo, se fossi bloccato, |
| |
forse ho avuto i punteggi a giudicare da questo e posso dire, beh, ecco un punteggio numerico legato a ciascuna ricetta. Voglio vedere quali ingredienti |
| |
sono comuni che si traducono in un punteggio elevato. Potrebbe essere qualcosa che sto facendo, quindi cerca di farlo in modo un po' più predittivo. |
| |
Ma in questo caso, guarderò al raggruppamento. Sono davvero interessato a raggruppare, tipo, ricette insieme e vedere dove cade il peperoncino di mia nonna. Quindi ti mostrerò come lo faremo. Ma prima andiamo a JMP e ti mostriamo come eseguiamo questi passaggi in JMP. |
| |
Quindi ecco i miei dati grezzi. |
| |
In ogni documento qui, ogni riga contiene... il mio testo non strutturato e nei miei casi sono solo gli ingredienti grezzi. |
| |
E se clicco su una di queste celle qui, puoi vedere che è letteralmente solo l'ingrediente copiato. Quindi c'è quello... il primo per il peperoncino Cajun della Louisiana. |
| |
Ci sono parole a cui tengo, come "pomodoro" e "peperoncino in polvere" e "miele". Ci sono parole che non mi interessano come "può". |
| |
Probabilmente sono le misure degli ingredienti che non mi interessano molto, come "uno", "due libbre", "cucchiaini". Allora come ce ne occuperemo? Quindi cosa faremo |
| |
è che andremo su Analizza e andremo su Esplora testo e inseriremo quegli ingredienti nella colonna di testo. |
| |
Chiederò di stemming, come arginare per tutti i termini. Lo trovo molto utile. E poi userò l'espressione regolare incorporata. |
| |
Dico va bene e ora ecco la mia lista iniziale. |
| |
Quindi quello che posso fare ora è andare e selezionare quelle cose che non mi interessano. Non mi interessano i numeri. Quindi forse posso entrare qui ed evidenziarli, fare clic con il pulsante destro del mouse e dire aggiungi una parola di fine, e poi viene aggiunto all'elenco delle cose che non mi interessano. |
| |
E il "peperoncino in polvere"? Suona come qualcosa che deve essere da solo. Quindi farò clic con il pulsante destro del mouse su quella frase. E dirò aggiungi una frase e la aggiunge. |
| |
Quindi vai e lo fai fino a quando non ottieni un elenco semplificato e ridimensionato. |
| |
Ho solo intenzione di eseguire il mio |
| |
La mia lista finita da esso. Ed ecco tutte le parole che sono uscite dall'espressione regolare che sono state trovate, e anche |
| |
cose che ho aggiunto |
| |
e fermare le parole. E ora, ecco il mio elenco completo di termini e frasi. E così ho aggiunto queste frasi. Mi preoccupo di. Quindi "cipolla" è risultata più alta, poi "sale", poi "cumino", quindi "peperoncino in polvere". |
| |
Come puoi immaginare, questo sarebbe davvero bello da visualizzare e abbiamo una nuvola di parole. Quindi ecco la nuvola di parole per tutto in questo. E ancora sotto le mie opzioni del triangolo rosso qui, posso cambiarlo in un ordine per renderlo più nitido su ciò che viene fuori. |
| |
Se lo tengo centrato, qualcosa che è divertente da fare. Sai che puoi aggiungere filtri ai tuoi dati e qualcosa che puoi fare è che a volte puoi trovare la tua risposta visivamente senza dover fare nient'altro. E quindi, in tal caso, mi occuperò di questo al mio |
| |
triangolo rosso. Otterrò un filtro dati locale. Guarderò solo il tipo e dirò, beh, diamo un'occhiata |
| |
che aspetto ha il peperoncino di nonna Lillian, sai "pomodori" e "fagioli" e "manzo", quel genere di cose. E come sarebbe paragonabile al peperoncino Cajun? |
| |
Bene, hanno condiviso peperoncino in polvere e manzo, ma, sai, potrebbero esserci cose diverse lì. Sai, come quello rispetto al peperoncino verde, |
| |
sai, che è più del peperoncino verde, sai. E hanno dei peperoncini crudi lì dentro e jalapenos, brodo di pollo, tutto quel genere di cose, brodo di pollo. |
| |
Quindi questo è davvero interessante, ma probabilmente non abbastanza per capire cosa sta succedendo. Quindi sono andato |
| |
(e questo è un altro... hai tutte le opzioni qui sotto il triangolo rosso) Mi sono assicurato (e probabilmente ho bisogno di assicurarmi qui) di disattivare il filtro dati locale, assicurarmi che tutto sia selezionato, che sto guardando tutti i miei termini. |
| |
Ho 299 qui. Farò clic con il pulsante destro del mouse e dirò "salva la matrice dei termini del documento". |
| |
E quando lo faccio, mi ha chiesto che tipo di modo voglio salvarlo, con con con pesi, che tipo di ponderazione. È fondamentalmente binario, ci sono frequenze che posso usare, quanti termini, sai, la frequenza minima del termine per ottenere effettivamente un posto nella tabella dei dati. E l'ho già fatto. |
| |
Quindi, se scivolo e guardo... |
| |
In realtà |
| |
Andrò avanti e lo farò e ti mostrerò che aspetto ha. Quindi dirò semplicemente "salva la matrice dei termini del documento" e dirò "va bene". |
| |
E ora, come ti ho mostrato nella diapositiva, ora ottengo tutti i termini a cui tengo. E c'è il primo per "cipolla". Ecco quello per "peperoncino in polvere" e per quanto riguarda i rispettivi |
| |
Ricetta, sai, righe. |
| |
Quindi so dove ce n'è uno, so che questo peperoncino Cajun aveva peperoncino in polvere. |
| |
Quando c'è zero, |
| |
questo qui sembra peperoncino dell'Oklahoma o no, mi dispiace, il peperoncino new messicano non aveva peperoncino in polvere, quindi è solo così, è proprio così che funziona. E questo può essere utilizzato nella modellazione. Quindi puoi andare su Analizza modello di adattamento in JMP e prendere... e applicarlo effettivamente a un tipo di modello. |
| |
Ma quello che ho intenzione di fare è, dal momento che non sto davvero cercando di prevedere, sai, quali ingredienti mi daranno un punteggio più alto. Non ho nessun like, sai, |
| |
conosci i dati di output qui. Voglio davvero raggrupparli insieme e ho sentito in JMP Pro, posso davvero farlo. Quindi tornerò alle mie diapositive qui. |
| |
E parlerò dell'analisi dei dati. Quindi per fare ulteriori analisi |
| |
in JMP Pro, ti consente di eseguire alcune tecniche di raggruppamento davvero valide e questi sono metodi multivariati e sono specializzati per la gestione dell'analisi del testo e l'utilizzo di quelle matrici dei termini del documento riguardano il testo. |
| |
E usa qualcosa chiamato analisi di classe latente. È uno dei termini. E questo è simile ai componenti principali, se sei abituato a fare quella tecnica. Ma fondamentalmente lo farà |
| |
chiedici quanti raggruppamenti o cluster di dati vogliamo esaminare. Guarderà attraverso quello spazio multidimensionale |
| |
tra tutto ciò che c'è in quelle colonne e la matrice dei termini del tuo documento per i termini importanti nel tuo modello qui, i termini importanti che abbiamo sulla parola |
| |
elenco di parole, giusto? E li raggrupperà. E nel mio caso, sono riuscito a ridurlo a tre gruppi. |
| |
Quindi ce n'è uno a grappolo, che sembrava avere molte ricette di peperoncino con carne macinata, salsa di pomodoro, peperoncino in polvere e fagioli. |
| |
C'è un gruppo due, che ha molto a che fare con pollo e peperoncini verdi, peperoncini crudi qui. |
| |
E poi c'è il gruppo tre, che aveva ancora molti peperoncini, ma erano più peperoncini rossi ed erano una specie di carne di maiale e questo aveva molto senso. |
| |
Ok, quindi quando ho creato questi cluster, sono stato in grado di utilizzare una probabilità di cluster per riga, questo tipo di mi ha dato quanto fossero forti quegli individui |
| |
ricette, le mie righe nel mio documento, giusto, queste originali... la mia ricetta di controllo, dove sono cadute e quanto erano forti. Perché li ho assegnati a qualsiasi cluster? E quando l'ho fatto, |
| |
22 era il grappolo di mia nonna... era il controllo di mia nonna. E ho scoperto che si è raggruppata nel primo gruppo insieme ad altre ricette, comprese quelle provenienti da Kansas City, Missouri. |
| |
Ce n'è uno sul numero 24 che era molto vicino. Ora le ricette del Texas per il cluster tre, avevano peperoncini piccanti, spezie... un sacco di spezie e spesso carne di maiale e niente fagioli, giusto? I fagioli erano qualcosa che appariva nel primo gruppo, ma non nel terzo gruppo e poi... |
| |
Il grappolo due |
| |
era più per, sai, è più per peperoncino verde, |
| |
di più per quelle cose che vedi nel New Mexico, sai, peperoncino a base di pollo, cose con peperoncino verde. |
| |
Va bene, quindi quello che è successo è stato che sono riuscito a fare la partita e ho trovato una ricetta. E uno dei tre rappresentanti del Missouri |
| |
in realtà si chiamava peperoncino di Kansas City, e corrispondeva quasi esattamente al peperoncino di nonna Lillian. |
| |
Quindi, quando ho chiesto a mia madre di questo, ho detto: "Beh, perché è potuto succedere. Non pensavo venisse dal Missouri". E lei ha detto: "Tutto questo ha senso". Disse: "Nonna Lillian, |
| |
è cresciuta in una fattoria a St. Joseph, Missouri, ed era l'unica ragazza e aveva tipo 11-12 fratelli. Quindi ha cucinato molto". |
| |
A proposito, era l'unica a ricevere un'istruzione universitaria e quindi era piuttosto progressista per il periodo in cui visse ed era una dei miei parenti preferiti, ma la sua ricetta era molto indicativa di questo. Quindi ti mostriamo come appare dal vivo. |
| |
Quindi se vado a... |
| |
a questo punto, |
| |
Torno ai dati che avevo creato e sotto quell'hotspot chiederò questi modelli aggiuntivi che JMP Pro può fornire. C'è un documento di cluster di analisi di classe latente che utilizza quel metodo, |
| |
basato sul modo binario per documentare la matrice dei termini. Quindi usa un documento ... usa quella matrice dei termini del documento, sì, quindi non devi nemmeno salvarlo, lo genera automaticamente. |
| |
C'è anche un'analisi semantica latente, che fa... che fa un po' più di matematica, un metodo un po' più avanzato, ma entrambi stanno fondamentalmente facendo la stessa cosa, e mi è particolarmente piaciuta questa analisi di classe latente. Quindi è quello che ho selezionato. |
| |
E ho chiesto tre cluster, puoi giocarci per vedere se fa la differenza. E ho provato più cluster e sono tornato a tre. |
| |
E al suo interno |
| |
opzioni, puoi guardare le probabilità del cluster per riga. |
| |
E di tutti i risultati, questo è quello che ha più senso. Quindi ricorda, tornando alla mia diapositiva, questo mi ha aiutato a guardare dove è caduto il peperoncino di mia nonna, |
| |
che aveva 22 anni, |
| |
riga 22. E poi con cos'altro si combinava bene. Ed è così che sono stato in grado di fare questa analisi. |
| |
È così semplice. |
| |
Così, |
| |
è stata una rapida panoramica delle capacità di eseguire l'esplorazione del testo JMP in JMP e poi come sono stato in grado di utilizzare JMP Pro e |
| |
trova questi grappoli e metti il peperoncino di mia nonna e trova una ricetta abbinata. Quindi, se sei affamato di più, ho un link al blog |
| |
nella presentazione che puoi...puoi andare a cliccare o puoi semplicemente andare direttamente alla Community e puoi semplicemente digitare "peperoncino della nonna" e puoi trovare quel blog. E anche io ti darò insieme a quello, anche noi daremo a te |
| |
la ricetta. Così anche tu puoi fare il peperoncino di nonna Lillian. |
| |
Quindi apprezziamo essere in grado di mostrartelo oggi. |
| |
Assicurati di lasciare tutte le domande nelle domande e risposte a cui possiamo rispondere. E prova questo, prova qualcosa |
| |
che hai intorno a te al lavoro, a casa, ovunque ci siano dati di testo non strutturati, dove vorresti esplorare e porre la domanda, e scoprirai che è un metodo fantastico, fantastico, molto potente e ti aiuta davvero ad attaccarlo terza dimensione dei dati. |
