| Oratore |
Trascrizione |
| Scott Wise |
Esplorazione Testuale Investigativa. Mi chiamo Scott Wise e sono Senior Manager del JMP Education Team. |
| |
E ho una presentazione davvero divertente da mostrarvi oggi e gli obiettivi di questa presentazione sono di darvi un po' più di familiarità |
| |
con le capacità e la facilità di esplorazione del testo in JMP e JMP Pro, e ti mostrerò anche un modo diverso di guardare all'esplorazione del testo, ad esempio, posso indagare su qualcosa come farebbe un detective? |
| |
Ok, allora parleremo del chili di mia nonna e di come si collega a una gara di chili in Texas. Prima di iniziare, |
| |
Sfatiamo un po' la terminologia che circonda il text mining e, per me, i passaggi sono cinque semplici. Si dedica il tempo a riassumere i dati, letteralmente, scoprendo quali parole nel testo compaiono più spesso, persino quale combinazione di parole ricorre più spesso. |
| |
Quindi, il ??? lo chiamiamo guardare attraverso un testo non strutturato, giusto? E poi, questo, questo potrebbe essere qualsiasi cosa. Potrebbe essere una frase che il tuo cliente ti ha dato sulle prestazioni del tuo prodotto o del tuo servizio. Potrebbe essere... |
| |
potrebbero essere i social media, giusto, dove sai di capire cosa piace o non piace alle persone in base ai commenti, |
| |
qualcosa sul tuo prodotto o servizio oppure potrebbe essere questo tizio, qualcosa come una ricetta. |
| |
L'ho visto fare anche sui brevetti, quando le persone cercano informazioni su quali siano le cose più comuni per cui le persone richiedono brevetti e se dovremmo farlo. |
| |
Quindi, riassumendo, scopri quali parole tra queste sono le più importanti. Ora c'è un po' di preparazione successiva, che consiste semplicemente nell'esaminare l'elenco più breve delle parole che ti interessano. |
| |
Ovviamente non saremmo JMP se non potessimo visualizzarlo, analizzarlo e modellarlo. Possiamo persino fare una modellazione avanzata. Quindi userò JMP Pro per farlo, versione 15.1. |
| |
e non mancherò di evidenziare cosa è possibile fare in JMP e dove effettivamente aggiungo un pizzico di professionalità che mi aiuta a rispondere meglio alla mia domanda. |
| |
documento, corpus e termine. Il documento sarà... |
| |
Le cose che stai analizzando, in pratica il singolo corpo di testo, ogni riga del testo. Quindi queste sono le mie ricette per il mio esempio. |
| |
Potrebbero essere diversi clienti che ti hanno lasciato commenti sul tuo prodotto o servizio. Il corpus è in realtà quel testo non strutturato che stai cercando di gestire, il corpo del testo che andrai ad analizzare. |
| |
E poi i termini saranno quelle parole o quelle combinazioni di parole che ti interessano e che possono aiutarti a rispondere a una domanda. Quindi parliamo della storia. Sai, perché mi è venuto in mente di guardare le ricette del chili? Beh, questo ci riporta a |
| |
Quasi 25 anni fa, quando mi sono trasferito per la prima volta in Texas, ho iniziato a lavorare per una grande azienda e, come la maggior parte delle grandi aziende in Texas, organizzavano una grande gara di cucina texana di chili. |
| |
E mi è stato chiesto di partecipare. Tutti hanno partecipato. Ma mi è stato chiesto anche di fare di più: di fare il giudice. |
| |
Quindi avrei dovuto rifiutare il giudice. Pensavo fosse un onore per il nuovo arrivato, ma credo di essere stato l'unico a cui potevano darlo, e ho scoperto perché. |
| |
Ma parliamo prima della reazione al chili che ho portato. Avevo una ricetta per il chili che la mia famiglia ha sempre usato e che mi è stata data da mia nonna, nonna Lillian. |
| |
Questo non è chili. Non è quello che i texani consideravano chili. |
| |
La buona notizia era che avrei dovuto portarne a casa un po', perché mi piace mangiarlo. Avevano preso in considerazione anche qualcos'altro oltre al chili. Il loro chili non conteneva fagioli. Il loro chili non era sostanzioso. Era molto piccante, molto brodoso. |
| |
Il mio aveva manzo. Il loro aveva soprattutto maiale. Loro avevano tutto dentro. Ecco l'altra cosa che mi ha messo nei guai. Non solo non gli piaceva il chili di mia nonna, ma quasi non sono sopravvissuto al giudizio. |
| |
Perché il vero segno d'onore di un vero texano è preparare la ciotola di chili più piccante. Quindi vuoi battere il tuo vicino. Vuoi battere il tuo collega. Quindi ci buttavano dentro ogni sorta di peperoncini e spezie piccantissimi. |
| |
E ho pensato, quasi mi sono fatto un buco nello stomaco solo per provare ad assaporarlo e tu stai bevendo tutto questo latte, cercando di spegnere il calore. Quindi |
| |
È stato un battesimo di fuoco. Quindi il mio consiglio è, a meno che non vi piaccia il caldo, di non partecipare come giudici, giusto? Non è una buona idea. Ma volevo piazzarmi; mi ha sempre dato fastidio. |
| |
Perché il chili di mia nonna non è venuto bene? Esistono davvero diversi tipi di chili? Da dove vengono? |
| |
E a quanto pare il chili ha una storia davvero interessante. Si possono trovare blog e articoli storici davvero interessanti sull'argomento, e molto probabilmente è nato da |
| |
America Centrale, soprattutto Messico. E ci sono alcuni piatti leggeri, ma a San Antonio, dove è stato visto per la prima volta venduto nello stato, ora lo conosciamo come chili. |
| |
Nella vecchia piazza di San Antonio, lì vicino all'Alamo. Veniva usato per le mandrie di bestiame e iniziò a diventare popolare, per poi diffondersi in tutto il centro del paese, fino al Midwest. |
| |
E mi è stato detto che, sapete, molte innovazioni alimentari sono state create alla Fiera Mondiale di St. Louis, sapete, hanno avuto un grande successo quando sono state esposte, questa era una di quelle. Il peperoncino è arrivato nel |
| |
L'Esposizione Universale di St. Louis divenne davvero popolare. |
| |
Quindi ci sono diverse varianti. E quindi l'idea era: se potessi... usare l'esplorazione testuale su ingredienti e ricette? Basta prendere l'intera ricetta e inserirla, e vedere cosa succede. |
| |
E con cosa voglio confrontarlo? Così ho cercato quali fossero le regioni tradizionali; ne avevamo diverse, dal Texas al Michigan. |
| |
Quindi in Texas ne abbiamo diverse varietà. Il Texas Bowl Red è quello che stavo assaggiando. È chili con carne. Un |
| |
La frito pie è un piatto che si mangia a una partita di football, ma è così popolare che la Louisiana ne ha una versione tutta sua. Anche il New Mexico, con peperoncini verdi e pollo, ha la sua versione. Anche Oklahoma, Kansas City, Springfield... |
| |
L'Illinois, Cincinnati con il chili Skyline, che mettono sugli spaghetti. Il Michigan. Coney Island, gli hot dog, sai, la salsa chili che ci mettono sopra è davvero piccante. |
| |
Peperoncino bianco, di cui non si conosce la provenienza. Peperoncino vegetariano. Ma ora ne esistono tantissimi tipi. |
| |
Allora mi sono chiesto: se prendessi tre ricette da ognuno di questi stili e le confrontassi per controllare il chili di mia nonna, potrei trovare quello che cerco? |
| |
Quindi faremo questo e vi mostrerò, mentre vi spiegherò i passaggi, vi mostrerò un riepilogo dei passaggi, poi andrò subito indietro e vi mostrerò come lo faccio in JMP. |
| |
Il primo passo sarà riassumere i dati. Vogliamo trovare le parole che ci interessano. |
| |
Ora cosa succede quando entri |
| |
qualsiasi di queste analisi di testo, questi dati di testo, come i miei ingredienti, in un esploratore di testo, li eseguirà attraverso una libreria |
| |
delle espressioni regolari, e pensate alla parola come a qualcosa di regolare, come a cose che fanno parte del linguaggio quotidiano. |
| |
E non sono poi così utili. Non sono utili se ho "il" e "e" nella mia lista. Quindi cerca di aiutarti a estrarre le parole che non ti interessano. E sì, può essere personalizzato. |
| |
E ne ha già uno piuttosto potente incorporato, ed è quello che ho usato. E poi lo stemming. Lo stemming è dove vai e |
| |
di' come vuoi trattare le parole simili, quindi "dice" è "dice", "dicing", hai il plurale, diverso... diverso... |
| |
Diverse versioni della radice. Vuoi semplicemente contarle tutte nella radice o vuoi che siano separate? Questa è una considerazione da fare. |
| |
E poi, dopo aver riassunto, fammi prendere queste parole. Puoi vedere che ho qui una piccola lista di parole. Quella dietro è inedita e poi quella davanti. |
| |
In realtà è uno di quelli che abbiamo esaminato e in un certo senso ridotto. Quindi quello che fai è cercare le parole che non ti interessano, chiamarle stop word, in pratica, rimuovile. Aggiungile di nuovo alla mia libreria di cose che non mi interessano. |
| |
Puoi anche portare frasi che contano davvero. E una volta che le avrai, saremo in grado di visualizzarne alcune. |
| |
E vedremo, nel mio caso, che mi sono interessato molto agli ingredienti. Quindi vedremo quali ingredienti sono usciti più spesso. |
| |
E qui si vedono spesso delle nuvole di parole, e più grande è la parola, più è frequente. |
| |
E puoi guardarlo in una nuvola, proprio come un... solo un layout sporadico oppure puoi guardare un ordine in cui, sai, la prima cosa in alto è la parola più grande. È come... |
| |
Il grafico che si trova davanti alla diapositiva. Dopodiché, faremo qualcosa con esso. Così potremo creare alcuni modelli di base. |
| |
E uno dei modi più semplici per farlo è, una volta che sappiamo quali parole della nostra lista ci interessano, |
| |
Possiamo aggiungerlo nuovamente alla nostra tabella dati. Si chiama salvare la matrice dei termini del documento. In questo caso, un modo semplice per farlo è usare solo i binari. Quindi ho una colonna separata qui, come potete vedere alla mia destra, dove |
| |
"Onion" ha un uno in quella riga, sai, ricetta. Ha zero se non lo è, quindi puoi ottenere zeri e uno qui nelle colonne. E puoi vedere qual è la cosa più importante. |
| |
E molte volte stai cercando di fare da modello per qualcosa del tipo, se fossi bloccato, |
| |
Forse ho ottenuto i punteggi di giudizio in base a questo e posso dire, beh, ecco un punteggio numerico associato a ogni ricetta. Voglio vedere quali ingredienti |
| |
sono comuni e si traducono in punteggi elevati. Potrebbe essere qualcosa che sto facendo anch'io, quindi cerca di essere un po' più predittivo. |
| |
Ma in questo caso, darò un'occhiata al raggruppamento. Mi interessa molto raggruppare, tipo, le ricette e vedere dove si colloca il chili di mia nonna. Quindi vi mostrerò come faremo. Ma prima andiamo su JMP e vi mostriamo come eseguiamo questi passaggi in JMP. |
| |
Ecco i miei dati grezzi. |
| |
In ogni documento qui, ogni riga è...ho il mio testo non strutturato e, nel mio caso, sono solo gli ingredienti grezzi. |
| |
E se clicco su una qualsiasi di queste celle qui, potete vedere che sono letteralmente gli ingredienti copiati. Eccone uno... il primo per il chili Cajun della Louisiana. |
| |
Ci sono parole che mi interessano, come "pomodoro", "peperoncino in polvere" e "miele". Ci sono parole che non mi interessano, come "lattina". |
| |
Probabilmente sono le misure degli ingredienti che non mi interessano tanto, tipo "uno", "due libbre", "cucchiaini". Quindi come faremo a risolvere la situazione? Quindi cosa faremo? |
| |
Ora andiamo su Analizza, poi su Esplora testo e inseriamo quegli ingredienti nella colonna di testo. |
| |
Vi chiederò come usare lo stemming, come usare lo stemming per tutti i termini. Lo trovo molto utile. E poi userò l'espressione regolare integrata. |
| |
Dico ok ed ecco la mia lista iniziale. |
| |
Quindi quello che posso fare ora è andare a selezionare le cose che non mi interessano. Non mi interessano i numeri. Quindi potrei andare qui, evidenziarle, cliccare con il tasto destro e dire "Aggiungi una parola di stop", e così verrebbero aggiunte alla lista delle cose che non mi interessano. |
| |
E "chili powder"? Sembra qualcosa che dovrebbe essere a sé stante. Quindi clicco con il tasto destro del mouse su quella frase. E dico "aggiungi frase" e la aggiunge. |
| |
Quindi procedi in questo modo finché non ottieni un elenco semplificato e ridotto. |
| |
Sto solo correndo il mio |
| |
La mia lista completa. Ed ecco tutte le parole che sono state trovate dall'espressione regolare, e anche |
| |
cose che ho aggiunto |
| |
e stop word. E ora, ecco la mia lista di termini e frasi completa. E quindi ho aggiunto queste frasi. Mi interessano. Quindi "cipolla" è risultata la più gettonata, poi "sale", poi "cumino", poi "peperoncino in polvere". |
| |
Come puoi immaginare, sarebbe davvero utile visualizzarlo e abbiamo una nuvola di parole. Quindi ecco la nuvola di parole per tutto ciò che è presente in questo. E di nuovo, sotto le opzioni del triangolo rosso, posso modificarlo in un ordine per rendere più chiaro il risultato. |
| |
Se lo tengo centrato, è divertente. Sai che puoi aggiungere filtri ai tuoi dati e un'altra cosa che puoi fare è, a volte, trovare la risposta visivamente senza dover fare altro. E quindi, in tal caso, approfondirò questo aspetto. |
| |
triangolo rosso. Voglio ottenere un filtro dati locale. Guardo il tipo e dico, bene, diamo un'occhiata a |
| |
Come si presenta il chili della nonna Lillian, sai, con "pomodori", "fagioli rossi" e "manzo", roba del genere. E come si confronterebbe con il chili Cajun? |
| |
Beh, hanno condiviso peperoncino in polvere e manzo, ma, sai, potrebbero esserci delle differenze. Sai, come si fa a paragonarlo al chili verde? |
| |
Sai, che è più simile al peperoncino verde, sai. E ci sono peperoncini crudi e jalapeño, brodo di pollo, tutto quel genere di cose, brodo di pollo. |
| |
Quindi questo è davvero interessante, ma probabilmente non abbastanza per capire cosa sta succedendo. Quindi sono andato |
| |
(e questa è un'altra...hai tutte le opzioni qui sotto il triangolo rosso) Sono andato ad assicurarmi (e probabilmente devo assicurarmi qui) di disattivare il mio filtro dati locale, assicurarmi che tutto fosse selezionato, e di guardare tutti i miei termini. |
| |
Ne ho 299 qui. Faccio clic destro e dico "Salva matrice termini documento". |
| |
E quando l'ho fatto, mi ha chiesto in che modo volevo salvarlo, con dei pesi, con quale tipo di ponderazione. È fondamentalmente binario, ci sono delle frequenze che posso usare, quanti termini, sai, la frequenza minima per ottenere effettivamente un posto nella tua tabella dati. E l'ho già fatto. |
| |
Quindi se mi muovo e guardo... |
| |
In realtà |
| |
Procedo e vi mostro come appare. Quindi dirò semplicemente "salva matrice termini documento" e dirò "ok". |
| |
E ora, come vi ho mostrato nella diapositiva, ho capito tutti i termini che mi interessano. Ed ecco il primo per "cipolla". Ecco quello per "peperoncino in polvere", e come si collega ai rispettivi termini. |
| |
Ricetta, sai, righe. |
| |
Quindi so dove c'è un uno, so che questo chili Cajun conteneva peperoncino in polvere. |
| |
Quando c'è zero, |
| |
Questo qui sembra chili dell'Oklahoma o no, mi dispiace, il chili del New Mexico non aveva polvere di peperoncino, quindi funziona così. E questo può essere usato nella modellazione. Quindi puoi andare su Analizza e adatta modello in JMP e prendere... e applicare effettivamente questo a un qualche tipo di modello. |
| |
Ma quello che farò è, dato che non sto cercando di prevedere quali ingredienti mi daranno un punteggio più alto. Non ho niente del tipo, sai, |
| |
Sai, i dati di output sono qui. Vorrei davvero raggrupparli e ho sentito dire che in JMP Pro posso farlo. Quindi torno subito alle mie diapositive. |
| |
E parlerò dell'analisi dei dati. Quindi, per fare ulteriori analisi |
| |
In JMP Pro, consente di utilizzare tecniche di raggruppamento davvero efficaci. Si tratta di metodi multivariati, specializzati nella gestione dell'analisi del testo e nell'utilizzo di matrici di termini di documenti riguardanti il testo. |
| |
E usa qualcosa chiamato analisi delle classi latenti. È uno dei termini. Ed è simile alle componenti principali, se siete abituati a usare quella tecnica. Ma fondamentalmente si tratta di |
| |
Chiedeteci quanti raggruppamenti o cluster di dati vogliamo esaminare. Esaminerà quello spazio multidimensionale. |
| |
tra tutto ciò che è presente in quelle colonne e la matrice dei termini del documento per i termini importanti nel tuo modello qui, i termini importanti che abbiamo sulla parola |
| |
Elenco di parole, giusto? E le raggrupperà. E nel mio caso, sono riuscito a ridurlo a tre gruppi. |
| |
Quindi ce n'è uno, che sembra avere un sacco di ricette di chili con carne macinata, salsa di pomodoro, peperoncino in polvere e fagioli. |
| |
Ce n'è un secondo gruppo, che ha molto a che fare con pollo e peperoncini verdi, qui peperoncini crudi. |
| |
E poi c'è il gruppo tre, che di nuovo conteneva molti peperoncini, ma erano più peperoncini rossi e avevano una certa base di carne di maiale, il che aveva molto senso. |
| |
Ok, quindi quando ho creato questi cluster, sono stato in grado di utilizzare una probabilità di cluster per riga, questo mi ha dato un'idea di quanto siano forti quei singoli |
| |
Ricette, le mie righe nel mio documento, giusto, queste originali... la mia ricetta di controllo, dove si collocavano e quanto erano forti. Perché le ho assegnate a un cluster? E quando l'ho fatto, |
| |
Il 22 era il gruppo di mia nonna... era il controllo di mia nonna. E ho scoperto che rientrava nel gruppo uno, insieme ad altre ricette, comprese quelle provenienti da Kansas City, Missouri. |
| |
Ce n'è uno al numero 24 che era molto simile. Ora, le ricette texane per il gruppo tre contenevano peperoncini piccanti, spezie... un sacco di spezie, e spesso maiale e niente fagioli, giusto? I fagioli erano presenti nel gruppo uno, ma non nel gruppo tre, e poi... |
| |
Il cluster due |
| |
era più per, sai, è più per il peperoncino verde, |
| |
più per quelle cose che vedi nel New Mexico, sai, chili a base di pollo, cose con peperoncino verde. |
| |
Bene, quindi quello che è successo è che sono riuscito a trovare la corrispondenza e ho trovato una ricetta. E una delle tre più rappresentative del Missouri. |
| |
In realtà si chiamava chili di Kansas City e corrispondeva quasi esattamente al chili della nonna Lillian. |
| |
Così, quando ho chiesto a mia madre spiegazioni al riguardo, le ho detto: "Beh, perché è potuto succedere? Non pensavo che venisse dal Missouri". E lei ha risposto: "Tutto questo ha senso". Poi ha aggiunto: "Nonna Lillian, |
| |
È cresciuta in una fattoria a St. Joseph, nel Missouri, ed era l'unica femmina e aveva circa 11-12 fratelli. Quindi cucinava molto." |
| |
A proposito, era l'unica ad aver completato un'istruzione universitaria, quindi era piuttosto progressista per tutto il tempo in cui visse, ed era una delle mie parenti più care, ma la sua ricetta ne era un esempio lampante. Quindi, vi mostriamo come appare dal vivo. |
| |
Quindi se vado a... |
| |
a questo punto, |
| |
Torno ai dati che avevo creato e, sotto quell'hotspot, chiedo questi modelli aggiuntivi che JMP Pro può fornire. C'è un'analisi di classi latenti che raggruppa i documenti utilizzando quel metodo, |
| |
Basato sul metodo binario per documentare la matrice dei termini. Quindi usa un documento... usa quella matrice dei termini del documento, sì, quindi non devi nemmeno salvarla, la genera automaticamente. |
| |
C'è anche un'analisi semantica latente, che... che fa un po' più di matematica, un metodo un po' più avanzato, ma entrambe fanno fondamentalmente la stessa cosa, e mi è piaciuta particolarmente questa analisi delle classi latenti. Quindi è quella che ho scelto. |
| |
E ho chiesto tre cluster, puoi provare a vedere se fa la differenza. Ho provato altri cluster e sono tornato a tre. |
| |
E all'interno del suo |
| |
opzioni, è possibile esaminare le probabilità del cluster per riga. |
| |
E tra tutti i risultati, questo è quello che ha avuto più senso. Quindi, ricordate, tornando alla mia diapositiva, questo mi ha aiutato a vedere dove cadeva il chili di mia nonna, |
| |
Che era 22, |
| |
riga 22. E poi con cos'altro si combinava bene? Ed è così che sono riuscito a fare questa analisi. |
| |
È così semplice. |
| |
COSÌ, |
| |
è stata una panoramica davvero rapida delle capacità di esplorazione del testo JMP in JMP e poi di come sono stato in grado di utilizzare JMP Pro e |
| |
Trovate questi grappoli, metteteci il chili di mia nonna e trovate una ricetta abbinata. Quindi, se ne avete ancora voglia, ho un link al blog. |
| |
Nella presentazione che potete... potete cliccare su oppure potete andare direttamente alla Community e digitare "Grandma's Chili" e troverete quel blog. E vi darò anche, insieme a quello, vi daremo anche |
| |
la ricetta. Così anche tu potrai preparare il chili della nonna Lillian. |
| |
Per questo motivo siamo lieti di potervelo mostrare oggi. |
| |
Assicuratevi di lasciare qualsiasi domanda nella sezione Q&A a cui possiamo rispondere. E provate questo, provate qualcosa. |
| |
che hai a disposizione al lavoro, a casa, ovunque ci siano dati di testo non strutturati, dove vorresti esplorare e porre domande, e scoprirai che è un metodo fantastico, fantastico, molto potente e che ti aiuta davvero ad attaccare quella terza dimensione dei dati. |
