| Oratore |
Trascrizione |
| Kira Alhorn |
Bene, benvenuti al mio intervento, Una passeggiata attraverso Text Explorer per comprendere le esigenze dei clienti. Sono molto felice di |
| |
Sono presente al JMP Discovery Summit in formato virtuale. Mi chiamo Kira Alhorn e sono una statistica presso WL Gore and Associates. |
| |
E, prima di iniziare con la presentazione vera e propria, vorrei presentarvi brevemente la nostra azienda. WL Gore and Associates è un'azienda globale di scienza dei materiali, produciamo |
| |
soluzioni molto diverse per settori molto diversi, a partire da quello aerospaziale fino ai prodotti medicali e a ciò che potrebbe essere familiare alla maggior parte di voi |
| |
è il nostro marchio Gore-Tex. Quindi è su questo che ci concentreremo oggi: il marchio Gore-Tex produce tessuti laminati resistenti, impermeabili e traspiranti. |
| |
Questi laminati vengono venduti ai nostri clienti o ai nostri partner commerciali, che li utilizzano per realizzare prodotti. Nello specifico, oggi ci concentreremo sulle calzature. |
| |
Questa è una breve panoramica del mio intervento. Inizierò con il contesto e le motivazioni. Di cosa parleremo? Analizzeremo le descrizioni delle scarpe e il motivo per cui ci interessano. |
| |
Dopodiché, il resto della presentazione si svolgerà in JMP. Userò JMP 15 Pro e vi mostrerò come utilizzare Esplora testo. |
| |
per analizzare le descrizioni delle nostre scarpe. Come trovare argomenti in quei testi, o nelle descrizioni delle scarpe, in modo che tali argomenti possano essere utilizzati per trovare descrizioni di scarpe comuni o argomenti comuni nelle descrizioni delle scarpe e confrontarli con diverse categorie di scarpe che abbiamo. |
| |
E infine, questa sarà solo una brevissima introduzione, utilizziamo alcuni modelli predittivi per convalidare i nostri risultati e per ottenere un'analisi più approfondita di come le diverse descrizioni delle scarpe categori le scarpe. |
| |
Immaginate il vostro armadio e le scarpe che avete al suo interno. |
| |
Ognuno di voi avrà almeno una piccola o piuttosto grande collezione di scarpe diverse nel proprio armadio, e la domanda è: perché avete così tante scarpe? |
| |
E che le tue scarpe debbano adattarsi al tuo stile e che magari ti servano colori diversi e così via, questo non è l'unico motivo per cui hai scarpe diverse. |
| |
L'altro motivo è che hai bisogno di scarpe diverse. Immagina di avere un paio di scarpe da corsa, diverse paia di scarpe per l'uso quotidiano e magari anche delle scarpe da trekking. |
| |
E queste caratteristiche esistono perché ogni scarpa ha caratteristiche diverse o leggermente diverse che la rendono adatta a un determinato scopo, e quelle caratteristiche sono necessarie per tale scopo. |
| |
Quindi quello che ci chiedevamo è: se guardiamo le descrizioni delle scarpe dei nostri partner di marca, possiamo in qualche modo scoprire cosa rende uniche le diverse scarpe? Quindi qui vedrete una collezione |
| |
di diverse categorie di scarpe che oggi corrispondono a diversi usi finali delle calzature. |
| |
La domanda ora è: se un cliente desidera produrre una nuova scarpa da trekking, ad esempio, quale configurazione di caratteristiche dovremmo offrire nel nostro laminato che vendiamo per una scarpa destinata all'escursionismo? |
| |
Queste descrizioni delle scarpe possono quindi fornirci un prototipo da offrire ai nostri clienti? |
| |
E, naturalmente, un altro aspetto interessante è come si differenziano le altre scarpe. Qual è la differenza tra una scarpa da trekking e una scarpa da città? Perché abbiamo bisogno di queste differenze? |
| |
E questa era la nostra intenzione quando abbiamo iniziato ad analizzare i dati. |
| |
Detto questo, vorrei andare al JMP. |
| |
E in JMP, innanzitutto, vorrei mostrarvi come si presentano i dati che abbiamo raccolto. |
| |
Quindi, quello che abbiamo fatto è stato semplicemente visitare le pagine web dei nostri partner commerciali e raccogliere le descrizioni delle scarpe presenti sulle confezioni. |
| |
Per ogni categoria di scarpe abbiamo un certo numero di descrizioni e, come vedrete, abbiamo semplicemente copiato l'intera descrizione nella nostra tabella dati. |
| |
Quindi, questo potrebbe essere piuttosto lungo, potrebbe essere piuttosto breve, ma non abbiamo fatto altro che copiare. |
| |
Ma d'altra parte, come potete immaginare, con quel campo di testo non possiamo fare molto. |
| |
O almeno sembra che non possiamo, perché JMP offre grandi possibilità di fare qualcosa. E cosa intendiamo per fare? Vogliamo estrarre informazioni da quel lungo testo e suddividerlo in blocchi più facilmente assimilabili. |
| |
E quei pezzi digeribili |
| |
può essere estratto utilizzando Esplora testo. Quindi voglio andare in Esplora testo e inserire la descrizione della scarpa nelle colonne di testo qui. |
| |
E qui ci sono molte opzioni. Queste opzioni alimentano gli algoritmi che elaborano le descrizioni delle nostre scarpe, o, come le chiamiamo nel linguaggio dell'analisi testuale, i documenti descrittivi. |
| |
E questo significa suddividere i documenti in informazioni più piccole, come ho già detto, in blocchi facilmente assimilabili. |
| |
E ciò che vedrete sono blocchi facilmente assimilabili, vale a dire, abbiamo quei termini, che rappresentano la più piccola unità di informazione, e abbiamo quelle frasi, ovvero termini che ricorrono spesso insieme e che possono avere un significato se combinati. |
| |
Quindi qui puoi vedere il termine più comunemente usato |
| |
In tutti i documenti, quindi in tutte le descrizioni delle scarpe, compare il termine comfort. |
| |
Quindi, per prima cosa, abbiamo esaminato tutte le frasi qui presenti e le abbiamo analizzate. Ce n'è qualcuna che ha senso? |
| |
E il primo punto ha già senso. Come potete vedere, i termini Gore e tex appaiono come termini singoli, ma ovviamente è logico che venga analizzato il termine Gore-tex e non Gore e tex. |
| |
Quindi puoi aggiungere tutte le frasi che hanno senso all'elenco dei termini. Quindi aggiungiamo la frase, e vedrai qui ora, abbiamo il termine Gore-tex invece del singolo termine Gore. |
| |
Quindi questo è stato il primo passo della nostra elaborazione dei dati. Il secondo passo è stato quello di controllare l'elenco dei termini per verificare se ci sono duplicati o |
| |
se ci sono termini che non hanno senso. E JMP ha già un'elaborazione davvero ottima, perché JMP esclude già molte parole che non hanno senso, come e, un, |
| |
oppure, che non forniscono alcuna informazione. Tuttavia, rimarranno sempre alcuni termini che non hanno senso, come questa S, ad esempio. |
| |
Cosa faresti con una S? Cosa ti dice di una scarpa? Quindi abbiamo dovuto esaminare tutti i termini e, se c'è un termine che non ha senso, lo chiamiamo stop word e lo aggiungiamo all'elenco delle stop word per escluderlo dall'analisi. |
| |
Quella era l'unica cosa. L'altra cosa che ho menzionato è che dobbiamo controllare se ci sono duplicati e vedrete qui, ad esempio, abbiamo il termine Gore tex |
| |
e il termine GTX. E GTX è solo un'abbreviazione del termine Gore-tex, quindi non dovremmo analizzarli separatamente, ma insieme. |
| |
Quindi hai la funzione Recode, che è praticamente la stessa di quella per le colonne, e questo è un ottimo strumento per combinare quelle |
| |
Dati ???. Quindi, come vedete, qui c'è la funzione Recode, e io le raggruppo entrambe. |
| |
E ora vedrete che si tratta di un unico termine (Gore-tex), ed è in realtà il termine più frequente nei nostri dati. |
| |
COSÌ. |
| |
Siamo partiti con 4.000 termini e, dopo tutta la pulizia, ne abbiamo ottenuti solo 100. Come vedete, ci sono rimasti 100 termini e con questi possiamo fare molte analisi. Sono molto utili per capire di cosa tratta la descrizione di una scarpa. |
| |
Quindi puoi usare quell'elenco per vedere quali sono i termini più frequenti, ma JMP offre anche uno strumento di visualizzazione molto semplice. |
| |
Cliccando sul triangolo rosso, è possibile aggiungere una nuvola di parole. Questa nuvola di parole mostra, in base alla dimensione di ciascuna parola, la sua frequenza in tutti i documenti, quindi in tutte le descrizioni delle scarpe. Ad esempio, Gore-Tex, comfort e leggerezza sono i termini più comunemente usati nelle descrizioni delle scarpe che abbiamo raccolto. |
| |
Ma forse ricorderete che non era esattamente questo ciò che ci stavamo chiedendo, giusto? Quindi ci stavamo chiedendo: che dire delle scarpe per diversi utenti finali? |
| |
E per questo possiamo facilmente aggiungere qui il filtro dati locale e usare l'utilizzo finale della scarpa come filtro. Quindi potrei essere interessato, ad esempio, a quali sono i termini più frequenti in tutte le descrizioni di scarpe invernali da strada. |
| |
E non c'è da stupirsi: i termini "inverno" e "caldo" ricorrono frequentemente nelle descrizioni delle scarpe invernali da strada. |
| |
D'altra parte, prendendo ad esempio le scarpe da trail running, si nota un'enfasi diversa. Queste non devono necessariamente essere calde, ma devono essere traspiranti, leggere e calzare bene. |
| |
Queste nuvole di parole sono quindi molto, molto utili per farsi un'idea iniziale della nostra domanda, ovvero cosa descrive la configurazione delle caratteristiche dei diversi tipi di scarpe. |
| |
E non ci siamo fermati qui. Volevamo fare un ulteriore passo avanti. |
| |
Un ulteriore passo avanti consiste nel chiedersi: se avete già preparato tutti i dati, potete in qualche modo effettuare una modellazione per trovare questo prototipo di configurazioni di scarpe? Per questa modellazione, JMP offre diverse opzioni e noi abbiamo deciso di utilizzare la SVD. |
| |
SVD sta eseguendo un'analisi delle componenti principali della nostra matrice termine-documento. |
| |
E cosa significa? La matrice dei termini del documento include per ogni documento, quindi, per ogni descrizione della scarpa, |
| |
la frequenza di ciascun termine. Quindi, ad esempio, si conterebbe per la prima descrizione della scarpa, quante volte compare il termine Gore-tex, quante volte compare il termine comfort e così via. Come potete immaginare, si tratta di una matrice molto ampia. |
| |
L'idea ora è, attraverso l'analisi delle componenti principali, che consiste nel ridurre la dimensionalità della matrice termine-documento, di ottenere una migliore comprensione dei dati. |
| |
E, per poter visualizzare meglio i dati. |
| |
E grazie a questa riduzione delle dimensioni, ora possiamo procedere con la modellazione. E che tipo di modellazione ci interessa? Eravamo interessati a definire le caratteristiche di una scarpa per un determinato utilizzo finale. |
| |
Per arrivare a questo punto, abbiamo analizzato: ci sono argomenti ricorrenti nelle descrizioni delle scarpe? E se ci sono, questi argomenti corrispondono a specifici utilizzi finali? |
| |
In un mondo ideale, troveremmo nove argomenti nei nostri dati e questi nove argomenti rappresenterebbero esattamente una categoria di scarpe. Avremmo quindi una configurazione prototipo di scarpa o una configurazione di caratteristiche per ogni scarpa. |
| |
Vediamo cosa succede se... cerco nove argomenti. Cliccherò qui sull'analisi degli argomenti e inserirò 9, dato che sono interessato a nove diverse categorie di scarpe. |
| |
E quello che ottengo è quindi un elenco di argomenti con i termini che ricorrono frequentemente in quegli argomenti. Quindi l'argomento uno, ad esempio, include le scarpe. |
| |
che nelle loro descrizioni hanno termini come superfit, tessile, caldo e così via. Quindi la mia prima impressione è che si tratti di scarpe da strada o scarpe invernali da strada. |
| |
Il secondo argomento, ad esempio, consiste in descrizioni di scarpe che includono i termini rifugio, trekking, escursioni di più giorni e così via, quindi sembra che si tratti di scarpe da trekking. |
| |
Ma ovviamente, da statistico, non mi accontento di dare solo un'impressione intuitiva. Voglio davvero sapere a quale categoria di scarpe appartiene quale argomento. E per questo, sto facendo una semplice distribuzione delle categorie di scarpe e aggiungerò qui il filtro dati locale per mostrare solo |
| |
categorie |
| |
che sono... |
| |
per mostrare solo le scarpe selezionate. |
| |
Che cosa significa? Come posso usarlo? JMP offre qui i grafici dei punteggi degli argomenti e questi grafici dei punteggi degli argomenti |
| |
Assegna un punto per ogni descrizione di scarpa per ogni argomento. |
| |
Quindi, più alto è il punteggio relativo alla descrizione della scarpa, più questa scarpa è rappresentativa di quel determinato argomento. |
| |
Quindi quello che faccio è semplicemente selezionare tutte quelle scarpe che hanno punteggi elevati per l'argomento uno e vedrò in quello |
| |
L'istogramma qui mostra che si tratta di scarpe da strada e scarpe invernali da strada. Quindi, in pratica, il mio intuito era giusto. Quelle scarpe fatte di tessuto, che hanno una calzata super aderente, sono le scarpe da strada e le scarpe invernali da strada. |
| |
E per quanto riguarda il secondo argomento, ricordate che ci aspettavamo che si trattasse di scarpe da trekking. Come potete vedere nell'istogramma qui, si tratta proprio di scarpe da trekking. |
| |
E ora potete farlo per tutti gli argomenti, e io l'ho inserito nella rivista. |
| |
E noterete alcune difficoltà nel fare tutto ciò. Quindi, assegnando una o più categorie di scarpe a ciascun argomento, vedrete due problemi. |
| |
Il primo problema, qui rappresentato, è che alcune categorie di scarpe, come quelle da alpinismo, non sono rappresentate da un unico argomento, bensì da diversi. |
| |
Noterete inoltre che questi argomenti si sovrappongono, quindi la parola "rampone", ad esempio, compare in entrambi gli argomenti. |
| |
Il che significa che, a quanto pare, abbiamo troppi argomenti da trattare. |
| |
Idealmente, per ogni categoria di scarpe andrebbe trattato un solo argomento, ma se notiamo che ci sono argomenti sovrapposti che corrispondono a più categorie, nove sembrano troppi. |
| |
Ma questo ovviamente deve avere un altro ???, quindi se le scarpe da montagna corrispondono a più di un argomento, devono esserci argomenti che non sono così chiaramente identificabili. |
| |
Quindi guarda, ad esempio, questo argomento numero cinque. E così, come le scarpe più rappresentative. Vedrai che si tratta di una collezione enorme. |
| |
Esistono scarpe progressive, scarpe da corsa su strada, scarpe da strada e così via. Si tratta per lo più di categorie che si sovrappongono e non si differenziano l'una dall'altra. Quindi, immaginate dove sta la differenza tra una scarpa da trail running e una scarpa da corsa su strada? |
| |
Oppure, passiamo al passo successivo: qual è la differenza tra trail running e escursionismo? |
| |
Esistono alcune sovrapposizioni tra queste scarpe e, se tali sovrapposizioni sussistono, non è possibile identificare chiaramente la configurazione specifica delle caratteristiche per quella particolare categoria di scarpe. |
| |
Anche questo è un aspetto molto prezioso da imparare. Si tratta, ovviamente, di gestire il proprio portafoglio di laminati diversi. Bisogna capire se per un determinato utilizzo finale è necessario un laminato specifico o se è possibile utilizzare laminati simili a quelli già in possesso. |
| |
Quindi, alla fine, abbiamo deciso di creare una raccolta finale di argomenti in cui nessuno di essi corrispondesse a più di una categoria, e lo abbiamo fatto manualmente. Abbiamo analizzato diversi numeri di argomenti e alla fine ne abbiamo selezionati cinque. |
| |
Come vedrete, questi cinque argomenti corrispondono a un certo numero di categorie, ma vedremo anche che non tutte le categorie di scarpe possono essere rappresentate da essi. |
| |
Quindi abbiamo tratto due insegnamenti. Il primo insegnamento è che abbiamo alcuni prototipi di descrizioni di scarpe per quelli |
| |
categorie di scarpe. D'altra parte, tutte le categorie di scarpe non menzionate qui potrebbero non essere molto differenziate o potrebbero non avere questa singola configurazione |
| |
nella descrizione delle loro scarpe. |
| |
E questa era solo una delle opzioni offerte da Esplora testo. Ce ne sono anche altre, ma ci siamo concentrati su questa e ha funzionato piuttosto bene. |
| |
E con questo, vorrei lasciare Esplora testo e darvi solo una breve panoramica di ciò che potreste ulteriormente fare con la matrice dei termini del documento tematico. |
| |
Quindi qui ho lo stesso set di dati di prima, ma ho esportato la matrice dei termini dei documenti. Quindi vedi molte nuove colonne che mostrano per ogni termine |
| |
la frequenza di quel termine nella descrizione di una determinata scarpa. |
| |
Abbiamo provato diverse versioni, quindi avevamo una matrice documento-termine che indicava le frequenze; ne avevamo una che indicava solo se era contenuto o meno; e così via. E alla fine abbiamo optato per questa versione. |
| |
Sfruttando le potenzialità di JMP Pro, abbiamo creato una colonna di validazione per suddividere il nostro set di dati in dati di addestramento, validazione e test. I dati di addestramento e validazione vengono utilizzati per addestrare il nostro modello predittivo, mentre i dati di test vengono utilizzati per la verifica. |
| |
E quando si parla di modellazione predittiva, qual è il nostro obiettivo qui? Quindi quello che abbiamo fatto prima era una sorta di tecnica non supervisionata perché |
| |
Abbiamo semplicemente cercato argomenti e li abbiamo confrontati con le categorie di scarpe. Ora vogliamo essere un po' più proattivi, quindi, avendo la descrizione della scarpa, possiamo prevedere esplicitamente la categoria? |
| |
Abbiamo provato diverse tecniche di modellazione predittiva offerte da JMP 15 Pro e alla fine abbiamo optato per una foresta bootstrap. Vorrei qui darvi un'idea di come potrebbero apparire i risultati e di come potremmo utilizzarli. |
| |
Quindi vedrai i risultati nella matrice di confusione nel set di dati di test, qual era la categoria, una certa descrizione della scarpa e cosa ho previsto usando il mio bootstrap forest? |
| |
E, cosa interessante, vedrete praticamente gli stessi risultati che abbiamo visto prima. Quindi ci sono certe categorie che possono essere chiaramente differenziate dalle altre, |
| |
Alcuni modelli hanno già una configurazione di caratteristiche unica, mentre altri no. Prendiamo ad esempio le scarpe da corsa su strada. |
| |
Abbiamo già scoperto nella nostra prima analisi che non sono definiti in modo univoco. E vedremo anche qui, prevedo che molte scarpe da corsa su strada saranno in realtà altre scarpe. |
| |
Ciò significa che i risultati ottenuti in precedenza vengono confermati. Notiamo che le categorie di scarpe ben descritte con la tecnica non supervisionata sono ben descritte anche in questo caso, mentre quelle che non erano ben differenziate non lo sono neanche in questo secondo momento. |
| |
È stato piuttosto interessante da vedere, e ci sono molte altre cose che si potrebbero fare ora utilizzando questa analisi. Si potrebbe fare, ad esempio, |
| |
un'analisi, qual è... quali sono i problemi più importanti quando voglio differenziare determinate scarpe? Quindi questo è il contributo della colonna quali termini contribuiscono maggiormente alla differenziazione delle categorie di scarpe? |
| |
Oppure, utilizzando le curve ROC, si potrebbe esplorare ulteriormente quali categorie di scarpe possono essere molto differenziate e quali no. |
| |
E, ultimo ma non meno importante, potresti usare questo modello per le previsioni. Quindi potresti inserire qui determinate configurazioni di caratteristiche o la descrizione della scarpa |
| |
e prevedere quindi la probabilità che questa descrizione appartenga a una determinata categoria di scarpe. In questo caso, ad esempio, prevederemmo che questa scarpa potrebbe essere una scarpa da corsa su strada. |
| |
Visto il tempo a disposizione, non entrerò nei dettagli, ma vorrei riassumere brevemente. Quindi, quali sono stati i nostri risultati principali? I risultati principali sono stati che |
| |
Text Explorer è uno strumento davvero eccezionale, estremamente intuitivo, che permette di estrarre rapidamente informazioni da testi non strutturati. |
| |
Dove si differenziano, dove no? Quali sono... quali caratteristiche sono desiderate in quelle scarpe? Ma in qualche modo, i risultati hanno confermato ciò che ci aspettavamo. |
| |
E questa conferma, potremmo farlo usando tecniche non supervisionate o tecniche supervisionate, quindi abbiamo confrontato l'analisi dell'argomento, usando l'SVD e il modello predittivo qui con una foresta bootstrap, e altri potrebbero funzionare altrettanto bene. |
| |
Infine, vorrei ringraziare il gruppo ??? che ha ideato quel problema. Hanno raccolto tutti i dati e pulito tutti i dati e hanno avuto ottime discussioni su |
| |
il senso o l'insensatezza delle diverse tecniche. Quindi senza di loro, non avreste ascoltato quel discorso adesso. E inoltre, |
| |
Desidero ringraziare Jonas, un ex collega dell'Università Tecnica di Dortmund, che mi ha fornito consulenza sull'analisi del testo. |
| |
Infine, vorrei ringraziarvi per l'attenzione e sarò lieto di rispondere a qualsiasi domanda, sia via e-mail che nella community di utenti JMP. Non esitate a contattarmi. |
