Altoparlante | Trascrizione |
| Kira Alhorn | Ok, quindi benvenuto al mio discorso, Una passeggiata attraverso l'esploratore di testo per comprendere le esigenze dei clienti. Sono molto felice di |
| presente a questo è JMP Discovery Summit in formato virtuale. Mi chiamo Kira Alhorn e sono uno statistico presso WL Gore and Associates. |
| E, prima di iniziare con la presentazione vera e propria, vorrei presentarvi rapidamente la nostra azienda. WL Gore and Associates è un'azienda globale di scienza dei materiali, che stiamo producendo |
| soluzioni molto diverse per settori molto diversi, a partire dall'aerospaziale e fino ai prodotti medici e ciò che potrebbe essere familiare alla maggior parte di voi |
| è il nostro marchio Gore-tex. Quindi questo è ciò su cui ci concentreremo oggi e il marchio Gore-tex sta producendo tessuti laminati impermeabili e traspiranti durevoli. |
| E quei laminati vengono venduti ai nostri clienti o partner di marca che ne realizzano prodotti. Più specificamente, ci concentreremo oggi sulle scarpe. |
| Quindi questa è una breve panoramica del mio intervento. Inizierò con il background e la motivazione. Quindi cosa stiamo guardando? Stiamo esaminando le descrizioni delle scarpe e perché ci interessa. |
| Successivamente il resto del discorso verrà svolto in JMP. Userò JMP 15 Pro e ti mostrerò come utilizzare Text Explorer |
| per aver analizzato le descrizioni delle nostre scarpe. Come trovare argomenti in quei testi o nelle descrizioni delle scarpe, in modo che quegli argomenti possano essere usati per trovare descrizioni di scarpe comuni o argomenti comuni nelle descrizioni delle scarpe e confrontarli con diverse categorie di scarpe che abbiamo. |
| E infine, questa sarà solo un'introduzione molto breve, usiamo alcuni modelli predittivi per convalidare i nostri risultati e per ottenere di più... otterrà uno sguardo più approfondito su come le diverse descrizioni delle scarpe classificano le scarpe. |
| Quindi immagina il tuo armadio e le scarpe che hai nell'armadio |
| E ognuno di voi avrà almeno una piccola o piuttosto grande collezione di scarpe diverse nel suo armadio, e la domanda è: perché avete così tante scarpe? |
| E che le tue scarpe devono adattarsi al tuo stile e forse hai bisogno di colori diversi e così via, questo non è l'unico motivo per cui hai scarpe diverse. |
| L'altro motivo è che hai bisogno di scarpe diverse. Quindi immagina, hai un paio di scarpe da corsa, hai diverse paia di scarpe per uso finale occasionale e potresti avere scarpe da trekking. |
| E li hai perché ciascuna delle scarpe ha caratteristiche diverse o leggermente diverse che rendono questa scarpa utilizzabile per questo uso finale e hai bisogno di quelle caratteristiche per quell'uso finale. |
| Quindi quello che ci chiedevamo è, se stiamo guardando le descrizioni delle scarpe dei nostri partner di marca, possiamo in qualche modo trovare ciò che rende uniche le diverse scarpe? Quindi vedrai qui una raccolta |
| di diverse categorie di scarpe che ora ci corrispondono per diversi usi finali delle scarpe. |
| E la domanda ora è, se un cliente vuole produrre una nuova scarpa da trekking, ad esempio, quale configurazione di caratteristiche dovremmo offrire nel nostro laminato che vendiamo per una scarpa destinata ad essere utilizzata per l'escursionismo? |
| Quindi quelle descrizioni di scarpe possono darci un prototipo che potremmo offrire ai nostri clienti? |
| E, naturalmente, qual è un altro aspetto interessante qui, come si differenziano le altre scarpe? Quindi qual è la differenza tra quella scarpa da trekking e la scarpa da strada? perché abbiamo bisogno di queste differenze? |
| E questa era la nostra intenzione quando abbiamo iniziato ad analizzare i dati. |
| Quindi, con questo, vorrei andare a JMP. |
| E in JMP, voglio prima mostrarti come stanno i dati che abbiamo raccolto. |
| Quindi quello che abbiamo fatto è stato semplicemente visitare le pagine web dei nostri brand partner e raccogliere le descrizioni delle scarpe da quei pacchetti. |
| Per ogni categoria di scarpe abbiamo un certo numero di descrizioni di scarpe e vedrai, abbiamo semplicemente copiato l'intera descrizione nella nostra tabella dati. |
| Quindi questo potrebbe essere piuttosto lungo, potrebbe essere piuttosto breve ma non abbiamo fatto altro che semplicemente copiare. |
| Ma d'altra parte, puoi immaginare, con quel campo di testo non possiamo fare molto. |
| O almeno sembra che non possiamo, perché JMP offre grandi possibilità di fare qualcosa. E cosa significa fare? Vogliamo estrarre informazioni da quel lungo testo e trasformarle in pezzi in qualche modo più digeribili. |
| E quei pezzi digeribili |
| può essere estratto utilizzando il Text Explorer. Quindi voglio andare su Text Explorer e inserire la descrizione della scarpa nelle colonne di testo qui. |
| E qui ci sono molte opzioni. Queste opzioni stanno alimentando gli algoritmi che tagliano le nostre descrizioni delle scarpe o chiamiamo i documenti delle descrizioni nel linguaggio di analisi del testo. |
| E questo sta tagliando i documenti in pezzi più piccoli di informazioni, come ho detto, quei pezzi digeribili. |
| E quello che vedrete sono pezzi digeribili, vale a dire, abbiamo quei termini, che sono la più piccola unità di informazione, e abbiamo quelle frasi che sono termini che ricorrono spesso insieme e potrebbero avere un significato se li combinate. |
| Quindi puoi vedere qui il termine più comunemente usato |
| in tutti i documenti, quindi in tutte le descrizioni delle scarpe, c'è il termine comodità. |
| Quindi, per prima cosa abbiamo esaminato tutte le frasi qui e abbiamo dato un'occhiata. Ce ne sono di sensate? |
| E il primo ha già senso. Quindi vedi qui i termini Gore e tex appaiono come termini singoli, ma ovviamente ha senso che il termine Gore-tex debba essere analizzato e non Gore e tex. |
| Quindi puoi aggiungere tutte le frasi che hanno senso all'elenco dei termini. Quindi aggiungiamo la frase, e ora vedrai che abbiamo il termine Gore-tex invece del singolo termine Gore. |
| Quindi questo è stato il primo passo della nostra elaborazione dei dati. Il secondo passaggio consisteva nel controllare l'elenco dei termini se ci sono duplicati o |
| se ci sono termini che non hanno senso. E JMP ha già un'elaborazione davvero eccezionale, perché JMP esclude già molte parole che non hanno senso, come e, a, |
| o, che non ti danno alcuna informazione. Tuttavia, rimarranno sempre alcuni termini che non hanno senso, come ad esempio questa S. |
| Cosa faresti con una S? Cosa ti dice di una scarpa? Quindi abbiamo dovuto esaminare tutti i termini e, se c'è un termine che non ha senso, lo chiamiamo stop word e li modifichiamo nell'elenco di stop word per escluderli dall'analisi. |
| Questa era l'unica cosa. L'altra cosa che ho menzionato è che dobbiamo controllare se ci sono duplicati e vedrai che qui, ad esempio, abbiamo il termine Gore tex |
| e il termine GTX. E GTX è solo un'abbreviazione del termine Gore-tex, quindi non dovremmo analizzarli entrambi separatamente, dovremmo combinarli. |
| Quindi hai la funzione Recode, che è praticamente la stessa delle colonne, e questo è un ottimo strumento per combinarle |
| ??? dati. Quindi vedi qui c'è la funzione Ricodifica, e li raggruppo entrambi. |
| E vedrai ora che questo è solo un singolo termine ora (Gore-tex), e questo è in realtà il termine più frequente nei nostri dati. |
| COSÌ. |
| Abbiamo iniziato con 4.000 termini e ciò che abbiamo ottenuto dopo tutte le pulizie sono stati solo 100 termini. Quindi vedi, ci rimangono 100 termini e con quelli possiamo fare molte analisi. Questi sono molto utili per farci un'idea di cosa sia la descrizione di una scarpa. |
| Quindi puoi usare quell'elenco per vedere quali sono i termini più frequenti, ma JMP offre anche uno strumento di visualizzazione molto semplice. |
| Cliccando sul triangolo rosso, puoi aggiungere una nuvola di parole. E questa nuvola di parole ti dà, in base alla dimensione della parola, la sua frequenza in tutti i documenti, quindi in tutte le descrizioni delle scarpe. Quindi Gore-tex, comfort e leggerezza sono i termini più comunemente usati nelle descrizioni delle scarpe che abbiamo raccolto. |
| Ma potresti ricordare che non è esattamente quello che ci stavamo chiedendo, giusto? Quindi ci chiedevamo, cosa sono le scarpe per i diversi utenti finali? |
| E per questo possiamo facilmente aggiungere qui il filtro dei dati locali e usare l'uso finale della scarpa come filtro. Quindi potrei essere interessato, ad esempio, a quali sono i termini più frequenti in tutte le descrizioni delle scarpe invernali da strada. |
| E non vedrai meraviglia, i termini inverno e caldo compaiono frequentemente nelle descrizioni delle scarpe invernali da strada. |
| D'altra parte, prendendo ad esempio le scarpe da trail running, qui si nota un'enfasi diversa. Vedrai che non hanno bisogno di essere caldi, ma devono essere traspiranti, leggeri e adattarsi bene. |
| Quindi queste nuvole di parole sono davvero fantastiche per avere una prima presa sulla nostra domanda iniziale, quindi cosa descrive la configurazione delle caratteristiche di diversi tipi di scarpe. |
| E non siamo finiti con questo. Volevamo fare un ulteriore passo avanti. |
| L'ulteriore passo avanti è che, se hai già preparato tutti i tuoi dati, puoi in qualche modo modellare per trovare questo prototipo di configurazioni di scarpe? E per quella modellazione, ci sono diverse opzioni in JMP e abbiamo deciso di prendere l'SVD. |
| SVD sta eseguendo un'analisi delle componenti principali della nostra matrice dei termini del documento. |
| E cosa significa? Il termine matrici del documento include per ogni documento, quindi, per ogni descrizione della scarpa, |
| la frequenza di ciascun termine. Quindi conterebbe, ad esempio, per la prima descrizione della scarpa, quante volte abbiamo il termine Gore-tex, quanto spesso abbiamo il termine comfort, e così via. Quindi puoi immaginare che sia una matrice molto grande. |
| E l'idea è ora, attraverso l'analisi delle componenti principali, che sta riducendo la dimensione della matrice dei termini del documento, per ottenere una migliore presa sui dati. |
| E, per essere più in grado di visualizzare i dati. |
| E sulla base di quella riduzione delle dimensioni, ora possiamo fare un po' di modellazione. E che tipo di modellazione è interessante per noi? Quindi eravamo interessati a ciò che descrive una scarpa per un certo uso finale. |
| E per arrivare a quel punto, abbiamo analizzato, ci sono argomenti nelle descrizioni delle scarpe? E se ci sono argomenti, quegli argomenti corrispondono a determinati usi finali? |
| Quindi, in un mondo ideale, troveremmo nove argomenti nei nostri dati e quei nove argomenti rappresenterebbero esattamente una categoria di scarpe. Quindi avremmo una configurazione di scarpa prototipo o una configurazione di caratteristiche per ogni scarpa. |
| Quindi vediamo cosa succede se io... cerchi nove argomenti. Farò clic qui sull'analisi dell'argomento e inserirò un 9, poiché sono interessato a nove diverse categorie di scarpe. |
| E quello che ottengo allora è un elenco di argomenti con quali termini ricorrono frequentemente in quegli argomenti. Quindi l'argomento uno, ad esempio, include le scarpe |
| che hanno nelle descrizioni delle scarpe i termini superfit, textile, warm e così via. Quindi il mio primo istinto qui sarebbe che queste devono essere scarpe invernali da strada o da strada. |
| L'argomento due, ad esempio, consiste in descrizioni di scarpe che includono i termini capanna, trekking, multiday e così via, quindi sembra essere come le scarpe da trekking. |
| Ma ovviamente, come statistico, non sono contento di dare solo un'idea. Voglio davvero sapere quale categoria di scarpe appartiene a quale argomento. E per questo, sto facendo una semplice distribuzione delle categorie di scarpe e aggiungerò qui il filtro dei dati locali per mostrare solo |
| categorie |
| che sono... |
| per mostrare solo le scarpe selezionate. |
| Che cosa significa? Come posso usarlo? JMP offre qui i grafici dei punteggi degli argomenti e questi grafici dei punteggi degli argomenti |
| avere un punto per ogni descrizione di scarpa per ogni argomento. |
| Quindi più alto è il punteggio per la descrizione della scarpa, più questa scarpa è rappresentativa di quel determinato argomento. |
| Quindi quello che faccio è semplicemente selezionare tutte quelle scarpe che hanno punteggi alti per l'argomento uno e vedrò in quello |
| istogramma qui che quelle sono scarpe invernali da strada e da strada. Quindi fondamentalmente il mio istinto era giusto. Quelle scarpe che sono fatte di tessuto, che hanno superfit, quelle sono le scarpe da strada e da strada invernali. |
| E l'argomento due ricorda, ci aspettavamo che fossero scarpe da trekking. Vedrai in quell'istogramma qui, quelle sono scarpe da trekking. |
| E puoi farlo ora per tutti gli argomenti, e l'ho inserito nel diario. |
| E vedrai alcune difficoltà nel fare tutto questo. Quindi assegnando una categoria di scarpe o più categorie di scarpe a ciascun argomento, vedrai due problemi. |
| Problema numero uno, rappresentato qui, vedresti che ci sono alcune categorie di scarpe, come l'alpinismo, che non sono rappresentate da un argomento, ma da diversi. |
| E vedrai anche che questi argomenti si sovrappongono, quindi la parola rampone, ad esempio, ricorre in entrambi gli argomenti. |
| Il che significa che sembra che abbiamo troppi argomenti qui. |
| Quindi quegli argomenti, idealmente, vuoi avere un argomento per categoria di scarpe, e se vediamo che ci sono argomenti che si sovrappongono che corrispondono a più categorie, sembra che nove siano troppi. |
| Ma questo ovviamente deve avere un altro???, quindi se le scarpe da alpinismo corrispondono a più di un argomento, devono esserci argomenti che non sono così chiaramente identificabili. |
| Quindi guarda, ad esempio, questo argomento numero cinque. E così, come le scarpe più rappresentative. Vedrai questo come una vasta collezione. |
| Ci sono scarpe progressive, scarpe da corsa su strada, scarpe da strada e così via. Quindi quelle sono per lo più categorie che si sovrappongono e non si differenziano l'una dall'altra. Quindi immagina dov'è la differenza tra la scarpa da trail running e la scarpa da corsa su strada? |
| Oppure vai alla fase successiva, qual è la differenza tra trail running ed escursionismo? |
| Ci sono alcune sovrapposizioni in quelle scarpe e se ci sono quelle sovrapposizioni, non è possibile identificare chiaramente l'unica configurazione delle caratteristiche per quella categoria di scarpe. |
| Quindi anche questo è un apprendimento molto prezioso. Si tratta, ovviamente, di gestire il proprio portafoglio di diversi laminati. Vuoi sapere, devo avere un laminato specifico per quello specifico uso finale o è piuttosto simile ad altri laminanti che ho già? |
| Quindi quello che abbiamo finito per fare è stato, volevamo avere una raccolta finale di argomenti in cui non abbiamo argomenti corrispondenti a più di una categoria, e l'abbiamo fatto a mano. Quindi abbiamo analizzato diversi numeri di argomenti e abbiamo finito per averne cinque. |
| Quei cinque argomenti, vedrai, corrispondono a un certo numero di categorie, ma vedremo che non tutte le categorie di scarpe possono essere rappresentate da esso. |
| Quindi abbiamo avuto due apprendimenti. L'apprendimento numero uno è stato che abbiamo alcuni prototipi di descrizioni di scarpe per quelli |
| categorie di scarpe. E d'altra parte, tutte le categorie di scarpe non nominate qui potrebbero non essere molto differenziate o potrebbero non avere questa singola configurazione |
| nella loro descrizione della scarpa. |
| E quella era solo un'opzione offerta da Text Explorer. Ci sono anche altre opzioni, ma ci siamo concentrati su questo e ha funzionato abbastanza bene. |
| E con ciò, vorrei lasciare Text Explorer e darti solo una breve panoramica su cosa potresti fare ulteriormente con la matrice dei termini del documento sull'argomento. |
| Quindi qui, ho lo stesso set di dati di prima, ma ho esportato la matrice dei termini del documento. Quindi vedi molte nuove colonne che mostrano per ogni termine |
| la frequenza di quel termine in una certa descrizione di scarpa. |
| E abbiamo provato con diverse versioni di questo, quindi avevamo una matrice di termini del documento che indicava le frequenze; ne avevamo uno che indicava solo che è contenuto, non è contenuto; e così via. E siamo finiti con quella versione. |
| E sfruttando le possibilità di JMP Pro, abbiamo creato una colonna di convalida per suddividere il nostro set di dati in dati di addestramento, convalida e test. I dati di addestramento e convalida vengono utilizzati per addestrare il nostro modello predittivo e i dati di test vengono utilizzati per i test. |
| E quando parliamo di modellazione predittiva, qual è il nostro obiettivo qui? Quindi quello che abbiamo fatto prima era una specie di tecnica senza supervisione perché |
| abbiamo solo cercato argomenti e successivamente confrontato con le categorie di scarpe. E ora vogliamo essere un po' più proattivi, quindi abbiamo la descrizione della scarpa, possiamo prevedere esplicitamente una categoria? |
| E abbiamo provato diverse tecniche di modellazione predittiva offerte da JMP 15 Pro e ci siamo ritrovati con una foresta di bootstrap. E qui vorrei darvi solo un'idea di come potrebbero essere i risultati e per cosa potremmo usarli. |
| Quindi vedrai i risultati nella matrice di confusione nel set di dati del test, qual era la categoria, una certa descrizione della scarpa e cosa avevo previsto usando la mia foresta bootstrap? |
| E, cosa interessante, vedrai più o meno gli stessi risultati che abbiamo visto prima. Quindi ci sono alcune categorie che possono essere chiaramente differenziate da altre, |
| che hanno già una configurazione di funzionalità unica e ce ne sono altri che non l'hanno. Dai un'occhiata, ad esempio, alle scarpe da corsa su strada. |
| Abbiamo già scoperto nella nostra prima analisi che quelli non sono definiti in modo univoco. E vedremo anche qui, prevedo che molte scarpe saranno scarpe da corsa su strada che sono davvero altre scarpe. |
| Ciò significa che questo conferma i risultati che avevamo prima. Vediamo esattamente che le categorie di scarpe che sono state ben descritte usando quella tecnica senza supervisione sono anche ben descritte qui e anche quelle che non sono ben differenziate non sono così differenziate qui. |
| Quindi è stato piuttosto interessante da vedere, e ci sono molte altre cose che potresti fare ora usando questa analisi. Potresti fare, per esempio, |
| un'analisi, qual è...quali sono i problemi più importanti quando voglio differenziare certe scarpe? Quindi questo è il contributo della colonna quali termini contribuiscono di più quando si differenziano le categorie di scarpe? |
| Oppure potresti esplorare ulteriormente quali categorie di scarpe possono essere molto differenziate e quali no, utilizzando le curve ROC. |
| E, ultimo ma non meno importante, potresti usare questo modello per la previsione. Quindi puoi inserire qui alcune configurazioni di funzionalità o la descrizione della scarpa |
| e prevedere quindi la probabilità che questa descrizione appartenga a una certa categoria di scarpe. In questo caso, ad esempio, prevediamo che questa scarpa potrebbe essere una scarpa da corsa su strada. |
| A causa del tempo non entrerò in ulteriori dettagli, ma vorrei riassumere rapidamente. Quindi quali sono state le nostre principali scoperte? I risultati chiave sono stati che |
| Text Explorer è un ottimo strumento assolutamente intuitivo e puoi usarlo per estrarre rapidamente informazioni da dati di testo non strutturati. |
| dove si differenziano, dove no? Cos'è...quali caratteristiche sono richieste in quelle scarpe? Ma quelli in qualche modo, i risultati hanno confermato ciò che ci aspettavamo. |
| E questa conferma, potremmo farlo usando tecniche non supervisionate o una tecnica supervisionata, quindi abbiamo confrontato l'analisi dell'argomento, usando l'SVD e il modello predittivo qui con una foresta di bootstrap, e altri potrebbero funzionare altrettanto bene. |
| Infine, vorrei ringraziare il gruppo ??? chi ha avuto questo problema. Hanno raccolto tutti i dati e ripulito tutti i dati su cui si discute molto |
| il senso o il non senso delle diverse tecniche. Quindi senza di loro, non avresti ascoltato quel discorso ora. E inoltre, |
| Vorrei ringraziare Jonas, un ex collega della TU Dortmund University, che si è consultato con me sull'analisi del testo. |
| Infine, desidero ringraziarvi per l'attenzione e sono lieto di rispondere a qualsiasi domanda, sia tramite e-mail che tramite la community degli utenti di JMP. Mandami solo un biglietto. |
