Altoparlante | Trascrizione |
| Kira Alhorn | Ok, quindi benvenuto al mio discorso, Una passeggiata attraverso l'esploratore di testo per comprendere le esigenze dei clienti. Sono molto felice di farlo |
| presente a questo è JMP Discovery Summit in formato virtuale. Mi chiamo Kira Alhorn e sono uno statistico presso WL Gore and Associates. |
| E, prima di iniziare con la presentazione stessa, vorrei subito presentarvi la nostra azienda. WL Gore and Associates è un'azienda globale di scienza dei materiali, che stiamo producendo |
| soluzioni molto diverse per settori molto diversi, a partire da quello aerospaziale e arriva fino ai prodotti medicali e ciò che potrebbe essere familiare alla maggior parte di voi |
| è il nostro marchio Gore-tex. Quindi questo è ciò su cui ci concentreremo oggi e il marchio Gore-tex sta producendo laminati di tessuti impermeabili e traspiranti durevoli. |
| E quei laminati vengono venduti ai nostri clienti o partner di marca che ne fanno i prodotti. Più specificamente, oggi ci concentreremo sulle scarpe. |
| Quindi questa è una breve panoramica del mio discorso. Inizierò con il background e la motivazione. Allora cosa stiamo guardando? Stiamo esaminando le descrizioni delle scarpe e perché siamo interessati a questo. |
| Successivamente il resto del discorso sarà svolto in JMP. Userò JMP 15 Pro e vi mostrerò come utilizzare Text Explorer |
| per analizzare le nostre descrizioni di scarpe. Come trovare argomenti in quei testi o nelle descrizioni delle scarpe, in modo che questi argomenti possano essere utilizzati per trovare descrizioni di scarpe comuni o argomenti comuni nelle descrizioni delle scarpe e confrontarli con le diverse categorie di scarpe che abbiamo. |
| E infine, questa sarà solo un'introduzione molto breve, utilizziamo alcuni modelli predittivi per convalidare i nostri risultati e per ottenere di più ... otterrà uno sguardo più approfondito su come le diverse descrizioni delle scarpe classificano le scarpe. |
| Quindi immagina il tuo armadio e le scarpe che hai nell'armadio |
| E ognuno di voi avrà almeno una piccola o piuttosto ampia collezione di scarpe diverse nel proprio armadio, e la domanda è: perché avete così tante scarpe? |
| E che le tue scarpe devono adattarsi al tuo stile e forse hai bisogno di colori diversi e così via, questo non è l'unico motivo per cui hai scarpe diverse. |
| L'altro motivo è che hai bisogno di scarpe diverse. Quindi immagina di avere un paio di scarpe da corsa, diverse paia di scarpe per uso casual e potresti avere scarpe da trekking. |
| E le hai perché ciascuna delle scarpe ha caratteristiche diverse o leggermente diverse che rendono questa scarpa utilizzabile per questo uso finale e hai bisogno di quelle caratteristiche per quell'uso finale. |
| Quindi quello che ci stavamo chiedendo è, se stiamo guardando le descrizioni di scarpe dei nostri partner di marca, possiamo in qualche modo trovare ciò che rende uniche scarpe diverse? Quindi vedrai qui una collezione |
| di diverse categorie di scarpe che ora corrispondono a noi per i diversi usi finali delle scarpe. |
| E ora la domanda è: se un cliente vuole produrre una nuova scarpa da escursionismo, ad esempio, quale configurazione di caratteristiche dovremmo offrire nel nostro laminato che vendiamo per una scarpa destinata ad essere utilizzata per l'escursionismo? |
| Quindi queste descrizioni di scarpe possono darci un prototipo che potremmo offrire ai nostri clienti? |
| E, naturalmente, qual è un altro aspetto che è interessante qui, come si differenziano le altre scarpe? Allora qual è la differenza tra quella scarpa da trekking e quella da strada? perché abbiamo bisogno di queste differenze? |
| E questa era la nostra intenzione quando abbiamo iniziato ad analizzare i dati. |
| Quindi, con questo, vorrei passare a JMP. |
| E in JMP, voglio prima mostrarti come stanno i dati che abbiamo raccolto. |
| Quindi quello che abbiamo fatto è stato semplicemente visitare le pagine web dei nostri partner del marchio e abbiamo raccolto le descrizioni delle scarpe da quei pacchetti. |
| Per ogni categoria di scarpa abbiamo un certo numero di descrizioni di scarpe e vedrai, abbiamo semplicemente copiato l'intera descrizione nella nostra tabella dati. |
| Quindi questo potrebbe essere piuttosto lungo, potrebbe essere piuttosto breve ma non abbiamo fatto altro che semplicemente copiare. |
| Ma d'altra parte, puoi immaginare, con quel campo di testo, non possiamo fare molto. |
| O almeno sembra che non possiamo, perché JMP offre grandi possibilità di fare qualcosa. E cosa significa fare? Vogliamo estrarre informazioni da quel lungo testo e renderle in qualche modo più digeribili. |
| E quei pezzi digeribili |
| può essere estratto utilizzando Text Explorer. Quindi voglio andare in Text Explorer e inserire la descrizione della scarpa nelle colonne di testo qui. |
| Ed ecco molte opzioni. Queste opzioni stanno alimentando gli algoritmi che tagliano le descrizioni delle nostre scarpe o chiamiamo i documenti delle descrizioni nel linguaggio di analisi del testo. |
| E questo sta tagliando i documenti in informazioni più piccole, come ho detto, quei pezzi digeribili. |
| E ciò che vedrai sono frammenti digeribili, vale a dire, abbiamo quei termini, che sono la più piccola unità di informazione, e abbiamo quelle frasi che sono termini che spesso ricorrono insieme e potrebbero avere un significato se li combini. |
| Quindi puoi vedere qui il termine più comunemente usato |
| in tutti i documenti, quindi in tutte le descrizioni delle scarpe, c'è il termine comfort. |
| Quindi per prima cosa abbiamo esaminato tutte le frasi qui e abbiamo dato un'occhiata. Ce ne sono alcuni che abbiano senso? |
| E il primo ha già un senso. Quindi vedete qui nei termini Gore e tex apparire come termini singoli, ma ovviamente ha senso che il termine Gore-tex debba essere analizzato e non Gore e tex. |
| Quindi puoi aggiungere tutte le frasi che hanno senso all'elenco dei termini. Quindi aggiungiamo la frase, e vedrai qui ora, abbiamo il termine Gore-tex invece del singolo termine Gore. |
| Quindi quello era il primo passo del nostro trattamento dei dati. Il secondo passaggio consisteva nel controllare l'elenco dei termini se ci sono duplicati o |
| se ci sono termini che non hanno senso. E JMP ha già un'elaborazione davvero eccezionale, perché JMP esclude già molte parole che non hanno senso, come e, a, |
| o, che non forniscono alcuna informazione. Tuttavia, ci saranno sempre alcuni termini che non hanno senso, come ad esempio questa S. |
| Cosa faresti con una S? Cosa ti dice di una scarpa? Quindi abbiamo dovuto esaminare tutti i termini e se c'è un termine che non ha senso, lo chiamiamo una parola chiave e li modifichiamo nell'elenco delle parole chiave per escluderli dall'analisi. |
| Quella era l'unica cosa. L'altra cosa che ho menzionato è stata, dobbiamo controllare se ci sono duplicati e vedrai qui, ad esempio, abbiamo il termine Gore tex |
| e il termine GTX. E GTX è solo un'abbreviazione del termine Gore-tex, quindi non dovremmo analizzarli entrambi separatamente, dovremmo combinarli. |
| Quindi hai la funzione Ricodifica, che è praticamente la stessa delle colonne, e questo è un ottimo strumento per combinarle |
| ??? dati. Quindi vedi qui è la funzione Recode, e li raggruppo entrambi. |
| E vedrai ora che questo è solo un singolo termine ora (Gore-tex), e questo è in realtà il termine più frequente nei nostri dati. |
| Così. |
| Abbiamo iniziato con 4.000 termini e quello che abbiamo ottenuto dopo tutte le pulizie erano solo 100 termini. Quindi, vedi, abbiamo 100 termini rimasti e con quelli, possiamo fare molte analisi. Sono molto utili per noi per avere un'idea di cosa sia la descrizione di una scarpa. |
| Quindi puoi usare quell'elenco per vedere quali sono i termini più frequenti, ma JMP offre anche uno strumento di visualizzazione molto semplice. |
| Cliccando sul triangolo rosso, puoi aggiungere una nuvola di parole. E questa nuvola di parole ti dà, in base alla dimensione della parola, la sua frequenza in tutti i documenti, quindi in tutte le descrizioni delle scarpe. Quindi Gore-tex, comfort e leggerezza sono i termini più comunemente usati nelle descrizioni delle scarpe che abbiamo raccolto. |
| Ma potresti ricordare che questo non è esattamente quello che ci stavamo chiedendo, giusto? Quindi ci chiedevamo, cosa sono le scarpe per diversi utenti finali? |
| E per questo possiamo aggiungere facilmente il filtro dei dati locali qui e utilizzare l'uso finale della scarpa come filtro. Quindi potrei essere, ad esempio, interessato a quelli che sono i termini più frequenti in tutte le descrizioni di scarpe invernali da strada. |
| E non c'è da stupirsi, i termini inverno e caldo appaiono frequentemente nelle descrizioni delle scarpe invernali da strada. |
| D'altra parte, prendendo, ad esempio, le scarpe da trail running, qui vedi un'enfasi diversa. Vedrai che quelli non hanno bisogno di essere caldi, ma devono essere traspiranti, leggeri e si adattano bene. |
| Quindi queste nuvole di parole sono molto, molto fantastiche per avere una prima presa sulla nostra domanda iniziale, quindi cosa sta descrivendo la configurazione delle caratteristiche dei diversi tipi di scarpe. |
| E non siamo finiti con quello. Volevamo fare un ulteriore passo avanti. |
| L'unico passo avanti è, se hai già preparato tutti i tuoi dati, puoi in qualche modo fare la modellazione per trovare questo prototipo di configurazioni di scarpe? E per quella modellazione, ci sono diverse opzioni in JMP e abbiamo deciso di prendere l'SVD. |
| SVD sta eseguendo un'analisi dei componenti principali della nostra matrice dei termini del documento. |
| E cosa significa? Le matrici dei termini del documento includono per ogni documento, quindi, per ogni descrizione di scarpa, |
| la frequenza di ogni termine. Quindi conterebbe, ad esempio, per la prima descrizione della scarpa, quanto spesso abbiamo il termine Gore-tex, quanto spesso abbiamo il termine comfort, e così via. Quindi puoi immaginare che sia una matrice molto grande. |
| E l'idea è ora, attraverso l'analisi delle componenti principali, che sta riducendo la dimensione della matrice dei termini del documento, per ottenere una migliore presa sui dati. |
| E per essere più in grado di visualizzare i dati. |
| E sulla base di questa riduzione delle dimensioni, ora possiamo fare un po 'di modellazione. E che tipo di modellismo è interessante per noi? Quindi eravamo interessati a ciò che descrive una scarpa per un certo uso finale. |
| E per arrivare a quel punto, abbiamo analizzato, ci sono argomenti nelle descrizioni delle scarpe? E se ci sono argomenti, questi argomenti corrispondono a determinati usi finali? |
| Quindi, in un mondo ideale, troveremmo nove argomenti nei nostri dati e quei nove argomenti rappresenterebbero esattamente una categoria di scarpe. Quindi avremmo una configurazione di scarpa prototipo o una configurazione di caratteristiche per ciascuna scarpa. |
| Quindi vediamo cosa succede se io ... cerchi nove argomenti. Farò clic qui sull'analisi dell'argomento e inserirò un 9, poiché sono interessato a nove diverse categorie di scarpe. |
| E quello che ottengo è un elenco di argomenti con quali termini ricorrono frequentemente in quegli argomenti. Quindi l'argomento uno, ad esempio, include le scarpe |
| che hanno nelle descrizioni delle scarpe i termini superfit, tessile, caldo e così via. Quindi la mia prima sensazione istintiva qui sarebbe che queste devono essere scarpe invernali da strada o da strada. |
| L'argomento due, ad esempio, consiste in descrizioni di scarpe che includono i termini capanna, trekking, più giorni e così via, quindi sembra che siano scarpe da trekking. |
| Ma ovviamente come statistico, non sono contento di dare solo una sensazione istintiva. Voglio davvero sapere quale categoria di scarpe appartiene a quale argomento. E per questo, sto facendo una semplice distribuzione delle categorie di scarpe e aggiungerò il filtro dei dati locali qui per mostrare solo |
| categorie |
| che sono... |
| per mostrare solo le scarpe selezionate. |
| Cosa significa? Come posso usarlo? JMP offre qui i grafici dei punteggi degli argomenti e questi grafici dei punteggi degli argomenti |
| avere un punto per ogni descrizione di scarpa per ogni argomento. |
| Quindi più alto è il punteggio per la descrizione della scarpa, più rappresentativa è questa scarpa di quel determinato argomento. |
| Quindi quello che faccio è semplicemente selezionare tutte quelle scarpe che hanno punteggi alti per l'argomento uno e vedrò in quello |
| istogramma qui che quelle sono scarpe invernali da strada e da strada. Quindi fondamentalmente la mia sensazione viscerale era giusta. Quelle scarpe che sono fatte di tessuto, che hanno superfit, quelle sono le scarpe invernali da strada e da strada. |
| E l'argomento due ricorda, ci aspettavamo che fossero scarpe da trekking. Vedrai in quell'istogramma qui, quelle sono scarpe da trekking. |
| E ora puoi farlo per tutti gli argomenti, e l'ho inserito nel diario. |
| E vedrai alcune difficoltà nel fare tutto questo. Quindi assegnando una o più categorie di scarpe a ciascun argomento, vedrai due problemi. |
| Problema numero uno, rappresentato qui, vedresti che ci sono alcune categorie di scarpe, come l'alpinismo, che non sono rappresentate da un argomento, ma da diversi. |
| E vedrai anche che questi argomenti si sovrappongono, quindi la parola rampone, ad esempio, ricorre in entrambi gli argomenti. |
| Il che significa che sembra che abbiamo troppi argomenti qui. |
| Quindi questi argomenti, idealmente, vuoi avere un argomento per categoria di scarpe, e se vediamo che ci sono argomenti che si sovrappongono che corrispondono a più categorie, sembra che nove siano troppi. |
| Ma questo ovviamente deve avere un altro ???, quindi se le scarpe da alpinismo corrispondono a più di un argomento, devono esserci argomenti che non sono così chiaramente identificabili. |
| Quindi guarda, ad esempio, questo argomento numero cinque. E così, come le scarpe più rappresentative. Lo vedrai come una vasta collezione. |
| Ci sono scarpe progressive, scarpe da corsa su strada, scarpe da strada e così via. Quindi quelle sono per lo più categorie che si sovrappongono e non si differenziano l'una dall'altra. Quindi immagina qual è la differenza tra la scarpa da trail running e la scarpa da corsa su strada? |
| Oppure vai al passaggio successivo, qual è la differenza tra trail running ed escursionismo? |
| Ci sono alcune sovrapposizioni in quelle scarpe e se ci sono queste sovrapposizioni, non puoi identificare chiaramente la configurazione di una caratteristica per quella categoria di scarpe. |
| Quindi anche questo è un apprendimento molto prezioso. Ovviamente si tratta della gestione del tuo portafoglio di diversi laminati. Vuoi sapere, devo avere un laminato specifico per quello specifico uso finale o è piuttosto simile ad altri laminanti che ho già? |
| Quindi quello che abbiamo finito per fare è stato, volevamo avere una raccolta finale di argomenti in cui non abbiamo argomenti corrispondenti a più di una categoria, e lo abbiamo fatto a mano. Quindi abbiamo analizzato diversi numeri di argomenti e alla fine ne abbiamo avuti cinque. |
| Quei cinque argomenti, vedrai, corrispondono a un certo numero di categorie, ma vedremo che non tutte le categorie di scarpe possono essere rappresentate da esso. |
| Quindi abbiamo avuto due insegnamenti. L'apprendimento numero uno è stato che abbiamo alcuni prototipi di descrizioni di scarpe per quelli |
| categorie di scarpe. E d'altra parte, tutte le categorie di scarpe non nominate qui potrebbero non essere molto differenziate o potrebbero non avere questa singola configurazione |
| nella loro descrizione della scarpa. |
| E questa era solo un'opzione offerta da Text Explorer. Ci sono anche altre opzioni, ma ci siamo concentrati su questo e ha funzionato abbastanza bene. |
| E con questo, vorrei lasciare Text Explorer e darti solo una breve panoramica su cosa potresti fare ulteriormente con la matrice dei termini del documento dell'argomento. |
| Quindi qui, ho lo stesso set di dati di prima, ma ho esportato la matrice dei termini del documento. Quindi vedi molte nuove colonne che mostrano per ogni termine |
| la frequenza di quel termine nella descrizione di una certa scarpa. |
| E abbiamo provato con diverse versioni di quello, quindi avevamo una matrice dei termini del documento che indicava le frequenze; ne avevamo uno che indicava solo che è contenuto, non è contenuto; e così via. E abbiamo finito con quella versione. |
| E sfruttando le possibilità di JMP Pro, abbiamo creato una colonna di convalida per suddividere il nostro set di dati in dati di addestramento, convalida e test. I dati di addestramento e convalida vengono utilizzati per addestrare il nostro modello predittivo e i dati di test vengono utilizzati per i test. |
| E quando si parla di modellazione predittiva, qual è il nostro obiettivo qui? Quindi quello che abbiamo fatto prima era una specie di tecnica senza supervisione perché |
| abbiamo solo cercato argomenti e in seguito confrontati con le categorie di scarpe. E ora vogliamo essere un po 'più proattivi, quindi abbiamo la descrizione della scarpa, possiamo prevedere una categoria in modo esplicito? |
| E abbiamo provato diverse tecniche di modellazione predittiva offerte da JMP 15 Pro e ci siamo ritrovati con una foresta bootstrap. E qui vorrei darvi solo un'idea di come potrebbero apparire i risultati e per cosa potremmo usarli. |
| Quindi vedrai i risultati nella matrice di confusione nel set di dati del test, qual era la categoria, una certa descrizione della scarpa e cosa avevo previsto usando la mia foresta di bootstrap? |
| E, cosa interessante, vedrai più o meno gli stessi risultati che abbiamo visto prima. Quindi ci sono alcune categorie che possono essere chiaramente differenziate da altre, |
| che hanno già una configurazione di funzionalità univoca e ce ne sono altri che non l'hanno. Quindi dai un'occhiata, ad esempio, alle scarpe da corsa su strada. |
| Abbiamo già scoperto nella nostra prima analisi che questi non sono definiti in modo univoco. E vedremo anche qui, prevedo che molte scarpe saranno scarpe da corsa su strada che sono davvero altre scarpe. |
| Quindi questo significa che questo conferma i risultati che avevamo prima. Vediamo esattamente le categorie di scarpe che sono state ben descritte usando quella tecnica senza supervisione sono anche ben descritte qui e anche quelle che non sono ben differenziate non sono così differenziate qui. |
| Quindi è stato piuttosto interessante da vedere e ci sono molte altre cose che potresti fare ora usando questa analisi. Potresti fare, ad esempio, |
| un'analisi, qual è ... quali sono i problemi più importanti quando voglio differenziare certe scarpe? Quindi questo è il contributo della colonna quali termini contribuiscono di più quando si differenziano le categorie di scarpe? |
| Oppure potresti esplorare ulteriormente quali categorie di scarpe possono essere molto differenziate, che non possono, usando le curve ROC. |
| E, ultimo ma non meno importante, potresti usare questo modello per la previsione. Quindi puoi inserire qui alcune configurazioni di funzionalità o la descrizione della scarpa |
| e prevedere quindi la probabilità che questa descrizione appartenga a una determinata categoria di scarpe. In questo caso, ad esempio, prevediamo che questa scarpa potrebbe essere una scarpa da corsa su strada. |
| A causa del tempo non entrerò in ulteriori dettagli, ma vorrei riassumere rapidamente. Quindi quali sono state le nostre scoperte principali? I risultati principali sono stati questo |
| Text Explorer è un ottimo strumento assolutamente intuitivo e puoi utilizzarlo per estrarre rapidamente informazioni da dati di testo non strutturati. |
| dove si differenziano, dove no? Che cos'è ... quali caratteristiche si vogliono in quelle scarpe? Ma quelli in qualche modo, i risultati hanno confermato ciò che ci aspettiamo. |
| E questa conferma, potremmo farlo utilizzando tecniche non supervisionate o una tecnica supervisionata, quindi ha confrontato l'analisi dell'argomento, utilizzando l'SVD e il modello predittivo qui con una foresta bootstrap, e altri potrebbero funzionare allo stesso modo bene. |
| Infine, vorrei ringraziare il gruppo ??? chi ha escogitato quel problema. Hanno raccolto tutti i dati e puliti tutti i dati su cui hanno grandi discussioni |
| il senso o l'assurdità delle diverse tecniche. Quindi senza di loro, non avresti ascoltato quel discorso ora. E inoltre, |
| Vorrei ringraziare Jonas, un ex collega dell'Università TU Dortmund, che si è consultato con me sull'analisi del testo. |
| Infine, vorrei ringraziarti per la tua attenzione e sono felice di rispondere a qualsiasi domanda, potrebbe essere via e-mail o nella comunità degli utenti di JMP. Mandami un messaggio. |
