| Oratore |
Trascrizione |
| Ross Metusalem |
Ciao a tutti e grazie per aver dedicato del tempo a scoprire come JMP sta espandendo il suo toolkit di text mining in JMP Pro 16 con |
| |
Analisi del sentiment e selezione dei termini. |
| |
Sono Ross Metusalem, ingegnere di sistemi JMP nel sud-est degli Stati Uniti, e vi darò un'anteprima di queste due nuove analisi, vi spiegherò brevemente come funzionano e vi fornirò alcuni suggerimenti su come utilizzarle al meglio. |
| |
Quindi entrambe queste tecniche di analisi sono disponibili in Text Explorer, che per chi non lo sapesse, è il programma di JMP |
| |
strumento per analizzare quelli che chiamiamo testi liberi o non strutturati, ovvero testi in linguaggio naturale. |
| |
Ed è quello che chiamiamo uno strumento di text mining, quindi è uno strumento per ricavare informazioni quantitative dal testo libero in modo da poter |
| |
Utilizzare altri tipi di strumenti statistici o analitici per ricavare informazioni utili dal testo libero, o magari utilizzare tale testo come input per altre analisi. |
| |
Diamo quindi un'occhiata a queste due nuove tecniche di text mining che arriveranno in Text Explorer di JMP Pro 16, iniziando con l'analisi del sentiment. |
| |
L'analisi del sentiment, nella sua essenza, risponde alla domanda su quanto un testo sia emotivamente positivo o negativo. |
| |
Effettueremo un'analisi del sentiment sul Beige Book, un rapporto periodico della Federal Reserve statunitense. |
| |
Mi scuso per aver utilizzato un esempio statunitense al JMP Discovery Europe, ma il Beige Book offre un'ottima dimostrazione di cosa sia l'analisi del sentiment. |
| |
Si tratta quindi di una pubblicazione mensile che contiene un rapporto a livello nazionale, nonché 12 rapporti a livello distrettuale, che riassumono le condizioni economiche in tali distretti, e tutti questi rapporti si basano su informazioni qualitative, come interviste e sondaggi. |
| |
E i responsabili politici statunitensi possono utilizzare le informazioni qualitative contenute nel Beige Book, insieme alle informazioni quantitative, ovvero agli indicatori economici tradizionali, per orientare le politiche economiche. |
| |
Quindi potreste pensare: beh, stiamo parlando di sentimenti o emozioni. Non credo che i rapporti economici contengano molte emozioni, ma i rapporti del Beige Book e gran parte del linguaggio contengono effettivamente parole che possono veicolare o trasmettere emozioni. |
| |
Diamo quindi un'occhiata a un estratto di un report. Ecco uno screenshot tratto direttamente dalla nuova piattaforma di analisi del sentiment. |
| |
Noterai alcune parole evidenziate, e queste sono quelle che chiameremo termini di sentimento, cioè, |
| |
termini che, a nostro avviso, hanno un certo contenuto emotivo. Ad esempio, in alto, "le vendite di computer, d'altra parte, sono state gravemente depresse", |
| |
dove "gravemente depresso" è evidenziato in viola, a indicare che consideriamo che trasmetta un'emozione negativa, il che sembra essere vero se qualcuno descrive le vendite di computer come "gravemente depresse", sembra che voglia che lo interpretiamo come qualcosa di certamente negativo. |
| |
Se guardiamo in basso, vediamo in arancione un paio di termini con un sentimento positivo evidenziati, come "migliorare" o "favorevole". Quindi possiamo cercare parole che riteniamo abbiano un'influenza emotiva positiva o negativa. |
| |
Il viola indica un messaggio negativo, l'arancione uno positivo, e alcune analisi del sentiment mantengono le cose a questo livello, quindi si tratta semplicemente di una distinzione binaria: un testo positivo o un testo negativo. |
| |
Esistono ulteriori modi per eseguire l'analisi del sentiment e, in particolare, |
| |
Molti metodi cercano di quantificare il grado di positività o negatività, non solo se qualcosa è positivo o negativo. Prendiamo ad esempio quest'altro caso, e vorrei attirare la nostra attenzione in basso, dove possiamo vedere un report sulle "scarse vendite". |
| |
E ora lo confronterò con quanto abbiamo affermato in precedenza, ovvero che "le vendite di computer sono in forte calo". |
| |
Entrambe sono affermazioni negative, ma credo che saremmo tutti d'accordo sul fatto che "gravemente depresso" suoni molto più negativo di un semplice "povero". |
| |
Quindi vogliamo capire non solo se un sentimento espresso è positivo o negativo, ma anche quanto è positivo o negativo, ed è questo che fa l'analisi del sentimento. |
| |
Text Explorer lo fa. Ma come? Beh, utilizza una tecnica chiamata analisi del sentiment lessicale, basata su alcuni termini che esprimono sentimenti e sui relativi punteggi. |
| |
Quello che stiamo vedendo ora è un estratto di quello che potremmo definire un dizionario dei sentimenti, contenente i termini e i relativi punteggi. |
| |
Ad esempio, il termine "fantastico" ha un punteggio positivo di 90, mentre il termine "tetro" in fondo alla lista ha un punteggio di -75. |
| |
Quindi, quello che facciamo è specificare quali termini riteniamo abbiano un contenuto emotivo e il grado in cui sono positivi o negativi su una scala arbitraria, in questo caso da -100 a 100. |
| |
In questo modo potremo individuare questi termini in tutti i nostri documenti e utilizzarli per valutare quanto siano positivi o negativi nel complesso tali documenti. |
| |
Se ripensi al nostro esempio "gravemente depresso", quella parola "gravemente" e prende la parola "depresso" e ciò che chiamiamo la intensifica. |
| |
Si tratta di un intensificatore o moltiplicatore del sentimento espresso, quindi disponiamo anche di un dizionario di intensificatori e del loro effetto sul sentimento espresso dal termine di sentimento. |
| |
Ad esempio, diciamo che "incredibilmente" moltiplica il sentimento per un fattore di 1,4, mentre "poco" lo moltiplica per un fattore di 0,3, quindi in un certo senso attenua un po' il sentimento espresso. |
| |
Ora, infine, c'è un altro tipo di parola che vogliamo prendere in considerazione, ovvero i negatori, cose come "no" e "non", e le trattiamo fondamentalmente come inversioni di polarità. Quindi |
| |
"Non fantastico" significherebbe prendere il punteggio di "fantastico" e moltiplicarlo per -1. |
| |
Questo è un metodo comune per eseguire l'analisi del sentiment, chiamata anche analisi lessicale del sentiment. In pratica, prendiamo i termini che indicano un sentimento e li moltiplichiamo per qualsiasi intensificatore associato. |
| |
o negatori e poi per ogni documento, quando abbiamo tutti i punteggi di sentiment per i singoli termini che appaiono, facciamo semplicemente la media di tutti per ottenere un punteggio di sentiment per quel documento. |
| |
JMP ci restituisce questi punteggi in diversi modi utili. Questa è una schermata dello strumento di analisi del sentiment e, come sapete, lo useremo tra poco. |
| |
Ma come potete vedere, tra le altre cose, ci fornisce una distribuzione dei punteggi di sentiment su tutti i nostri documenti. Ci fornisce un elenco di tutti i termini relativi al sentiment e la frequenza con cui ricorrono. |
| |
E abbiamo persino la possibilità, come vedremo, di esportare i punteggi di sentiment per utilizzarli in grafici o analisi. |
| |
E quindi ho effettivamente creato un paio di grafici qui per cercare di vedere, come prima analisi, se il sentiment nei report del Beige Book si allinea effettivamente con gli eventi economici nel modo in cui pensiamo che dovrebbe? Sai, abbiamo davvero una certa validità in questo |
| |
Il sentiment come una sorta di indicatore economico? E la risposta sembra essere: sì, probabilmente. |
| |
Qui ho un grafico che ho creato con Graph Builder; rappresenta l'andamento del sentiment nel tempo, quindi tutti i piccoli punti grigi rappresentano i singoli report. |
| |
e la curva blu più smussata mostra l'andamento del sentiment nel tempo, mentre la linea nera a zero indica un sentiment neutro, almeno secondo il nostro schema di punteggio. |
| |
Le aree rosse sono |
| |
periodi di recessione economica, come ufficialmente elencati dalla Federal Reserve. |
| |
Quindi potresti notare che il sentiment sembra toccare il fondo o che ci sono dei minimi intorno alle recessioni, ma un'altra cosa che potresti notare |
| |
è che in realtà prima di ogni recessione, vediamo un calo del sentiment mesi o, in alcuni casi, sembra addirittura un paio d'anni prima. E non vediamo questi grandi cali del sentiment |
| |
in situazioni in cui non c'era una recessione successiva. Quindi forse c'è una certa validità nell'ipotesi che il Beige Book sia un indicatore anticipatore di una recessione. |
| |
Se lo guardiamo geograficamente, vediamo cose che hanno senso anche. Questo è solo un esempio dell'analisi. Stiamo esaminando il sentiment nei 12 |
| |
Distretti della Federal Reserve nel tempo dal 1999 al 2000 al 2001. Questo è stato il periodo di quello che comunemente viene chiamato il crollo delle dot-com, quindi questo è quando |
| |
Si è creata una grande bolla di aziende tecnologiche e attività online che sono sorte improvvisamente e, alla fine, molte di esse sono fallite, con conseguenze economiche piuttosto gravi. |
| |
Dal '99 al 2000 il sentimento è in crescita, anzi, il sentimento sta crescendo in modo piuttosto forte, a quanto pare. |
| |
nel distretto della Federal Reserve di San Francisco, dove hanno sede molte di queste aziende. E poi nel 2001, dopo il crollo, il calo più consistente che vediamo, fino al sentiment negativo indicato in rosso, si è verificato di nuovo in quel distretto di San Francisco. |
| |
Un rapido esame grafico dei punteggi di sentiment del Beige Book suggerisce quindi una certa validità di tali punteggi, in quanto sembrano in grado di monitorare, e forse prevedere, alcuni eventi economici, sebbene quest'ultimo aspetto necessiti ovviamente di un'analisi più approfondita. |
| |
Ma questo è solo un esempio dei potenziali casi d'uso dell'analisi del sentiment, e ce ne sono molti altri. |
| |
Uno dei principali ambiti di applicazione in cui viene utilizzato attualmente è la ricerca sui consumatori, dove le persone potrebbero, diciamo, analizzare |
| |
alcune risposte ai sondaggi tra i consumatori per identificare cosa determina opinioni o reazioni positive o negative. |
| |
Ma l'analisi del sentiment può essere utilizzata anche, ad esempio, per migliorare il prodotto: l'analisi delle recensioni o delle richieste di garanzia potrebbe aiutarci a individuare caratteristiche o problemi del prodotto che suscitano forti reazioni emotive nei nostri clienti. |
| |
Esaminando, ad esempio, l'assistenza clienti, potremmo analizzare i call center o le chat...trascrizioni delle chat per |
| |
Individuiamo alcune pratiche di assistenza che generano clienti soddisfatti o insoddisfatti. Potremmo anche analizzare le politiche pubbliche, esaminando i commenti aperti per valutare la reazione del pubblico alle politiche proposte o esistenti. |
| |
Questi sono solo alcuni degli ambiti in cui è possibile applicare l'analisi del sentiment. In realtà, è applicabile ovunque ci sia un testo che trasmette un'emozione e che tale emozione possa essere informativa. |
| |
Questo è tutto ciò che volevo dire all'inizio. Ora vorrei dedicare un po' di tempo a spiegarvi come funziona in JMP, quindi passiamo a JMP. |
| |
Qui abbiamo i dati del Beige Book, quindi in basso, potete vedere che abbiamo poco più di 5.000 segnalazioni qui, e abbiamo la data di ogni segnalazione da |
| |
Maggio 1972 Ottobre 2020, da quale dei 12 distretti proviene, e poi il testo del rapporto. E puoi vedere che questi rapporti, |
| |
Non si tratta solo di affermazioni rapide del tipo "l'economia sta andando bene o male", ma possono entrare in un certo livello di dettaglio. |
| |
Ora, prima di addentrarci in questi dati, vorrei ringraziare qualcuno per l'idea di analizzare il Beige Book e per aver effettivamente scaricato i dati e averli inseriti in JMP, in un |
| |
Formato pronto per l'analisi. E questo grazie va a Xan Gregg che, se non lo sapete, Xan è un direttore del team di sviluppo di JMP e il creatore di Graph Builder, quindi grazie, Xan, per il tuo aiuto. |
| |
Bene, quantifichiamo ora il grado di emozioni positive e negative presenti in tutti questi report. Useremo Esplora testo, che si trova nel menu Analizza. |
| |
Ecco la nostra finestra di avvio. Prenderò i nostri dati di testo e li inserirò nel ruolo delle colonne di testo. Un paio di cose da sottolineare prima di iniziare. |
| |
Text Explorer supporta diverse lingue, ma al momento l'analisi del sentiment è disponibile solo in inglese, e c'è un'altra cosa su cui voglio richiamare l'attenzione che ha origine proprio qui. |
| |
Quindi, per chi si occupa di analisi testuale, probabilmente ha familiarità con il concetto di stemming, ma per chi non lo conoscesse, lo stemming è un processo mediante il quale si raggruppano più... |
| |
Beh, per non usare termini tecnici... più versioni della stessa parola insieme. Prendiamo "forte", "più forte" e "fortissimo". Quindi queste sono tre |
| |
diverse varianti della stessa parola "forte" e, in alcune tecniche di text mining, si vorrebbe combinarle tutte in un unico termine e dire semplicemente: "Oh, significano tutte 'forte', perché concettualmente è la stessa cosa". |
| |
In realtà lascerò perdere la parte relativa allo stelo qui, ed è perché... prendi "più forte", che descrive quanto forte può essere qualcosa |
| |
rispetto a "più forte", che significa che sai che è forte, ma c'è ancora margine per renderlo ancora più forte. |
| |
Quindi "più forte" dovrebbe probabilmente ottenere un punteggio di sentimento più alto di "più forte", e se dovessi applicare la radice, perderei la distinzione tra queste parole. Poiché non voglio perdere questa distinzione, voglio assegnare loro punteggi di sentimento diversi. Continuerò ad applicare la radice da qui. |
| |
Quindi cliccherò su OK. |
| |
E ora JMP procederà alla tokenizzazione del nostro testo, ovvero lo scomporrà in tutte le sue singole parole e poi conterà quante volte ciascuna di esse compare. |
| |
E qui abbiamo un elenco di tutti i termini e la loro frequenza. Quindi "sales" ricorre oltre 46.000 volte e abbiamo anche il nostro elenco di frasi qui. Quindi le frasi sono |
| |
sequenze di due o più parole che ricorrono spesso e a volte vogliamo effettivamente contarle come termini nel nostro |
| |
analisi. E per l'analisi del sentiment, dovresti esaminare il tuo elenco di frasi e, diciamo, magari aggiungere "immobiliare", che sono due parole, ma si riferisce, sai, alla proprietà. |
| |
E potrei aggiungere anche questo. Normalmente nell'analisi del testo, aggiungeremmo anche quelle che vengono chiamate stop words, |
| |
sono parole che non hanno realmente significato nel contesto della nostra analisi e che vorremmo escludere. Prendiamo "distretto". Questo succede... oppure il Beige Book usa |
| |
La parola "distretto" viene usata frequentemente, ad esempio dicendo "questo rapporto proviene dal distretto di Richmond", qualcosa del genere, ma non ha un significato preciso. |
| |
Ma in realtà non mi preoccuperò delle parole da non usare proprio qui e questo perché, se ricordate, |
| |
Tornando alle nostre slide, abbiamo detto che tutti i nostri punteggi di sentiment si basano su un dizionario, da cui scegliamo le parole che esprimono un sentimento e il punteggio che dovrebbero ricevere. |
| |
E se semplicemente omettiamo "district", il suo punteggio è automaticamente pari a 0 e non influisce sul nostro punteggio di sentiment, quindi non ho bisogno di dichiararlo come stop word. |
| |
Quindi, una volta pronti, attiveremmo l'analisi del testo o, scusate, dell'analisi del sentiment, indicata dal triangolo rosso. |
| |
Quindi, quello che JMP sta facendo ora, dato che non abbiamo dichiarato alcun termine di sentiment o altro, è utilizzare un dizionario di sentiment integrato per assegnare un punteggio a tutti i documenti. Qui otteniamo i nostri punteggi. |
| |
Ora, prima di navigare in questi risultati, probabilmente dovremmo personalizzare il nostro dizionario dei sentimenti, in modo che le parole che esprimono sentimenti e i relativi punteggi. E questo perché in diversi ambiti, |
| |
forse con persone diverse che generano il testo, certe parole avranno diversi livelli di sentimento o avranno sentimento in un caso e non in un altro. Quindi vogliamo |
| |
Abbiamo creato con molta attenzione e accuratezza un dizionario dei sentimenti che, a nostro avviso, cattura accuratamente i sentimenti così come vengono espressi dal linguaggio che stiamo analizzando in questo momento. |
| |
Quindi JMP, come ho detto, utilizza un dizionario integrato ed è piuttosto scarno. Quindi puoi vederlo proprio qui, ha alcune emoticon, |
| |
come queste piccole faccine sorridenti e cose del genere, ma poi abbiamo un linguaggio che esprime sentimenti in modo piuttosto chiaro, come "pessimo" a -90. |
| |
Ora, è improbabile che qualcuno usi la parola "abissale" senza intenderla in senso negativo, quindi ci sentiamo abbastanza tranquilli a riguardo. Però, sapete, non è una lista molto lunga e potremmo voler aggiungere qualche termine. |
| |
Vediamo quindi come possiamo farlo, e una cosa che posso consigliare è di esaminare i dati. Leggete alcuni dei documenti che avete e provate a trovare delle parole che potrebbero essere indicative del sentimento. |
| |
Qui sotto abbiamo uno strumento che ci permette di sfogliare i nostri documenti e aggiungere direttamente termini di sentiment. Ad esempio, ho un elenco di documenti. Come potete vedere, il Documento 1 è evidenziato e visualizzato qui sotto. Potrei selezionare diversi documenti per visualizzarli. |
| |
Ora, se osserviamo il Documento 1, fin da subito potremmo notare un paio di termini che potrebbero indicare sentimenti, come "pessimismo" e "ottimismo". |
| |
Ora potete vedere che non sono evidenziati. In realtà non sono inclusi nel dizionario standard dei sentimenti. |
| |
E molti sostantivi che troverai in realtà non lo sono, e questo perché sostantivi come "pessimismo" o "ottimismo" possono essere descritti in modi che suggeriscono la loro presenza o la loro assenza, fondamentalmente. Quindi potrei dire, sai, "il pessimismo è in declino" o |
| |
"Si nota una netta assenza di pessimismo", "Il pessimismo non viene più segnalato". |
| |
E, in quei casi, non diremmo che il "pessimismo" è una cosa negativa. È... quindi bisogna fare attenzione e pensare alle parole nel contesto e a come vengono effettivamente utilizzate prima di aggiungerle a un dizionario dei sentimenti. |
| |
Ad esempio, potrei tornare al nostro elenco di termini qui. Ora mostrerò solo il filtro, |
| |
Cerca la parola "pessimismo" e poi mostra il testo per vedere come viene utilizzata. In questo primo esempio, possiamo notare che "l'umore dei nostri direttori varia dal pessimismo all'ottimismo". |
| |
E il prossimo |
| |
"conversazioni private un profondo stato d'animo di pessimismo." Se leggete attentamente, questo è l'uso tipico, quindi in realtà nel Beige Book non sembrano usare la parola pessimismo nei modi che potrei temere, |
| |
"L'ottimismo è in aumento." |
| |
Quindi, in realtà, mi sento a mio agio nell'aggiungere "pessimismo" qui, quindi aggiungiamolo al nostro dizionario dei sentimenti. |
| |
Quindi se mi limito a posizionarmi proprio sopra di esso, |
| |
Come potete vedere, vi proponiamo alcune opzioni su come gestirlo. Ad esempio, qui posso assegnare un punteggio di -60. |
| |
E quindi ora verrà aggiunto al nostro dizionario con il punteggio corrispondente, e questo attiverà l'aggiornamento del punteggio di sentiment in JMP. In pratica, ora cerca la parola "pessimismo" e adegua tutti i punteggi dei documenti in cui la trova. |
| |
Torniamo quindi indietro per esaminare più nel dettaglio i termini relativi al sentimento. Se scorro verso il basso, troverete "pessimismo". |
| |
Proprio qui con il punteggio di -60 che gli ho appena assegnato. Ora, forse dovrei... se notate, "pessimistico" ha, di default, un punteggio di -50, quindi forse dovrei semplicemente digitare -50 qui per uniformarlo. |
| |
Potrei farlo, ma non lo farò, per evitare di innescare un altro aggiornamento. |
| |
Noterete anche, proprio qui, questo elenco di possibili termini che esprimono sentimento. Si tratta di termini che JMP ha identificato come potenzialmente portatori di sentimento, e potreste volerli esaminare e valutare la possibilità di includerli nel vostro dizionario. |
| |
Ad esempio, la parola "forte" qui, se guardate alcuni dei testi del documento a destra, potreste dire: ok, questa è chiaramente una cosa positiva. E se avete guardato molti di questi esempi, risalta davvero che |
| |
I termini "forte" e, di conseguenza, "debole" sono parole che questi economisti usano molto spesso per parlare di aspetti positivi o negativi dell'economia attuale. |
| |
Quindi potrei aggiungerli, oppure aggiungere "forte" qui cliccando, diciamo, su +60 nei pulsanti lassù. Ripeto, non lo farò ora, solo per velocizzare la nostra analisi del sentiment. |
| |
Quindi potremmo, proprio come nei nostri testi qui sotto, potremmo esaminare il nostro elenco di termini relativi al sentimento per scegliere alcuni buoni candidati. |
| |
Sotto il triangolo rosso, possiamo anche gestire i termini del sentimento in modo più diretto, quindi è proprio nel pieno |
| |
Elenchi di gestione dei termini a cui potremmo essere abituati come utenti di Esplora testo, come ad esempio la gestione delle frasi e la gestione delle parole da escludere. |
| |
Come potete vedere, abbiamo aggiunto un nuovo termine "locale" a questa particolare analisi, oltre a tutti i termini predefiniti. Naturalmente, potremmo anche dichiarare delle eccezioni, se volessimo escludere alcuni di questi termini. |
| |
E, cosa importante, puoi anche importare ed esportare il tuo dizionario dei sentimenti. Un altro modo per dichiarare i termini relativi ai sentimenti è consultare esperti in materia. Sai, |
| |
Gli economisti avrebbero probabilmente molto da dire sui tipi di parole che si aspetterebbero di vedere che trasmettano chiaramente |
| |
emozioni positive o negative in questi resoconti. E se potessimo parlare con loro, vorremmo sapere cosa hanno da dire al riguardo, e potremmo persino essere in grado di ricavare un dizionario, diciamo, in un file separato da tabulazioni e poi importarlo qui. |
| |
E poi, naturalmente, una volta creato un dizionario di cui siamo soddisfatti, dovremmo esportarlo e salvarlo in modo da poterlo riutilizzare facilmente in futuro. |
| |
Quindi questo è un piccolo accenno a come si potrebbe effettivamente curare il proprio dizionario dei sentimenti. Sarebbe anche importante |
| |
Seleziona i termini di intensificazione e i termini di negazione e, ancora una volta, non vedrai punteggi qui, perché si tratta semplicemente di inversioni di polarità. |
| |
Giusto per mostrarti un po' di più come appare effettivamente, se... diamo un'occhiata al sentiment qui, così possiamo vedere i casi in cui |
| |
JMP ha individuato la parola "non" prima di alcuni di questi termini che esprimono sentimenti e ha applicato il punteggio corrispondente. Quindi, in cima alla lista, "non accettabile" riceve un punteggio di -25. |
| |
Quindi ve lo mostro giusto per attirare la vostra attenzione sul fatto che questi negatori e intensificatori vengono applicati automaticamente da JMP. |
| |
Ma comunque passiamo dal parlare di come impostare l'analisi all'esaminare effettivamente i risultati. Quindi parlerò di |
| |
una versione dell'analisi già completata, ovvero ho già curato il dizionario dei sentimenti e possiamo iniziare a interpretare i risultati ottenuti. |
| |
Qui sopra abbiamo il nostro riepilogo generale, quindi abbiamo più documenti positivi che negativi. Come abbiamo discusso prima, possiamo vedere quanti ce ne sono di ciascun tipo. Infatti, in fondo alla tabella a sinistra, si nota che abbiamo un documento che non esprime alcun sentimento. |
| |
"forte" si verifica circa 14.000 volte, "debole" si verifica circa 4.500 volte |
| |
e guardando questi in base ai loro conteggi o ai loro punteggi, guardando i più negativi e positivi, |
| |
Anche solo guardarli nel contesto può essere di per sé piuttosto informativo. Voglio dire, soprattutto in un ambito come la ricerca sui consumatori, se vuoi sapere quando le persone provano sentimenti positivi o esprimono positività |
| |
Che tipo di linguaggio viene utilizzato per descrivere il nostro marchio o alcuni dei nostri prodotti? Questo potrebbe essere utile per orientare le strategie di marketing. Ad esempio, questo elenco di termini che esprimono sentimenti può rivelarsi molto utile a tal proposito. |
| |
produzione, |
| |
turismo, investimenti. E a volte vogliamo concentrarci su uno di questi sottodomini in particolare, quello che potremmo definire una caratteristica. |
| |
E se vado alla scheda "Funzionalità" nell'analisi del sentiment, clicco su "Cerca". JMP individua alcune parole che ricorrono comunemente nei termini di sentiment e mi chiede se voglio approfondire il sentiment relativo a quella funzionalità. |
| |
Prendiamo ad esempio le "vendite". Possiamo vedere "le vendite sono state segnalate come deboli", "indebolimento delle vendite", "le vendite risultano mantenute su buoni livelli" e così via. |
| |
Quindi, se assegno un punteggio solo a questa caratteristica selezionata, JMP fornirà punteggi di sentiment solo in relazione alla menzione di "vendite" all'interno di questi report più ampi, e questo ci aiuterà a perfezionare la nostra analisi o a concentrarla su un sottodominio ben definito. |
| |
E questo è particolarmente importante. |
| |
Potrebbe darsi che il dominio nel linguaggio che stiamo analizzando non sia, sai, così ben ristretto. Prendiamo, ad esempio, |
| |
Recensioni dei prodotti. Ti interessa sapere quanto positivamente o negativamente le persone pensano del prodotto, ma potrebbero anche parlare, ad esempio, della spedizione e non ti interessa necessariamente se non sono rimaste molto soddisfatte della spedizione, principalmente perché è fuori dal tuo controllo. |
| |
Non vorresti certo includere una serie di recensioni che commentano anche la spedizione. Pertanto, è importante considerare l'ambito di analisi e limitarlo in modo appropriato, e lo strumento di ricerca delle funzionalità qui presente è un modo per farlo. |
| |
Quindi ora che ho assegnato un punteggio alle "vendite", abbiamo una distribuzione molto diversa di documenti positivi e negativi. Abbiamo più documenti che non hanno un punteggio di sentiment perché |
| |
Semplicemente non parlare di vendite o non usare un linguaggio emotivo per discuterne, e ora abbiamo un elenco diverso di termini relativi alle emozioni che descrivono specificamente le vendite. |
| |
Lasciatemi rimuovere questo. |
| |
Una cosa che mi sono reso conto di aver dimenticato di menzionare, l'ho accennato brevemente, è come vengono calcolati questi punteggi complessivi dei documenti che abbiamo esaminato, e ho detto che sono la media di tutti i termini di sentiment di... |
| |
che si è verificato in un documento particolare. Quindi diamo un'occhiata al Documento 1. Vorrei solo mostrarti che |
| |
Se vi state chiedendo da dove provenga questo punteggio, diciamo -20, vi basterà passare il mouse sopra e vi verrà mostrato un elenco di tutti i termini relativi al sentimento che sono apparsi. |
| |
E potete vedere, qui ne abbiamo 16, compresi tutti quelli in basso, "un vero punto luminoso", che era un +78 e poi, se dividete...sommate tutti quei punteggi. dividete per 78... |
| |
oppure dividi per 16, scusa, e otterrai un sentimento medio di -20. E questo è uno dei due modi per fornire punteggi complessivi. Un altro è un punteggio minimo-massimo, quindi differenze tra minimo e massimo |
| |
sentimenti espressi nel testo. |
| |
Ora possiamo ottenere molte informazioni semplicemente esaminando questo report, ad esempio i punteggi di sentiment e i termini più comuni. |
| |
Ma spesso vogliamo prendere i sentimenti e usarli in qualche altro modo, come |
| |
Osservateli graficamente, come abbiamo fatto nelle diapositive precedenti. Quindi, quando arriverà il momento di quella parte dell'analisi, andate semplicemente al triangolo rosso qui. |
| |
e salva i punteggi del documento. Questi verranno poi salvati nella tua tabella dati, così potrai inserirli in ulteriori analisi o rappresentarli graficamente, a seconda di ciò che desideri fare. |
| |
Questa è quindi un'anteprima dell'analisi del sentiment in arrivo su Text Explorer in JMP Pro 16. L'idea principale è che l'analisi del sentiment utilizza un dizionario del sentiment che |
| |
Puoi impostare un sistema che assegni dei punteggi corrispondenti al contenuto emotivo positivo e negativo di ciascun documento e, a partire da questi, utilizzare tali informazioni in qualsiasi modo tu ritenga utile. |
| |
Lasciamo dunque da parte l'analisi del sentiment e torniamo alle nostre slide per parlare dell'altra tecnica che sarà presto disponibile in Text Explorer. |
| |
E questa è la selezione dei termini, dove la selezione dei termini risponde a una domanda diversa, ovvero: quali termini sono maggiormente associati a una variabile importante o a una variabile che mi interessa? |
| |
Continueremo a utilizzare il Beige Book. |
| |
Chiederemo quali parole sono statisticamente associate alle recessioni. Quindi nel grafico qui abbiamo, nel tempo, la variazione percentuale |
| |
PIL (prodotto interno lordo) trimestre per trimestre, dove il blu indica la crescita economica, il rosso indica la contrazione economica. E potremmo chiederci, beh, cosa |
| |
Quali termini, così come appaiono nel Beige Book, potrebbero essere statisticamente associati a questi periodi di recessione economica? Ad esempio, eccone alcuni proprio qui. |
| |
Sai, perché mai dovremmo voler associare termini specifici del Beige Book a periodi di recessione economica? |
| |
Beh, ottenere un elenco di termini potrebbe essere di per sé informativo. Sai, potrei trovare alcuni termini potenzialmente, sai, sottili |
| |
Fattori o effetti delle recessioni di cui potrei non essere a conoscenza o che potrei non riuscire a cogliere facilmente nei dati quantitativi. |
| |
Potrei anche trovare delle parole per un'analisi più approfondita. Potrei... potrei trovarne alcune |
| |
Potenziali termini che indicano il sentiment, alcuni dei quali vengono utilizzati quando l'economia sta andando particolarmente male e che mi erano sfuggiti la prima volta che ho fatto la mia analisi del sentiment. |
| |
Oppure potrei trovare delle parole così fortemente associate alle recessioni da poterle utilizzare in un modello predittivo per cercare di capire quando potrebbero verificarsi delle recessioni in futuro. |
| |
Esistono quindi diversi motivi per cui potremmo voler sapere quali parole sono maggiormente associate alle recessioni. |
| |
Quindi, come funziona in JMP? Beh, in pratica costruiamo un modello di regressione in cui la variabile di risultato è la variabile che ci interessa, ovvero le recessioni, e gli input sono tutte le diverse parole. |
| |
I dati inseriti nel modello assumono la forma di una matrice termine-documento, dove ogni riga corrisponde a |
| |
un documento o un rapporto Beige Book, e quindi le colonne catturano le parole che compaiono in quel rapporto. Qui abbiamo la colonna "debole" evidenziata e dice "binario", il che significa che |
| |
Conterrà 1 e 0; un 1 indica che il rapporto conteneva la parola "debole" e uno 0 indica che il rapporto non conteneva la parola "debole". Questo è uno dei diversi modi in cui potremmo valutare i documenti, ma per ora ci atterremo a questo sistema binario. |
| |
Prendiamo quindi queste informazioni e le inseriamo in un modello di regressione. Ecco come si presenterebbe il lancio. |
| |
Abbiamo la recessione come variabile Y, che è semplicemente una variabile binaria (sì o no), e poi abbiamo tutti questi predittori binari inseriti come effetti del nostro modello. |
| |
E poi useremo lo strumento di regressione generalizzata di JMP Pro |
| |
per costruire il modello, e questo perché la regressione generalizzata o GenReg, come la chiamiamo, include tecniche di selezione automatica delle variabili. Quindi, se hai familiarità con |
| |
regressione regolarizzata, stiamo parlando di qualcosa tipo il Lasso o la rete elastica. E se non sai cosa significa, non c'è problema. L'idea è che automaticamente |
| |
individua i termini maggiormente associati alla variabile di risultato "recessione" e poi quelli che non ritiene associati ad essa, azzerandoli. |
| |
E questo ci permette di esaminare le relazioni tra "recessione" e forse conoscete centinaia, migliaia di parole possibili che potrebbero esservi associate. |
| |
Quindi, cosa otteniamo quando eseguiamo l'analisi? |
| |
Otteniamo un modello. Quindi quello che abbiamo qui è l'equazione per quel modello. Non preoccuparti troppo. L'idea è che diciamo |
| |
il logaritmo delle probabilità di recessione, quindi è semplicemente una funzione della probabilità che siamo in recessione e quando viene pubblicato il Beige Book è una funzione di |
| |
tutte le diverse parole che potrebbero comparire nel rapporto Beige Book. |
| |
E come potete vedere, abbiamo l'effetto della comparsa della parola "pandemia" con un coefficiente di 1,94. |
| |
Ciò significa semplicemente che il logaritmo delle probabilità di "recessione" aumenta di 1,94 se il rapporto Beige Book menziona la parola "pandemia". Quindi vediamo meno 1,02 volte "guadagno". Bene, questo significa che se il rapporto Beige Book menziona la parola "guadagno", allora la probabilità di recessione... |
| |
oppure il logaritmo delle probabilità di recessione diminuisce di 1,02. |
| |
Ne ricaviamo quindi un elenco di termini fortemente associati a un aumento della probabilità di recessione, come "pandemia", "rinvio", "cancellazione" e "pignoramenti". |
| |
E otteniamo anche un elenco di termini associati a una probabilità decrescente di recessione, come "guadagno", "rafforzamento", "concorrenza". |
| |
Vediamo anche la voce "produzione" proprio lì, ma ha un coefficiente relativamente piccolo, circa -0,2. |
| |
E in effetti noterete qui, e se guardiamo una rappresentazione grafica di tutti i termini selezionati in questa analisi, non vedrete molti domini specifici come "produzione", |
| |
"turismo", "investimenti" e tutto il resto. Questo perché di queste cose si parla sempre, che siamo in recessione o no, quindi quello che stiamo veramente cercando sono le parole che vengono usate, |
| |
sai, quando siamo in recessione più spesso di quanto ti aspetteresti per caso. Quindi abbiamo... per esempio, quelli sono |
| |
"Pandemia" è il termine più predittivo. Ha molto senso. Non si parlava affatto di pandemie fino a poco tempo fa, e poi abbiamo anche vissuto la recessione di recente, quindi ce ne siamo accorti in modo piuttosto chiaro. |
| |
Poi abbiamo qualche altro termine in questa sorta di secondo livello, cioè "rinviato", "annullato", "pignorato", "deteriorato", "pessimistico". |
| |
Ed è piuttosto interessante che questi termini "rinvio" e "cancellazione" siano associati alle recessioni. Ha senso, si vuole davvero parlare di rinviare, ad esempio, l'attività economica. |
| |
quando c'è una recessione, o almeno questa è forse una tendenza affidabile. È...così è un'intuizione, di per sé. Infatti, io |
| |
Voglio dire, non saprei dire come la Federal Reserve tenga traccia dei rinvii o delle cancellazioni delle attività economiche, ma il fatto che questi termini vengano segnalati in questa analisi suggerisce che probabilmente vale la pena monitorarli. |
| |
Bene, questa è la selezione dei termini. Otteniamo un elenco di termini associati alle recessioni e possiamo osservare la forza relativa di tale associazione. Ora vediamo brevemente come viene fatto in JMP. |
| |
Quindi tornerò su JMP e quello che faremo è recuperare una tabella di dati leggermente diversa. Si tratta sempre di dati del Beige Book, ma ora abbiamo solo i rapporti nazionali. |
| |
Abbiamo anche questa variabile correlata, ovvero se gli Stati Uniti si trovavano o meno in recessione in quel momento. E ovviamente c'è una certa autocorrelazione in questi dati. Voglio dire, se eravamo in recessione il mese scorso, è più probabile che lo saremo anche questo mese rispetto a se non lo fossimo. |
| |
E sapete che in genere questo potrebbe essere un problema per le analisi basate sulla regressione, ma qui si tratta di un'analisi puramente esplorativa. Non ci preoccupa più di tanto. |
| |
Quindi aprirò Text Explorer tramite gli script della tabella, dato che abbiamo già visto come viene avviato in precedenza. |
| |
Tieni presente, tuttavia, che ho già effettuato alcune modifiche alla formulazione, come abbiamo fatto in precedenza. Ho anche aggiunto alcune parole da escludere, che non puoi vedere qui, ma che non voglio necessariamente vengano restituite da questa analisi. |
| |
E ho attivato la radice, che è ciò che indicano quei puntini nell'elenco dei termini. Ad esempio, questo per "aumento" ora raggruppa effettivamente "aumenti", "aumento", "increscente", "increscentemente". |
| |
E questo perché ora, in un certo senso, considero tutti questi concetti come lo stesso, e voglio solo sapere se, insomma, questo concetto è associato alle recessioni. |
| |
Per attivare la selezione dei termini, basta andare sul triangolo rosso e selezionarlo qui. |
| |
Innanzitutto compare una finestra di controllo, o meglio una sezione, in cui selezioniamo la variabile che ci interessa, ovvero le recessioni. Selezioniamo il livello target, quindi vogliamo che sia espresso in termini di probabilità di recessione, anziché di probabilità di assenza di recessione. |
| |
Posso specificare alcune impostazioni del modello. Se hai familiarità con GenReg, vedrai che puoi scegliere se vuoi l'arresto anticipato, se vuoi uno dei due diversi |
| |
penalizzazioni per eseguire la selezione delle variabili, quale statistica si desidera utilizzare per la convalida. E se queste cose sono nuove per te, non preoccuparti troppo. Le impostazioni predefinite sono un buon punto di partenza. |
| |
Abbiamo la nostra ponderazione, se ricordate, avevamo 1 e 0 in quella colonna per "debole", indicando semplicemente se la parola era presente in un documento o meno, ma potete selezionare quello che volete. Quindi |
| |
Ad esempio, la frequenza non indica se l'evento "debole" si è verificato o meno, ma quante volte si è verificato. E questo influisce sul modo in cui si interpretano i risultati. Per ora, restiamo sul binario. |
| |
Ma dirò, voglio controllare i 1.000 termini più frequenti, invece dei 400 predefiniti, che come puoi vedere sono molti di più di 436, e normalmente non puoi adattare un modello con 1.000 X ma solo 436 |
| |
osservazioni, ma grazie alle |
| |
Nella regressione generalizzata, la selezione automatica delle variabili non rappresenta un problema. Quindi, ancora una volta, seleziona quali tra queste migliaia di termini sono maggiormente correlati, da cui il nome di selezione dei termini. |
| |
Quindi lo eseguirò. Come potete vedere, JMP ha richiamato la piattaforma di regressione generalizzata e ha restituito questi risultati, dove qui sopra vediamo alcune informazioni sul modello così come è stato adattato. Ad esempio, abbiamo 37 termini che sono stati restituiti. |
| |
Permettetemi di spostarlo. Perché qui a destra troviamo informazioni davvero preziose. Questo è l'elenco dei termini più fortemente associati alla recessione. |
| |
Ora li ordinerò in base al coefficiente per trovare quelli maggiormente associati alla probabilità di recessione, quindi ancora una volta si tratta di "pandemia", "rinvio", "cancellazioni" e, come ci si potrebbe aspettare, a questo punto se clicco su uno di questi, le anteprime si aggiorneranno |
| |
oppure questi frammenti di testo qui sotto, così possiamo effettivamente vedere questa parola nel contesto. |
| |
Questo elenco di termini, di per sé, potrebbe rivelarsi incredibilmente prezioso. Potreste imparare cose nuove su termini o concetti specifici che prima non conoscevate. Potrete inoltre utilizzare questi termini nei modelli predittivi. |
| |
Ora, qualche altra cosa da notare. |
| |
Come puoi vedere qui sotto, abbiamo di nuovo una tabella per ogni singolo documento, ma invece dei punteggi di sentiment, ora abbiamo sostanzialmente i punteggi del modello. Abbiamo per ognuno |
| |
IL... |
| |
quello che chiamiamo contributo positivo, ovvero il contributo dei coefficienti positivi che prevedono la probabilità di recessione. Qui abbiamo quelli negativi. |
| |
E poi abbiamo anche la probabilità di recessione dal modello, il 71,8% qui, e poi quello che abbiamo effettivamente osservato. |
| |
E non stiamo necessariamente costruendo un modello predittivo qui, cioè, non userò questo modello per cercare di prevedere le recessioni. Voglio dire, ho tutti i tipi di variabili indicatrici economiche che userei |
| |
Anche questo è un buon modo per verificare la validità del modello. Sembra che alcune delle sue previsioni siano corrette? |
| |
Perché se non lo è, potresti non fidarti dei termini che restituisce. Hai anche molte altre informazioni per cercare di formulare tale giudizio. Voglio dire, abbiamo alcune statistiche di adattamento, come l'area sotto la curva qui sopra. |
| |
Oppure possiamo anche passare alla piattaforma di regressione generalizzata, con tutte le sue normali opzioni per valutare ulteriormente il modello. |
| |
Non entrerò nei dettagli, ma tutto ciò è a tua disposizione per consentirti di valutare il tuo modello, modificarlo a tuo piacimento e assicurarti di avere un elenco di termini che ti soddisfino. |
| |
Ora vedete proprio qui, abbiamo questo, sotto il riepilogo, questo elenco di modelli e questo perché potreste effettivamente voler eseguire più modelli. Quindi se torno al modello... oh, scusate... se torniamo al nostro |
| |
Con le impostazioni qui sopra, potrei effettivamente eseguire un modello leggermente diverso. Magari, ad esempio, so che il BIC è un po' più conservativo dell'AICc e voglio restituire meno termini, magari ho fatto un'analisi che ha restituito 900 termini e sei un po' sopraffatto. |
| |
Quindi cliccherò su "Esegui" e creerò un altro modello utilizzando quello. |
| |
Ora che abbiamo aggiunto questo modello al nostro elenco, posso passare da un modello all'altro per visualizzare i risultati di ciascuno. In questo caso, abbiamo ottenuto solo 14 termini, anziché 37, e li analizzerò più avanti. |
| |
Quindi due risultati importanti che otterresti da questo, ovviamente, sono questo elenco di termini. Se vuoi salvarlo, questi sono solo i termini importanti per te e vuoi tenerne traccia, fai clic con il pulsante destro del mouse e trasformalo in una tabella di dati. Ora ho una tabella JMP |
| |
con i termini, i loro coefficienti e altre informazioni. |
| |
E |
| |
se quello che vuoi fare è in realtà riscrivere questi dati nella tua tabella dati originale, magari, in modo da poter utilizzare le informazioni in qualche altro tipo di analisi o modello predittivo, |
| |
vai semplicemente alla selezione dei termini e dì che vuoi salvare i punteggi dei termini come matrice di termini del documento, che se riporto qui la nostra tabella dati, puoi vedere che ora ho scritto al loro |
| |
colonne per ciascuno di questi termini che sono stati selezionati. In questo caso riempiti con i loro valori di coefficiente, e ora posso usare questo |
| |
informazioni quantitative, come preferisco. |
| |
Questo è solo un piccolo cenno alla selezione dei termini. Ripeto, l'idea principale è che ho trovato un elenco di termini correlati a una variabile che mi interessa e, attraverso i loro coefficienti, ho anche informazioni sulla forza di tale relazione. |
| |
Quindi concludiamo. Abbiamo trattato due tecniche. Abbiamo appena visto la selezione dei termini, ovvero trovare le parole importanti. Prima di ciò abbiamo esaminato l'analisi del sentiment, tutto su |
| |
Quantificare il grado di emozione positiva o negativa in un testo. Queste sono due nuove tecniche di text mining che arriveranno in Text Explorer di JMP Pro 16. Siamo davvero entusiasti di farvele provare e non vediamo l'ora di ricevere i vostri commenti. |
