Altoparlante
|
Trascrizione
|
| Ross Metusalem |
Salve a tutti e grazie per aver dedicato del tempo a scoprire come JMP sta espandendo il proprio kit di strumenti di text mining in JMP Pro 16 con |
| |
analisi del sentiment e selezione dei termini. |
| |
Sono Ross Metusalem, un ingegnere di sistemi JMP nel sud-est degli Stati Uniti, e ti darò un'anteprima di queste due nuove analisi, spiegherò un po' come funzionano e fornirò alcune migliori pratiche per utilizzarle. |
| |
Quindi entrambe queste tecniche di analisi stanno arrivando in Text Explorer, che per coloro che non hanno familiarità, questo è JMP |
| |
strumento per analizzare quelli che chiamiamo testi liberi o non strutturati, quindi testi in linguaggio naturale. |
| |
Ed è quello che chiamiamo strumento di text mining, quindi è uno strumento per ricavare informazioni quantitative dal testo libero in modo da poter |
| |
utilizzare altri tipi di strumenti statistici o analitici per ricavare informazioni dal testo libero o magari utilizzare quel testo come input per altre analisi. |
| |
Diamo quindi un'occhiata a queste due nuove tecniche di text mining in arrivo in Text Explorer in JMP Pro 16 e inizieremo con l'analisi del sentiment. |
| |
L’analisi del sentiment risponde essenzialmente alla domanda su quanto un testo sia emotivamente positivo o negativo. |
| |
Effettueremo un'analisi del sentiment sul Beige Book, che è un rapporto ricorrente della Federal Reserve Bank degli Stati Uniti. |
| |
Ora mi scuso per aver utilizzato un esempio degli Stati Uniti al JMP Discovery Europe, ma il Beige Book fornisce una bella dimostrazione di cosa sia l'analisi del sentiment. |
| |
Quindi questa è una pubblicazione mensile, contiene rapporti a livello nazionale, nonché 12 rapporti a livello distrettuale, che riassumono le condizioni economiche in quei distretti, e tutti questi sono basati su informazioni qualitative, cose come interviste e sondaggi. |
| |
E i politici statunitensi possono utilizzare le informazioni qualitative contenute nel Beige Book, insieme alle informazioni quantitative, presenti negli indicatori economici tradizionali, per indirizzare la politica economica. |
| |
Quindi potresti pensare, beh, stiamo parlando di sentimento o emozione in questo momento. Non so se mi aspetto che i resoconti economici contengano molte emozioni, ma i resoconti del Beige Book e gran parte del linguaggio in realtà contengono parole che possono trasportare o trasmettere emozioni. |
| |
Diamo quindi un'occhiata ad un estratto da un rapporto. Ecco uno screenshot direttamente dalla nuova piattaforma di analisi del sentiment. |
| |
Noterai alcune parole evidenziate e questi sono quelli che chiameremo termini sentiment, ovvero |
| |
termini che secondo noi hanno un contenuto emotivo. Ad esempio, ai vertici, "le vendite di computer, d'altro canto, sono state gravemente depresse", |
| |
dove "gravemente depresso" è evidenziato in viola, indicando che lo consideriamo per trasmettere emozioni negative, il che sembra che se qualcuno descrive le vendite di computer come "gravemente depresso" sembra che intendano interpretarlo come certamente una cosa negativa . |
| |
Se guardiamo in basso, vediamo in arancione un paio di termini di sentiment positivo evidenziati, come "migliorare" o "favorevole". Quindi possiamo cercare parole che crediamo abbiano emotività positiva o negativa |
| |
viola per negativo, arancione per positivo e alcune analisi del sentiment mantengono le cose a quel livello, quindi solo una distinzione binaria, un testo positivo o un testo negativo. |
| |
Esistono ulteriori modalità per eseguire l'analisi del sentiment e, in particolare, |
| |
molti modi cercano di quantificare il grado di positività o negatività, non solo se qualcosa è positivo o negativo. Consideriamo quindi quest'altro esempio e punterò la nostra attenzione fino in fondo, dove possiamo vedere un rapporto di "vendite scarse". |
| |
E lo confronterò con il punto in cui abbiamo detto "le vendite di computer sono gravemente depresse". |
| |
Quindi entrambe queste sono affermazioni negative, ma penso che saremmo tutti d'accordo sul fatto che "gravemente depresso" suona molto più negativo di quanto lo sia semplicemente "povero". |
| |
Quindi vogliamo capire non solo se un sentimento è espresso in modo positivo o negativo, ma quanto è positivo o negativo, ed è questo l'analisi del sentiment in |
| |
Text Explorer lo fa. Allora come lo fa? Bene, utilizza una tecnica chiamata analisi del sentiment lessicale che si basa su alcuni termini del sentiment e sui punteggi associati. |
| |
Quindi quello che stiamo vedendo in questo momento è un estratto da quello che chiameremmo dizionario dei sentimenti che contiene i termini e i loro punteggi. |
| |
Ad esempio, il termine "fantastico" ha un punteggio positivo di 90 e il termine "triste" in basso ha un punteggio -75. |
| |
Quindi quello che facciamo è specificare quali termini crediamo abbiano un contenuto emotivo e il grado in cui sono positivi o negativi su una scala arbitraria, qui da -100 a 100. |
| |
E poi possiamo trovare questi termini in tutti i nostri documenti e usarli per valutare quanto siano positivi o negativi nel complesso tali documenti. |
| |
Se ripensi al nostro esempio "gravemente depresso", quella parola "gravemente" prende la parola "depresso" e ciò che chiamiamo la intensifica. |
| |
È un intensificatore o un moltiplicatore del sentimento espresso, quindi abbiamo anche un dizionario degli intensificatori e cosa fanno al sentimento espresso dal termine sentimento. |
| |
Ad esempio, diciamo che "incredibilmente" moltiplica il sentimento per un fattore di 1,4 mentre "poco" moltiplica il sentimento per un fattore di 0,3, quindi in realtà, in un certo senso, attenua un po' il sentimento espresso. |
| |
Ora, finalmente c'è un altro tipo di parole che vogliamo prendere in considerazione e cioè i negatori, cose come "no" e "non", e li trattiamo fondamentalmente come inversioni di polarità. COSÌ |
| |
"non fantastico" significherebbe prendere il punteggio di "fantastico" e moltiplicarlo per -1. |
| |
E quindi, questo è un modo comune di fare l’analisi del sentiment, chiamata ancora analisi del sentiment lessicale. Quindi quello che facciamo è prendere i termini del sentimento che troviamo e moltiplicarli per qualsiasi intensificatore associato |
| |
o negatori e quindi per ciascun documento, quando disponiamo di tutti i punteggi del sentiment per i singoli termini visualizzati, calcoliamo semplicemente la media tra tutti essi per ottenere un punteggio del sentiment per quel documento. |
| |
E JMP ci restituisce questi punteggi in diversi modi utili. Questo è uno screenshot dello strumento di analisi del sentiment e lo utilizzeremo tra un momento. |
| |
Ma puoi vedere, tra le altre cose, che ci fornisce una distribuzione dei punteggi del sentiment su tutti i nostri documenti. Ci fornisce un elenco di tutti i termini del sentimento e la frequenza con cui si verificano. |
| |
E abbiamo anche la possibilità, come vedremo, di esportare i punteggi del sentiment per utilizzarli in grafici o analisi. |
| |
E quindi ho creato un paio di grafici qui solo per cercare di vedere, come primo passaggio iniziale, il sentimento nei rapporti del Beige Book si allinea effettivamente con gli eventi economici nel modo in cui pensiamo che dovrebbe? Sai, abbiamo davvero una certa validità in questo |
| |
sentimento come una sorta di indicatore economico? E la risposta sembra: sì, probabilmente. |
| |
Qui ho una trama che ho realizzato in Graph Builder; è il sentimento nel tempo, quindi tutti i piccoli punti grigi sono i singoli rapporti |
| |
e il tipo blu più omogeneo mostra la tendenza del sentiment nel tempo con quella linea nera a zero che mostra un sentiment neutro, almeno secondo il nostro schema di punteggio. |
| |
Le aree rosse sono |
| |
tempi di recessione economica come ufficialmente elencati dalla Federal Reserve. |
| |
Quindi potresti notare che il sentiment sembra aver toccato il fondo o che ci sono dei minimi attorno alle recessioni, ma potresti notare un'altra cosa |
| |
è che in realtà prima di ogni recessione assistiamo a un calo del sentiment con mesi o, in alcuni casi, anche con un paio di anni di anticipo. E non vediamo questi grandi cali nel sentiment |
| |
in situazioni in cui non c'era una recessione a seguire. Quindi forse c’è una certa validità nel sentimento del Beige Book come indicatore principale di una recessione. |
| |
Se lo guardiamo geograficamente, vediamo anche cose che hanno un senso. Questo è solo un esempio dell'analisi. Stiamo esaminando il sentimento nei 12 |
| |
Distretti della Federal Reserve nel tempo dal 1999 al 2000 al 2001. Questo era il periodo di quello che viene comunemente chiamato il fallimento delle Dotcom, quindi ecco quando |
| |
c’era una grande bolla di aziende tecnologiche e attività online che stava emergendo e, alla fine, molte di loro fallirono e ci furono alcune conseguenze economiche piuttosto gravi. |
| |
Il sentiment dal '99 al 2000 è in crescita, in effetti il sentiment sta crescendo in modo piuttosto forte, sembrerebbe, |
| |
nel distretto della Federal Reserve di San Francisco, dove hanno sede molte di queste società. E poi nel 2001, dopo il crollo, il calo più grande che vediamo fino al sentiment negativo in rosso qui, che si verifica nuovamente in quel distretto di San Francisco. |
| |
Quindi, anche solo un rapido controllo grafico sui punteggi del sentiment del Beige Book suggerisce che hanno una reale validità in termini di capacità di tenere traccia, forse di prevedere, alcuni eventi economici, anche se ovviamente, quest'ultimo, dobbiamo esaminare di più accuratamente. |
| |
Ma questo è solo un esempio dei potenziali casi d’uso dell’analisi del sentiment e ce ne sono molti altri. |
| |
Una delle maggiori aree di applicazione in cui viene utilizzato in questo momento è la ricerca sui consumatori, dove le persone potrebbero, diciamo, analizzare |
| |
alcune risposte al sondaggio tra i consumatori per identificare ciò che guida opinioni o reazioni positive o negative. |
| |
Ma l’analisi del sentiment può essere utilizzata anche, ad esempio, nel miglioramento del prodotto in cui l’analisi delle recensioni dei prodotti o delle richieste di garanzia potrebbe aiutarci a trovare caratteristiche o problemi del prodotto che suscitano forti risposte emotive nei nostri clienti. |
| |
Osservando, ad esempio, l'assistenza clienti, potremmo analizzare il call center o le chat... le trascrizioni delle chat |
| |
trovare alcune pratiche di supporto che si traducono in clienti felici o infelici. Forse anche per quanto riguarda le politiche pubbliche, analizziamo i commenti aperti per valutare la reazione del pubblico alle politiche proposte o esistenti. |
| |
Questi sono solo alcuni degli ambiti in cui è possibile applicare l’analisi del sentiment. È davvero applicabile ovunque tu abbia del testo che trasmette qualche emozione e quell'emozione potrebbe essere informativa. |
| |
Quindi questo è tutto quello che voglio dire in anticipo. Ora vorrei dedicare un po' di tempo a spiegarvi come funziona in JMP, quindi passiamo a JMP. |
| |
Qui abbiamo i dati del Beige Book, quindi in basso potete vedere che qui abbiamo poco più di 5.000 rapporti e abbiamo la data di ciascun rapporto da |
| |
Maggio 1972 ottobre 2020, da quale delle 12 circoscrizioni proviene, e poi il testo del verbale. E puoi vedere che questi rapporti, |
| |
non sono solo brevi affermazioni su come l'economia sta andando bene o male, possono entrare in un certo livello di dettaglio. |
| |
Ora, prima di immergerci in questi dati, voglio solo ringraziare qualcuno per l'idea di analizzare il Beige Book e per aver estratto i dati e averli inseriti in JMP, in un modo |
| |
formato pronto per l'analisi. E questo ringraziamento va a Xan Gregg che, se non lo sai, Xan è un direttore del team di sviluppo JMP e il creatore di Graph Builder, quindi grazie, Xan, per il tuo aiuto. |
| |
Va bene, quindi quantifichiamo il grado di emozioni positive e negative in tutti questi rapporti. Utilizzeremo Text Explorer nel menu Analizza. |
| |
Qui abbiamo la nostra finestra di lancio. Prenderò i nostri dati di testo e li inserirò nel ruolo delle colonne di testo. Un paio di cose da evidenziare prima di iniziare. |
| |
Text Explorer supporta più lingue, ma al momento l'analisi del sentiment è disponibile solo in inglese e un'altra cosa su cui voglio attirare l'attenzione deriva proprio da qui. |
| |
Quindi, per coloro che fanno analisi di testo probabilmente avete familiarità con ciò che è lo stemming, ma per coloro che non hanno familiarità, lo stemming è un processo mediante il quale in un certo senso collassiamo multipli... |
| |
beh, per mantenerlo non tecnico...più versioni della stessa parola insieme. Prendi "forte", "più forte" e "più forte". Quindi questi sono tre |
| |
versioni della stessa parola "forte" e in alcune tecniche di text mining, vorresti effettivamente combinarli tutti in un unico termine e dire semplicemente, oh, significano tutti "forte" perché concettualmente è più o meno la stessa cosa. |
| |
In realtà lascerò il termine qui, ed è perché... prendi "più forte", che descrive quanto forte può diventare qualcosa |
| |
contro "più forte", che dice che sai che è forte, ma c'è ancora spazio per essere ancora più forte. |
| |
Quindi "più forte" dovrebbe probabilmente ottenere un punteggio di sentimento più alto rispetto a "più forte" e, se dovessi arginare, perderei la distinzione tra quelle parole. Poiché non voglio perdere questa distinzione, voglio assegnare loro punteggi di sentiment diversi. Continuerò a partire da qui. |
| |
Quindi farò clic su OK. |
| |
E JMP ora tokenizzerà il nostro testo, ovvero lo suddividerà in tutte le sue singole parole e poi conterà la frequenza con cui ciascuna di esse ricorre. |
| |
E qui abbiamo un elenco di tutti i termini e quanto sono frequenti. Quindi le "vendite" si verificano più di 46.000 volte e qui abbiamo anche il nostro elenco di frasi. Così sono le frasi |
| |
sequenze di due o più parole che ricorrono spesso e che a volte vogliamo effettivamente contarle come termini nel nostro |
| |
analisi. E per l'analisi del sentiment, dovresti scorrere il tuo elenco di frasi e, diciamo, magari aggiungere "immobiliare", che è formato da due parole, ma in realtà si riferisce alla proprietà. |
| |
E potrei aggiungerlo. Normalmente nell'analisi del testo aggiungiamo anche quelle che vengono chiamate parole stop, |
| |
si tratta di parole che non hanno realmente significato nel contesto della nostra analisi e che vorremmo escludere. Prendi "distretto". Questo accade...o usa il Beige Book |
| |
la parola "distretto" frequentemente, semplicemente dicendo, sai, "questo rapporto dal distretto di Richmond", qualcosa del genere, non ha davvero significato. |
| |
Ma in realtà non mi preoccuperò delle parole chiave qui e questo perché, se ricordi, |
| |
tornando dalle nostre diapositive, abbiamo detto che tutti i nostri punteggi relativi ai sentimenti si basano su un dizionario, in cui scegliamo le parole relative ai sentimenti e quale punteggio dovrebbero ottenere. |
| |
E se tralasciamo semplicemente "distretto", otterrà intrinsecamente un punteggio pari a 0 e non influirà sul nostro punteggio di sentiment, quindi non ho davvero bisogno di dichiararlo come una parola d'ordine. |
| |
Quindi, una volta pronti, invocheremo l'analisi testuale o, scusatemi, l'analisi del sentiment sotto il triangolo rosso qui. |
| |
Pertanto, ciò che JMP sta facendo in questo momento, poiché non abbiamo dichiarato alcun termine di sentimento o altro, sta utilizzando un dizionario di sentimento integrato per assegnare un punteggio a tutti i documenti. Qui pubblichiamo i nostri punteggi. |
| |
Ora, prima di esplorare questi risultati, probabilmente dovremmo personalizzare il nostro dizionario dei sentimenti, quindi le parole che contengono i sentimenti e i loro punteggi. E questo perché in ambiti diversi, |
| |
forse con persone diverse che generano il testo, alcune parole porteranno diversi livelli di sentimento o porteranno sentimento in un caso e non in un altro. Quindi lo vogliamo |
| |
creiamo davvero con molta attenzione e in modo approfondito un dizionario dei sentimenti in cui riteniamo che il sentimento sia stato catturato in modo accurato così come viene trasmesso dal linguaggio che stiamo analizzando in questo momento. |
| |
Quindi JMP, come ho detto, utilizza un dizionario integrato ed è piuttosto scarso. Puoi vederlo proprio qui, ha alcune emoticon, |
| |
come queste piccole faccine e quant'altro, ma poi abbiamo un linguaggio che esprime sentimenti piuttosto chiaro, come "abissale" a -90. |
| |
Ora, probabilmente non è il caso che qualcuno usi la parola "abissale" e non la intenda in senso negativo, quindi ci sentiamo abbastanza bene al riguardo. Ma, sai, non è un elenco molto lungo e potremmo voler aggiungervi alcuni termini. |
| |
Quindi vediamo come lo facciamo e una cosa che posso consigliare è semplicemente guardare i tuoi dati. Sai, leggi alcuni dei documenti che hai e prova a trovare alcune parole che ritieni possano essere indicative di sentimento. |
| |
In realtà abbiamo qui uno strumento che ci consente di esaminare i nostri documenti e aggiungere direttamente termini di sentimento da essi. Quindi qui ho un elenco di documenti. Puoi vedere il Documento 1 evidenziato e il Documento 1 visualizzato di seguito. Potrei selezionare diversi documenti per visualizzarli. |
| |
Ora, se guardiamo il Documento 1, subito, potresti notare un paio di potenziali termini sentimentali come "pessimismo" e "ottimismo". |
| |
Ora puoi vedere che questi non sono evidenziati. Questi in realtà non sono inclusi nel dizionario dei sentiment standard. |
| |
E molti sostantivi che troverai in realtà non lo sono, e questo perché nomi come "pessimismo" o "ottimismo" possono essere descritti in modi che suggeriscono la loro presenza o la loro assenza, in pratica. Quindi potrei dire, sai, "il pessimismo sta diminuendo" o |
| |
"c'è una netta mancanza di pessimismo", "il pessimismo non viene più riportato". |
| |
E, in questi casi, non diremmo che il “pessimismo” sia una cosa negativa. È... quindi devi stare attento e pensare alle parole nel contesto e al modo in cui vengono effettivamente utilizzate prima di aggiungerle a un dizionario dei sentimenti. |
| |
Ad esempio, potrei tornare al nostro elenco di termini qui. Mostrerò semplicemente il filtro, |
| |
cerca "pessimismo" e poi mostra il testo per vedere come viene utilizzato. Quindi possiamo vedere in questo primo esempio: "lo stato d'animo dei nostri amministratori varia dal pessimismo all'ottimismo". |
| |
E quello successivo |
| |
"conversazioni private un profondo stato d'animo di pessimismo." Se leggi attentamente, questo è l'uso tipico, quindi in realtà nel Beige Book non sembra che usino la parola pessimismo nel modo che potrei temere, |
| |
"L'ottimismo è in aumento." |
| |
Quindi in realtà mi va bene aggiungere qui il "pessimismo", quindi aggiungiamolo al nostro dizionario dei sentimenti. |
| |
Quindi, se ci passo sopra, |
| |
puoi vedere che vengono visualizzate alcune opzioni su cosa farne. Quindi qui posso, diciamo, dargli un punteggio di -60. |
| |
E così ora verrà aggiunto al nostro dizionario con il punteggio corrispondente e attiverà il punteggio del sentiment aggiornato in JMP. Quindi ora sta cercando la parola "pessimismo" e aggiustando tutti i punteggi del documento dove la trova. |
| |
Torniamo ora indietro per dare un'occhiata ai nostri termini di sentiment in modo più dettagliato. Se scorro verso il basso trovo "pessimismo" |
| |
proprio qui con il punteggio di -60 che gli ho appena dato. Ora, in realtà, potrei volerlo... se noti, "pessimistico" ha, per impostazione predefinita, un punteggio di -50, quindi forse digito semplicemente -50 qui per renderlo coerente. |
| |
E potrei, ma non lo farò, solo per non attivare un altro aggiornamento. |
| |
Noterai anche, proprio qui, questo elenco di possibili termini di sentimento. Questi sono quindi i termini che JMP ha identificato come potenzialmente portatori di sentimenti e potresti volerli dare un'occhiata e prenderli in considerazione per includerli nel tuo dizionario. |
| |
Ad esempio, la parola "forte" qui, se guardi alcuni dei testi del documento a destra, potresti dire, okay, questa è chiaramente una cosa positiva. E se hai guardato molti di questi esempi, questo risalta davvero |
| |
la parola “forte” e corrispondentemente “debole” sono parole che questi economisti usano molto per parlare di aspetti positivi o negativi dell’economia attuale. |
| |
Quindi potrei aggiungerli, o aggiungere "forte" qui cliccando, diciamo, sul positivo 60 nei pulsanti lassù. Ancora una volta, non lo farò adesso, solo per accelerare il nostro sguardo all'analisi del sentiment. |
| |
Quindi potremmo esaminare, proprio come i nostri testi in basso, potremmo esaminare il nostro elenco di termini di sentimento qui per scegliere alcuni buoni candidati. |
| |
Sotto il triangolo rosso possiamo anche gestire i termini del sentiment in modo più diretto, quindi è solo per intero |
| |
elenchi di gestione dei termini a cui potremmo essere abituati per un utente di Text Explorer, così come la gestione delle frasi e la gestione delle parole stop. |
| |
Come puoi vedere, abbiamo aggiunto un nuovo termine locale a questa particolare analisi, oltre a tutti i nostri termini integrati. Naturalmente, potremmo anche dichiarare delle eccezioni, se vogliamo semplicemente non includerne alcune. |
| |
E, cosa più importante, puoi anche importare ed esportare il tuo dizionario dei sentimenti. Un altro modo per dichiarare i termini del sentiment è consultare esperti in materia. Sai, |
| |
Gli economisti probabilmente avrebbero molto da dire sul tipo di parole che si aspetterebbero di vedere in grado di trasmettere chiaramente |
| |
emozioni positive o negative in questi resoconti. E se potessimo parlare con loro, vorremmo sapere cosa hanno da dire a riguardo, e potremmo anche essere in grado di ricavare un dizionario, ad esempio, in un file separato da tabulazioni con loro e poi importarlo qui. |
| |
E poi, ovviamente, una volta creato un dizionario che ci piace, dovremmo esportarlo e salvarlo in modo che sia facile applicarlo nuovamente in futuro. |
| |
Questo è un po' il modo in cui cureresti effettivamente il tuo dizionario dei sentimenti. Sarebbe anche importante |
| |
cura i tuoi termini di intensificazione e i tuoi termini di negazione e, ancora una volta, non vedi i punteggi qui, perché queste sono solo inversioni di polarità. |
| |
Giusto per mostrarti qualcosa in più su come appare realmente, se... diamo un'occhiata al sentiment qui, così possiamo vedere i casi in cui |
| |
JMP ha trovato la parola "non" prima di alcuni di questi termini espressivi e ha effettivamente applicato il punteggio appropriato. Quindi in alto lì, "non accettabile" ottiene un punteggio di -25. |
| |
Quindi ve lo mostro solo per attirare la vostra attenzione sul fatto che questi negatori e intensificatori vengono applicati automaticamente da JMP. |
| |
Ma passiamo comunque dal parlare di come impostare l'analisi all'osservazione vera e propria dei risultati. Quindi parlerò |
| |
una versione dell'analisi che è già stata eseguita, ovvero ho già curato il dizionario del sentiment e possiamo effettivamente iniziare a interpretare i risultati che otteniamo. |
| |
Quindi qui abbiamo il nostro riepilogo di alto livello, quindi abbiamo più documenti positivi che negativi. Come abbiamo discusso prima, possiamo vedere quanti di ciascuno. Infatti, in fondo alla tabella a sinistra, vedete che abbiamo un documento in cui non è espresso alcun sentimento. |
| |
"forte" ricorre 14.000 volte, "debole" ricorre circa 4.500 volte |
| |
e osservandoli in base ai loro conteggi o ai loro punteggi, considerando gli aspetti più negativi e positivi, |
| |
anche guardarli nel contesto può essere piuttosto informativo di per sé. Voglio dire, soprattutto in un ambito come la ricerca sui consumatori, se vuoi sapere quando le persone si sentono positive o esprimono positività |
| |
sul nostro marchio o su alcuni prodotti che abbiamo, che tipo di linguaggio usano, forse questo potrebbe informare gli sforzi di marketing, diciamo. Questo elenco di termini di sentimento può essere molto informativo a questo riguardo. |
| |
produzione, |
| |
turismo, investimenti. E a volte vogliamo concentrarci su uno di questi sottodomini in particolare, quella che potremmo chiamare una funzionalità. |
| |
E se vado a questa scheda delle funzionalità nell'analisi del sentiment, farò clic su Cerca. JMP trova alcune parole che ricorrono comunemente con i termini di sentimento e chiede se si desidera approfondire il sentimento rispetto a quella caratteristica. |
| |
Prendiamo ad esempio le "vendite". Possiamo vedere "le vendite sono state segnalate deboli", "indebolimento delle vendite", "le vendite sembrano reggere bene" e così via. |
| |
Quindi, se attribuisco un punteggio solo a questa funzionalità selezionata, ora ciò che JMP farà sarà fornire punteggi di sentiment solo rispetto alla menzione delle "vendite" all'interno di questi report più ampi, e questo ci aiuterà a perfezionare la nostra analisi o a concentrarla su un aspetto davvero ben... sottodominio definito. |
| |
E questo è particolarmente importante. |
| |
Potrebbe essere il caso che il dominio nella lingua che stiamo analizzando non sia così ben ristretto. Prendiamo, ad esempio, |
| |
Recensioni dei prodotti. Ti interessa sapere quanto le persone si sentono positive o negative riguardo al prodotto, ma potrebbero anche parlare, ad esempio, della spedizione e non ti interessa necessariamente se non fossero troppo contente della spedizione, principalmente perché è fuori dal tuo controllo . |
| |
Non vorrai includere solo un mucchio di recensioni che commentano anche quella spedizione. E quindi è importante considerare il dominio di analisi e restringerlo in modo appropriato e il cercatore di funzionalità qui è un modo per farlo. |
| |
Quindi ora puoi vedere che ho ottenuto un punteggio in "vendite", abbiamo una distribuzione molto diversa di documenti positivi e negativi. Abbiamo più documenti che non hanno un punteggio di sentiment perché loro |
| |
semplicemente non parliamo di vendite o non usiamo un linguaggio emotivo per discuterne, e ora abbiamo un elenco diverso di termini di sentimento che catturano in particolare le vendite. |
| |
Lasciami rimuovere questo. |
| |
Una cosa che mi sono reso conto di aver dimenticato di menzionare, l'ho menzionata brevemente, è come vengono calcolati questi punteggi complessivi dei documenti che abbiamo esaminato, e ho detto che sono la media di tutti i termini di sentimento di... |
| |
avvenuto in un determinato documento. Quindi diamo un'occhiata al Documento 1. Vorrei solo mostrartelo |
| |
se ti stai chiedendo da dove viene questo punteggio, diciamo -20, puoi semplicemente scorrere il mouse sopra e ti mostrerà un elenco di tutti i termini di sentimento che sono apparsi. |
| |
E potete vedere, qui ne abbiamo 16, inclusi tutti in basso, "il vero punto luminoso", che era un +78 e poi, se dividi... somma tutti quei punteggi. dividere per 78... |
| |
o dividi per 16, scusami, otterrai un sentimento medio di -20. E questo è uno dei due modi per fornire punteggi complessivi. Un altro è un punteggio minimo massimo, quindi differenze tra minimo e massimo |
| |
sentimenti espressi nel testo. |
| |
Ora possiamo ottenere molte informazioni guardando solo questo rapporto, ovviamente i punteggi del sentiment, i termini più comuni. |
| |
Ma spesso vogliamo prendere i sentimenti e usarli in qualche altro modo, ad esempio |
| |
guardateli graficamente, come abbiamo fatto nelle diapositive. Quindi, quando arriva il momento di quella parte della tua analisi, vai al triangolo rosso qui |
| |
e salvare i punteggi del documento. E questi salveranno quei punteggi nella tua tabella dati in modo che tu possa inserirli in ulteriori analisi o rappresentarli graficamente, qualunque cosa tu voglia fare. |
| |
Questa è un'anteprima dell'analisi del sentiment in arrivo su Text Explorer in JMP Pro 16. L'idea da portare a casa è che l'analisi del sentiment utilizza un dizionario del sentiment che |
| |
hai impostato per fornire punteggi corrispondenti al contenuto emotivo positivo e negativo di ciascun documento e quindi da lì puoi utilizzare tali informazioni in qualsiasi modo che sia informativo per te. |
| |
Quindi lasceremo alle spalle l'analisi del sentiment per ora e torneremo alle nostre diapositive per parlare dell'altra tecnica che presto sarà disponibile in Text Explorer. |
| |
E questa è la selezione dei termini, dove la selezione dei termini risponde a una domanda diversa, e cioè quali termini sono più fortemente associati a qualche variabile importante o a cui tengo? |
| |
Resteremo fedeli al Beige Book. |
| |
Ci chiederemo quali parole sono statisticamente associate alle recessioni. Quindi nel grafico qui abbiamo la variazione percentuale nel tempo |
| |
PIL (prodotto interno lordo) trimestre per trimestre, dove il blu mostra la crescita economica, il rosso mostra la contrazione economica. E potremmo chiederci, beh, cosa |
| |
termini, così come appaiono nel Beige Book, potrebbero essere statisticamente associati a questi periodi di recessione economica? Ad esempio, alcuni di loro proprio qui. |
| |
Sapete, perché dovremmo voler associare termini specifici del Beige Book a periodi di recessione economica? |
| |
Bene, potrebbe essere potenzialmente informativo di per sé ottenere un elenco di termini. Sai, potrei trovarne qualcuno potenzialmente, sai, sottile |
| |
fattori o effetti delle recessioni di cui potrei non essere a conoscenza o che potrei non catturare facilmente in dati quantitativi. |
| |
Potrei anche trovare alcune parole per ulteriori analisi. Potrei...potrei trovarne qualcuno |
| |
potenziali termini di sentiment, alcuni termini che vengono utilizzati quando l'economia sta andando particolarmente male e che mi sono perso la prima volta mentre stavo facendo la mia analisi del sentiment. |
| |
O forse potrei trovare alcune parole che sono così fortemente associate alle recessioni da poterle utilizzare in un modello predittivo per cercare di capire quando potrebbero verificarsi recessioni in futuro. |
| |
Esistono quindi diversi motivi per cui potremmo voler sapere quali parole sono più fortemente associate alle recessioni. |
| |
Quindi, come funziona in JMP? Bene, fondamentalmente costruiamo un modello di regressione in cui la variabile di risultato è quella variabile che ci interessa, le recessioni, e gli input sono tutte parole diverse. |
| |
I dati inseriti nel modello assumono la forma di una matrice dei termini del documento, a cui corrisponde ciascuna riga |
| |
un documento o un report del Beige Book, quindi le colonne catturano le parole che ricorrono in quel report. Qui abbiamo evidenziato la colonna "debole" e dice "binario", il che significa questo |
| |
conterrà 1 e 0; un 1 indica che quel rapporto conteneva la parola "debole" e 0 indica che quel rapporto non conteneva la parola "debole". E questo è uno dei tanti modi in cui potremmo valutare i documenti, ma per ora ci atteniamo a questo binario. |
| |
Quindi prendiamo queste informazioni e le inseriamo in un modello di regressione. Quindi ecco come sarebbe il lancio. |
| |
Abbiamo la nostra recessione come variabile Y e questa è semplicemente una specie di variabile sì o no, e poi abbiamo tutti questi predittori di termini binari inseriti come effetti del nostro modello. |
| |
Successivamente utilizzeremo lo strumento di regressione generalizzata di JMP Pro |
| |
per costruire il modello, e questo perché la regressione generalizzata o GenReg, come la chiamiamo noi, include tecniche di selezione automatica delle variabili. Quindi, se hai familiarità con |
| |
regressione regolarizzata, parliamo come del Lasso o della rete elastica. E se non sai cosa significa, va benissimo. L'idea è che lo farà automaticamente |
| |
troverà quali termini sono più fortemente associati alla variabile di risultato "recessione", e poi quelli che non ritiene siano associati ad essa, li azzererà. |
| |
E questo ci permette di esaminare le relazioni tra "recessione" e forse di conoscere centinaia, migliaia di possibili parole che potrebbero essere associate ad esse. |
| |
Quindi cosa otteniamo quando eseguiamo l'analisi? |
| |
Tiriamo fuori un modello. Quindi quello che abbiamo qui è l'equazione per quel modello. Non preoccuparti troppo. l'idea è che diciamo |
| |
le probabilità logaritmiche di recessione, quindi è semplicemente una funzione della probabilità che siamo in recessione e il momento in cui viene pubblicato il Beige Book è una funzione di |
| |
tutte le diverse parole che potrebbero comparire nel rapporto Beige Book. |
| |
E potete vedere che abbiamo l'effetto della presenza della parola "pandemia" con un coefficiente di 1,94. |
| |
Ciò significa semplicemente che le probabilità logaritmiche di “recessione” aumentano di 1,94 se il rapporto del Beige Book menziona la parola “pandemia”. Quindi vediamo meno 1,02 volte il "guadagno". Ebbene, ciò significa che se il rapporto del Beige Book menziona la parola "guadagno", allora la probabilità di recessione... |
| |
oppure le probabilità logaritmiche di recessione scendono di 1,02. |
| |
Ne ricaviamo quindi un elenco di termini fortemente associati a un aumento della probabilità di recessione, cose come "pandemia", "rinvio", "cancellazione", "pignoramenti". |
| |
E otteniamo anche un elenco di termini associati a una probabilità decrescente di recessione, come "guadagno", "rafforzamento", "competizione". |
| |
Vediamo anche "produzione" proprio lì, ma ha un coefficiente relativamente piccolo, circa -0,2. |
| |
E in realtà noterete qui, e se guardiamo una rappresentazione grafica di tutti i termini selezionati in questa analisi, non vedete molti domini specifici come "produzione", |
| |
"turismo", "investimenti" e tutto il resto. Questo perché di queste cose si parla sempre, sia che siamo in recessione o meno, quindi quello che cerchiamo veramente sono le parole che vengono usate, |
| |
sai, quando siamo in recessione più spesso di quanto ti aspetteresti per caso. Quindi abbiamo...per esempio, quelli lo sono |
| |
"pandemia" è il più predittivo. Ha molto senso. Non parliamo affatto di pandemie fino a poco tempo fa e poi abbiamo anche sperimentato la recessione di recente, quindi l'abbiamo capito abbastanza chiaramente. |
| |
Poi ne abbiamo alcuni altri in questo, una specie di secondo livello, quindi "rinviato", "annullato", "pignorato", "deteriorato", "pessimista". |
| |
Ed è piuttosto interessante che questo “rinvio” e “cancellazione” siano associati alle recessioni. È logico, si vuole davvero parlare di rinvio, ad esempio, dell’attività economica |
| |
quando è in corso una recessione, o almeno questa è forse una tendenza affidabile. È... quindi questa è intuizione, in sé e per sé. In effetti, io |
| |
Voglio dire, non potrei dirvi in che modo la Federal Reserve tiene traccia del rinvio o dell'annullamento delle attività economiche, ma il fatto che tali termini vengano contrassegnati in questa analisi suggerisce che probabilmente vale la pena monitorare. |
| |
Va bene, questa è la selezione dei termini. In realtà otteniamo questo simpatico elenco di termini associati alle recessioni e possiamo vedere la forza relativa dell'associazione. Ora vediamolo brevemente qui, come è fatto in JMP. |
| |
Quindi tornerò su JMP e quello che faremo sarà visualizzare una tabella dati leggermente diversa. Sono ancora i dati del Beige Book, ora abbiamo solo i rapporti nazionali. |
| |
E abbiamo questa variabile di accompagnamento, indipendentemente dal fatto che gli Stati Uniti fossero o meno in recessione in quel momento. E ovviamente c'è una certa autocorrelazione in questi dati. Voglio dire, se siamo stati in recessione il mese scorso, è più probabile che saremo in recessione questo mese che se non lo fossimo. |
| |
E sai che in genere potrebbe essere un problema per le analisi basate sulla regressione, ma questo è puramente esplorativo. Non ne siamo troppo preoccupati. |
| |
Quindi prenderò semplicemente Text Explorer da uno script di tabella solo perché abbiamo già visto come viene avviato in precedenza. |
| |
Nota però che ho già scritto alcune frasi, come abbiamo fatto prima. Ho anche aggiunto alcune parole chiave, che non puoi vedere qui, ma parole che non voglio che vengano necessariamente restituite da questa analisi. |
| |
E ho attivato la derivazione, che è il significato di quei puntini nell'elenco dei termini. Ad esempio, questo per "aumento" ora in realtà crolla in "aumenta", "in aumento", "sempre più". |
| |
E questo perché ora, in un certo senso, li considero tutti lo stesso concetto, e voglio solo sapere se, sai, quel concetto è associato alle recessioni. |
| |
Quindi, per invocare la selezione dei termini, andremo semplicemente al triangolo rosso e lo selezionerò qui. |
| |
Per prima cosa viene visualizzata una finestra di controllo, o dovrei dire una sezione, in cui selezioniamo la variabile che ci interessa, ovvero le recessioni. Seleziona il livello target, quindi voglio che sia in termini di probabilità di recessione, anziché di probabilità di nessuna recessione. |
| |
Posso specificare alcune impostazioni del modello. Se hai familiarità con GenReg, vedrai che puoi scegliere se desideri un arresto anticipato, se desideri uno dei due diversi |
| |
penalizzazioni per eseguire la selezione delle variabili, quale statistica si desidera eseguire la convalida. E se quella roba ti è nuova, non preoccuparti troppo. Le impostazioni predefinite sono una buona soluzione all'inizio. |
| |
Abbiamo la nostra ponderazione, se ricordi, avevamo gli 1 e gli 0 in quella colonna per "debole", semplicemente dicendo se la parola era presente o meno in un documento, ma puoi selezionare ciò che vuoi. COSÌ |
| |
per esempio, la frequenza non è, si è verificato o meno il "debole", è quante volte si è verificato. E questo influisce sul modo in cui interpreteresti i risultati. Per ora ci limiteremo al binario. |
| |
Ma dirò che voglio controllare i 1.000 termini più frequenti, invece dei 400 predefiniti, che puoi vedere, che sono molto più di 436, e normalmente non puoi adattare un modello con 1.000 X ma solo 436 |
| |
osservazioni, ma grazie al |
| |
selezione automatica delle variabili nella regressione generalizzata, questo non è un problema. Quindi, ancora una volta, seleziona quale tra questi mille termini è più fortemente correlato, da qui il nome selezione del termine. |
| |
Quindi lo eseguirò. Puoi vedere cosa è successo se JMP ha richiamato la piattaforma di regressione generalizzata e ha restituito questi risultati, mentre qui sopra vediamo alcune informazioni sul modello così come era adatto. Ad esempio, sono stati restituiti 37 termini. |
| |
Lasciami semplicemente spostare questo argomento. Perché qui a destra troviamo alcune informazioni davvero preziose. Questo è l’elenco dei termini più fortemente associati alla recessione. |
| |
Ora li ordinerò in base al coefficiente per trovare quelli più fortemente associati alla probabilità di recessione, quindi ancora una volta si parla di "pandemia" "rinvio" "cancellazioni" e, come ci si potrebbe aspettare, a questo punto se clicco su uno dei questi, aggiornerà queste anteprime |
| |
o questi frammenti di testo in basso, così possiamo effettivamente vedere questa parola nel contesto. |
| |
Quindi questo elenco di termini di per sé potrebbe essere incredibilmente prezioso. Tu, potresti imparare alcune cose su termini o concetti specifici che sono importanti che potresti non conoscere prima. È inoltre possibile utilizzare questi termini nei modelli predittivi. |
| |
Ora alcune altre cose da notare. |
| |
Puoi vedere qui sotto, ancora una volta abbiamo una tabella per ogni singolo documento, ma invece dei punteggi del sentiment, ora abbiamo fondamentalmente i punteggi del modello. Ne abbiamo per ciascuno |
| |
IL... |
| |
quello che chiamiamo contributo positivo, quindi questo è il contributo dei coefficienti positivi che prevedono la probabilità di recessione. Qui abbiamo quelli sul lato negativo. |
| |
E poi abbiamo anche la probabilità di recessione secondo il modello, qui il 71,8% rispetto a quanto effettivamente osservato. |
| |
E qui non stiamo costruendo necessariamente un modello predittivo, cioè non userò questo modello per cercare di prevedere le recessioni. Voglio dire, ho tutti i tipi di variabili indicatore economico che utilizzerei |
| |
anche, ma questo è un buon modo per controllare sostanzialmente la sanità mentale del tuo modello. Sembra che alcune delle sue previsioni siano state corrette? |
| |
Perché se non lo è, potresti non fidarti dei termini restituiti. Hai anche molte altre informazioni per provare a dare quel giudizio. Voglio dire, abbiamo alcune statistiche sugli adattamenti, come l'area sotto la curva qui sopra. |
| |
Oppure possiamo anche accedere alla piattaforma di regressione generalizzata, con tutte le sue normali opzioni per valutare ulteriormente il tuo modello. |
| |
Non entrerò nei dettagli qui, ma tutto ciò è a tua disposizione in modo che tu possa valutare il tuo modello, modificare il tuo modello come preferisci, per assicurarti di avere un elenco di termini con cui ti trovi bene. |
| |
Ora vedi proprio qui, abbiamo questo, sotto il riepilogo, questo elenco di modelli e questo perché potresti voler eseguire più modelli. Quindi, se torno al modello... oh, scusami... se torniamo al nostro |
| |
impostazioni qui, potrei effettivamente eseguire un modello leggermente diverso. Forse, ad esempio, so che il BIC è un po' più conservativo dell'AICc e voglio restituire meno termini, forse ho fatto un'analisi che ha restituito 900 termini e sei un po' sopraffatto. |
| |
Quindi farò clic su Esegui e creerò un altro modello utilizzando quello. |
| |
E ora abbiamo aggiunto quel modello al nostro elenco qui e posso passare da un modello all'altro per vedere i risultati per ciascuno. In questo caso abbiamo restituito solo 14 termini, invece di 37 e scenderei a valutarli di seguito. |
| |
Quindi due grandi risultati che otterresti da questo, ovviamente, sono questo elenco di termini. Se vuoi salvarlo, questi sono solo termini importanti per te e vuoi tenerne traccia, fai semplicemente clic con il pulsante destro del mouse e trasformali in una tabella dati. Ora ho una tabella JMP |
| |
con i termini, i loro coefficienti e altre informazioni. |
| |
E |
| |
se quello che vuoi fare è in realtà riscriverlo nella tabella dati originale, magari, in modo da poter utilizzare le informazioni in qualche altro tipo di analisi o modello predittivo, |
| |
vai semplicemente alla selezione dei termini e dì che vuoi salvare i punteggi dei termini come matrice dei termini del documento, e se riporto qui la nostra tabella dei dati, puoi vedere che ora ho scritto al loro |
| |
colonne per ciascuno di questi termini che sono stati selezionati. In questo caso compilato con i valori dei coefficienti e ora posso usarlo |
| |
informazioni quantitative come preferisco. |
| |
Questo è solo un po' sulla selezione dei termini. Ancora una volta, la grande idea qui è che ho trovato un elenco di termini correlati a una variabile che mi interessa e ho anche, attraverso i loro coefficienti, informazioni su quanto forte potrebbe essere quella relazione. |
| |
Allora concludiamo e basta. Abbiamo trattato due tecniche. Abbiamo appena visto la selezione dei termini, trovando quelle parole importanti. Prima di ciò abbiamo esaminato l'analisi del sentiment, in generale |
| |
quantificare il grado di emozione positiva o negativa in un testo. Queste sono due nuove tecniche di text mining in arrivo in Text Explorer di JMP Pro 16. Siamo davvero entusiasti che tu li possa mettere le mani sopra e attendiamo con impazienza il tuo feedback. |
