Altoparlante
|
Trascrizione
|
| Ross Metusalem |
Ciao a tutti e grazie per aver dedicato del tempo per scoprire come JMP sta espandendo il suo toolkit di mining di testo in JMP Pro 16 con |
| |
analisi del sentiment e selezione dei termini. |
| |
Sono Ross Metusalem, un ingegnere di sistemi JMP negli Stati Uniti sudorientali, e vi fornirò un'anteprima di queste due nuove analisi, spiegherò un po 'come funzionano e fornirò alcune best practice per usarle. |
| |
Quindi entrambe queste tecniche di analisi stanno arrivando in Text Explorer, che per coloro che non hanno familiarità, questo è JMP |
| |
strumento per analizzare quelli che chiamiamo testi liberi o non strutturati, cioè testi in linguaggio naturale. |
| |
Ed è quello che chiamiamo uno strumento di estrazione del testo, quindi è uno strumento per ricavare informazioni quantitative dal testo libero in modo che possiamo |
| |
utilizzare altri tipi di strumenti statistici o analitici per ricavare intuizioni dal testo libero o forse anche utilizzare quel testo come input per altre analisi. |
| |
Diamo quindi un'occhiata a queste due nuove tecniche di text mining che stanno arrivando in Text Explorer in JMP Pro 16 e inizieremo con l'analisi del sentiment. |
| |
L'analisi del sentiment al suo centro risponde alla domanda quanto sia emotivamente positivo o negativo un testo. |
| |
E faremo un'analisi del sentiment sul Beige Book, che è un rapporto ricorrente della Federal Reserve Bank statunitense. |
| |
Ora ci scusiamo per aver utilizzato un esempio degli Stati Uniti a JMP Discovery Europe, ma il Beige Book fornisce una bella dimostrazione di cosa sia l'analisi del sentiment. |
| |
Quindi questa è una pubblicazione mensile, contiene rapporti a livello nazionale, così come 12 rapporti a livello distrettuale, che riassumono le condizioni economiche in quei distretti, e tutti questi sono basati su informazioni qualitative, cose come interviste e sondaggi. |
| |
E i politici statunitensi possono utilizzare le informazioni qualitative nel Beige Book, insieme alle informazioni quantitative, sapete, negli indicatori economici tradizionali per guidare la politica economica. |
| |
Quindi potresti pensare, beh, stiamo parlando di sentimenti o emozioni in questo momento. Non so se mi aspetto che i rapporti economici contengano molte emozioni, ma i rapporti del Beige Book e molto linguaggio contengono effettivamente parole che possono trasportare o trasmettere emozioni. |
| |
Quindi diamo un'occhiata a un estratto da un rapporto. Ecco uno screenshot direttamente dalla nuova piattaforma di analisi del sentiment. |
| |
Noterai alcune parole evidenziate e questi sono quelli che chiameremo termini sentimentali, ovvero |
| |
termini che vorremmo sostenere hanno un contenuto emotivo. Ad esempio, in alto, "le vendite di computer, d'altro canto, sono state gravemente depresse", |
| |
dove "gravemente depresso" è evidenziato in viola, a indicare che lo consideriamo per trasmettere emozioni negative, il che sembra che se qualcuno descrive le vendite di computer come "gravemente depresso", sembra che intendano per noi interpretarlo come certamente una cosa negativa . |
| |
Se guardiamo in basso, vediamo in arancione, un paio di termini di sentiment positivi evidenziati, come "migliora" o "favorevole". Quindi possiamo cercare parole che crediamo abbiano emozioni positive o negative |
| |
viola per negativo, arancione per positivo e alcune analisi del sentiment mantengono le cose a quel livello, quindi solo una distinzione binaria, un testo positivo o un testo negativo. |
| |
Esistono altri modi per eseguire l'analisi del sentiment e, in particolare, |
| |
molti modi cercano di quantificare il grado di positività o negatività, non solo se qualcosa è positivo o negativo. Quindi considera questo altro esempio e indirizzerò la nostra attenzione fino in fondo qui, dove possiamo vedere un rapporto di "scarse vendite". |
| |
E lo confronterò con quello che abbiamo detto "le vendite di computer sono gravemente depresse". |
| |
Quindi entrambe queste sono affermazioni negative, ma penso che saremmo tutti d'accordo sul fatto che "gravemente depresso" suona molto più negativo di quanto lo sia solo "poveri". |
| |
Quindi vogliamo capire non solo un sentiment è espresso positivo o negativo, ma quanto è positivo o negativo, ed è ciò in cui l'analisi del sentiment |
| |
Text Explorer lo fa. Allora come lo fa? Bene, utilizza una tecnica chiamata analisi lessicale del sentiment che si basa su alcuni termini del sentiment e punteggi associati. |
| |
Quindi quello che stiamo vedendo in questo momento è un estratto da quello che chiameremmo un dizionario dei sentimenti che contiene i termini e i loro punteggi. |
| |
Ad esempio, il termine "fantastico" ha un punteggio positivo di 90 e il termine "cupo" in basso ha un punteggio -75. |
| |
Quindi quello che facciamo è specificare quali termini crediamo portino contenuto emotivo e il grado in cui sono positivi o negativi su una scala arbitraria, qui da -100 a 100. |
| |
Quindi possiamo trovare questi termini in tutti i nostri documenti e usarli per valutare quanto siano positivi o negativi questi documenti nel complesso. |
| |
Se ripensi al nostro esempio "gravemente depresso", quella parola "gravemente" e prende la parola "depresso" e ciò che chiamiamo lo intensifica. |
| |
È un intensificatore o un moltiplicatore del sentimento espresso, quindi abbiamo anche un dizionario di intensificatori e cosa fanno al sentimento espresso dal termine sentiment. |
| |
Ad esempio, diciamo che "incredibilmente" moltiplica il sentimento per un fattore di 1,4 dove come "piccolo" moltiplica il sentimento per un fattore di 0,3, quindi in realtà, sai, attenua il sentimento espresso un po '. |
| |
Ora, finalmente c'è un altro tipo di parola che vogliamo prendere in considerazione e cioè i negatori, cose come "no" e "no", e li trattiamo fondamentalmente come inversioni di polarità. Così |
| |
"non fantastico" sarebbe prendere il punteggio per "fantastico" e moltiplicarlo per -1. |
| |
E quindi, questo è un modo comune di eseguire l'analisi del sentiment, ancora una volta chiamata analisi del sentiment lessicale. Quindi quello che facciamo è prendere i termini del sentimento che troviamo, moltiplicarli per qualsiasi intensificatore associato |
| |
o negatori e quindi per ogni documento, quando abbiamo tutti i punteggi di sentiment per i singoli termini visualizzati, facciamo semplicemente la media di tutti per ottenere un punteggio di sentiment per quel documento. |
| |
E JMP ci restituisce questi punteggi in molti modi utili. Quindi questo è uno screenshot dallo strumento di analisi del sentiment e lo useremo, sai, tra un momento. |
| |
Ma puoi vedere, tra le altre cose, che ci fornisce una distribuzione dei punteggi del sentiment in tutti i nostri documenti. Ci fornisce un elenco di tutti i termini del sentiment e della frequenza con cui si verificano. |
| |
E abbiamo anche la possibilità, come vedremo, di esportare i punteggi del sentiment per utilizzarli in grafici o analisi. |
| |
E quindi ho effettivamente creato un paio di grafici qui per provare a vedere come un primo passo iniziale, il sentimento nei rapporti del Beige Book si allinea effettivamente con gli eventi economici in modi che pensiamo dovrebbe? Sai, abbiamo davvero una qualche validità in questo |
| |
sentimento come una sorta di indicatore economico? E la risposta sembra, sì, probabilmente. |
| |
Qui ho una trama che ho realizzato in Graph Builder; è un sentimento nel tempo, quindi tutti i puntini grigi sono i singoli rapporti |
| |
e il tipo più morbido blu mostra l'andamento del sentimento nel tempo con quella linea nera a zero che mostra un sentimento neutro, almeno secondo il nostro schema di punteggio. |
| |
Le aree rosse sono |
| |
tempi di recessione economica come ufficialmente elencato dalla Federal Reserve. |
| |
Quindi potresti notare che il sentimento sembra toccare il fondo o ci sono depressioni intorno alle recessioni, ma potresti notare un'altra cosa |
| |
è che in realtà prima di ogni recessione, vediamo un calo del sentiment mesi o, in alcuni casi, sembra anche un paio di anni in anticipo. E non vediamo questi grandi cali di sentimento |
| |
in situazioni in cui non c'era una recessione da seguire. Quindi forse c'è una qualche validità nel sentimento del Beige Book come indicatore principale di una recessione. |
| |
Se lo guardiamo geograficamente, vediamo anche cose che hanno un senso. Questo è solo un esempio tratto dall'analisi. Stiamo esaminando il sentimento nel 12 |
| |
Distretti della Federal Reserve nel tempo dal 1999 al 2000 al 2001. Questo era il tempo di quello che comunemente viene chiamato Dotcom Bust, quindi questo è il momento |
| |
c'era una grande bolla di aziende tecnologiche e attività online che stavano spuntando e, alla fine, molte di loro sono andate in rovina e ci sono state alcune conseguenze economiche piuttosto gravi. |
| |
Il sentimento dal '99 al 2000 sta crescendo, infatti il sentimento sta crescendo piuttosto fortemente, sembrerebbe, |
| |
nel distretto della Riserva Federale di San Francisco, dove hanno sede molte di queste società. E poi nel 2001, dopo il fallimento, il calo più grande che abbiamo visto fino al sentimento negativo in rosso qui, si è verificato di nuovo in quel quartiere di San Francisco. |
| |
Quindi, solo un rapido controllo grafico su questi punteggi del sentiment del Beige Book suggerisce che hanno una reale validità in termini di capacità di tracciare, forse prevedere, alcuni eventi economici, anche se ovviamente, quest'ultimo, dobbiamo esaminare di più accuratamente. |
| |
Ma questo è solo un esempio dei potenziali casi d'uso dell'analisi del sentiment e ce ne sono molti altri. |
| |
Una delle più grandi aree di applicazione in cui viene utilizzato in questo momento è nella ricerca sui consumatori, dove le persone potrebbero, diciamo, analizzare |
| |
alcune risposte a sondaggi sui consumatori per identificare cosa spinge a opinioni o reazioni positive o negative. |
| |
Ma l'analisi del sentiment può anche essere utilizzata, ad esempio, nel miglioramento del prodotto in cui l'analisi delle recensioni dei prodotti o delle richieste di garanzia potrebbe aiutarci a trovare le caratteristiche del prodotto o i problemi che suscitano forti risposte emotive nei nostri clienti. |
| |
Guardando, diciamo, l'assistenza clienti, potremmo analizzare il call center o le chat ... le trascrizioni delle chat a |
| |
trovare alcune pratiche di supporto che si traducono in clienti felici o insoddisfatti. Forse anche la politica pubblica, analizziamo commenti aperti per valutare la reazione del pubblico alle politiche proposte o esistenti. |
| |
Questi sono solo alcuni dei domini in cui è possibile applicare l'analisi del sentiment. È davvero applicabile ovunque tu abbia testo che trasmetta qualche emozione e quell'emozione potrebbe essere informativa. |
| |
Quindi è tutto quello che voglio dire in anticipo. Ora vorrei dedicare un po 'di tempo a illustrarvi come funziona in JMP, quindi passiamo a JMP. |
| |
Qui abbiamo i dati del Beige Book, quindi in basso, puoi vedere che abbiamo poco più di 5.000 rapporti qui e abbiamo la data di ogni rapporto da |
| |
Maggio 1972 Ottobre 2020, da quale delle 12 contrade proviene, e poi il testo del verbale. E puoi vedere che questi rapporti |
| |
non sono solo brevi affermazioni di sai, l'economia sta andando bene o male, possono entrare in un certo livello di dettaglio. |
| |
Ora, prima di immergerci in questi dati, voglio solo ringraziare qualcuno per l'idea di analizzare il Beige Book e per aver effettivamente estratto i dati e introdotti in JMP, in un |
| |
formato pronto per l'analisi. E questo grazie va a Xan Gregg che, se non lo sai, Xan è un direttore del team di sviluppo di JMP e il creatore di Graph Builder, quindi grazie, Xan, per il tuo aiuto. |
| |
Va bene, quindi quantificiamo il grado di emozione positiva e negativa in tutti questi rapporti. Useremo Text Explorer nel menu di analisi. |
| |
Qui abbiamo la nostra finestra di lancio. Prenderò i nostri dati di testo, li inserirò nel ruolo delle colonne di testo. Un paio di cose da evidenziare prima di iniziare. |
| |
Text Explorer supporta più lingue, ma al momento l'analisi del sentiment è disponibile solo in inglese e un'altra cosa su cui voglio attirare l'attenzione è lo stemming proprio qui. |
| |
Quindi, per coloro che fanno analisi del testo, probabilmente hai familiarità con cosa sia lo stemming, ma per coloro che non hanno familiarità, lo stemming è un processo per cui in un certo senso collassiamo più ... |
| |
beh, per mantenerlo non tecnico ... più versioni della stessa parola insieme. Prendi "forte", "più forte" e "più forte". Quindi questi sono tre |
| |
versioni della stessa parola "forte" e in alcune tecniche di estrazione del testo, dovresti combinarle tutte in un unico termine e dire semplicemente, oh, significano tutte "forte" perché concettualmente è la stessa cosa. |
| |
In realtà, lascerò il derivare da qui, ed è perché ... prendi "più forte", che descrive il più forte che qualcosa può ottenere |
| |
contro "più forte", che dice che sai che è forte, ma c'è ancora spazio perché sia ancora più forte. |
| |
Quindi "più forte" dovrebbe probabilmente ottenere un punteggio di sentiment più alto di "più forte", e se dovessi arginare, perderei la distinzione tra quelle parole. Poiché non voglio perdere questa distinzione, voglio dare loro punteggi di sentiment diversi. Continuerò a troncare qui. |
| |
Quindi farò clic su OK. |
| |
E JMP ora tokenizzerà il nostro testo, ovvero lo suddividerà in tutte le sue singole parole e quindi calcolerà la frequenza con cui ciascuna di esse ricorre. |
| |
E qui abbiamo un elenco di tutti i termini e di quanto sono frequenti. Quindi le "vendite" si verificano oltre 46.000 volte e abbiamo anche il nostro elenco di frasi qui. Quindi le frasi sono |
| |
sequenze di due o più parole che ricorrono spesso, ea volte vogliamo davvero contarle come termini nel nostro |
| |
analisi. E per l'analisi del sentiment, ti consigliamo di esaminare il tuo elenco di frasi e, diciamo, magari aggiungere "immobiliare", che è due parole, ma si riferisce davvero, sai, alla proprietà. |
| |
E potrei aggiungere quello. Ora normalmente nell'analisi del testo, aggiungeremmo anche quelle che vengono chiamate parole di arresto, |
| |
sono parole che non hanno davvero significato nel contesto della nostra analisi e che vorremmo escludere. Prendi "distretto". Questo accade ... o usa il Beige Book |
| |
la parola "distretto" frequentemente, semplicemente dicendo, sai, "questo rapporto dal distretto di Richmond", qualcosa del genere, non è realmente significativa. |
| |
Ma in realtà non mi preoccuperò delle parole d'arresto proprio qui e questo perché, se ricordi, |
| |
tornando dalle nostre diapositive, abbiamo detto che tutti i punteggi dei nostri sentimenti si basano su un dizionario, dove scegliamo le parole del sentimento e quale punteggio dovrebbero ottenere. |
| |
E se lasciamo fuori "distretto", ottiene intrinsecamente un punteggio di 0 e non influisce sul nostro punteggio di sentiment, quindi non ho davvero bisogno di dichiararlo come parola d'ordine. |
| |
Quindi, una volta che siamo pronti, invochiamo il testo o, scusatemi, l'analisi del sentiment sotto il triangolo rosso qui. |
| |
Quindi, ciò che JMP sta facendo in questo momento, poiché non abbiamo dichiarato alcun termine di sentiment o altro, sta utilizzando un dizionario di sentiment integrato per assegnare un punteggio a tutti i documenti. Qui otteniamo i nostri punteggi. |
| |
Ora, prima di navigare tra questi risultati, probabilmente dovremmo personalizzare il nostro dizionario dei sentimenti, quindi il sentimento contiene le parole ei loro punteggi. E questo perché in diversi domini, |
| |
forse con persone diverse che generano il testo, alcune parole porteranno diversi livelli di sentimento o porteranno sentimenti in un caso e non in un altro. Quindi lo vogliamo |
| |
creare un dizionario dei sentimenti in modo molto accurato e completo che riteniamo catturato con precisione il sentimento così come viene trasmesso dalla lingua che stiamo analizzando in questo momento. |
| |
Quindi JMP, come ho detto, utilizza un dizionario integrato ed è piuttosto scarso. Quindi puoi vederlo proprio qui, ha alcune emoticon, |
| |
come queste piccole faccine e quant'altro, ma poi abbiamo un sentimento abbastanza chiaro che porta un linguaggio, come "abissale" a -90. |
| |
Probabilmente non è il caso che qualcuno usi la parola "abissale" e non la intenda in senso negativo, quindi ci sentiamo abbastanza bene per questo. Ma, sai, non è un elenco così lungo e potremmo voler aggiungere alcuni termini ad esso. |
| |
Quindi vediamo come lo facciamo e una cosa che posso consigliare è solo guardare i tuoi dati. Sai, leggi alcuni dei documenti che hai e prova a trovare alcune parole che ritieni possano essere indicative di sentimenti. |
| |
In realtà abbiamo qui uno strumento che ci consente di esaminare i nostri documenti e aggiungere direttamente termini di sentiment da essi. Quindi qui, ho un elenco di documenti. Puoi vedere che il documento 1 è evidenziato e quindi il documento 1 viene visualizzato sotto. Potrei selezionare diversi documenti per visualizzarli. |
| |
Ora, se guardiamo subito al documento 1, potresti notare un paio di potenziali termini di sentimento come "pessimismo" e "ottimismo". |
| |
Ora puoi vedere che non sono evidenziati. Questi in realtà non sono inclusi nel dizionario dei sentimenti standard. |
| |
E molti nomi che troverai in realtà non lo sono, e questo perché nomi come "pessimismo" o "ottimismo" possono essere descritti in modi che suggeriscono la loro presenza o la loro assenza, fondamentalmente. Quindi potrei dire, sai, "il pessimismo sta diminuendo" o |
| |
"c'è una netta mancanza di pessimismo", "il pessimismo non viene più segnalato". |
| |
E, in quei casi, non diremmo che il "pessimismo" è una cosa negativa. È ... quindi devi stare attento e pensare alle parole nel contesto e al modo in cui vengono effettivamente utilizzate prima di aggiungerle a un dizionario dei sentimenti. |
| |
Ad esempio, potrei tornare al nostro elenco di termini qui. Mostrerò solo il filtro, |
| |
cerca "pessimismo" e poi mostra il testo per vedere come viene utilizzato. Quindi possiamo vedere in questo primo esempio, "lo stato d'animo dei nostri amministratori varia dal pessimismo all'ottimismo". |
| |
E il prossimo |
| |
"conversazioni private un profondo stato d'animo di pessimismo." Se leggi davvero, questo è l'uso tipico, quindi in realtà nel Beige Book, non sembrano usare la parola pessimismo nei modi che potrei temere, |
| |
"l'ottimismo sta aumentando." |
| |
Quindi in realtà mi sento a mio agio ad aggiungere "pessimismo" qui, quindi aggiungiamolo al nostro dizionario dei sentimenti. |
| |
Quindi se ci passo sopra, |
| |
puoi vedere che mostriamo alcune opzioni su cosa farne. Quindi qui posso, diciamo, assegnargli un punteggio di -60. |
| |
E così ora verrà aggiunto al nostro dizionario con il punteggio corrispondente e verrà attivato il punteggio del sentiment aggiornato in JMP. Quindi ora sta cercando la parola "pessimismo" e aggiusta tutti i punteggi del documento dove la trova. |
| |
Quindi torniamo indietro ora per dare un'occhiata ai nostri termini di sentimento in modo più dettagliato. Se scorro verso il basso, troverai "pessimismo" |
| |
proprio qui con il punteggio di -60 che ho appena dato. Ora potrei voler effettivamente ... se noti, "pessimistico" è, per impostazione predefinita, ha un punteggio di -50, quindi forse digito -50 qui per renderlo coerente. |
| |
E potrei ma non ho intenzione di farlo, solo per non attivare un altro aggiornamento. |
| |
Noterai anche, proprio qui, questo elenco di possibili termini di sentiment. Quindi questi sono termini che JMP ha identificato come suscettibili di sentimento, e potresti volerli dare un'occhiata e prenderli in considerazione per l'inclusione nel tuo dizionario. |
| |
Ad esempio, la parola "forte" qui, se guardi alcuni dei testi del documento a destra, potresti dire, ok, questa è chiaramente una cosa positiva. E se hai guardato molti di questi esempi, lo risalta davvero |
| |
la parola "forte" e corrispondentemente "debole" sono parole che questi economisti usano molto per parlare di cose buone o cattive nell'economia attuale. |
| |
Quindi potrei aggiungerli, o aggiungere "forte" qui facendo clic su, diciamo, 60 positivo nei pulsanti lassù. Ancora una volta, non lo farò adesso, solo per il gusto di accelerare il nostro sguardo all'analisi del sentiment. |
| |
Quindi potremmo passare attraverso, proprio come i nostri testi in basso, potremmo passare attraverso il nostro elenco di termini di sentiment qui per scegliere alcuni buoni candidati. |
| |
Sotto il triangolo rosso, possiamo anche gestire i termini del sentiment in modo più diretto, quindi è solo per intero |
| |
elenchi di gestione dei termini a cui potremmo essere abituati per un utente di Text Explorer, così come la gestione delle frasi e la gestione delle parole non significative. |
| |
Come puoi vedere, abbiamo aggiunto un nuovo termine locale a questa particolare analisi, oltre a tutti i nostri termini incorporati. Naturalmente, potremmo anche dichiarare eccezioni, se vogliamo forse non includerne alcune. |
| |
E, soprattutto, puoi importare ed esportare anche il dizionario dei sentimenti. Un altro modo per dichiarare i termini del sentiment è consultare esperti in materia. Sai, |
| |
gli economisti avrebbero probabilmente molto da dire sui tipi di parole che si aspetterebbero di vedere che trasmettano chiaramente |
| |
emozioni positive o negative in questi rapporti. E se potessimo parlare con loro, vorremmo sapere cosa hanno da dire al riguardo, e potremmo persino essere in grado di derivare un dizionario, diciamo, in un file separato da tabulazioni con loro e poi importarlo qui. |
| |
E poi, ovviamente, una volta creato un dizionario di cui ci sentiamo a nostro agio, dovremmo esportarlo e salvarlo in modo che sia facile da applicare di nuovo in futuro. |
| |
Quindi questo è un po 'di come vorresti effettivamente curare il tuo dizionario dei sentimenti. Sarebbe anche importante |
| |
cura i tuoi termini intensificatori e i tuoi termini di negazione, e ancora, non vedi i punteggi qui, perché queste sono solo inversioni di polarità. |
| |
Solo per mostrarti un po 'di più su come appare effettivamente, se noi ... diamo un'occhiata al sentimento qui, così possiamo vedere i casi in cui |
| |
JMP ha trovato la parola "non" prima di alcuni di questi termini sentimentali e ha effettivamente applicato il punteggio appropriato. Quindi in alto, "non accettabile" ottiene un punteggio di -25. |
| |
Quindi ti mostro che solo per attirare la tua attenzione sul fatto che questi negatori e intensificatori vengono applicati automaticamente da JMP. |
| |
Ma passiamo comunque dal parlare di come impostare l'analisi fino a guardare effettivamente i risultati. Quindi parlerò |
| |
una versione dell'analisi che è già stata fatta, cioè ho già curato il dizionario dei sentimenti, e possiamo effettivamente iniziare a interpretare i risultati che otteniamo. |
| |
Quindi abbiamo il nostro riepilogo di alto livello qui, quindi abbiamo documenti più positivi che negativi. Come abbiamo discusso prima di poter vedere, sai, quanti di ciascuno. In effetti, in fondo a quella tabella a sinistra, vedi che abbiamo un documento che non ha alcun sentimento espresso in esso. |
| |
"forte" che si verifica 14.000 volte, "debole" che si verifica circa 4.500 volte |
| |
e osservandoli in base ai loro conteggi o ai loro punteggi, esaminando i più negativi e positivi, |
| |
anche guardarli nel contesto può essere piuttosto informativo in sé e per sé. Voglio dire, specialmente in, diciamo, un dominio come la ricerca sui consumatori, se vuoi sapere quando le persone si sentono positivamente o esprimono positività |
| |
del nostro marchio o di alcuni prodotti che abbiamo, che tipo di linguaggio stanno usando, forse questo potrebbe influenzare gli sforzi di marketing, diciamo. Questo elenco di termini sentimentali può essere altamente informativo a tale riguardo. |
| |
produzione, |
| |
turismo, investimenti. E a volte vogliamo concentrarci su uno di quei sottodomini in particolare, ciò che potremmo chiamare una funzionalità. |
| |
E se vado a questa scheda delle funzioni nell'analisi del sentiment, farò clic su Cerca. JMP trova alcune parole che si trovano comunemente con termini sentimentali e chiede se vuoi forse immergerti nel sentimento rispetto a quella caratteristica. |
| |
Quindi prendi, ad esempio, "vendite". Possiamo vedere "le vendite sono state segnalate deboli", "indebolimento delle vendite", "le vendite sono state segnalate per resistere bene" e così via. |
| |
Quindi, se assegno solo un punteggio a questa funzione selezionata, ora ciò che JMP farà è fornire punteggi del sentiment solo per quanto riguarda la menzione di "vendite" all'interno di questi rapporti più ampi, e questo ci aiuterà a perfezionare la nostra analisi oa concentrarla su un sottodominio definito. |
| |
E questo è particolarmente importante. |
| |
Potrebbe essere il caso che il dominio nella lingua che stiamo analizzando non sia, sai, così limitato. Prendi, ad esempio, |
| |
Recensioni dei prodotti. Sei interessato a quanto le persone si sentano positive o negative riguardo al prodotto, ma potrebbero anche parlare, ad esempio, della spedizione e non ti interessa necessariamente se non fossero troppo soddisfatte della spedizione, principalmente perché è al di fuori del tuo controllo . |
| |
Non vorresti includere solo un mucchio di recensioni che commentano anche quella spedizione. E quindi è importante considerare il dominio di analisi e limitarlo in modo appropriato e il cercatore di funzionalità qui è un modo per farlo. |
| |
Quindi puoi vedere ora che ho ottenuto un punteggio sulle "vendite", abbiamo una distribuzione molto diversa di documenti positivi e negativi. Abbiamo più documenti che non hanno un punteggio di sentiment perché loro |
| |
semplicemente non parlare di vendite o non usare un linguaggio emotivo per discuterne, e ora abbiamo un elenco diverso di termini di sentiment che catturano in particolare le vendite. |
| |
Fammi rimuovere questo. |
| |
Una cosa che ho capito di aver dimenticato di menzionare, l'ho menzionata brevemente, è come vengono calcolati i punteggi complessivi dei documenti che abbiamo esaminato e ho detto che sono la media di tutti i termini di sentiment di ... |
| |
che si è verificato in un particolare documento. Quindi diamo un'occhiata al documento 1. Vorrei solo mostrartelo |
| |
se ti stai chiedendo da dove viene questo punteggio, diciamo -20, puoi semplicemente passare il mouse sopra e ti mostrerà un elenco di tutti i termini di sentimento che sono apparsi. |
| |
E puoi vedere, qui ne abbiamo 16, inclusi tutti in basso, "vero punto luminoso", che era un +78 e poi, se dividi ... somma tutti quei punteggi. dividere per 78 ... |
| |
o dividi per 16, scusami, quindi ottieni un sentiment medio di -20. E questo è uno dei due modi per fornire punteggi complessivi. Un altro è un punteggio minimo massimo, quindi differenze tra minimo e massimo |
| |
sentimenti espressi nel testo. |
| |
Ora possiamo ottenere molte informazioni guardando solo questo rapporto, sai, ovviamente i punteggi del sentiment, i termini più comuni. |
| |
Ma spesso vogliamo prendere i sentimenti e usarli in qualche altro modo, come |
| |
guardali graficamente, come abbiamo fatto nelle diapositive. Quindi, quando arriva il momento per quella parte della tua analisi, vai al triangolo rosso qui |
| |
e salva i punteggi del documento. E questi salveranno quei punteggi nella tua tabella dati in modo che tu possa inserirli in ulteriori analisi o rappresentarli graficamente, qualunque cosa tu voglia fare. |
| |
Questa è un'anteprima dell'analisi del sentiment in arrivo su Text Explorer in JMP Pro 16. L'idea da portare a casa è che l'analisi del sentimento utilizza un dizionario del sentimento che |
| |
ti imposti per fornire punteggi corrispondenti al contenuto emotivo positivo e negativo di ogni documento e, da lì, puoi utilizzare tali informazioni in qualsiasi modo sia informativo per te. |
| |
Quindi ora ci lasceremo alle spalle l'analisi del sentiment e tornerò alle nostre diapositive per parlare dell'altra tecnica che sarà presto disponibile in Text Explorer. |
| |
E questa è la selezione dei termini, dove la selezione dei termini risponde a una domanda diversa, e cioè, quali termini sono più fortemente associati a qualche variabile o variabile importante che mi interessa? |
| |
Resteremo fedeli al Beige Book. |
| |
Chiederemo quali parole sono statisticamente associate alle recessioni. Quindi nel grafico qui, abbiamo nel tempo, la variazione percentuale |
| |
PIL (prodotto interno lordo) trimestre per trimestre, dove il blu mostra la crescita economica, il rosso mostra la contrazione economica. E potremmo chiederci, beh, cosa |
| |
termini, come appaiono nel Beige Book, potrebbero essere statisticamente associati a questi periodi di recessione economica? Ad esempio, alcuni di loro proprio qui. |
| |
Sai, perché dovremmo associare termini specifici del Beige Book a periodi di recessione economica? |
| |
Bene, potrebbe potenzialmente essere informativo in sé e per sé per ottenere un elenco di termini. Sai, potrei trovarne alcuni potenzialmente, sai, sottili |
| |
fattori determinanti o effetti di recessioni di cui potrei non essere a conoscenza o di cui potrei facilmente acquisire dati quantitativi. |
| |
Potrei anche trovare alcune parole per ulteriori analisi. Potrei ... potrei trovarne un po ' |
| |
termini di sentiment potenziale, alcuni termini che vengono utilizzati quando l'economia sta andando particolarmente male che mi sono perso la prima volta quando stavo facendo la mia analisi del sentiment. |
| |
O forse potrei trovare alcune parole che sono così fortemente associate alle recessioni che penso che potrei essere in grado di usarle in un modello predittivo per cercare di capire quando potrebbero verificarsi recessioni in futuro. |
| |
Quindi ci sono diversi motivi per cui potremmo voler sapere quali parole sono più fortemente associate alle recessioni. |
| |
Quindi, come funziona in JMP? Bene, fondamentalmente costruiamo un modello di regressione in cui la variabile di risultato è quella variabile a cui teniamo, le recessioni e gli input sono tutte parole diverse. |
| |
I dati inseriti nel modello assumono la forma di una matrice dei termini del documento, a cui corrisponde ciascuna riga |
| |
un documento o un report Beige Book, quindi le colonne catturano le parole che si trovano in quel report. Qui abbiamo la colonna "debole" evidenziata e dice "binario", il che significa che |
| |
conterrà 1 e 0; un 1 indica che quel rapporto conteneva la parola "debole" e 0 indica che quel rapporto non conteneva la parola "debole". E questo è uno dei diversi modi in cui potremmo assegnare un punteggio ai documenti, ma per ora ci atterremo a questo binario. |
| |
Quindi prendiamo queste informazioni e le inseriamo in un modello di regressione. Quindi ecco come sarebbe il lancio. |
| |
Abbiamo la nostra recessione come variabile Y e questa è solo una specie di variabile sì o no, quindi abbiamo tutti questi predittori di termini binari inseriti come effetti del nostro modello. |
| |
Quindi utilizzeremo lo strumento di regressione generalizzata di JMP Pro |
| |
per costruire il modello, e questo perché la regressione generalizzata o GenReg, come la chiamiamo, include tecniche di selezione automatica delle variabili. Quindi se hai familiarità con |
| |
regressione regolarizzata, parliamo come il Lazo o la rete elastica. E se non sai cosa significa, va benissimo. L'idea è che lo farà automaticamente |
| |
trova quali termini sono più fortemente associati alla variabile di risultato "recessione", e poi quelli che non pensa siano associati ad essa, li azzererà. |
| |
E questo ci permette di guardare alle relazioni tra "recessione" e forse conosci centinaia, migliaia di possibili parole che sarebbero associate ad esse. |
| |
Quindi cosa otteniamo quando eseguiamo l'analisi? |
| |
Tiriamo fuori un modello. Quindi quello che abbiamo qui è l'equazione per quel modello. Non preoccuparti troppo. l'idea è che diciamo |
| |
le probabilità di recessione del registro, quindi è solo una funzione della probabilità che siamo in recessione e quando il Beige Book viene emesso è una funzione di |
| |
tutte le diverse parole che potrebbero essere presenti nel rapporto Beige Book. |
| |
E puoi vedere, abbiamo, sai, l'effetto del verificarsi della parola "pandemia" con un coefficiente di 1,94. |
| |
Ciò significa solo che le probabilità di "recessione" salgono di 1,94 se il rapporto Beige Book menziona la parola "pandemia". Quindi vediamo meno 1,02 volte il "guadagno". Bene, questo significa che se il rapporto Beige Book menziona la parola "guadagno", allora la probabilità di recessione ... |
| |
o le probabilità del registro di recessione diminuiscono di 1,02. |
| |
Quindi ne usciamo un elenco di termini che sono fortemente associati ad un aumento della probabilità di recessione, cose come "pandemia", "rinvio", "cancellazione", "pignoramenti". |
| |
E otteniamo anche un elenco di termini associati a una diminuzione della probabilità di recessione, ad esempio "guadagno", "rafforzamento", "concorrenza". |
| |
Vediamo anche "produzione" proprio lì, ma ha un coefficiente relativamente piccolo, circa -.2. |
| |
E noterai effettivamente qui, e se guardiamo una rappresentazione grafica di tutti i termini selezionati in questa analisi, non vedi troppi domini specifici come "produzione", |
| |
"turismo", "investimenti" e tutto il resto. Questo perché si parla sempre di queste cose, indipendentemente dal fatto che siamo in recessione o meno, quindi quello che stiamo davvero cercando è le parole che vengono usate, |
| |
sai, quando siamo in recessione più spesso di quanto ti aspetteresti per caso. Quindi abbiamo ... per esempio, quelli lo sono |
| |
"pandemia" è il più predittivo. Ha molto senso. Non parliamo affatto di pandemie fino a poco tempo fa e poi abbiamo anche sperimentato la recessione di recente, quindi l'abbiamo capito abbastanza chiaramente. |
| |
Poi ne abbiamo alcuni altri in questo tipo di secondo livello, quindi è "posticipato" "annullato", "precluso", "deteriorato", "pessimista". |
| |
Ed è piuttosto interessante che questo "rinvio" e "cancellazione" siano associati a recessioni. Ha senso, vuoi davvero parlare di rinviare, diciamo, l'attività economica |
| |
quando si verifica una recessione, o almeno questa è forse una tendenza affidabile. È ... così che è intuizione, in sé e per sé. In effetti, io |
| |
Voglio dire, non saprei dirti come la Federal Reserve tiene traccia del rinvio o dell'annullamento delle attività economiche, ma il fatto che questi termini vengano segnalati in questa analisi suggerisce che probabilmente vale la pena tenere traccia. |
| |
Va bene, quindi questa è la selezione dei termini. In realtà otteniamo questo bel elenco di termini associati alle recessioni e possiamo vedere la forza relativa dell'associazione. Vediamolo ora brevemente qui, come è fatto in JMP. |
| |
Quindi tornerò su JMP e quello che faremo è tirare su una tabella di dati leggermente diversa. Tuttavia, sono ancora i dati del Beige Book, ora abbiamo solo i rapporti nazionali. |
| |
E abbiamo questa variabile di accompagnamento indipendentemente dal fatto che gli Stati Uniti fossero o meno in recessione in quel momento. E ovviamente c'è una certa correlazione automatica in questi dati. Voglio dire, se siamo in recessione il mese scorso, è più probabile che saremo in recessione questo mese rispetto a se non lo fossimo. |
| |
E sai che in genere potrebbe essere un problema per le analisi basate sulla regressione, ma questo è puramente esplorativo. Non ne siamo troppo preoccupati. |
| |
Quindi tirerò su Text Explorer da uno script di tabella solo perché abbiamo visto come è stato lanciato prima. |
| |
Nota però che ho già espresso alcune frasi, come abbiamo fatto prima. Ho anche aggiunto alcune parole di arresto, non puoi vedere qui, ma parole che non voglio che vengano necessariamente restituite da questa analisi. |
| |
E ho attivato lo stemming, che è il significato di quei puntini nell'elenco dei termini. Ad esempio, questo per "aumento" ora sta effettivamente collassando tra "aumenti", "aumenti", "sempre più". |
| |
E questo perché ora, più o meno, considero tutti questi concetti lo stesso concetto, e voglio solo sapere se, sai, quel concetto è associato a recessioni. |
| |
Quindi, per invocare la selezione del termine, andremo semplicemente al triangolo rosso e lo selezionerò qui. |
| |
Prima viene visualizzata una finestra di controllo, o dovrei dire la sezione, in cui selezioniamo la variabile a cui teniamo, ovvero le recessioni. Seleziona il livello obiettivo, quindi voglio che sia in termini di probabilità di recessione, in contrapposizione alla probabilità di non recessione. |
| |
Posso specificare alcune impostazioni del modello. Se hai familiarità con GenReg, vedrai che puoi scegliere se vuoi l'arresto anticipato, se vuoi uno dei due diversi |
| |
penalizzazioni per eseguire la selezione delle variabili, quale statistica si desidera eseguire la convalida. E se quella roba è nuova per te, non preoccuparti troppo. Le impostazioni predefinite sono un buon modo per andare all'inizio. |
| |
Abbiamo la nostra ponderazione, se ricordi, avevamo 1 e 0 in quella colonna per "debole", semplicemente dicendo se la parola si trovava in un documento o meno, ma puoi selezionare quello che vuoi. Così |
| |
per esempio, la frequenza non è, si è verificato o no "debole", è quante volte si è verificato. E questo tipo di influenza influisce sul modo in cui interpreteresti i tuoi risultati. Per ora ci atteniamo al binario. |
| |
Ma sto per dire, voglio controllare i 1.000 termini più frequenti, invece dei 400 per impostazione predefinita, che puoi vedere, sono molto più di 436 e normalmente non puoi adattare un modello con 1.000 X ma solo 436 |
| |
osservazioni, ma grazie al |
| |
selezione automatica delle variabili nella regressione generalizzata, questo non è un problema. Quindi ancora una volta seleziona quale di questi mille termini è più fortemente correlato, da cui il nome selezione del termine. |
| |
Quindi eseguirò questo. Puoi vedere cosa è successo quando JMP ha chiamato la piattaforma di regressione generalizzata e ha restituito questi risultati, dove qui sopra, vediamo alcune informazioni sul modello per come era adatto. Ad esempio, abbiamo 37 termini che sono stati restituiti. |
| |
Lasciami solo spostare questo. Perché qui a destra troviamo alcune informazioni davvero preziose. Questo è l'elenco dei termini più fortemente associati alla recessione. |
| |
Ora li ordinerò in base al coefficiente per trovare quelli più fortemente associati alla probabilità di recessione, quindi ancora una volta si tratta di "pandemia" "rinvio" "annullamenti" e, come ci si potrebbe aspettare, a questo punto se clicco su uno dei questi, aggiornerà queste anteprime |
| |
o questi frammenti di testo in basso, in modo che possiamo effettivamente vedere questa parola nel contesto. |
| |
Quindi questo elenco di termini di per sé potrebbe essere incredibilmente prezioso. Potresti imparare alcune cose su termini o concetti specifici che sono importanti che potresti non conoscere prima. È inoltre possibile utilizzare questi termini nei modelli predittivi. |
| |
Ora alcune altre cose da notare. |
| |
Puoi vedere qui sotto, abbiamo ancora una volta una tabella per ogni singolo documento, ma invece dei punteggi del sentiment, ora abbiamo fondamentalmente punteggi dal modello. Abbiamo per ognuno |
| |
il... |
| |
quello che chiamiamo contributo positivo, quindi questo è il contributo dei coefficienti positivi che predicono la probabilità di recessione. Qui abbiamo quelli sul lato negativo. |
| |
E poi abbiamo anche la probabilità di recessione dal modello, 71,8% qui e poi quello che abbiamo effettivamente osservato. |
| |
E non stiamo necessariamente costruendo un modello predittivo qui, cioè non userò questo modello per cercare di prevedere le recessioni. Voglio dire, ho tutti i tipi di variabili indicatori economici che userei |
| |
anche, ma questo è un buon modo per controllare fondamentalmente la sanità mentale del tuo modello. Sembra che stia ottenendo alcune delle sue previsioni giuste? |
| |
Perché se non lo è, potresti non fidarti dei termini che restituisce. Hai anche molte altre informazioni per provare a dare quel giudizio. Voglio dire, abbiamo alcune statistiche sugli adattamenti, come l'area sotto la curva qui sopra. |
| |
Oppure possiamo persino entrare nella piattaforma di regressione generalizzata, con tutte le sue normali opzioni per valutare ulteriormente il tuo modello. |
| |
Non entrerò nei dettagli lì, ma tutto ciò è a tua disposizione in modo che tu possa valutare il tuo modello, modificare il tuo modello come preferisci, per assicurarti di avere un elenco di termini con cui ti senti bene. |
| |
Ora vedi proprio qui, abbiamo questo, sotto il riepilogo, questo elenco di modelli ed è perché potresti effettivamente voler eseguire più modelli. Quindi se torno al modello ... oh, scusami ... se torniamo al nostro |
| |
impostazioni qui, potrei effettivamente eseguire un modello leggermente diverso. Forse, ad esempio, so che il BIC è un po 'più conservatore dell'AICc e voglio restituire meno termini, forse hai fatto un'analisi che ha restituito 900 termini e sei un po' sopraffatto. |
| |
Quindi farò clic su Esegui e creerò un altro modello usando quello. |
| |
E ora abbiamo quel modello aggiunto alla nostra lista qui e posso passare da un modello all'altro per vedere i risultati per ciascuno. In questo caso, abbiamo restituito solo 14 termini, invece di 37 e scenderò per valutarli di seguito. |
| |
Quindi due grandi risultati che otterresti da questo, ovviamente, è questo elenco di termini. Se vuoi salvarlo, questi sono solo termini importanti per te e vuoi tenerne traccia, fai semplicemente clic con il tasto destro e trasformalo in una tabella di dati. Ora ho una tabella JMP |
| |
con i termini, i loro coefficienti e altre informazioni. |
| |
E |
| |
se quello che vuoi fare in realtà è riscriverlo nella tua tabella dati originale, forse, in modo da poter utilizzare le informazioni in qualche altro tipo di analisi o modello predittivo, |
| |
vai alla selezione dei termini e dì che vuoi salvare i punteggi dei termini come matrice dei termini del documento, che se riporto la nostra tabella dati qui, puoi vedere che ora ho scritto al loro |
| |
colonne per ciascuno di questi termini che sono stati selezionati. In questo caso compilato con i loro valori di coefficiente, e ora posso usarli |
| |
informazioni quantitative comunque mi piacciono. |
| |
Questo è solo un po 'sulla selezione dei termini. Ancora una volta, la grande idea qui è che ho trovato un elenco di termini correlati a una variabile a cui tengo e ho persino, attraverso i loro coefficienti, informazioni su quanto forte potrebbe essere quella relazione. |
| |
Quindi concludiamo solo allora. Abbiamo coperto due tecniche. Abbiamo appena visto la selezione dei termini, trovando quelle parole importanti. Prima di allora abbiamo esaminato l'analisi del sentiment, tutto su |
| |
quantificare il grado di emozione positiva o negativa in un testo. Queste sono due nuove tecniche di estrazione del testo in arrivo in Text Explorer di JMP Pro 16. Siamo davvero entusiasti che tu possa mettere le mani su di loro e aspettiamo il tuo feedback. |
