Altoparlante
|
Trascrizione
|
| Ross Metusalem |
Salve a tutti e benvenuti a questa presentazione su come JMP ha ampliato il proprio toolkit di text mining in JMP Pro 16, appena uscito la scorsa primavera. |
| |
Sono Ross Metusalem. Sono un ambasciatore accademico di JMP e condividerò con voi queste due nuove funzionalità di text mining |
| |
analisi del sentimento e selezione dei termini. Parleremo di cosa sono e di come usarli e di JMP e poi vedremo due esempi di esecuzione di queste analisi su dati del mondo reale disponibili al pubblico. |
| |
Quindi l'analisi del sentimento e la selezione dei termini sono due nuove aggiunte all'esploratore di testo di JMP, che è uno strumento di estrazione di testo generico. |
| |
Quindi puoi usarlo per ricavare informazioni quantitative da ciò che comunemente chiamiamo dati di testo liberi o non strutturati, quindi questo potrebbe essere qualsiasi cosa, dal derivare le frequenze delle parole, in modo da poter creare una nuvola di parole, |
| |
all'esecuzione di un'analisi semantica latente, in modo da poter raggruppare documenti semanticamente simili. Quindi le due funzionalità che vedremo oggi sono funzionalità all'interno dello strumento di esplorazione del testo. |
| |
Inizieremo con l'analisi del sentiment, una funzionalità popolare e spesso richiesta che siamo lieti di introdurre in JMP Pro 16. |
| |
Per coloro che non hanno familiarità, l'analisi dei sentimenti consiste nel quantificare l'emozione da positiva a negativa nei dati di testo non strutturati. |
| |
Ora l'esempio che esamineremo è tratto dal Beige Book, che è un rapporto narrativo pubblicato dalla Federal Reserve. |
| |
E come possiamo vedere nella mappa, la Federal Reserve è suddivisa in 12 diversi distretti e circa otto volte all'anno, ogni distretto pubblica un rapporto narrativo Beige Book |
| |
che sintetizza le condizioni economiche attuali e potenziali future in quella stessa area geografica. E questi rapporti si basano in gran parte su fonti di dati qualitativi, quindi pensa |
| |
conversazioni con leader aziendali, sondaggi cose del genere. Quindi penso che il Beige Book fornisca un buon esempio per l'analisi del sentimento, non solo perché |
| |
sono dati pubblicamente disponibili, e posso condividerli con tutti voi, ma anche perché sarebbe piuttosto interessante se foste, diciamo, un investitore o voi, |
| |
sai, ha gestito un istituto finanziario per sapere quanto i direttori della Federal Reserve si sentano fortemente positivi o negativi riguardo alle condizioni economiche nelle diverse parti del paese. Potresti davvero usarlo per |
| |
forse guidare il processo decisionale, o anche se puoi quantificarlo, usarlo in alcune analisi statistiche, forse anche in alcuni modelli predittivi. |
| |
Quindi diamo un'occhiata a un esempio di testo tratto dal Beige Book. |
| |
Qui abbiamo solo un frammento di uno dei rapporti, e possiamo vedere, partendo dall'alto, che questo rapporto afferma che le vendite di computer, d'altra parte, sono state gravemente depresse. |
| |
Considerando che, se scendiamo fino in fondo, un individuo ha anche riferito che ci sono un certo numero di pagliuzze favorevoli nel vento, quindi abbiamo "gravemente depresso" e "favorevole" e anche "miglioramento" evidenziato qui, |
| |
perché queste sono quelle che chiameremmo frasi sentimentali. Quindi sono una o più parole che denotano un qualche tipo di contenuto emotivo positivo o negativo. |
| |
Quindi, in alto, abbiamo una grave depressione, che sarebbe fortemente negativa, e poi in basso, favorevole, che sarebbe generalmente positiva, e usiamo questo codice colore in modo che l'arancione contro questo blu o viola (a seconda di come lo vedi) |
| |
per indicare rispettivamente sentimento positivo e negativo. |
| |
E molte forme di analisi dei sentimenti fanno proprio questo. Cercano frasi positive e frasi negative nel testo. |
| |
Il modulo utilizzato da JMP e che potresti incontrare altrove, in realtà quantifica il sentimento positivo e negativo su scala continua. |
| |
Prendiamo, ad esempio, in fondo a questo secondo frammento di testo, dove vediamo che qualcuno afferma che i grandi magazzini della regione riportano scarse vendite. |
| |
Quindi, in alto, abbiamo vendite gravemente depresse e in basso, vediamo che le vendite sono scarse. Bene, penso che siamo tutti d'accordo sul fatto che essere gravemente depresso suoni peggio |
| |
per quanto riguarda le vendite rispetto ai poveri. E quindi potremmo volerlo, |
| |
mentre sono entrambi negativi, quantificare gravemente depresso come più negativo che povero, ed è quello che facciamo nell'analisi del sentimento in JMP. E parleremo |
| |
molto brevemente qui su come vengono calcolati quei punteggi, in particolare, ma prima penso che valga la pena dare un'occhiata |
| |
potenziali dimostrazioni della validità della quantificazione del sentimento osservando singoli, sai, termini e frasi come questa. |
| |
E stiamo parlando essenzialmente di dare un punteggio ai documenti, in base alle parole che ricorrono in essi |
| |
che pensiamo denotino emozione e fino a che punto. E questa è una specie di cosa interiore e soggettiva, ma questo approccio, l'analisi dei sentimenti, |
| |
può davvero dimostrare una certa validità predittiva. Ad esempio, se osserviamo come il sentimento del Beige Book segue nel tempo, possiamo vedere che in realtà segue in modo abbastanza affidabile con le recessioni. Quindi qui abbiamo il sentimento |
| |
sull'asse y. Puoi vedere che si estende da 75 negativo a 75, questo è solo l'intervallo che abbiamo tracciato. La vera scala va da meno 100 |
| |
a 100, dove zero è neutro. E puoi vedere, con il tempo più fluido che cattura la tendenza generale del sentiment in tutti i rapporti Beige Book, |
| |
puoi vedere un modello interessante rispetto alle recessioni economiche, che a loro volta sono evidenziate in rosso. In particolare, possiamo vedere che il sentiment sembra calare in modo affidabile prima di ogni recessione. |
| |
Quindi, anche se questa è una misura relativamente soggettiva di quello che crediamo essere lo stato emotivo dei direttori della Federal Reserve statunitense, voglio dire, è in linea con le recessioni economiche come ci si potrebbe aspettare. |
| |
Traccia anche in realtà geograficamente, abbastanza interessante. Prendiamo ad esempio il crollo delle dot-com intorno al 2000-2001 quando un gruppo di startup Internet nell'area della Baia di San Francisco |
| |
è andato sotto. Possiamo vedere, e qui ho evidenziato le etichette al passaggio del mouse per San Francisco, quindi possiamo vedere i punteggi per quella regione. Abbiamo un sentimento positivo in arancione, come abbiamo visto prima, e negativo in quello blu. |
| |
Possiamo vederlo costruire fino al 2000, sentimento |
| |
era piuttosto alto nella Bay Area, 38,65, e poi è crollato in media di oltre 60 punti nel 2001 fino a |
| |
negativo 24,7 circa. E questo è uno swing molto più grande di quello che abbiamo visto altrove nel paese perché quella è la regione... presumibilmente, perché è la regione che è stata maggiormente colpita. |
| |
E vediamo qualcosa di simile con la grande recessione. Quindi vediamo il crollo del mercato immobiliare nel 2008 corrispondente a un calo del sentiment e non in modo uniforme. |
| |
Sembra che i maggiori cali siano stati evidenziati nella costa occidentale, quindi questa è di nuovo la regione di San Francisco, la regione di New York e anche la regione di Atlanta, che include |
| |
La Florida, dove vivo, che è stata una zona particolarmente colpita del paese. E, infatti, se guardiamo in basso nell'ultima fila, possiamo vedere che la Florida... |
| |
il sentimento non sembra riprendersi in quell'area generale fino al 2012 circa, dietro alcune delle altre aree geografiche, e questo sembra avere un senso. Il mercato immobiliare in Florida è stato uno degli ultimi a riprendersi a livello nazionale. |
| |
Quindi abbiamo questa misura soggettiva dell'emozione, ma tiene traccia, in questo caso, di eventi esterni...eventi economici in un modo che ci aspetteremmo. |
| |
E sai ancora, stiamo guardando il Beige Book perché è un esempio particolarmente valido pubblicamente disponibile. Se tu |
| |
stanno parlando di domini forse più comuni per applicare l'analisi del sentimento, come la ricerca di mercato dei consumatori, dove hai a che fare con a |
| |
voce del cliente sotto forma di dati di testo, quindi recensioni di prodotti, risposte a sondaggi cose del genere, |
| |
potresti essere in grado di utilizzare l'analisi del sentiment per comprendere meglio, forse anche prevedere, diciamo, i comportamenti dei clienti, proprio come possiamo usare il sentiment qui per comprendere meglio o prevedere, forse, le recessioni economiche. |
| |
Quindi, detto questo, mi rendo conto che abbiamo esaminato i punteggi del sentimento negli ultimi minuti qui, e fa davvero sorgere una domanda sulla loro provenienza. |
| |
Quindi JMP utilizza una forma di analisi del sentimento chiamata analisi lessicale del sentimento. Quindi usa un lessico sentimentale o |
| |
dizionario dei sentimenti |
| |
per assegnare punteggi a tutte le singole parole che crediamo portino un sentimento. Quindi una parola come fantastico potrebbe ottenere un punteggio di 90, che è molto positivo. È quasi al massimo del positivo, 100, mentre una coppia sotto, temuta, ottiene un punteggio negativo di 60. |
| |
Ora possiamo assegnare punteggi a questi termini e fondamentalmente contarli o prendere la loro media in ogni singolo documento. |
| |
Ma vogliamo tenere conto di un paio di altre cose. Se ricordi che la prima frase sentimentale che abbiamo visto nell'esempio del Beige Book era gravemente depressa. |
| |
Altre parole severamente come esempio di qualcosa che chiamiamo intensificatore, che è fondamentalmente un moltiplicatore di sentimenti. Quindi puoi vedere qui, potremmo dichiarare incredibilmente di essere un moltiplicatore con un punteggio di sentimento di 1,4, dove in realtà un po' |
| |
lo ridimensiona di 0,3, quindi diminuisce leggermente la grandezza del sentimento. |
| |
Quindi, se appare un intensificatore con il termine del sentimento, eseguiamo quella moltiplicazione e poi anche se si verifica un negatore. Quindi diciamo, |
| |
sai, qualcosa non è o non è o non dovrebbe o non era, moltiplichiamo per uno negativo, così che fondamentalmente, sai, invertiamo il segno; positivo diventa negativo e viceversa. |
| |
Quindi, per qualsiasi frase sentimentale, eseguiamo semplicemente questa semplice moltiplicazione e poi attraverso un documento, |
| |
possiamo prendere il punteggio medio o forse la differenza tra i punteggi minimi e massimi del sentimento a |
| |
calcolare un valore di sentimento per quei documenti. Ed è quello che stavamo guardando in quei grafici, quindi il grafico del sentimento nel tempo in quelle mappe. |
| |
Quindi questa è un'analisi del sentimento lessicale. È una pratica molto comune ed è il tipo di analisi del sentiment implementato in JMP. E come vedremo, quando avrai JMP |
| |
calcola tutti i punteggi del sentimento, ottieni molte informazioni utili. Quindi ecco un esempio di come appare il rapporto di analisi del sentiment. |
| |
Per visualizzare in anteprima solo un elemento dei risultati, in alto qui, abbiamo un semplice riepilogo del sentimento in tutti i nostri documenti. |
| |
Quindi abbiamo un istogramma che è facilmente codificato a colori che ci mostra che la distribuzione dei sentimenti complessivi sembra essere positiva, che abbiamo una coda di sentimenti negativi piuttosto forte. |
| |
Possiamo vedere che, in tutti i documenti, il punteggio medio del sentiment è 4,1, quindi appena sopra la neutralità. |
| |
Per tutti i documenti complessivamente positivi, che sono 3.900, il loro punteggio medio è 22,9, mentre tra i circa 1.400 documenti negativi, il |
| |
il punteggio medio è negativo 15,4, quindi i documenti negativi non sono così fortemente negativi come i documenti positivi sono fortemente positivi. |
| |
Ora, ovviamente, sai, qui con il Beige Book, potrei dire, beh, sai da in questo caso nel 1970 ad oggi, solo guardando il punteggio medio del sentimento, forse, sai, io non t importa tanto quanto forse guardando i punteggi dei singoli documenti o |
| |
forse guardando la distribuzione di alcuni termini di sentimento. Ma ancora una volta, se hai a che fare con dati in, |
| |
diciamo, ricerche di mercato sui consumatori, qualcosa del genere, qualsiasi dato di testo in cui hai la voce del cliente, anche solo il riepilogo di alto livello come questo che può dirci bene quanto si sentono positivi o negativi i nostri clienti, in base ai dati che abbiamo, |
| |
anche solo la semplice segnalazione può essere davvero preziosa. Ma stiamo per passare a JMP e vedremo che il rapporto di analisi del sentiment viene fornito con molti altri modi per esplorare i dati per ottenere informazioni dettagliate. |
| |
Quindi passiamo a JMP e vediamo come è fatto. |
| |
Quindi eccoci qui, sono in JMP Pro 16.1 e prima di immergerci in questi dati del Beige Book, voglio ringraziare Xan Gregg. |
| |
Per quelli di voi che non lo conoscono, Xan è un direttore del nostro team di sviluppo. È il creatore di Graph Builder |
| |
ed è anche la persona che originariamente ha avuto l'idea di guardare i dati del Beige Book, ed è stato anche così gentile da raschiare le pagine html negli archivi del Beige Book e fornirmi una bella tabella di dati JMP. Quindi grazie mille, Xan. |
| |
Va bene ora, diamo un'occhiata all'analisi dei sentimenti e in realtà, invece di entrare nei risultati, |
| |
Sai, voglio mostrarti brevemente come impostare l'analisi, perché ci sono alcune importanti considerazioni da tenere presente, |
| |
per quanto riguarda non solo, sai, come JMP lo implementa, ma come eseguire l'analisi del sentimento o l'analisi del sentimento lessicale in generale. |
| |
E per dimostrare questa configurazione, in realtà guarderò solo un sottoinsieme dei dati dal 2010 ad oggi, in questo caso, solo per mantenere le cose scattanti, perché chiederemo |
| |
text explorer per aggiornare automaticamente la sua analisi un certo numero di volte e vogliamo che sia, sai, il più vicino possibile all'istantaneo. |
| |
Quindi qui, ho quel sottoinsieme dei dati, quindi abbiamo i nostri rapporti Beige Book in tutti i 12 distretti a partire da gennaio 2010 fino al rapporto più recente del mese scorso. |
| |
Va bene, quindi per lanciare la nostra analisi del sentiment, andrò ad analizzare e sceglierò Esplora testo. Prendi il nostro testo e mettilo nel ruolo delle colonne di testo. Un paio di cose da notare. |
| |
Uno è che mentre Text Explorer generalmente supporta un certo numero di lingue, |
| |
L'analisi del sentiment è attualmente disponibile solo in inglese. |
| |
E l'altro è che se... almeno se sei un utente esperto di esplorazione del testo, potresti essere abituato ad attivare lo stemming, e noterai che lo lascerò subito. |
| |
Per chi non conosce lo stemming, è un modo di collassare tra più forme della stessa parola o nel linguaggio linguistico, lo stesso lemme. Quindi prendi forte, più forte e più forte. |
| |
Crolleremmo su tutti loro e diremmo solo, beh, sono tutti forti per i nostri scopi. |
| |
E ovviamente non vogliamo farlo qui perché il più forte è più positivo che più forte, che è più positivo che forte. |
| |
Quindi lasciamo lo stemming disattivato e, infatti, anche se l'hai attivato una volta invocata l'analisi dei sentimenti, ignorerà lo stemming, perché, ancora una volta, non dovresti davvero usarlo. |
| |
Quindi farò clic su OK. No e sembra che mentre l'ho fatto, abbiamo avuto un piccolo intoppo tecnico. Mi scuso se ultimamente è successo qualcosa di strano con il mio computer che lo sta facendo, ma va bene. Possiamo semplicemente riavviare la nostra condivisione dello schermo e ripristinare il mio video. Ciao a tutti. |
| |
E lo condivideremo. Ok, quindi dovremmo ancora andare, sembra che la registrazione stia ancora andando. Mi assicuro che JMP sia assegnato al monitor giusto qui. Sembra che lo sia. Va bene, scusate tutti. Comunque, torniamo a questo. |
| |
Quindi qui abbiamo la nostra finestra di esplorazione del testo. Ora di nuovo se sei abituato a farlo |
| |
analisi del testo, sapresti che in genere inizi dichiarando parole non significative. Ad esempio, le persone parlano dei miei contatti nell'industria che mi hanno detto che... E sai che non vorrei usare la parola contatti nella mia analisi, quindi normalmente lo farei |
| |
aggiungilo come parola d'ordine e poi passa potenzialmente per ore |
| |
dichiarare parole d'arresto prima che io facessi effettivamente la mia analisi, e non devi farlo con l'analisi dei sentimenti. |
| |
È tutto basato su quel dizionario dei sentimenti, quindi, per una parola come contatti, non è nel dizionario. È comunque funzionalmente escluso, quindi è un bel modo per risparmiare tempo. |
| |
Tuttavia, probabilmente vorrai dichiarare frasi, ad esempio, proprietà immobiliari o quella che esamineremo, che è la domanda di prestito, che si trova qui. |
| |
Quindi faccio clic sulla domanda di prestito e la aggiungo come frase. Viene inserito nel nostro elenco di termini, quindi troviamolo molto velocemente. |
| |
Eccolo, 1.139 istanze. E questo è per aiutarci effettivamente ad approfondire i sottodomini in queste analisi o in questo |
| |
in questo insieme di dati. Quindi immagina di voler calcolare il sentimento, non nel suo complesso, ma il sentimento solo rispetto alla domanda di prestito. |
| |
Per farlo, come vedremo, devo prima dichiararlo come una frase, quindi è ragionevole passare attraverso e dichiarare alcune frasi almeno per domini davvero importanti a cui potresti essere interessato. |
| |
Va bene, quindi ora chiudiamolo e lanciamo effettivamente l'analisi del sentiment. |
| |
E vedrai che quando lo farò, otterrò un rapporto completo, quindi potrebbe sembrarmi che sia ora di iniziare a esplorare i miei risultati, perché questa sembra un'analisi completa, ma voglio farlo incoraggia chiunque lo usi a pompare i freni e considerare il tuo dizionario dei sentimenti. |
| |
Diversi, sai, gruppi di persone che generano testi in contesti diversi su cose diverse, con vernacoli diversi |
| |
può usare la lingua in molti modi diversi. Ed è importante adattare il tuo sentimento e gli elenchi di termini di negazione dell'intensificatore |
| |
per riflettere ciò. Quindi... esito a usare la parola mai, ma sto per... dirò mai solo usare il dizionario dei sentimenti predefinito. Otterrai sempre risultati più validi se lo curerai da solo. |
| |
Quindi, se vado ai termini del sentimento qui, puoi vedere che i punteggi si basano su questo dizionario integrato, che è relativamente scarso. |
| |
Ma voglio effettivamente leggere parte del testo e vedere se riesco a identificare forse altre parole che dovrebbero essere incluse nel dizionario. Dovrei menzionare che potresti anche voler passare attraverso il |
| |
l'elenco integrato ed escluderne alcuni, sebbene quell'elenco sia relativamente scarso e quindi idealmente non dovresti escluderne troppi o forse nessuno. |
| |
Quindi, nel nostro rapporto, in realtà hai alcuni strumenti per curare il tuo dizionario, non solo per esplorare i risultati. Posso selezionare il documento in questa tabella dei documenti e visualizzare il testo |
| |
proprio sotto. Quindi scenderò brevemente dalla parte inferiore dello schermo. Puoi vedere evidenziato in quel testo, i termini e le frasi del sentimento sono già stati trovati, come leggermente migliori. |
| |
Ma se guardi, diciamo, qui abbiamo la parola debole, le condizioni attuali sono rimaste deboli, e risulta, per quanto ne so, questo è un problema molto comune |
| |
termine nei rapporti del Beige Book che indica che qualcosa è essenzialmente cattivo. Non lo so, non sono un economista, ma forse è il caso che in economia, |
| |
sai, debole è sinonimo di cattivo, forte è sinonimo di buono, e questa è la mia opinione, dopo aver esaminato un bel po' questi dati. |
| |
Ora vedrai che non è evidenziato. Ciò significa che debole non è attualmente nel mio dizionario, ma posso aggiungerlo molto facilmente. Mi limito a passarci sopra |
| |
termine proprio nel testo, e posso aggiungerlo come negatore. Posso assegnargli un valore intensificatore o un valore di sentimento, quindi è moderatamente negativo, quindi farò clic su 60 negativo. |
| |
E quello che succede è che ora è aggiunto al mio dizionario, e tutti i punteggi del sentimento vengono ricalcolati in tempo reale qui. |
| |
Quindi il mio elenco di termini di sentimento ora posso persino selezionare debole e vederne tutte le istanze. Sembra che, se torniamo a quella tabella nella colonna del conteggio, si verifichi 1.012 volte in questo sottoinsieme dei dati del Beige Book. |
| |
Quindi, certamente, esamina e leggi, forse, un sottoinsieme casuale o un sottoinsieme casuale stratificato dei tuoi documenti e cerca di identificare alcuni termini sentimentali che appartengono al tuo dizionario. |
| |
Ora puoi anche fare affidamento su una funzione utile, questo possibile elenco di sentimenti, |
| |
che in realtà serve potenziali termini di sentimento per la tua considerazione. Potrei notare, dire, forte è qui, e ho messo debole dentro. Certamente voglio forte e quindi dichiarerò che sarà a |
| |
forte. |
| |
E ho usato i pulsanti di scelta rapida, sai, 60 positivo, 60 negativo, ma puoi inserire qualsiasi punteggio che ti piace tra 100 e 100 negativo, quindi forse in realtà voglio solo un punteggio di 50 per forte. Quindi lo farò, e se guardi in basso in questo momento, puoi vedere di nuovo tutto gli aggiornamenti automatici. |
| |
Quindi prenditi cura del tuo elenco di termini sentimentali. Inoltre non esaminerò i meccanismi per fare i tuoi termini intensificatori di negazione, ma si applicano le stesse idee. |
| |
Assicurati di ottenere quelli giusti per riflettere davvero il tuo dominio e poi ti consiglio, sotto il triangolo rosso, puoi sempre andare negli strumenti di gestione dei termini completi a uno dei due che conosci inserisci manualmente alcuni termini, quindi forse so che voglio il più forte e io voglio che sia un punteggio di 90. |
| |
Quindi posso aggiungere una specie di formato batch qui |
| |
senza aggiornarsi automaticamente ogni volta, oppure posso anche importare ed esportare elenchi di termini di sentiment, |
| |
il che è ottimo per condividerli con altre persone, renderli portatili, aiutare a tenere traccia del nostro lavoro e renderlo replicabile. |
| |
A causa di quanto i tuoi risultati dipendono dall'elenco dei termini del sentimento, e anche dagli intensificatori e dai negatori, consiglio vivamente che quando hai un elenco prestabilito di esportarli in modo da averlo completamente documentato e anche in grado di essere importato in un nuova analisi e replicato. |
| |
Quindi è abbastanza per impostare l'analisi, voglio solo portare a casa quel punto che se invochi l'analisi del sentimento, otterrai un rapporto, ma non immergerti direttamente in quel rapporto. Cura prima il tuo dizionario. |
| |
Quindi, ora che ho |
| |
battuto quel punto senza pietà a casa, diamo un'occhiata a quel rapporto. |
| |
E quello che farò ora è inserire, sai, un rapporto completo usando, in questo caso, tutti i 5.300 plus |
| |
Beige Book riporta qui. Quindi, come ho detto prima, nella sezione dei risultati, hai questo riepilogo generale. Non lo ripeteremo più. Abbiamo visto che ce l'hai anche tu |
| |
tutti i singoli documenti, quindi puoi visualizzare qualsiasi documento per vedere come è stato valutato, cosa appare in esso. Esplora l'uso di termini e frasi sentimentali nel contesto. |
| |
In questa tabella è inoltre possibile visualizzare una serie di misure utili, ad esempio la somma del punteggio totale positivo per un documento, |
| |
il punteggio medio delle frasi di opinione positive nel documento. Lo stesso vale per il punteggio negativo e poi per il punteggio complessivo e lo noterai, come me |
| |
passa il mouse su questi valori, che in realtà mi mostra come sono calcolati. Quindi, se guardo la media del punteggio negativo, posso vedere che ci sono sette termini totali, posso vedere quali erano i loro punteggi, e poi posso vedere qual è la media. |
| |
Posso anche vedere che la media, in questo caso, di quella negativa, è solo il punteggio medio di tutti i termini di opinione, positivi e negativi. |
| |
Ci sono molti modi pratici in cui passare il mouse sopra gli elementi di questo rapporto rivelerà informazioni utili. Consiglio vivamente, sai, provalo. Passa con il mouse in luoghi diversi. Probabilmente troverai qualcosa di utile. |
| |
Ora, in genere non esaminiamo troppo i singoli documenti quando eseguiamo il text mining in questo modo. Voglio dire, se solo potessimo leggerli tutti, |
| |
allora lo faremmo. Voglio dire, siamo più bravi a capire il linguaggio rispetto ai computer. Quindi, sai, certamente non esamineremo solo l'intera raccolta di 5.300 documenti, ma potresti dire, ordina per punteggio e dai un'occhiata solo ai più negativi |
| |
rapporti, e leggerli effettivamente per avere un'idea di, ok, beh, |
| |
quando le persone sono particolarmente negative, su cosa sono negative? Cosa posso imparare su cosa sta guidando quella negatività, e ancora una volta, specialmente nella, diciamo, ricerca sui consumatori, guardando, sai, recensioni di prodotti, sondaggi, qualcosa del genere può essere davvero prezioso. |
| |
Abbiamo anche visto che hai il tuo elenco di termini di sentiment, dove possiamo vedere tutti i diversi termini di sentiment che appaiono, quanto spesso appaiono e il loro |
| |
punteggi ad essi associati. E se prendo qualcuno di loro, posso anche vedere quei termini nel contesto. Quindi, se c'è un particolare termine sentimentale che viene usato |
| |
abbastanza comunemente nei tuoi dati, potresti voler capirlo meglio nel contesto per vedere perché le persone lo usano o cosa li spinge a usarlo. Ed è abbastanza facile farlo semplicemente selezionando il termine e poi sfogliando il testo sottostante. |
| |
Ora, finalmente, quella che penso sia una delle funzionalità più utili nell'analisi del sentiment si trova in questa scheda delle funzionalità. |
| |
Quindi cosa fa quando faccio clic su cerca, trova termini non sentimentali che si verificano frequentemente con termini sentiment e ci consente di eseguire un'analisi dettagliata, in cui valutiamo il sentiment solo rispetto a quello |
| |
termine selezionato, o ciò che chiameremo funzione, oppure potresti anche chiamarlo sottodominio. Quindi forse il sentimento solo per le vendite e possiamo vedere che le vendite sono state segnalate deboli, indebolendosi nelle vendite. |
| |
O per tornare a prima quando ho detto che potenzialmente vuoi fare qualche fraseggio. Troviamo la domanda di prestito in questo elenco, |
| |
e valutiamo tutti i nostri documenti solo rispetto al sentimento relativo alla domanda di prestito. E ovviamente questo ne sta usando alcuni |
| |
elaborazione del linguaggio naturale per cercare di determinare quali frasi di sentimento si applicano e non si applicano alla domanda di prestito, e con qualsiasi metodo di PNL, non sarà accurato al 100%, ma la sua accuratezza, specialmente nel testo ben formato scritto in |
| |
in un modo in cui lo sono i rapporti del Beige Book, sembra che funzioni abbastanza bene. E così ora, posso vedere, per esempio, come si sentono riguardo alla domanda di prestito |
| |
in tutti questi rapporti? E sembra generalmente positivo, anche se abbiamo alcuni rapporti particolarmente negativi. |
| |
L'ultima cosa da dire qui, e solo per riportarci al punto di partenza, probabilmente ho notato che ho dei picchi quando l'ho fatto, e questo è... sembra positivo 60 e negativo 60. |
| |
E questo sta solo evidenziando ancora una volta quanto sia importante curare il tuo dizionario dei sentimenti quando fai questa analisi e tenere conto di come l'hai costruito quando interpreti i tuoi risultati. |
| |
Quindi qui, questo picco a 60 positivo potrebbe benissimo essere dovuto al fatto che quando inizialmente ho inserito molti termini sentimentali nel dizionario, stavo usando questi pulsanti di scelta rapida. |
| |
Quindi ho questi 30, 60, 90 pulsanti di scelta rapida e quindi mi sto quasi costruendo per vedere picchi nei punteggi a |
| |
positivo 60 e negativo 60. E se avessi prestato un po' più di attenzione a rendere le partiture più dettagliate, allora forse non vedrei proprio questo, sai, interessante, lo chiameremo distribuzione. |
| |
Quindi lo chiamo solo per sottolineare ancora una volta quanto sia importante ottenere il tuo dizionario dei sentimenti |
| |
insieme in anticipo e poi, una volta fatto, hai tutte queste informazioni utili sul sentimento globale, sentimento per documento, sentimento per singolo termine o anche per sottodominio, utilizzando queste funzionalità |
| |
sezione qui. E poi, ovviamente, come probabilmente sei abituato in JMP, quando è il momento di prendere ciò che hai fatto e salvarlo, così puoi usarlo altrove sotto il triangolo rosso, troverai quelle opzioni, quindi Potrei salvare i punteggi dei miei documenti. |
| |
Se torniamo alla mia tabella dei dati, che è proprio qui, puoi vedere che ho effettivamente salvato, in questo caso, sono i punteggi per quel sottodominio della domanda di prestito, torna alla mia tabella dei dati in modo che io possa usarli, diciamo , in ulteriori analisi o grafici, come alcuni dei grafici che abbiamo creato per le diapositive. |
| |
Questa è l'analisi del sentimento, una novità di JMP Pro 16 per quantificare le emozioni positive e negative nel testo. E |
| |
con questo, passiamo alla selezione dei termini, l'altra nuova tecnica di text mining di cui vorrei parlare. Come si dice, la selezione dei termini consiste nell'identificare le parole associate a qualche risultato, cioè a qualche altra misura. Per esempio qui, sai, abbiamo, |
| |
i testi dei rapporti del Libro Beige, ma potremmo anche incorporarli |
| |
variabili economiche, ad esempio il PIL, e vedere come alcuni termini nei rapporti del Beige Book seguono il PIL, o forse con una variabile binaria, come se l'economia è in recessione o meno. |
| |
Questa è una... selezione di termini qui è uno strumento generico per trovare parole associate a qualche altra variabile, che può essere utile |
| |
in un contesto interpretativo, per trovare forse i driver di qualche altra variabile, o forse in un esercizio di modellazione predittiva, in modo da poter identificare termini che sono predittivi di qualcosa in modo che in futuro possiamo usare quei termini per aiutarci a prevederlo. |
| |
Quindi vediamo come funziona la selezione dei termini e qui esamineremo un esempio diverso dal reclamo dei consumatori del Consumer Financial Protection Bureau |
| |
Banca dati. Quindi i consumatori, se hanno un reclamo relativo a un prodotto o servizio finanziario, possono presentare tale reclamo al CFPB e il CFPB media tra quel consumatore e il |
| |
fornitore del prodotto o servizio finanziario. Ecco un esempio di ciò che puoi trovare in questi dati. Quindi qui c'è qualcuno che dice che stavano monitorando il loro rapporto di credito, e c'è stato un avviso di riscossione depositato per $ 3.900 e affermano di non sapere nulla al riguardo. |
| |
E puoi anche vedere, nella tabella dei dati, abbiamo una colonna proprio accanto che dice che il consumatore ha contestato, e qui il consumatore ha contestato, e ciò significa che hanno ricevuto una risposta dal |
| |
fornitore di servizi finanziari e non erano soddisfatti di tale risposta, quindi l'hanno contestata. |
| |
Puoi vedere nelle specifiche del grafico dell'intestazione nella tabella dei dati, non è poi così comune. Praticamente è circa uno su cinque in questo set di dati che stiamo esaminando, |
| |
portare alla controversia del consumatore, ma se sei la società finanziaria che ha a che fare con questo cliente, di certo non vuoi emettere una risposta e poi fargli continuare a contestare quella risposta. Potresti voler capire quali tipi di reclami |
| |
stanno arrivando che effettivamente portano a controversie con i consumatori, in modo che tu possa essere in grado, ad esempio, di identificare in anticipo quelle che potrebbero dar luogo a controversie, |
| |
o semplicemente comprendere meglio le pratiche di risoluzione delle controversie per ridurre il numero di controversie. Ci sono molte ragioni per le quali vuoi ricordarlo. |
| |
Dati narrativi sui reclami dei consumatori per vedere cosa potrebbe guidare queste controversie in primo luogo, e cosa fa la selezione dei termini è trovare i singoli termini nei testi che sono associati a quel risultato, quella variabile della controversia. |
| |
Quindi qui, ho un grafico che ho fatto dei risultati dell'analisi della selezione dei termini, dove abbiamo una raccolta di termini lungo l'asse Y. Sulla X, abbiamo il logworth, che è |
| |
una misura della forza dell'evidenza statistica dell'associazione. Quindi questo è in realtà ordinato per valori logworth, quindi in alto abbiamo |
| |
violare e puoi vedere il puntino lì. Questo in realtà mostra che qui abbiamo fatto lo stemming, quindi violare significa che potrebbe essere violato, violato, violazione e così via. |
| |
Quindi abbiamo forti prove statistiche che il termine violare è associato alle controversie dei consumatori, e in realtà nella codifica a colori, |
| |
Ho la forza dell'effetto in termini di rapporto di probabilità qui. Quindi quando le persone... quando qualcuno menziona quella parola, viola, |
| |
le probabilità di una disputa aumentano di un fattore di circa 1,5. Quindi se lo sono |
| |
un fornitore di servizi finanziari, potrei voler essere alla ricerca di quel termine. Potrei voler indagare su come e quando le persone rivendicano determinate violazioni e, come vedremo, si tratta davvero di violazioni della legge federale. |
| |
Quando lo affermano in un reclamo, com'è che li stiamo gestendo, perché sembra che forse non li stiamo gestendo in modo soddisfacente. |
| |
Forse vuoi utilizzare la presenza o l'assenza di quel termine in parte di un modello predittivo per aiutare a segnalare in anticipo reclami potenzialmente problematici, in modo da poter intensificare la loro risoluzione. |
| |
Quindi, come funziona tutto questo? Bene, stiamo costruendo un modello che inizia con il termine del documento matrice, che è una rappresentazione del testo, dove ciascuno |
| |
riga è un documento e quindi ogni colonna è un termine che potrebbe apparire. Poi |
| |
in questo caso, abbiamo quella che chiamiamo ponderazione binaria, quindi, se compare il termine, ne inseriamo uno; se il termine non compare in quel documento, inserisci uno zero. Ci sono più ponderazioni ma continueremo con il binario, per il nostro esempio. |
| |
Quando inseriamo quelle colonne binarie lì come predittori in un modello, e in particolare usiamo |
| |
La regressione generalizzata di JMP e vedremo perché tra un momento. Innanzitutto voglio solo specificare che quello che stiamo facendo qui è la regressione, in effetti alcuni |
| |
alcune persone, probabilmente sentirai, si riferiranno alla selezione dei termini come regressione del testo. |
| |
Non preoccuparti troppo della forma del modello. Sto solo cercando di evidenziare che quello che stiamo facendo è prendere una variabile di risultato. |
| |
Poiché abbiamo una variabile binaria, è la probabilità logaritmica per la regressione logistica, e stiamo dicendo che è uguale a, sai, qualche intercetta più, |
| |
sai, un coefficiente moltiplicato per una variabile. In questo caso, è binario uno o zero; la violazione è apparsa o meno. |
| |
Più un altro valore del coefficiente, in questo caso negativo 0,2 volte un'altra variabile binaria; qui se qualcuno ha menzionato il termine ha riattaccato o meno, e così via. |
| |
Quindi inseriamo un mucchio di termini in questo modello e usiamo la regressione generalizzata per selezionare quali termini appartengono al modello e quali no. E |
| |
quello che vediamo qui è un esempio di JMP che calcola quella soluzione, quali termini appartengono e quali no per noi. |
| |
Quassù nel percorso della soluzione, possiamo vedere in blu tutti i termini che sono entrati nel modello e in nero tutti i termini che in realtà non sono stati inclusi nel modello, perché in realtà non aggiungono al suo valore predittivo. |
| |
E così quello che ci ritroviamo è un elenco di termini. Abbiamo i loro valori di coefficiente di modello quindi qui, ad esempio, violate, ho ottenuto quel valore .4 perché in realtà è il |
| |
valore del coefficiente quando adattiamo il modello. E anche noi, come abbiamo detto prima, otteniamo una misura dell'evidenza statistica o della forza dell'evidenza, |
| |
questo valore logworth, 16,58 qui, dove, se vuoi una regola empirica, qualsiasi valore superiore a 2, sai, potrebbe essere considerato una forte prova statistica, ma in realtà, logworth è logaritmo negativo in base 10 del valore p, quindi il valore di 2 corrisponde solo a un valore P di .01. |
| |
Quindi abbiamo entrambi, tipo, in questo caso con il coefficiente, quanto aumenta o diminuisce le probabilità di una disputa? E poi il registro che vale la pena raccontarci, sai, quanto sono davvero affidabili le nostre prove di questo? |
| |
E con queste informazioni, possiamo fare molto e stiamo per vedere come passare a JMP ed eseguire effettivamente questa analisi. |
| |
Quindi sono tornato sull'altro mio desktop qui. Recupererò i nostri dati sui reclami dei consumatori. |
| |
E |
| |
invece di entrare in Esplora testo da zero, lo avvierò semplicemente usando uno script di tabella qui. |
| |
E come vedremo, una volta che questo viene visualizzato...scusa, è apparso sullo schermo sbagliato. Ci siamo. |
| |
Abbiamo, sai, iniziamo sempre con un elenco di termini che verranno effettivamente inseriti nell'analisi. Quindi abbiamo il nostro elenco di frasi, in cui possiamo dichiarare che dovrebbero essere incluse anche alcune frasi che appartengono all'elenco di termini. |
| |
Ho incluso un sacco di frasi, come atto di segnalazione del credito equo, perché se la menzione di quella frase o quel concetto è associato a una controversia tra consumatori, voglio trovarlo. |
| |
E noterai anche se vado al nostro... andiamo a gestire le parole d'arresto qui, che ho dichiarato molte parole d'arresto. Quindi queste sono tutte parole che |
| |
Non voglio includere nell'analisi, principalmente perché potrebbero sommergere altre parole. |
| |
Potrebbero essere molto frequenti, e se chiedessi solo di analizzare le, sai, le 500 parole più frequenti, non vorrei poterle rovinare. |
| |
Soprattutto perché, anche se in grado fosse restituito come termine associato a disputa, non so nemmeno esattamente cosa farei... cosa ne farei o come potrei interpretare una parola così generica come in grado. |
| |
Quindi vuoi prenderti il tuo tempo per fare le tue parole e frasi di stop, e quando sei pronto, sotto il triangolo rosso, invoca la selezione del termine. |
| |
Quindi, quando lo faremo, selezioneremo prima our |
| |
variabile di risultato e questo è il consumatore contestato. E vogliamo parlare delle cose in termini di probabilità che si verifichi una disputa. |
| |
Qui puoi impostare variabili di risultato continue e categoriche. Entrambi funzionano. E dovrei anche menzionare che stiamo parlando di una controversia che, |
| |
sai, potresti pensare che potrebbe effettivamente essere una sorta di proxy per il sentimento, cioè, se qualcuno contesta qualcosa, probabilmente è perché non è felice. |
| |
Ma potrebbe essere comune che alcune persone dispongano di dati, in cui si dispone di una variabile esterna che è una misura più diretta del sentimento, ad esempio una valutazione a stelle su un prodotto, che indica davvero la soddisfazione. |
| |
E quindi, se ti capita di avere una buona misura del sentimento, insieme ai tuoi dati di testo, potresti usare uno strumento come questo per fare quello che chiameremmo |
| |
analisi del sentimento derivata dai dati, in cui si utilizza questo strumento per estrarre i termini che sono predittivi di una misura del sentimento, quindi essenzialmente selezionando i termini del sentimento e automaticamente |
| |
trovare quali dovrebbero essere i loro punteggi. Quindi può essere molto utile. Non è proprio quello che stiamo facendo qui. Lo stiamo usando in un modo più generale. |
| |
Ok, quindi per quella matrice dei termini del documento, rimarrò con la ponderazione binaria. Per mantenere le cose scattanti, dirò, diamo un'occhiata solo ai 200 termini più frequenti. |
| |
Oltre a ciò, a partire dal termine 201, non lo includerò nell'analisi. In pratica probabilmente ne includerei di più, sai, è solo che voglio che sia carino e scattante per la demo. |
| |
E se sei un utente GenReg, vedrai che hai |
| |
molte opzioni per specificare in anticipo i metodi di stima e convalida. Lascerò quelli predefiniti e farò clic su Esegui. |
| |
E quindi quello che sta succedendo è che JMP sta chiamando GenReg. Sta costruendo un modello di regressione logistica e facendo la selezione delle variabili usando il metodo della rete elastica. |
| |
Sembra che abbiamo appena avuto un secondo problema tecnico. Sono terribilmente dispiaciuto per questo. Lo risolveremo quando questo modello è adatto. Quindi vediamo. Ripristineremo la mia condivisione dello schermo. |
| |
Mi riporteremo indietro. Sembra che stiamo ancora registrando, quindi andremo avanti. Quindi ecco il risultato. |
| |
Prima di entrare nel dettaglio del report, esamineremo solo questa riga nella tabella di riepilogo. Questo riassume il singolo modello che ho costruito finora. |
| |
Quindi, ad esempio, posso vedere che ha restituito 145 termini. Ho usato AICc come convalida e c'è il valore AICc. Possiamo vedere alcune altre statistiche di adattamento. |
| |
E, proprio come qualsiasi modello, potremmo voler provare più, sai, esecuzioni sul modello per costruire il modello che si adatta meglio ai nostri dati. |
| |
Quindi, se passo a questo nodo di regressione generalizzato qui, vedrai che GenReg è effettivamente incorporato in Esplora testo. |
| |
Potrei esplorare il modello che abbiamo adattato in modo più dettagliato o, nel mio caso, in realtà inserirò un altro modello per vedere se posso fare di meglio. Facciamo una rete elastica adattiva. |
| |
E invece si adatterà a quel modello e vedrà se funziona meglio della normale rete elastica che abbiamo già adattato. |
| |
Ok, quindi si adatta anche a quel modello. |
| |
Se andiamo al nostro riepilogo, possiamo vedere che questo ora ha restituito 98 termini, ha in realtà un AICc inferiore, quindi potrebbe adattarsi meglio. |
| |
E quindi vado con quel modello. Ora potrei, se volessi andare con l'originale, basta fare clic su quello. Come puoi vedere, il rapporto qui sotto si aggiorna a qualsiasi modello che ho selezionato in questa tabella. |
| |
Ho la mia lista di termini qui sotto. Ne abbiamo già parlato, quindi potrei guardarlo in termini di coefficienti. Quindi ecco i termini che sono più... hanno l'effetto maggiore, aumentando le probabilità di una controversia dei consumatori. |
| |
Ecco quelli che hanno il maggiore effetto nel ridurre le probabilità di una controversia dei consumatori. In ognuna di esse, ad esempio, potrei guardare i riattaccati e vedere che, ovviamente, si tratta di loro che riattaccano a qualcuno o qualcuno che riattacca a loro, e forse per noi ha senso che |
| |
che questo sarebbe predittivo di una diminuzione delle probabilità di disputa, perché sembra che sia davvero un problema di comunicazione e che potrebbe essere un po' più facile da risolvere. |
| |
Ancora una volta, vogliamo prestare attenzione ai nostri valori di logworth qui, 2.883, quindi è un po' al di sopra di quella regola empirica, 2, che ho affermato prima, quindi potremmo dire ok, penso che ci siano prove statistiche ragionevolmente forti che questo è un reale associazione. |
| |
Solo per chiarire quel punto, se scendiamo qui, vediamo la parola polizia. E la mia impressione iniziale è, beh, la gente dice, beh, ho compilato un rapporto della polizia o ho chiamato la polizia. |
| |
Probabilmente non sarà così probabile che se ne vadano se emettiamo qualche risposta, la disputa sulla probabilità, deve salire se qualcuno è già al livello di chiamare la polizia. |
| |
Ma se guardiamo al |
| |
logworth, possiamo vedere bene che l'evidenza statistica di questo non è davvero così forte, quindi mentre viola la mia intuizione, sai, forse, forse non è del tutto reale. |
| |
Non è certo al punto che vorrei far risalire la catena al management e dire, ehi, se la gente dice di averci chiamato la polizia, in realtà è una buona cosa. Non stiamo certo dicendo questo. È stato appena selezionato per l'inclusione nel modello qui perché, alla fine, lo ha fatto |
| |
risultato in un modello più adatto, ma sta ancora a noi applicare le nostre conoscenze e il buon senso nell'interpretazione dei risultati. |
| |
Quindi questa tabella potrebbe essere, se quello che stai davvero cercando di fare è solo identificare i termini e quantificare i loro effetti in qualche modo, |
| |
questo potrebbe essere il tipo di obiettivo della tua analisi. E quindi potrei fare clic con il tasto destro e andare a creare una tabella di dati |
| |
e ottenere una tabella di dati di questi termini e dei loro coefficienti e logworth, e quindi utilizzarla per forse guidare alcune analisi delle nostre risposte precedenti, sforzi di miglioramento o addirittura contrassegnarli come termini che dovrebbero essere inclusi in una sorta di modello predittivo in futuro. |
| |
Ma, sai, abbiamo costruito un modello qui, un modello di regressione, quindi abbiamo informazioni per, a livello di singolo documento, sul |
| |
la somma totale dei coefficienti che prevedono un aumento delle probabilità di contestazione, la somma totale che prevede una diminuzione, il valore complessivo del modello, la probabilità di |
| |
una disputa che il modello ha assegnato e ciò che abbiamo effettivamente osservato. Quindi tutte le cose che potresti aspettarti quando stai effettivamente valutando a livello del singolo documento, beh, quanto bene funziona questo modello. |
| |
In alto abbiamo anche un riassunto generale, in questo caso, dei singoli documenti e dei loro...quello che chiamiamo il nostro contributo, quindi questo è il |
| |
somma o media di tali valori dei coefficienti. Quindi sembra che, ad esempio, 30.412 dei nostri documenti abbiano una somma... somma totale positiva dei loro valori dei coefficienti e il valore medio del coefficiente, il contributo medio è di circa 0,57. |
| |
Quindi, di nuovo solo una bandiera, sai, stiamo parlando di coefficienti di regressione qui, e quindi questi valori di contributo, la tabella dei coefficienti, tutto questo dovrebbe essere interpretato come faresti quando costruisci |
| |
modello di regressione lineare altrimenti, quindi nel nostro caso qui, regressione logistica, dovremmo interpretarli |
| |
opportunamente, cioè, se li esponiamo, allora abbiamo a che fare con il logaritmo o... scusatemi... allora abbiamo a che fare con l'odds ratio, quindi questo è il fattore per cui le probabilità aumenterebbero o diminuirebbero se questa parola appare nel testo. |
| |
Tuttavia, se non sei enorme sulla regressione, questi valori possono comunque essere utili per te in un senso più generale, in quanto puoi cercare di vedere, beh, ok, quali termini hanno l'effetto più forte o meno. E lo stesso con Logworth, beh, che hanno le prove più forti o no. |
| |
Ora, finalmente, come puoi immaginare, voglio dire, abbiamo già visto come salvare la tabella dei termini, ma se il tuo obiettivo non è quella tabella dei termini, ma in realtà il modello |
| |
che hai creato, hai anche la possibilità di salvarlo. E così ho selezionato il modello che intendo usare, quella rete elastica adattiva, e sotto il triangolo rosso, posso salvare le formule di previsione. |
| |
E penso che il mio computer probabilmente girerà qui solo per un secondo. Quindi sta salvando la matrice dei termini del documento, quindi era per i primi 200 termini come abbiamo specificato, e poi anche la formula |
| |
che opera su quelle colonne o quella matrice di termini del documento per calcolare effettivamente il nostro modello. Quindi qui, ho la matrice dei termini del documento |
| |
e poi le colonne della formula alla fine qui, quindi ora posso davvero usarle |
| |
questo modello direttamente se voglio. |
| |
Quindi questa è la selezione dei termini. Di nuovo ad alto livello, stiamo trovando quali termini sono più fortemente associati a una variabile di risultato che ci interessa, sia per interpretare meglio cosa sta guidando quel risultato, o forse anche per informare una pratica di modellazione per cercare di prevedere quel risultato. |
| |
E questo conclude quel termine selezione e analisi del sentiment, le due nuove funzionalità di text mining in JMP Pro 16, appena introdotte la scorsa primavera. |
| |
Adesso uscirò un po' e risponderò a tutte le domande che qualcuno ha su, |
| |
sai, queste due nuove funzionalità. E sappi anche che in seguito potrai sempre pubblicare un commento o una domanda aggiuntiva sulla pagina della community degli utenti per questa presentazione e terrò sempre d'occhio |
| |
aperto a rispondere a tutte le domande che vengono attraverso. Quindi grazie per aver dedicato del tempo, tutti. Si prega di fare attenzione. |
