Relatore
|
Trascrizione
|
| Ross Metusalem |
Ciao a tutti e benvenuti a questa presentazione su come JMP ha ampliato il suo toolkit di estrazione di testo in JMP Pro 16, uscito la scorsa primavera. |
| |
Sono Ross Metusalem. Sono un ambasciatore accademico di JMP e condividerò con te queste due nuove capacità di estrazione di testo |
| |
analisi del sentimento e selezione dei termini. Parleremo di cosa sono e come usarli e di JMP e poi vedremo due esempi di esecuzione di queste analisi su dati disponibili pubblicamente nel mondo reale. |
| |
Quindi l'analisi del sentimento e la selezione dei termini sono due nuove aggiunte a Esplora testo di JMP, che è uno strumento di estrazione di testo generico. |
| |
Quindi puoi usarlo per ricavare informazioni quantitative da quelli che comunemente chiamiamo dati di testo liberi o non strutturati, quindi potrebbe essere qualsiasi cosa derivare dalle frequenze delle parole, in modo da poter creare una nuvola di parole, |
| |
all'esecuzione dell'analisi semantica latente, in modo da poter raggruppare documenti semanticamente simili. Quindi le due funzionalità che vedremo oggi sono funzionalità all'interno dello strumento di esplorazione del testo. |
| |
Inizieremo con l'analisi del sentimento, una funzionalità popolare e spesso richiesta che siamo lieti di introdurre in JMP Pro 16. |
| |
Per coloro che non hanno familiarità, l'analisi del sentimento consiste nel quantificare le emozioni positive e negative nei dati di testo non strutturati. |
| |
Ora l'esempio che esamineremo è tratto dal Beige Book, che è un rapporto narrativo emesso dalla Federal Reserve. |
| |
E come possiamo vedere nella mappa, la Federal Reserve è suddivisa in 12 diversi distretti e circa otto volte l'anno, ogni distretto pubblica un rapporto narrativo del Libro Beige |
| |
che riassume le condizioni economiche attuali e potenziali future in quella stessa regione geografica. E questi rapporti si basano in gran parte su fonti di dati qualitativi, quindi pensa |
| |
conversazioni con leader aziendali, sondaggi del genere. Quindi penso che il Beige Book fornisca un buon esempio per l'analisi del sentimento, non solo perché |
| |
sono dati disponibili pubblicamente e posso condividerli con tutti voi, ma anche perché sarebbe piuttosto interessante se foste, diciamo, un investitore o voi, |
| |
sai, ha fatto in modo che un istituto finanziario sapesse quanto fortemente positivi o negativi i direttori della Federal Reserve si sentano riguardo alle condizioni economiche in diverse parti del paese. Potresti davvero usarlo per |
| |
forse guidare il processo decisionale, o anche se puoi quantificarlo, usarlo in alcune analisi statistiche, forse anche in alcuni modelli predittivi. |
| |
Quindi diamo un'occhiata a un esempio di alcuni testi del Libro Beige. |
| |
Qui abbiamo solo un frammento di uno dei rapporti e possiamo vedere, a partire dall'alto, che questo rapporto afferma che le vendite di computer, d'altra parte, sono state gravemente depresse. |
| |
Considerando che, se scendiamo fino in fondo, un individuo ha anche riferito che ci sono un certo numero di cannucce favorevoli nel vento, quindi abbiamo qui evidenziato "gravemente depresso" e "favorevole" e anche "migliorare", |
| |
perché queste sono quelle che chiameremmo frasi sentimentali. Quindi sono una o più parole che denotano una sorta di contenuto emotivo positivo o negativo. |
| |
Quindi in alto, abbiamo una depressione grave, che sarebbe fortemente negativa, e poi abbiamo in basso, favorevole, che sarebbe generalmente positiva, e usiamo questo codice colore in modo che l'arancione rispetto a questo blu o viola (a seconda di come lo vedi) |
| |
per indicare rispettivamente sentimenti positivi e negativi. |
| |
E molte forme di analisi del sentimento fanno proprio questo. Cercano frasi positive e frasi negative nel testo. |
| |
Il modulo utilizzato da JMP, e che potresti incontrare altrove, quantifica effettivamente il sentimento positivo e negativo su scala continua. |
| |
Quindi prendi, ad esempio, in fondo a questo secondo frammento di testo, dove vediamo che qualcuno dice che i grandi magazzini della regione segnalano scarse vendite. |
| |
Quindi, in alto, le vendite sono gravemente depresse e in basso, vediamo che le vendite sono scarse. Bene, penso che siamo tutti d'accordo sul fatto che una depressione grave suoni peggio |
| |
per quanto riguarda le vendite rispetto ai poveri. E quindi potremmo volerlo, |
| |
sebbene siano entrambi negativi, quantificare i depressi gravi come più negativi che poveri, ed è quello che facciamo nell'analisi del sentimento in JMP. E parleremo |
| |
molto brevemente qui su come vengono calcolati quei punteggi, in particolare, ma prima penso che valga la pena dare un'occhiata a |
| |
potenziali dimostrazioni di validità della quantificazione del sentimento guardando i singoli termini e frasi come questo. |
| |
E stiamo parlando essenzialmente di segnare i documenti, in base alle parole che vi ricorrono |
| |
che pensiamo denotino emozione e in che misura. Ed è una specie di cosa interna e soggettiva, ma questo approccio, l'analisi del sentimento, |
| |
può davvero dimostrare una certa validità predittiva. Ad esempio, se osserviamo come il sentimento di Beige Book segue nel tempo, possiamo vedere che in realtà segue in modo abbastanza affidabile le recessioni. Quindi qui abbiamo il sentimento |
| |
sull'asse y. Puoi vedere che si estende da negativo 75 a 75, questo è solo l'intervallo che abbiamo tracciato. La scala reale va da 100 negativo |
| |
a 100, dove zero è neutro. E puoi vedere, con il passare del tempo più fluido che cattura la tendenza generale del sentimento in tutti i rapporti del Libro Beige, |
| |
si può notare uno schema interessante rispetto alle recessioni economiche, che a loro volta sono evidenziate in rosso. In particolare, possiamo vedere che il sentimento sembra diminuire in modo affidabile prima di ogni recessione. |
| |
Quindi, anche se questa è una misura relativamente soggettiva di quello che riteniamo essere lo stato emotivo dei direttori della Federal Reserve statunitense, intendo dire che sta seguendo le recessioni economiche come ci si potrebbe aspettare. |
| |
Tiene traccia anche geograficamente, in modo abbastanza interessante. Prendi ad esempio il fallimento delle dot-com intorno al 2000-2001 quando un gruppo di startup Internet nell'area della baia di San Francisco |
| |
è andato sotto. Possiamo vedere, e ho le etichette al passaggio del mouse per San Francisco evidenziate qui, così possiamo vedere i punteggi per quella regione. Abbiamo un sentimento positivo in arancione, come abbiamo visto prima, e negativo in quel blu. |
| |
Possiamo vederlo crescere fino al 2000, sentimento |
| |
era piuttosto alto nell'area della baia, 38,65, e poi è crollato in media di oltre 60 punti nel 2001 a |
| |
negativo 24,7 circa. E questo è un cambiamento molto più grande di quello che abbiamo visto altrove nel paese perché quella è la regione...presumibilmente, perché quella è la regione che è stata più fortemente colpita. |
| |
E vediamo qualcosa di simile con la grande recessione. Quindi vediamo il crollo del mercato immobiliare nel 2008 corrispondente a un calo del sentiment e non in modo uniforme. |
| |
Sembra che i cali maggiori siano stati evidenziati nella costa occidentale, quindi questa è di nuovo la regione di San Francisco, la regione di New York e anche la regione di Atlanta, che comprende |
| |
La Florida, dove vivo, che è stata una zona particolarmente colpita del paese. E, infatti, se guardiamo in basso nell'ultima riga, possiamo vedere che la Florida... |
| |
il sentimento non sembra riprendersi in quell'area generale fino al 2012 circa, dietro alcune delle altre aree geografiche, e questo sembra avere un senso. Il mercato immobiliare in Florida è stato uno degli ultimi a riprendersi a livello nazionale. |
| |
Quindi abbiamo questa misura soggettiva dell'emozione, ma tiene traccia, in questo caso, di eventi esterni... eventi economici in un modo che ci aspetteremmo. |
| |
E sai ancora, stiamo esaminando il Beige Book perché è un esempio particolarmente valido e pubblicamente disponibile. Se tu |
| |
stanno parlando di domini forse più comuni per applicare l'analisi del sentimento, come la ricerca di mercato dei consumatori, in cui hai a che fare con a |
| |
voce del cliente sotto forma di dati di testo, quindi recensioni di prodotti, risposte a sondaggi, cose del genere, |
| |
potresti essere in grado di utilizzare l'analisi del sentimento per comprendere meglio, forse anche prevedere, ad esempio, i comportamenti dei clienti, proprio come possiamo usare il sentimento qui per comprendere o prevedere meglio, forse, le recessioni economiche. |
| |
Quindi, detto questo, mi rendo conto che abbiamo esaminato i punteggi dei sentimenti negli ultimi minuti qui, e si pone davvero una domanda sulla loro provenienza. |
| |
Quindi JMP utilizza una forma di analisi del sentimento chiamata analisi del sentimento lessicale. Quindi usa un lessico del sentimento o |
| |
dizionario dei sentimenti |
| |
assegnare un punteggio a tutte le singole parole che riteniamo portino un sentimento. Quindi una parola come fantastica potrebbe ottenere un punteggio di 90, il che è altamente positivo. È quasi al massimo di positivo, 100, mentre una coppia in meno, temuta ottiene un punteggio negativo 60. |
| |
Ora possiamo assegnare punteggi a questi termini e sostanzialmente contarli o prendere la loro media in ogni singolo documento. |
| |
Ma vogliamo rendere conto di un paio di altre cose. Se ricordi che la prima frase del sentimento che abbiamo visto nell'esempio del Libro Beige era gravemente depressa. |
| |
Altre parole severamente come esempio di qualcosa che chiamiamo intensificatore, che è fondamentalmente un moltiplicatore di sentimenti. Quindi puoi vedere qui, potremmo dichiarare incredibilmente di essere un moltiplicatore con un punteggio di sentimento di 1,4, dove un po' in realtà |
| |
lo ridimensiona di 0,3, quindi diminuisce leggermente la grandezza del sentimento. |
| |
Quindi, se appare un intensificatore con il termine del sentimento, eseguiamo quella moltiplicazione e quindi anche se si verifica un negatore. Quindi diciamo, |
| |
sai, qualcosa è no o no o non dovrebbe o non era, moltiplichiamo per negativo, quindi fondamentalmente, sai, capovolgiamo il segno; positivo diventa negativo e viceversa. |
| |
E quindi per qualsiasi frase di sentimento, eseguiamo semplicemente questa semplice moltiplicazione e poi su un documento, |
| |
possiamo prendere il punteggio medio o forse la differenza tra i punteggi del sentimento minimo e massimo |
| |
calcolare un valore di sentimento per quei documenti. Ed è quello che stavamo guardando in quelli in quei grafici, quindi il grafico del sentimento nel tempo in quelle mappe. |
| |
Quindi questa è un'analisi del sentimento lessicale. È una pratica molto comune ed è il tipo di analisi del sentimento implementato in JMP. E come vedremo, quando avrai JMP |
| |
calcola tutti i punteggi del sentiment, ottieni molte informazioni utili. Ecco quindi un esempio di come appare il rapporto sull'analisi del sentimento. |
| |
Per visualizzare in anteprima solo un elemento dei risultati, in alto qui, abbiamo un semplice riepilogo delle opinioni su tutti i nostri documenti. |
| |
Quindi abbiamo un istogramma che è facilmente codificato a colori che ci mostra che la distribuzione dei sentimenti complessivi sembra leggermente positiva, che abbiamo una coda di sentimenti negativi piuttosto forte. |
| |
Possiamo vedere che, in tutti i documenti, il punteggio medio del sentiment è 4,1, quindi appena al di sopra della neutralità. |
| |
Per tutti i documenti complessivamente positivi, di cui 3.900, il punteggio medio è 22,9, mentre tra i circa 1.400 documenti negativi, il |
| |
il punteggio medio è negativo 15,4, quindi i documenti negativi non sono così fortemente negativi quanto i documenti positivi sono fortemente positivi. |
| |
Ora, certo, sai, qui con il Beige Book, potrei dire, beh, sai da questo caso nel 1970 ad oggi, solo guardando il punteggio medio del sentimento, forse, sai, non lo so Non importa quanto forse guardare i punteggi dei singoli documenti o |
| |
forse guardando la distribuzione di determinati termini di sentimento. Ma ancora una volta, se hai a che fare con dati in, |
| |
ad esempio, ricerche di mercato dei consumatori, qualcosa del genere, qualsiasi dato di testo in cui hai la voce del cliente, anche solo il riepilogo di alto livello come questo che può dirci bene quanto sono positivi o negativi i nostri clienti, in base ai dati che noi abbiamo, |
| |
anche solo il semplice resoconto può essere davvero prezioso. Ma stiamo per passare a JMP e vedremo che il rapporto sull'analisi del sentimento include molti altri modi per esplorare i dati per ottenere informazioni dettagliate. |
| |
Quindi andiamo su JMP e vediamo come è fatto. |
| |
Quindi eccoci qui, sono in JMP Pro 16.1 e prima di immergerci in questi dati di Beige Book, voglio fare un grido a Xan Gregg. |
| |
Per quelli di voi che non lo conoscono, Xan è un direttore del nostro team di sviluppo. È il creatore di Graph Builder |
| |
ed è anche la persona che originariamente ha avuto l'idea di guardare i dati del Beige Book, ed è stato anche così gentile da raschiare le pagine html negli archivi del Beige Book e fornirmi una bella tabella di dati JMP. Quindi grazie mille, Xan. |
| |
Va bene ora, diamo un'occhiata all'analisi del sentimento e in realtà, invece di entrare nei risultati, |
| |
sai, voglio mostrarti brevemente come impostare l'analisi, perché ci sono alcune considerazioni importanti di cui essere a conoscenza, |
| |
per quanto riguarda non solo, sai, come JMP lo implementa, ma come eseguire l'analisi del sentimento o l'analisi del sentimento lessicale in generale. |
| |
E per dimostrare questa configurazione, esaminerò solo un sottoinsieme dei dati dal 2010 ad oggi, in questo caso, solo per mantenere le cose veloci, perché chiederemo |
| |
esploratore di testo per aggiornare automaticamente la sua analisi un certo numero di volte e vogliamo che sia, sai, il più istantaneo possibile. |
| |
Quindi qui ho quel sottoinsieme di dati, quindi abbiamo i nostri rapporti Beige Book in tutti i 12 distretti a partire da gennaio 2010 fino al rapporto più recente del mese scorso. |
| |
Va bene, quindi per avviare la nostra analisi del sentimento, andrò ad analizzare e sceglierò Esplora testo. Prendi il nostro testo e inseriscilo nel ruolo delle colonne di testo. Un paio di cose da notare. |
| |
Uno è che mentre Esplora testo generalmente supporta un certo numero di lingue, |
| |
la sentiment analysis è attualmente disponibile solo in inglese. |
| |
E l'altro è che se... almeno se sei un utente esperto di esplorazione di testo, potresti essere abituato ad attivare lo stemming e noterai che lo lascerò disattivato in questo momento. |
| |
Per coloro che non conoscono lo stemming, è un modo per crollare su più forme della stessa parola o nel linguaggio linguistico, lo stesso lemme. Quindi prendi forte, più forte e più forte. |
| |
Crolleremmo su tutti loro e diremmo solo, beh, sono tutti forti per i nostri scopi. |
| |
E ovviamente non vogliamo farlo qui perché il più forte è più positivo del più forte, che è più positivo che forte. |
| |
E quindi lasciamo lo stemming e, in effetti, anche se lo accendi una volta che invochi l'analisi del sentimento, ignorerà quel stemming, perché, ancora una volta, non dovresti davvero usarlo. |
| |
Quindi farò clic su OK. No e sembra che mentre l'ho fatto, abbiamo avuto un leggero inconveniente tecnico. Mi scuso, ultimamente è successo qualcosa di strano con il mio computer che lo sta facendo, ma va bene. Possiamo semplicemente riavviare la nostra condivisione dello schermo e riportare il mio video. Ciao a tutti. |
| |
E lo condivideremo. Ok, quindi dovremmo continuare, sembra che la registrazione sia ancora in corso. Consentitemi di assicurarmi che JMP sia assegnato al monitor giusto qui. Sembra che lo sia. Va bene mi dispiace per quello a tutti. Comunque quindi torniamo a questo. |
| |
Quindi qui abbiamo la nostra finestra di esplorazione del testo. Ora di nuovo se sei abituato a fare |
| |
analisi del testo, sapresti che in genere inizi dichiarando le parole finali. Ad esempio, le persone che parlano dei miei contatti nell'industria mi hanno detto che... E sai che non vorrei usare la parola contatti nella mia analisi, quindi normalmente lo farei |
| |
aggiungilo come stop word e poi passa potenzialmente per ore |
| |
dichiarando le parole d'arresto prima che facessi effettivamente la mia analisi, e non devi farlo con l'analisi del sentimento. |
| |
È tutto basato su quel dizionario dei sentimenti e quindi, per una parola come i contatti, non è nel dizionario. È comunque funzionalmente escluso, quindi è un bel modo per risparmiare tempo. |
| |
Tuttavia, probabilmente vorrai dichiarare frasi, ad esempio, immobiliare o uno che esamineremo, che è la domanda di prestito, che è seduto qui. |
| |
Quindi faccio clic su richiesta di prestito e lo aggiungo come frase. Viene inserito nella nostra lista dei termini, quindi troviamolo molto velocemente. |
| |
Eccolo, 1.139 istanze. E questo è un per aiutarci effettivamente a approfondire i sottodomini in queste analisi o in questo |
| |
in questo set di dati. Quindi immagina di voler calcolare il sentimento, non nel complesso, ma il sentimento solo rispetto alla domanda di prestito. |
| |
Per farlo, come vedremo, devo prima dichiararlo come una frase, quindi è ragionevole esaminare e dichiarare alcune frasi almeno per domini davvero importanti che potrebbero interessarti. |
| |
Va bene, quindi ora chiudiamolo e lanciamo effettivamente l'analisi del sentiment. |
| |
E vedrai quando lo farò, otterrò un rapporto completo, quindi potrebbe sembrare che sia ora di iniziare a esplorare i miei risultati, perché questa sembra un'analisi completata, ma voglio incoraggia chiunque lo usi a pompare i freni e considerare il tuo dizionario dei sentimenti. |
| |
Diversi, sai, gruppi di persone che generano testi in contesti diversi su cose diverse, con dialetti diversi |
| |
può usare la lingua in molti modi diversi. Ed è importante personalizzare il tuo sentimento e intensificare gli elenchi di termini di negazione |
| |
per rifletterlo. Quindi è... esito a usare la parola mai, ma ho intenzione di... dirò mai solo di usare il dizionario dei sentimenti predefinito. Otterrai sempre risultati più validi se lo curi tu stesso. |
| |
Quindi, se vado ai termini del sentimento qui, puoi vedere che i punteggi si basano su questo dizionario integrato, che è relativamente scarso. |
| |
Ma voglio effettivamente leggere parte del testo e vedere se riesco a identificare forse altre parole che dovrebbero essere incluse nel dizionario. Dovrei menzionare che potresti anche voler passare attraverso il |
| |
l'elenco integrato ed escluderne alcuni, anche se quell'elenco è relativamente scarso e quindi idealmente non dovresti escluderne troppi o forse nessuno. |
| |
Quindi, nel nostro rapporto, hai effettivamente alcuni strumenti per curare il tuo dizionario, non solo per esplorare i risultati. Posso selezionare il documento in questa tabella del documento e visualizzare il testo |
| |
proprio sotto. Quindi mi alzerò brevemente dalla parte inferiore dello schermo. Puoi vedere evidenziato in quel testo, i termini e le frasi del sentimento sono già stati trovati, come leggermente meglio. |
| |
Ma se guardi, diciamo, qui abbiamo la parola debole, le condizioni attuali sono rimaste deboli, e risulta, per quanto ne so, questo è molto comune |
| |
termine nei rapporti del Libro Beige che indica che qualcosa è essenzialmente cattivo. Non lo so, non sono un economista, ma forse è il caso che in economia, |
| |
sai, debole è sinonimo di cattivo, forte è sinonimo di buono, e questa è la mia opinione, dopo aver esaminato un po' questi dati. |
| |
Ora vedrai, non è evidenziato. Ciò significa che debole non è attualmente nel mio dizionario, ma posso aggiungerlo molto facilmente. Mi limito a passarci sopra |
| |
termine proprio nel testo e posso aggiungerlo come negatore. Posso assegnargli un valore intensificatore o un valore di sentimento, quindi è moderatamente negativo, quindi farò clic su 60 negativo. |
| |
E quello che succede è che ora è aggiunto al mio dizionario e tutti i punteggi dei sentimenti vengono ricalcolati in tempo reale qui. |
| |
Quindi il mio elenco di termini di sentimento ora posso anche selezionare debole e vederne tutte le istanze. Se torniamo a quella tabella nella colonna del conteggio, sembra che si verifichi 1.012 volte in questo sottoinsieme dei dati del Libro Beige. |
| |
Quindi, certamente, esamina e leggi, forse, un sottoinsieme casuale o un sottoinsieme casuale stratificato dei tuoi documenti e prova a identificare alcuni termini di sentimento che appartengono al tuo dizionario. |
| |
Ora puoi anche fare affidamento su una funzione utile, questo possibile elenco di sentimenti, |
| |
che in realtà serve potenziali termini di sentimento per la tua considerazione. Potrei notare, diciamo, che il forte è qui e io ho inserito il debole. Certamente voglio forte e quindi dichiaro che è un |
| |
forte. |
| |
E ho usato i pulsanti di scelta rapida, sai, positivo 60, negativo 60, ma puoi inserire qualsiasi punteggio che ti piace tra negativo 100 e 100, quindi forse in realtà voglio solo un punteggio di 50 per forte. Quindi lo farò, e se guardi in basso in questo momento, puoi vedere di nuovo tutti gli aggiornamenti automatici. |
| |
Quindi fai attenzione con l'elenco dei termini del tuo sentimento. Inoltre, non esaminerò i meccanismi per definire i termini dell'intensificatore di negazione, ma si applicano le stesse idee. |
| |
Assicurati di fare in modo che quelli giusti riflettano davvero il tuo dominio e quindi ti consiglio, sotto il triangolo rosso, puoi sempre accedere agli strumenti di gestione a termine completo su uno che conosci inserire manualmente alcuni termini, quindi forse so che voglio il più forte e io voglio che sia un punteggio di 90. |
| |
Quindi posso aggiungere una specie di formato batch qui |
| |
senza l'aggiornamento automatico ogni volta, oppure posso anche importare ed esportare elenchi di termini di sentiment, |
| |
il che è ottimo per condividerli con altre persone, per renderli portatili, per aiutarci a tenere traccia del nostro lavoro e renderlo replicabile. |
| |
A causa di quanto i tuoi risultati dipendono dall'elenco dei termini del sentimento, e anche dagli intensificatori e dai negatori, consiglio vivamente che quando hai una scaletta di esportarli in modo da averlo completamente documentato e anche in grado di essere importato in un nuova analisi e replicata. |
| |
Quindi è abbastanza per impostare l'analisi, voglio solo portare a casa quel punto che se invochi l'analisi del sentimento, otterrai un rapporto, ma non tuffarti direttamente in quel rapporto. Prima cura il tuo dizionario. |
| |
Quindi, ora che l'ho fatto |
| |
battuto quel punto senza pietà a casa, diamo effettivamente un'occhiata a quel rapporto. |
| |
E quello che ho intenzione di fare ora è inserire, sai, un rapporto completo utilizzando, in questo caso, tutti i 5.300 e più |
| |
Beige Book riporta qui. Quindi, come ho detto prima, nella sezione dei risultati, hai questo riepilogo generale. Non lo faremo di nuovo. Abbiamo visto che ce l'hai anche tu |
| |
tutti i singoli documenti, in modo da poter visualizzare qualsiasi documento per vedere come è stato valutato, cosa appare in esso. Esplora l'uso dei termini e delle frasi relativi ai sentimenti nel contesto. |
| |
In questa tabella puoi anche vedere una serie di misure utili, ad esempio la somma totale del punteggio positivo per un documento, |
| |
il punteggio medio delle frasi di sentimento positivo nel documento. Lo stesso vale per il negativo e poi il punteggio complessivo e noterai, come ho fatto io |
| |
passa il mouse su questi valori, questo in realtà mi mostra come vengono calcolati. Quindi, se guardo alla media del punteggio negativo, posso vedere che ci sono sette termini in totale, posso vedere quali erano i loro punteggi e quindi posso vedere qual è la media. |
| |
Posso anche vedere che la media, in questo caso, di quella negativa, è solo il punteggio medio di tutti i termini di sentimento, positivi e negativi. |
| |
Ci sono molti modi utili in cui il passaggio del mouse sopra gli elementi in questo rapporto rivelerà informazioni utili. Lo consiglio vivamente, sai, provalo. Passa con il mouse in luoghi diversi. Probabilmente troverai qualcosa di utile. |
| |
Ora, in genere non esaminiamo troppo i singoli documenti quando eseguiamo il mining di testo in questo modo. Voglio dire, se potessimo leggerli tutti, |
| |
allora lo faremmo. Voglio dire, siamo più bravi a capire il linguaggio rispetto ai computer. Quindi, sai, certamente non esamineremo l'intera raccolta di 5.300 documenti, ma potresti dire, ordina per punteggio e dare un'occhiata solo ai più negativi |
| |
rapporti e leggerli effettivamente per avere un'idea di, ok, bene, |
| |
quando le persone sono particolarmente negative, di cosa sono negative? Cosa posso imparare su cosa sta guidando quella negatività, e ancora, specialmente nella ricerca, diciamo, sui consumatori, guardare, sai, recensioni di prodotti, sondare qualcosa del genere può essere davvero prezioso. |
| |
Abbiamo anche visto che hai il tuo elenco di termini di sentimento, dove possiamo vedere tutti i diversi termini di sentimento che appaiono, la frequenza con cui appaiono e il loro |
| |
punteggi ad essi associati. E se ne prendo qualcuno, posso vedere anche quei termini nel contesto. Quindi, se viene utilizzato un particolare termine di sentimento |
| |
abbastanza comunemente nei tuoi dati, potresti voler comprenderli meglio nel contesto per vedere perché le persone li stanno usando o cosa li spinge a usarli. Ed è abbastanza facile farlo semplicemente selezionando il termine e quindi sfogliando il testo qui sotto. |
| |
Ora, finalmente, quella che penso sia una delle funzionalità più utili nell'analisi del sentiment si trova in questa scheda delle funzionalità. |
| |
Quindi ciò che fa quando faccio clic su Cerca, trova i termini non di sentimento che si verificano frequentemente con i termini di sentimento e ci consente di eseguire un'analisi approfondita, in cui valutiamo il sentimento solo rispetto a quello |
| |
termine selezionato, o ciò che chiameremo funzione, oppure potresti anche chiamarlo sottodominio. Quindi forse il sentimento solo per le vendite e possiamo vedere che le vendite sono state segnalate deboli, indebolendo le vendite. |
| |
O per tornare a quando ho detto che vuoi fare qualche fraseggio potenzialmente. Troviamo la domanda di prestito in questo elenco, |
| |
e diamo un punteggio a tutti i nostri documenti solo rispetto al sentimento riguardo alla domanda di prestito. E ovviamente questo sta usando alcuni |
| |
elaborazione del linguaggio naturale per cercare di determinare quali frasi di sentimento si applicano e non si applicano alla domanda di prestito, e con qualsiasi metodo NLP, non sarà accurato al 100%, ma la sua accuratezza, specialmente in un testo ben formato scritto in |
| |
in un modo in cui lo sono i rapporti del Beige Book, sembra che funzioni abbastanza bene. E così ora posso vedere, ad esempio, come si sentono riguardo alla domanda di prestito |
| |
in tutti questi rapporti? E sembra generalmente positivo, anche se abbiamo alcuni rapporti particolarmente negativi. |
| |
L'ultima cosa da chiamare qui, e solo per riportarci al punto di partenza, probabilmente ho notato che devo aumentare i picchi quando l'ho fatto, e questo è... sembra positivo 60 e negativo 60. |
| |
E questo sta solo evidenziando ancora una volta quanto sia importante curare il tuo dizionario dei sentimenti quando esegui questa analisi e rendere conto di come l'hai costruito quando interpreti i tuoi risultati. |
| |
Quindi qui, questo picco a 60 positivo potrebbe benissimo essere dovuto al fatto che quando inizialmente ho inserito molti termini di sentimento nel dizionario, stavo usando questi pulsanti di scelta rapida. |
| |
Quindi ho questi 30, 60, 90 pulsanti di scelta rapida e quindi mi sto quasi preparando a vedere picchi nei punteggi a |
| |
positivo 60 e negativo 60. E se avessi prestato un po' più di attenzione a rendere le partiture più fini, allora forse non vedrei proprio questo, sai, interessante, lo chiameremo distribuzione. |
| |
Quindi lo richiamo solo per sottolineare ancora una volta quanto sia importante ottenere il tuo dizionario dei sentimenti |
| |
insieme in anticipo e poi, una volta fatto, hai tutte queste informazioni utili sul sentimento globale, sentimento per documento, sentimento per termine individuale o anche per sottodominio, usando queste funzionalità |
| |
sezione qui. E poi, ovviamente, come probabilmente sei abituato in JMP, quando è il momento di prendere quello che hai fatto e salvarlo, così puoi usarlo altrove sotto il triangolo rosso, troverai quelle opzioni, quindi Potrei salvare i punteggi dei miei documenti. |
| |
Se torniamo alla mia tabella di dati, che è proprio qui, puoi vedere che ho effettivamente salvato, in questo caso, sono i punteggi per quel sottodominio di richiesta di prestito, di nuovo alla mia tabella di dati in modo che possa usarli, diciamo , in ulteriori analisi o grafici, come alcuni dei grafici che abbiamo costruito per le diapositive. |
| |
Questa è l'analisi del sentimento, una novità in JMP Pro 16 per quantificare le emozioni positive e negative nel testo. E |
| |
con questo, passiamo alla selezione dei termini, l'altra nuova tecnica di text mining di cui vorrei parlare. Come si dice, la selezione dei termini riguarda l'identificazione di parole associate a un risultato, ovvero a un'altra misura. Ad esempio qui, sai, abbiamo, |
| |
i testi del rapporto Beige Book, ma potremmo anche incorporare |
| |
variabili economiche, ad esempio, il PIL, e vedere come alcuni termini nei rapporti del Libro Beige seguono il PIL, o forse con una variabile binaria, ad esempio se l'economia è in recessione o meno. |
| |
Questa è una... selezione di termini qui è uno strumento di uso generale per trovare parole associate a qualche altra variabile, che può essere utile |
| |
in un contesto interpretativo, per trovare forse i driver di qualche altra variabile, o forse in un esercizio di modellazione predittiva, in modo da poter identificare i termini che sono predittivi di qualcosa in modo che in futuro possiamo usare quei termini per aiutarla a prevederla. |
| |
Vediamo quindi come funziona la selezione dei termini e qui daremo un'occhiata a un esempio diverso dal reclamo dei consumatori del Consumer Financial Protection Bureau |
| |
Banca dati. Pertanto, i consumatori, se presentano un reclamo relativo a un prodotto o servizio finanziario, possono presentare tale reclamo al CFPB e il CFPB funge da mediatore tra quel consumatore e il |
| |
il fornitore del prodotto o servizio finanziario. Ecco un esempio di ciò che puoi trovare in questi dati. Quindi ecco qualcuno che dice che stavano monitorando il loro rapporto di credito, e c'era un avviso di riscossione depositato per $ 3.900 e affermano di non sapere nulla al riguardo. |
| |
E puoi anche vedere, nella tabella dei dati, abbiamo una colonna accanto che dice che il consumatore l'ha contestato, e qui il consumatore ha contestato, e ciò significa che ha ricevuto una risposta dal |
| |
fornitore di servizi finanziari e non erano soddisfatti di tale risposta, quindi l'hanno contestata. |
| |
Puoi vedere nelle specifiche del grafico dell'intestazione nella tabella dei dati, non è così comune. Si tratta fondamentalmente di uno su cinque in questo set di dati che stiamo esaminando, |
| |
sfociare nella controversia del consumatore, ma se sei la società finanziaria che ha a che fare con questo cliente, certamente non vuoi emettere una risposta e poi continuare a contestare quella risposta. Potresti voler capire quali tipi di reclami |
| |
stanno arrivando che in realtà portano a controversie con i consumatori, in modo che tu possa essere in grado, ad esempio, di identificare in anticipo quelli che potrebbero sfociare in una controversia, |
| |
o semplicemente capire meglio le tue pratiche di risoluzione delle controversie per ridurre il numero di controversie. Ci sono molte ragioni per le quali vorresti tenerlo presente. |
| |
Dati narrativi sui reclami dei consumatori per vedere in primo luogo cosa potrebbe essere alla base di queste controversie, e ciò che la selezione dei termini fa è trovare i singoli termini nei testi associati a tale esito, quella variabile della controversia. |
| |
Quindi qui ho un grafico che ho creato dei risultati di un'analisi di selezione dei termini, in cui abbiamo una raccolta di termini lungo l'asse Y. Sulla X, abbiamo il valore di registro, che è |
| |
una misura della forza dell'evidenza statistica dell'associazione. Quindi questo è effettivamente ordinato in base ai valori di logworth, quindi in alto abbiamo |
| |
viola e puoi vedere il puntino lì. Questo in realtà mostra che qui abbiamo fatto stemming, quindi violare significa che potrebbe essere violato, violato, violato e così via. |
| |
Quindi abbiamo forti prove statistiche che quel termine violare è associato a controversie con i consumatori, e in realtà nella codifica a colori, |
| |
Ho la forza dell'effetto in termini di odds ratio qui. Quindi quando le persone... quando qualcuno menziona quella parola, violano, |
| |
le probabilità di una controversia aumentano di un fattore di circa 1,5. Quindi se lo sono |
| |
un fornitore di servizi finanziari, potrei voler essere alla ricerca di quel termine. Potrei voler indagare su come e quando le persone rivendicano determinate violazioni e, come vedremo, si tratta davvero di violazioni della legge federale. |
| |
Quando lo affermano in un reclamo, com'è che li stiamo gestendo, perché sembra che forse non li stiamo gestendo in modo soddisfacente. |
| |
Forse vuoi usare la presenza o l'assenza di quel termine in parte di un modello predittivo per aiutare a segnalare in anticipo i reclami potenzialmente problematici, in modo che possiamo intensificare la loro risoluzione. |
| |
Allora, come funziona tutto questo? Bene, stiamo costruendo un modello che inizia con il termine del documento matrice, che è una rappresentazione del testo, dove ciascuno |
| |
riga è un documento e quindi ogni colonna è un termine che potrebbe apparire. Poi |
| |
in questo caso, abbiamo quella che chiamiamo ponderazione binaria, quindi semplicemente, se appare il termine, ne inseriamo uno; se il termine non compare in quel documento, inserisci uno zero. Ci sono più ponderazioni ma continueremo con il binario, per il nostro esempio. |
| |
Quando inseriamo quelle colonne binarie lì come predittori in un modello, e in particolare usiamo |
| |
La regressione generalizzata di JMP e vedremo perché tra poco. Per prima cosa voglio solo specificare che ciò che stiamo facendo qui è una regressione, in effetti alcuni |
| |
alcune persone, probabilmente sentirai, si riferiranno alla selezione dei termini come alla regressione del testo. |
| |
Non preoccuparti troppo della forma del modello. Sto solo cercando di evidenziare che quello che stiamo facendo è prendere una variabile di risultato. |
| |
Poiché abbiamo una variabile binaria, è la probabilità logaritmica per la regressione logistica, e stiamo dicendo che è uguale a, sai, qualche intercetta più, |
| |
sai, un coefficiente per una variabile. In questo caso, è un binario uno o zero; violato è apparso o meno. |
| |
Più un altro valore del coefficiente, in questo caso negativo 0,2 volte un'altra variabile binaria; qui se qualcuno ha menzionato il termine riattaccato o meno, e così via. |
| |
E quindi inseriamo una serie di termini in questo modello e utilizziamo la regressione generalizzata per selezionare quali termini appartengono al modello e quali no. E |
| |
quello che vediamo qui è un esempio di JMP che calcola quella soluzione, quali termini appartengono e quali no per noi. |
| |
Qui nel percorso della soluzione, possiamo vedere in blu tutti i termini che sono entrati nel modello e in nero tutti i termini che in realtà non sono stati inclusi nel modello, perché in realtà non si aggiungono al suo valore predittivo. |
| |
E quindi quello che finiamo con è un elenco di termini. Abbiamo i loro valori di coefficiente del modello, quindi qui, ad esempio, viola, ho ottenuto quel valore .4 perché in realtà è il |
| |
valore del coefficiente quando adattiamo il modello. E anche noi, come accennato in precedenza, otteniamo una misura dell'evidenza statistica o della forza dell'evidenza, |
| |
questo valore di logworth, 16,58 qui, dove, se vuoi una regola pratica, qualsiasi valore superiore a 2, sai, potrebbe essere considerato una forte evidenza statistica, ma in realtà, logworth è una base logaritmica negativa 10 del valore p, quindi il valore di 2 corrisponde solo a un valore P di .01. |
| |
Quindi abbiamo entrambi, tipo, in questo caso con il coefficiente, quanto aumenta o diminuisce le probabilità di una disputa? E poi il registro vale la pena dirci, sai, quanto è davvero affidabile la nostra prova di ciò? |
| |
E con queste informazioni, possiamo fare molto e stiamo per vedere come passare a JMP ed eseguire effettivamente questa analisi. |
| |
Quindi sono tornato sul mio altro desktop qui. Riporterò i nostri dati sui reclami dei consumatori. |
| |
E |
| |
invece di entrare in Esplora testo da zero, lo avvierò semplicemente usando uno script di tabella qui. |
| |
E come vedremo, una volta visualizzato questo messaggio... scusa, è apparso sullo schermo sbagliato. Eccoci. |
| |
Abbiamo, sai, iniziamo sempre con un elenco di termini che verranno effettivamente inseriti nell'analisi. Quindi abbiamo il nostro elenco di frasi, in cui possiamo dichiarare che dovrebbero essere incluse anche alcune frasi che appartengono all'elenco dei termini. |
| |
Ho incluso molte frasi, come il fair credit reporting act, perché se la menzione di quella frase o di quel concetto è associata a una controversia con i consumatori, voglio trovarla. |
| |
E noterai anche se vado al nostro...andiamo a gestire qui le parole chiave, che ho dichiarato molte parole chiave. Quindi queste sono tutte parole che |
| |
Non voglio includere nell'analisi, principalmente perché potrebbero sommergere altre parole. |
| |
Potrebbero essere molto frequenti, e se solo chiedessi di analizzare le, sai, le 500 parole più frequenti, non voglio incasinarlo. |
| |
Soprattutto perché, anche se abile fosse restituito come termine associato a una disputa, non so nemmeno esattamente cosa farei... cosa farei con quello o come potrei interpretare una parola così generica come abile. |
| |
Quindi vuoi prenderti il tuo tempo per fermare le parole e le frasi e quando sei pronto, sotto il triangolo rosso, invoca la selezione dei termini. |
| |
Quindi, quando lo faremo, selezioneremo prima il nostro |
| |
variabile di risultato e questo è questo consumatore contestato. E vogliamo parlare di cose in termini di probabilità che accada una disputa. |
| |
Qui puoi impostare variabili di risultato continue e categoriali. Entrambi funzionano. E dovrei anche menzionare che stiamo parlando di una controversia, che, |
| |
sai, potresti pensare che potrebbe effettivamente essere una sorta di proxy per il sentimento, cioè, se qualcuno contesta qualcosa, probabilmente è perché non è felice. |
| |
Ma potrebbe essere comune che alcune persone dispongano di dati, in cui hai una variabile esterna che è una misura più diretta del sentimento, ad esempio una valutazione a stelle su un prodotto, che indica davvero soddisfazione. |
| |
E quindi, se ti capita di avere una buona misura del sentimento, insieme ai tuoi dati di testo, potresti usare uno strumento come questo per fare ciò che chiameremmo |
| |
analisi del sentimento derivata dai dati, in cui si utilizza questo strumento per estrarre termini che sono predittivi di una misura del sentimento, selezionando così essenzialmente i termini del sentimento e automaticamente |
| |
trovare quali dovrebbero essere i loro punteggi. Quindi può essere abbastanza utile. Non è proprio quello che stiamo facendo qui. Lo stiamo usando in un modo più generale. |
| |
Ok, quindi per quella matrice dei termini del documento, mi atterrò alla ponderazione binaria. Per mantenere le cose veloci, dirò, diamo un'occhiata solo ai 200 termini più frequenti. |
| |
Oltre a ciò, a partire dal mandato 201, non lo includerò nell'analisi. In pratica probabilmente ne includerò di più, sai, è solo che voglio che questo sia carino e scattante per la demo. |
| |
E se sei un utente GenReg, vedrai che ce l'hai |
| |
due opzioni per specificare in anticipo i metodi di stima e convalida. Lascerò quelli di default e farò clic su Esegui. |
| |
E quindi quello che sta succedendo è che JMP sta chiamando GenReg. Sta costruendo un modello di regressione logistica ed effettuando la selezione delle variabili utilizzando il metodo della rete elastica. |
| |
Sembra che abbiamo appena avuto un secondo problema tecnico. Sono terribilmente dispiaciuto per questo. Lo prenderemo in considerazione poiché questo modello è adatto. Quindi vediamo. Riporteremo la mia condivisione dello schermo. |
| |
Mi riporteremo indietro. Sembra che stiamo ancora registrando, quindi andremo avanti. Quindi ecco il risultato. |
| |
Prima di entrare nel rapporto in dettaglio, daremo un'occhiata solo a questa riga nella tabella di riepilogo. Questo riassume il singolo modello che ho costruito finora. |
| |
Quindi, ad esempio, posso vedere che ha restituito 145 termini. Ho usato AICc come mia convalida e c'è il valore AICc. Possiamo vedere alcune altre statistiche di adattamento. |
| |
E, proprio come qualsiasi modello, potremmo voler provare più, sai, esecuzioni sul modello per creare il modello che si adatta meglio ai nostri dati. |
| |
Quindi, se salgo su questo nodo di regressione generalizzata qui, vedrai che GenReg è effettivamente incorporato in Esplora testo. |
| |
Potrei esplorare il modello che abbiamo adattato in modo più dettagliato, o nel mio caso, in realtà ho intenzione di adattare un altro modello per vedere se posso fare di meglio. Facciamo una rete elastica adattiva. |
| |
E si adatterà invece a quel modello e vedremo se va meglio della normale rete elastica che abbiamo già adattato. |
| |
Ok, quindi si adatta anche a quel modello. |
| |
Se andiamo al nostro riepilogo, possiamo vedere che questo ora ha restituito 98 termini, in realtà ha un AICc inferiore, quindi potrebbe adattarsi meglio. |
| |
E quindi andrò con quel modello. Ora potrei, se volessi andare con l'originale, fare clic su quello. Come puoi vedere, il rapporto qui sotto si aggiorna a qualsiasi modello che ho selezionato in questa tabella. |
| |
Ho la mia lista di termini quaggiù. Ne abbiamo già parlato, quindi potrei guardarlo in termini di coefficienti. Quindi ecco i termini che sono più... hanno l'effetto più grande, aumentando le probabilità di una controversia dei consumatori. |
| |
Ecco quelli che hanno l'effetto maggiore nel ridurre le probabilità di una controversia dei consumatori. In ognuno di loro, per esempio, potrei guardare riattaccato e vedere che, ovviamente, si tratta di loro che riattaccano a qualcuno o qualcuno che riattaccano, e forse per noi ha senso che |
| |
che questo sarebbe predittivo di una diminuzione delle probabilità di disputa, perché sembra che sia davvero un problema di comunicazione e che potrebbe essere un po' più facile da risolvere. |
| |
Ancora una volta, vogliamo prestare attenzione ai nostri valori di logworth qui, 2.883, quindi è un po' al di sopra della regola pratica, 2, che ho affermato prima, quindi potremmo dire ok, penso che ci siano prove statistiche ragionevolmente forti che questo è un vero associazione. |
| |
Giusto per riportare a casa quel punto, se scendiamo quaggiù, vediamo la parola polizia. E la mia impressione iniziale è, beh, la gente dice, beh, ho compilato un rapporto di polizia, o ho chiamato la polizia. |
| |
Probabilmente non sarà così probabile che se ne vadano semplicemente se diamo una risposta, la disputa sulla probabilità, deve salire se qualcuno è già al livello di chiamare la polizia. |
| |
Ma se guardiamo al |
| |
logworth, possiamo vedere bene che l'evidenza statistica di questo non è davvero così forte, quindi mentre viola la mia intuizione, sai, forse, forse non è del tutto reale. |
| |
Certamente non è al punto che vorrei portare questo lungo la catena fino alla direzione e dire, ehi, se le persone dicono di aver chiamato la polizia su di noi, in realtà è una buona cosa. Di certo non lo stiamo dicendo. È stato appena selezionato per l'inclusione nel modello qui perché, in definitiva, |
| |
risultato in un modello più adatto, ma sta ancora a noi applicare le nostre conoscenze e il nostro buon senso nell'interpretazione dei risultati. |
| |
Quindi questa tabella potrebbe essere, se quello che stai veramente cercando di fare è semplicemente identificare i termini e quantificare i loro effetti in qualche modo, |
| |
questo potrebbe essere il tipo di obiettivo della tua analisi. E quindi potrei fare clic con il pulsante destro del mouse e andare a creare una tabella di dati |
| |
e ottenere una tabella di dati di questi termini e dei loro coefficienti e valori logaritmici, e quindi utilizzarla per guidare forse un'analisi delle nostre risposte precedenti, sforzi di miglioramento o persino contrassegnarli come termini che dovrebbero essere inclusi in una sorta di modello predittivo in futuro. |
| |
Ma, sai, qui abbiamo costruito un modello, un modello di regressione, quindi abbiamo informazioni per, a livello di singolo documento, sul |
| |
la somma totale dei coefficienti che prevedono un aumento delle probabilità di contestazione, la somma totale che prevede una diminuzione, il valore complessivo del modello, la probabilità di |
| |
una contestazione che il modello ha assegnato e ciò che abbiamo effettivamente osservato. Quindi, tutte le cose che potresti aspettarti quando stai effettivamente valutando a livello del singolo documento, beh, quanto bene si comporta questo modello. |
| |
In alto, abbiamo anche una sintesi generale, in questo caso, dei singoli documenti e del loro... quello che chiamiamo il nostro contributo, quindi questo è il |
| |
somma o media di tali valori di coefficiente. Quindi sembra, ad esempio, che 30.412 dei nostri documenti abbiano una somma... somma totale positiva dei loro valori del coefficiente e il valore del coefficiente medio, il contributo medio è di circa 0,57. |
| |
Quindi, ancora una volta solo una bandiera, sai, stiamo parlando di coefficienti di regressione qui, e quindi questi valori di contributo, la tabella dei coefficienti, tutto questo dovrebbe essere interpretato come faresti quando stai costruendo |
| |
modello di regressione lineare altrimenti, quindi nel nostro caso, regressione logistica, dovremmo interpretarli |
| |
opportunamente, cioè, se li espondiamo, allora abbiamo a che fare con il log o... mi scusi... allora abbiamo a che fare con l'odds ratio, quindi questo è il fattore con cui le probabilità aumenterebbero o diminuirebbero se questa parola compare nel testo. |
| |
Anche se se non sei un grande sulla regressione, questi valori possono comunque essere utili per te in un senso più generale, in quanto puoi guardare per vedere, beh, ok, quali termini hanno l'effetto più forte o no. E lo stesso con Logworth, beh, che ha le prove più forti o no. |
| |
Ora, finalmente, come puoi immaginare, voglio dire che abbiamo già visto come salvare la tabella dei termini, ma se il tuo obiettivo non è quella tabella dei termini, ma davvero il modello |
| |
che hai costruito, hai anche la possibilità di salvarlo. E così ho selezionato il modello che intendo usare, quella rete elastica adattiva, e sotto il triangolo rosso posso salvare le formule di previsione. |
| |
E penso che il mio computer probabilmente si muoverà qui solo per un secondo. Quindi sta salvando la matrice dei termini del documento, quindi era per i primi 200 termini come abbiamo specificato, e quindi anche la formula |
| |
che opera su quelle colonne o quella matrice di termini del documento per calcolare effettivamente il nostro modello. Quindi qui ho la matrice dei termini del documento |
| |
e poi le colonne della formula alla fine qui, quindi ora posso effettivamente usare |
| |
questo modello direttamente se voglio. |
| |
Quindi questa è la selezione dei termini. Di nuovo ad alto livello, stiamo scoprendo quali termini sono più fortemente associati a una variabile di risultato a cui teniamo, sia per interpretare meglio ciò che sta guidando tale risultato, o forse anche per informare una pratica di modellazione per cercare di prevedere tale risultato. |
| |
E questo conclude la selezione dei termini e l'analisi del sentiment, le due nuove funzionalità di estrazione di testo in JMP Pro 16, introdotte di nuovo la scorsa primavera. |
| |
Ora esco per un po' e risponderò a tutte le domande che qualcuno ha in merito, |
| |
sai, queste due nuove funzionalità. E sappi anche che in seguito, puoi sempre pubblicare un commento o una domanda aggiuntivi sulla pagina della community degli utenti per questa presentazione e terrò sempre gli occhi aperti |
| |
aperto a rispondere a tutte le domande che si presentano. Quindi grazie per il tempo dedicato a tutti. Si prega di fare attenzione. |
