Panoramica
Demo di analisi del sentiment e selezione dei termini basata su questa presentazione di Discovery Europe 2021 .
I dati provengono dai report Beige Book della Federal Reserve statunitense da maggio 1970 a ottobre 2020. Ciascun report Beige Book descrive le condizioni economiche e le prospettive sulla base di dati qualitativi (ad esempio, interviste con leader aziendali). Viene pubblicato dalla Federal Reserve otto volte all'anno sia a livello nazionale che distrettuale.
L'analisi del sentiment del Beige Book fornisce una misura quantitativa del grado di ottimismo o pessimismo della Federal Reserve riguardo all'economia, che può essere un utile indicatore economico. Guarda questo esempio reale di un economista che riporta il sentiment del Beige Book . In questo esempio, mostriamo che il sentiment del Beige Book è un indicatore importante delle recessioni economiche e che tiene traccia di eventi storici come il fallimento delle Dotcom o la Grande Recessione.
La selezione dei termini può essere applicata al Beige Book per identificare i termini associati alle recessioni economiche. Ciò ha il potenziale per rivelare concetti specifici che sono fattori trainanti o conseguenze delle recessioni e può anche essere utilizzato per individuare potenziali termini di sentiment. In questo esempio vengono rivelati termini informativi come "rinviare", "tagliare" e "annullare", suggerendo che la menzione del Beige Book sull'interruzione delle attività economiche pianificate potrebbe essere un importante indicatore di recessione.
Sono disponibili due set di dati per la demo: uno per l'analisi del sentiment e un altro per la selezione dei termini.
- Beige Book – Sentiment.jmp contiene 5.268 rapporti a livello distrettuale. Sono inclusi script di tabella per l'analisi del sentiment e per due visualizzazioni: (1) Sentiment Over Time mostra il monitoraggio del sentiment con periodi di recessione economica (mostrati in rosso) e (2) una mappa geografica che mostra il sentiment nei dodici distretti della Federal Reserve nel tempo ( (ad esempio, il sentiment nella regione di San Francisco è in aumento e in rapido calo durante il crollo delle dotcom, 1999-2001). La mappa richiede file di mappa personalizzati, inclusi anche qui.
- Beige Book – Term Selection.jmp contiene 436 report a livello nazionale oltre a una variabile binaria che indica se l'economia statunitense era in recessione alla data di pubblicazione. Lo script della tabella solitaria avvia la selezione dei termini, con i primi 1000 termini come predittori e la recessione come variabile di risultato ("Recessione" è il livello target).
Per un possibile flusso demo, vedere la presentazione di Discovery collegata di seguito.
Cose importanti da tenere presente:
- Lo script di analisi del sentiment aggiunge circa 100 termini e frasi personalizzati al dizionario del sentiment predefinito. Nella pratica del mondo reale, sarebbe necessaria un’ulteriore personalizzazione, inclusa una specificazione più dettagliata dei punteggi e la rimozione di termini di sentiment predefiniti inappropriati. Se durante una demo vedi un termine che dovrebbe (o non dovrebbe) essere incluso nel dizionario, o un punteggio con cui non sei d'accordo, è una buona occasione per dimostrare quanto sia facile personalizzare il dizionario in modo interattivo.
- Lo script Sentiment Analysis attiva l'analisi sintattica di tutti i report quando lo esegui per la prima volta. Il completamento di questa operazione può richiedere diversi minuti a causa del numero e della lunghezza dei report. Le analisi risultanti vengono memorizzate nella cache del computer per un periodo di tempo, ma alla fine potrebbero essere eliminate in base alle impostazioni del sistema operativo. Esegui sempre lo script almeno 15 minuti prima della demo per garantire che le analisi vengano memorizzate nella cache quando successivamente avvii l'analisi di fronte a un cliente. In caso di emergenza, è possibile annullare l'analisi e ottenere comunque risultati, anche se la precisione della negazione e dell'intensificazione ne risentirà.
- Gli script utilizzano espressioni regolari personalizzate durante la tokenizzazione per rimuovere le intestazioni di sezione tra parentesi graffe presenti in ogni report. Vedere la chiamata Set Regex() nello script della tabella.
È incluso un terzo set di dati: Beige Book Raw – Sezione Content.jmp . Ciò include rapporti sia a livello distrettuale che nazionale suddivisi per intestazioni di sezione HTML presenti nei dati grezzi. Questi dati possono essere utilizzati per tentare analisi rispetto a specifici domini economici (ad esempio, produzione, vendita al dettaglio, lavoro). Sfortunatamente, i resoconti non sono coerenti nel nominare (o addirittura nell'avere) le sezioni, il che significa che sarebbe necessaria una ricodificazione dei titoli delle sezioni. Tuttavia, esiste l'opportunità di esplorare il sentiment specifico del settore e la relazione con gli indicatori economici comuni (ad esempio, determinare se il sentiment nella sezione “occupazione” segue i tassi di disoccupazione).
Grazie a Xan Gregg per l'idea di analizzare il Beige Book e per aver raschiato ed elaborato l'HTML grezzo nelle tabelle JMP.
Prodotti e piattaforme con script
Prodotti: JMPPro16
Piattaforme con script: Text Explorer (analisi del sentiment, selezione dei termini), generatore di grafici
Fonte di dati
File
- Beige Book – Sentiment.jmp : report a livello distrettuale per l'analisi del sentiment
- Beige Book – Term Selection.jmp : rapporti a livello nazionale per la selezione dei termini
- Beige Book Raw – Contenuto sezione.jmp : rapporti a livello nazionale e distrettuale suddivisi per sezione del rapporto; per ulteriori esplorazioni se lo si desidera
- Fed District Map.zip : file di mappa personalizzati per i distretti della Federal Reserve
Dimostrazione di esempio
