Panoramica
Demo di Sentiment Analysis e Selezione dei termini basata su questa presentazione di Discovery Europe 2021 .
I dati provengono da Libro beige della riserva federale degli Stati Uniti rapporti da maggio 1970 a ottobre 2020. Ogni report del Beige Book descrive le condizioni economiche e le prospettive sulla base di dati qualitativi (ad esempio, interviste con i leader aziendali). Viene pubblicato dalla Federal Reserve otto volte all'anno sia a livello nazionale che distrettuale.
La Sentiment Analysis del Beige Book fornisce una misura quantitativa del grado di ottimismo o pessimismo della Federal Reserve sull'economia, che può essere un utile indicatore economico. Vedere questo esempio del mondo reale di un economista che riferisce sul sentimento del Beige Book . In questo esempio, mostriamo che il sentiment del Beige Book è un indicatore importante delle recessioni economiche e che tiene traccia di eventi storici come il Dotcom Bust o la Grande Recessione.
La selezione dei termini può essere applicata al Beige Book per identificare i termini associati alle recessioni economiche. Questo ha il potenziale per rivelare concetti specifici che sono i driver o le conseguenze delle recessioni e può anche essere utilizzato per individuare potenziali termini di sentiment. In questo esempio, vengono rivelati termini informativi come "posticipa", "taglio" e "annulla", suggerendo che la menzione da parte del Beige Book di interruzione delle attività economiche pianificate può essere un importante indicatore di recessione.
Sono disponibili due set di dati per la demo: uno per la Sentiment Analysis e un altro per la selezione dei termini.
- Libro beige - Sentiment.jmp contiene 5.268 rapporti a livello di distretto. Gli script delle tabelle sono inclusi per la Sentiment Analysis e per due visualizzazioni: (1) Sentiment Over Time mostra il monitoraggio del sentiment con periodi di recessione economica (mostrati in rosso) e (2) una mappa geografica che mostra il sentiment nei dodici distretti della Federal Reserve nel tempo ( ad esempio, il sentimento nella regione di San Francisco è in aumento e in rapido calo durante il Dotcom Bust, 1999-2001). La mappa richiede file di mappa personalizzati, inclusi anche qui.
- Beige Book - Term Selection.jmp contiene 436 rapporti a livello nazionale e una variabile binaria che indica se l'economia statunitense era in recessione alla data di pubblicazione. Lo script della tabella solitaria avvia Selezione termine, con i primi 1000 termini come predittori e Recessione come variabile di risultato ("Recessione" è il livello target).
Per un possibile flusso demo, vedere la presentazione Discovery collegata di seguito.
Cose importanti di cui essere a conoscenza:
- Lo script di analisi del sentimento aggiunge circa 100 termini e frasi del sentiment personalizzato al dizionario del sentiment predefinito. Nella pratica del mondo reale, sarebbe necessaria un'ulteriore personalizzazione, inclusa una specifica più dettagliata dei punteggi e la rimozione di termini di sentiment predefiniti inappropriati. Se durante una demo vedi un termine che dovrebbe (o non dovrebbe) essere incluso nel dizionario, o una partitura con cui non sei d'accordo, è una buona opportunità per dimostrare quanto sia facile personalizzare il dizionario in modo interattivo.
- Lo script Sentiment Analysis attiva l'analisi sintattica di tutti i report quando viene eseguito per la prima volta. Il completamento dell'operazione può richiedere diversi minuti a causa del numero e della lunghezza dei rapporti. Le analisi risultanti vengono memorizzate nella cache della macchina per un certo periodo di tempo, ma alla fine possono essere eliminate in base alle impostazioni del sistema operativo. Esegui sempre lo script almeno 15 minuti prima della demo per assicurarti che le analisi vengano memorizzate nella cache quando successivamente avvii l'analisi davanti a un cliente. In caso di emergenza, è possibile annullare l'analisi e ottenere comunque risultati, sebbene l'accuratezza della negazione e dell'intensificazione ne risentirà.
- Gli script utilizzano espressioni regolari personalizzate durante la tokenizzazione per rimuovere le intestazioni di sezione tra parentesi graffe presenti in ogni rapporto. Vedere la chiamata Set Regex () nello script della tabella.
È incluso un terzo set di dati: Beige Book Raw - Sezione Content.jmp . Ciò include sia i rapporti a livello distrettuale che quelli nazionali suddivisi dalle intestazioni delle sezioni HTML presenti nei dati grezzi. Questi dati possono essere utilizzati per tentare analisi rispetto a domini economici specifici (ad es. Produzione, vendita al dettaglio, manodopera). Sfortunatamente, i rapporti non sono coerenti nella denominazione (o addirittura nell'avere) sezioni, il che significa che sarebbe necessaria la ricodifica del titolo di alcune sezioni. Tuttavia, esiste la possibilità di esplorare il sentiment specifico del dominio e la relazione con gli indicatori economici comuni (ad esempio, determinare se il sentiment della sezione "occupazione" segue i tassi di disoccupazione).
Grazie a Xan Gregg per l'idea di analizzare il Beige Book e per lo scraping e l'elaborazione dell'HTML grezzo nelle tabelle JMP.
Prodotti e piattaforme con script
Prodotti: JMP Pro 16
Piattaforme con script: Text Explorer (Sentiment Analysis, Term Selection), Graph Builder
Fonte di dati
File
- Libro beige - Sentiment.jmp : Rapporti a livello di distretto per l'analisi del sentiment
- Beige Book - Term Selection.jmp : Rapporti a livello nazionale per la selezione dei termini
- Beige Book Raw - Sezione Content.jmp : Rapporti a livello nazionale e distrettuale per sezione di rapporto; per ulteriori esplorazioni, se lo si desidera
- Fed District Map.zip : File mappa personalizzati per i distretti della Federal Reserve
Demo di esempio
