Panoramica
Demo di analisi del sentiment e selezione dei termini basata su questa presentazione di Discovery Europe 2021 .
I dati provengono da Libro beige della Federal Reserve degli Stati Uniti rapporti da maggio 1970 a ottobre 2020. Ogni rapporto del Beige Book descrive le condizioni economiche e le prospettive sulla base di dati qualitativi (ad esempio, interviste con dirigenti d'azienda). Viene pubblicato dalla Federal Reserve otto volte all'anno sia a livello nazionale che distrettuale.
L'analisi del sentiment del Beige Book fornisce una misura quantitativa del grado di ottimismo o pessimismo della Federal Reserve sull'economia, che può essere un utile indicatore economico. Vedere questo esempio del mondo reale di un economista che riferisce sul sentimento del Beige Book . In questo esempio, mostriamo che il sentimento del Beige Book è un indicatore anticipatore delle recessioni economiche e che tiene traccia di eventi storici come il Dotcom Bust o la Grande Recessione.
La selezione dei termini può essere applicata al Beige Book per identificare i termini associati alle recessioni economiche. Questo ha il potenziale per rivelare concetti specifici che sono driver o conseguenze delle recessioni e può anche essere utilizzato per selezionare potenziali termini di sentiment. In questo esempio vengono rivelati termini informativi come "posticipare", "tagliare" e "annullare", suggerendo che la menzione del Libro Beige dell'interruzione delle attività economiche pianificate può essere un importante indicatore di recessione.
Sono disponibili due set di dati per la dimostrazione: uno per l'analisi del sentiment e un altro per la selezione dei termini.
- Libro Beige – Sentiment.jmp contiene 5.268 rapporti a livello distrettuale. Gli script delle tabelle sono inclusi per l'analisi del sentiment e per due visualizzazioni: (1) Sentiment Over Time mostra il tracciamento del sentiment con periodi di recessione economica (mostrati in rosso) e (2) una mappa geografica che mostra il sentiment nei dodici distretti della Federal Reserve nel tempo ( ad esempio, il sentimento nella regione di San Francisco in aumento e in rapido calo durante il Dotcom Bust, 1999-2001). La mappa richiede file mappa personalizzati, anch'essi inclusi qui.
- Beige Book – Term Selection.jmp contiene 436 rapporti a livello nazionale e una variabile binaria che indica se l'economia statunitense era in recessione alla data di pubblicazione. Lo script della tabella solitaria avvia la selezione dei termini, con i primi 1000 termini come predittori e Recessione come variabile di risultato ("Recessione" è il livello target).
Per un possibile flusso dimostrativo, vedere la presentazione Discovery collegata di seguito.
Cose importanti da sapere:
- Lo script Sentiment Analysis aggiunge circa 100 termini e frasi di sentiment personalizzati al dizionario di sentiment predefinito. Nella pratica del mondo reale, sarebbe necessaria un'ulteriore personalizzazione, inclusa una specifica più dettagliata dei punteggi e la rimozione di termini di sentiment predefiniti inappropriati. Se durante una demo vedi un termine che dovrebbe (o non dovrebbe) essere incluso nel dizionario, o uno spartito con cui non sei d'accordo, è una buona occasione per dimostrare quanto sia facile personalizzare il dizionario in modo interattivo.
- Lo script Sentiment Analysis attiva l'analisi sintattica di tutti i report quando viene eseguito per la prima volta. Il completamento di questa operazione può richiedere diversi minuti a causa del numero e della lunghezza dei rapporti. Le analisi risultanti vengono memorizzate nella cache del computer per un periodo di tempo, ma alla fine possono essere eliminate in base alle impostazioni del sistema operativo. Esegui sempre lo script almeno 15 minuti prima della demo per assicurarti che le analisi vengano memorizzate nella cache quando successivamente avvii l'analisi di fronte a un cliente. In caso di emergenza, puoi annullare l'analisi e ottenere comunque risultati, anche se l'accuratezza della negazione e dell'intensificazione ne risentirà.
- Gli script utilizzano espressioni regolari personalizzate durante la tokenizzazione per rimuovere le intestazioni di sezione tra parentesi graffe presenti in ogni report. Vedere la chiamata Set Regex() nello script della tabella.
È incluso un terzo set di dati: Beige Book Raw – Sezione Contenuto.jmp . Ciò include sia i report a livello distrettuale che quelli nazionali suddivisi per intestazioni di sezione HTML presenti nei dati grezzi. Questi dati possono essere utilizzati per tentare analisi rispetto a domini economici specifici (ad esempio, produzione, vendita al dettaglio, lavoro). Sfortunatamente, i rapporti non sono coerenti nel nominare (o persino avere) le sezioni, il che significa che sarebbe necessaria una ricodifica del titolo della sezione. Tuttavia, c'è l'opportunità di esplorare il sentimento specifico del dominio e la relazione con indicatori economici comuni (ad esempio, determinare se il sentimento della sezione "occupazione" segue i tassi di disoccupazione).
Grazie a Xan Gregg per l'idea di analizzare il Beige Book e per aver raschiato ed elaborato l'HTML grezzo in tabelle JMP.
Prodotti e piattaforme con script
Prodotti: JMP Pro 16
Piattaforme con script: Text Explorer (analisi del sentimento, selezione dei termini), generatore di grafici
Fonte di dati
File
- Libro Beige – Sentiment.jmp : Rapporti a livello distrettuale per l'analisi del sentiment
- Beige Book – Term Selection.jmp : Rapporti a livello nazionale per la selezione dei termini
- Beige Book Raw – Sezione Contenuto.jmp : rapporti a livello nazionale e distrettuale per sezione del rapporto; per ulteriori esplorazioni se lo si desidera
- Mappa del distretto della Fed.zip : file mappa personalizzati per i distretti della Federal Reserve
Demo di esempio
