Aperçu
Démonstration d'analyse des sentiments et de sélection de termes basée sur cette présentation Discovery Europe 2021 .
Les données proviennent de Livre beige de la Réserve fédérale américaine rapports de mai 1970 à octobre 2020. Chaque rapport Beige Book décrit les conditions économiques et les perspectives sur la base de données qualitatives (par exemple, des entretiens avec des chefs d'entreprise). Il est publié par la Réserve fédérale huit fois par an aux niveaux national et régional.
L'analyse des sentiments du livre beige fournit une mesure quantitative du degré d'optimisme ou de pessimisme de la Réserve fédérale à l'égard de l'économie, ce qui peut être un indicateur économique utile. Voir cet exemple concret d'un économiste rendant compte du sentiment du livre beige . Dans cet exemple, nous montrons que le sentiment Beige Book est un indicateur avancé des récessions économiques et qu'il suit des événements historiques comme le Bust Dotcom ou la Grande Récession.
La sélection de termes peut être appliquée au livre beige pour identifier les termes associés aux récessions économiques. Cela a le potentiel de révéler des concepts spécifiques qui sont les moteurs ou les conséquences des récessions, et cela peut également être utilisé pour filtrer les termes de sentiment potentiels. Dans cet exemple, des termes informatifs tels que « report », « réduction » et « annulation » sont révélés, ce qui suggère que la mention dans le Livre beige de la perturbation des activités économiques prévues peut être un indicateur important de la récession.
Il existe deux ensembles de données pour la démonstration : un pour l'analyse des sentiments et un autre pour la sélection de termes.
- Carnet Beige – Sentiment.jmp contient 5 268 rapports au niveau du district. Des scripts de tableau sont inclus pour l'analyse des sentiments et pour deux visualisations : (1) Sentiment Over Time montre le suivi des sentiments avec des périodes de récession économique (en rouge) et (2) une carte géographique montrant les sentiments dans les douze districts de la Réserve fédérale au fil du temps ( par exemple, le sentiment dans la région de San Francisco en hausse et en baisse rapide pendant le Bust Dotcom, 1999-2001). La carte nécessite des fichiers de carte personnalisés, également inclus ici.
- Livre beige – Sélection de termes.jmp contient 436 rapports de niveau national ainsi qu'une variable binaire indiquant si l'économie américaine était en récession à la date de publication. Le script de table solitaire lance la sélection de termes, avec les 1000 premiers termes comme prédicteurs et la récession comme variable de résultat ("Récession" est le niveau cible).
Pour un flux de démonstration possible, voir la présentation Discovery liée ci-dessous.
Choses importantes à savoir :
- Le script Sentiment Analysis ajoute environ 100 termes et expressions de sentiment personnalisés au dictionnaire de sentiments par défaut. Dans la pratique du monde réel, une personnalisation plus poussée, y compris une spécification plus fine des scores et la suppression des termes de sentiment par défaut inappropriés, serait nécessaire. Si, au cours d'une démo, vous voyez un terme qui devrait (ou ne devrait pas) être inclus dans le dictionnaire, ou une note avec laquelle vous n'êtes pas d'accord, c'est une bonne occasion de démontrer à quel point il est facile de personnaliser le dictionnaire de manière interactive.
- Le script Sentiment Analysis déclenche l'analyse syntaxique de tous les rapports lorsque vous l'exécutez pour la première fois. Cela peut prendre plusieurs minutes en raison du nombre et de la longueur des rapports. Les analyses résultantes sont mises en cache sur votre machine pendant un certain temps, mais elles peuvent éventuellement être supprimées selon les paramètres du système d'exploitation. Exécutez toujours le script au moins 15 minutes avant la démonstration pour vous assurer que les analyses sont mises en cache lorsque vous lancez ensuite l'analyse devant un client. En cas d'urgence, vous pouvez annuler l'analyse et toujours obtenir des résultats, même si la précision de la négation et de l'intensification en souffrira.
- Les scripts utilisent une expression régulière personnalisée lors de la segmentation pour supprimer les en-têtes de section entre accolades présents dans chaque rapport. Voir l'appel Set Regex() dans le script de table.
Un troisième ensemble de données est inclus : Beige Book Raw – Contenu de la section.jmp . Cela comprend à la fois les rapports au niveau du district et les rapports nationaux ventilés par en-têtes de section HTML présents dans les données brutes. Ces données peuvent être utilisées pour tenter des analyses concernant des domaines économiques spécifiques (par exemple, la fabrication, la vente au détail, la main-d'œuvre). Malheureusement, les rapports ne sont pas cohérents dans la dénomination (ou même la présence) des sections, ce qui signifie qu'un certain recodage du titre de la section serait nécessaire. Pourtant, il est possible d'explorer le sentiment spécifique à un domaine et sa relation avec des indicateurs économiques communs (par exemple, déterminer si le sentiment de la section « emploi » suit les taux de chômage).
Merci à Xan Gregg pour l'idée d'analyser le livre beige et d'avoir extrait et transformé le code HTML brut en tableaux JMP.
Produits et plateformes scénarisées
Produits : JMP Pro 16
Plateformes scriptées : Explorateur de texte (analyse des sentiments, sélection de termes), générateur de graphiques
La source de données
Des dossiers
- Carnet Beige – Sentiment.jmp : Rapports au niveau du district pour l'analyse des sentiments
- Livre beige – Sélection de termes.jmp : Rapports au niveau national pour la sélection de termes
- Beige Book Raw – Contenu de la section.jmp : Rapports aux niveaux national et de district par section de rapport ; pour une exploration plus approfondie si vous le souhaitez
- Carte du district fédéral.zip : Fichiers cartographiques personnalisés pour les districts de la Réserve fédérale
Exemple de démo
