Aperçu
Démonstration de l'analyse des sentiments et de la sélection des termes basée sur cette présentation Discovery Europe 2021 .
Les données proviennent de Livre beige de la Réserve fédérale américaine rapports de mai 1970 à octobre 2020. Chaque rapport du livre beige décrit les conditions économiques et les perspectives sur la base de données qualitatives (par exemple, des entretiens avec des chefs d'entreprise). Il est publié par la Réserve fédérale huit fois par an aux niveaux national et des districts.
L'analyse des sentiments du livre beige fournit une mesure quantitative du degré d'optimisme ou de pessimisme de la Réserve fédérale à l'égard de l'économie, ce qui peut être un indicateur économique utile. Voir cet exemple réel d'un économiste rapportant le sentiment du livre beige . Dans cet exemple, nous montrons que le sentiment du livre beige est un indicateur avancé des récessions économiques et qu'il suit des événements historiques comme le buste Dotcom ou la grande récession.
La sélection des termes peut être appliquée au livre beige pour identifier les termes associés aux récessions économiques. Cela a le potentiel de révéler des concepts spécifiques qui sont des moteurs ou des conséquences de récessions, et il peut également être utilisé pour rechercher des termes de sentiment potentiels. Dans cet exemple, des termes informatifs tels que «reporter», «réduire» et «annuler» sont révélés, ce qui suggère que la mention dans le livre beige de la perturbation des activités économiques planifiées peut être un indicateur important de récession.
Il existe deux ensembles de données pour la démonstration: un pour l'analyse des sentiments et un autre pour la sélection des termes.
- Livre beige - Sentiment.jmp contient 5 268 rapports au niveau du district. Des scripts de tableau sont inclus pour l'analyse des sentiments et pour deux visualisations: (1) Sentiment Over Time montre le suivi des sentiments avec des périodes de récession économique (en rouge), et (2) une carte géographique montrant le sentiment dans les douze districts de la Réserve fédérale à travers le temps ( par exemple, le sentiment dans la région de San Francisco augmente et diminue rapidement pendant le buste Dotcom, 1999-2001). La carte nécessite des fichiers de carte personnalisés, également inclus ici.
- Livre beige - Term Selection.jmp contient 436 rapports nationaux ainsi qu'une variable binaire indiquant si l'économie américaine était en récession à la date de publication. Le script de table solitaire lance la sélection des termes, avec les 1000 premiers termes comme prédicteurs et la récession comme variable de résultat («Récession» est le niveau cible).
Pour un flux de démonstration possible, consultez la présentation Discovery liée à ci-dessous.
Points importants à prendre en compte:
- Le script d'analyse des sentiments ajoute environ 100 termes et expressions de sentiment personnalisés au dictionnaire de sentiments par défaut. Dans la pratique réelle, une personnalisation plus poussée, y compris une spécification plus fine des scores et la suppression des termes de sentiment par défaut inappropriés, serait nécessaire. Si, au cours d'une démonstration, vous voyez un terme qui devrait (ou ne devrait pas) être inclus dans le dictionnaire, ou une partition avec laquelle vous n'êtes pas d'accord, c'est une bonne occasion de montrer à quel point il est facile de personnaliser le dictionnaire de manière interactive.
- Le script d'analyse des sentiments déclenche une analyse syntaxique de tous les rapports lorsque vous l'exécutez pour la première fois. Cela peut prendre plusieurs minutes en raison du nombre et de la longueur des rapports. Les analyses résultantes sont mises en cache sur votre ordinateur pendant un certain temps, mais elles peuvent éventuellement être supprimées selon les paramètres du système d'exploitation. Exécutez toujours le script au moins 15 minutes avant la démonstration pour vous assurer que les analyses sont mises en cache lorsque vous lancez ensuite l'analyse devant un client. En cas d'urgence, vous pouvez annuler l'analyse et toujours obtenir des résultats, même si la précision de la négation et de l'intensification en souffrira.
- Les scripts utilisent une expression régulière personnalisée lors de la création de jetons pour supprimer les en-têtes de section entre accolades présentes dans chaque rapport. Voir l'appel Set Regex () dans le script de table.
Un troisième ensemble de données est inclus: Livre beige brut - Section Content.jmp . Cela comprend à la fois les rapports au niveau du district et nationaux ventilés par les en-têtes de section HTML présents dans les données brutes. Ces données peuvent être utilisées pour tenter des analyses concernant des domaines économiques spécifiques (par exemple, fabrication, vente au détail, main-d’œuvre). Malheureusement, les rapports ne sont pas cohérents pour nommer (ou même avoir) des sections, ce qui signifie qu'un recodage du titre de section serait nécessaire. Néanmoins, il est possible d'explorer le sentiment spécifique au domaine et la relation avec les indicateurs économiques communs (par exemple, déterminer si le sentiment de la section «emploi» suit les taux de chômage).
Merci à Xan Gregg pour l'idée d'analyser le livre beige et pour le scraping et le traitement du HTML brut en tableaux JMP.
Produits et plates-formes scriptées
Produits: JMP Pro 16
Plates-formes scriptées: Explorateur de texte (analyse des sentiments, sélection de termes), Générateur de graphiques
La source de données
Des dossiers
- Livre beige - Sentiment.jmp : Rapports au niveau du district pour l'analyse des sentiments
- Livre beige - Term Selection.jmp : Rapports au niveau national pour la sélection des mandats
- Livre beige brut - Section Content.jmp : Rapports au niveau national et du district par section de rapport; pour une exploration plus approfondie si vous le souhaitez
- Carte du district de la Fed.zip : Fichiers de cartes personnalisées pour les districts de la Réserve fédérale
Exemple de démonstration
