Descripción general
Demostración de análisis de sentimiento y selección de términos basada en esta presentación de Discovery Europe 2021 .
Los datos provienen de los informes del Libro Beige de la Reserva Federal de EE. UU. desde mayo de 1970 hasta octubre de 2020. Cada informe del Libro Beige describe las condiciones económicas y las perspectivas basadas en datos cualitativos (por ejemplo, entrevistas con líderes empresariales). La Reserva Federal lo publica ocho veces al año, tanto a nivel nacional como de distrito.
El análisis de sentimiento del Libro Beige proporciona una medida cuantitativa del grado de optimismo o pesimismo de la Reserva Federal sobre la economía, que puede ser un indicador económico útil. Vea este ejemplo del mundo real de un economista que informa sobre el sentimiento del Libro Beige . En este ejemplo, mostramos que el sentimiento del Libro Beige es un indicador adelantado de las recesiones económicas y que rastrea eventos históricos como la caída de las puntocom o la Gran Recesión.
La selección de términos se puede aplicar al Libro Beige para identificar términos asociados con recesiones económicas. Esto tiene potencial para revelar conceptos específicos que son impulsores o consecuencias de las recesiones, y también puede usarse para detectar posibles términos de sentimiento. En este ejemplo, se revelan términos informativos como "posponer", "recortar" y "cancelar", lo que sugiere que la mención en el Libro Beige de la interrupción de las actividades económicas planificadas puede ser un indicador importante de recesión.
Hay dos conjuntos de datos para la demostración: uno para el análisis de sentimiento y otro para la selección de términos.
- Libro Beige: Sentiment.jmp contiene 5268 informes a nivel de distrito. Se incluyen guiones de tablas para el análisis de sentimiento y para dos visualizaciones: (1) Sentimiento a lo largo del tiempo muestra el seguimiento del sentimiento con períodos de recesión económica (que se muestran en rojo) y (2) un mapa geográfico que muestra el sentimiento en los doce distritos de la Reserva Federal a lo largo del tiempo ( (por ejemplo, el sentimiento en la región de San Francisco aumentó y cayó rápidamente durante la crisis de Dotcom, 1999-2001). El mapa requiere archivos de mapas personalizados, que también se incluyen aquí.
- Libro Beige – Selección de términos.jmp contiene 436 informes a nivel nacional, así como una variable binaria que indica si la economía estadounidense estaba en recesión en la fecha de publicación. El único script de tabla inicia la Selección de términos, con los 1000 términos principales como predictores y la Recesión como variable de resultado (“Recesión” es el nivel objetivo).
Para ver un posible flujo de demostración, consulte la presentación de Discovery vinculada a continuación.
Cosas importantes a tener en cuenta:
- El script de análisis de opiniones agrega aproximadamente 100 términos y frases de opiniones personalizados al diccionario de opiniones predeterminado. En la práctica del mundo real, sería necesaria una mayor personalización, incluida una especificación más detallada de las puntuaciones y la eliminación de términos de sentimiento predeterminados inapropiados. Si durante una demostración ve un término que debería (o no) incluirse en el diccionario, o una puntuación con la que no está de acuerdo, es una buena oportunidad para demostrar lo fácil que es personalizar el diccionario de forma interactiva.
- El script de análisis de opinión activa el análisis sintáctico de todos los informes cuando lo ejecuta por primera vez. Esto puede tardar varios minutos en completarse debido a la cantidad y extensión de los informes. Los análisis resultantes se almacenan en caché en su máquina durante un período de tiempo, pero es posible que eventualmente se eliminen según la configuración del sistema operativo. Ejecute siempre el script al menos 15 minutos antes de la demostración para asegurarse de que los análisis se almacenen en caché cuando posteriormente inicie el análisis frente a un cliente. En caso de emergencia, puede cancelar el análisis y seguir obteniendo resultados, aunque la precisión de la negación y la intensificación se verá afectada.
- Los scripts utilizan expresiones regulares personalizadas durante la tokenización para eliminar los encabezados de sección entre llaves presentes en cada informe. Vea la llamada Set Regex() en el script de la tabla.
Se incluye un tercer conjunto de datos: Beige Book Raw – Sección Content.jmp . Esto incluye informes tanto a nivel de distrito como nacionales desglosados por encabezados de sección HTML presentes en los datos sin procesar. Estos datos pueden usarse para intentar realizar análisis con respecto a dominios económicos específicos (por ejemplo, manufactura, comercio minorista, mano de obra). Desafortunadamente, los informes no son consistentes en nombrar (o incluso tener) secciones, lo que significa que sería necesario volver a codificar el título de alguna sección. Aún así, existe la oportunidad de explorar el sentimiento de un dominio específico y su relación con indicadores económicos comunes (por ejemplo, determinar si el sentimiento de la sección “empleo” sigue las tasas de desempleo).
Gracias a Xan Gregg por la idea de analizar el Libro Beige y por extraer y procesar el HTML sin formato en tablas JMP.
Productos y plataformas con script
Productos: JMP Pro 16
Plataformas con script: Explorador de texto (análisis de sentimiento, selección de términos), generador de gráficos
Fuente de datos
Archivos
- Libro Beige – Sentiment.jmp : Informes a nivel de distrito para el análisis de sentimiento
- Libro Beige – Selección de términos.jmp : Informes a nivel nacional para la selección de términos
- Beige Book Raw – Contenido de la sección.jmp : Informes a nivel nacional y distrital por sección del informe; para una mayor exploración si lo desea
- Fed District Map.zip : archivos de mapas personalizados para distritos de la Reserva Federal
Demostración de ejemplo
