Descripción general
Demostración de análisis de sentimientos y selección de términos basada en esta presentación Discovery Europe 2021 .
Los datos son de Libro beige de la Reserva Federal de EE. UU. informes desde mayo de 1970 hasta octubre de 2020. Cada informe del Libro Beige describe las condiciones económicas y las perspectivas basadas en datos cualitativos (por ejemplo, entrevistas con líderes empresariales). La Reserva Federal lo publica ocho veces al año, tanto a nivel nacional como de distrito.
El análisis de sentimientos del Libro Beige proporciona una medida cuantitativa del grado de optimismo o pesimismo de la Reserva Federal sobre la economía, que puede ser un indicador económico útil. Ver este ejemplo del mundo real de un economista que informa sobre el sentimiento del Libro Beige . En este ejemplo, mostramos que el sentimiento del Libro Beige es un indicador adelantado de recesiones económicas y que rastrea eventos históricos como el Busto de Dotcom o la Gran Recesión.
La selección de términos se puede aplicar al Libro Beige para identificar términos asociados con recesiones económicas. Esto tiene el potencial de revelar conceptos específicos que son impulsores o consecuencias de las recesiones, y también se puede utilizar para detectar posibles términos de opinión. En este ejemplo, se revelan términos informativos como "posponer", "recortar" y "cancelar", lo que sugiere que la mención del Libro Beige de la interrupción de las actividades económicas planificadas puede ser un indicador importante de recesión.
Hay dos conjuntos de datos para la demostración: uno para el análisis de opinión y otro para la selección de términos.
- Libro beige - Sentiment.jmp contiene 5.268 informes a nivel de distrito. Los scripts de tabla se incluyen para el análisis de sentimiento y para dos visualizaciones: (1) Sentiment Over Time muestra el seguimiento del sentimiento con períodos de recesión económica (mostrado en rojo), y (2) un mapa geográfico que muestra el sentimiento en los doce distritos de la Reserva Federal a lo largo del tiempo ( por ejemplo, el sentimiento en la región de San Francisco aumentó y disminuyó rápidamente durante el Busto de Dotcom, 1999-2001). El mapa requiere archivos de mapas personalizados, también incluidos aquí.
- Libro beige - Término Selection.jmp contiene 436 informes a nivel nacional, así como una variable binaria que indica si la economía de EE. UU. estaba en recesión en la fecha de publicación. La secuencia de comandos de la tabla solitaria lanza Selección de términos, con los 1000 términos principales como predictores y Recesión como variable de resultado ("Recesión" es el nivel objetivo).
Para ver un posible flujo de demostración, consulte la presentación de Discovery vinculada a continuación.
Cosas importantes a tener en cuenta:
- La secuencia de comandos Análisis de opinión agrega aproximadamente 100 términos y frases de opinión personalizados al diccionario de opiniones predeterminado. En la práctica del mundo real, sería necesaria una mayor personalización, incluida una especificación más detallada de las puntuaciones y la eliminación de términos de opinión predeterminados inapropiados. Si durante una demostración ve un término que debería (o no debería) incluirse en el diccionario, o una partitura con la que no está de acuerdo, es una buena oportunidad para demostrar lo fácil que es personalizar el diccionario de forma interactiva.
- El script de Análisis de opinión activa el análisis sintáctico de todos los informes cuando lo ejecuta por primera vez. Esto puede tardar varios minutos en completarse debido a la cantidad y la longitud de los informes. Los análisis resultantes se almacenan en caché en su máquina durante un período de tiempo, pero eventualmente pueden eliminarse según la configuración del sistema operativo. Ejecute siempre el script al menos 15 minutos antes de la demostración para asegurarse de que los análisis se almacenen en caché cuando posteriormente inicie el análisis frente a un cliente. En caso de emergencia, puede cancelar el análisis y seguir obteniendo resultados, aunque la precisión de la negación y la intensificación se verán afectadas.
- Los scripts utilizan expresiones regulares personalizadas durante la creación de tokens para eliminar los encabezados de sección entre llaves presentes en cada informe. Vea la llamada Set Regex () en la secuencia de comandos de la tabla.
Se incluye un tercer conjunto de datos: Libro beige Raw - Section Content.jmp . Esto incluye informes tanto a nivel de distrito como nacionales desglosados por encabezados de sección HTML presentes en los datos sin procesar. Estos datos pueden usarse para intentar análisis con respecto a dominios económicos específicos (por ejemplo, manufactura, venta al por menor, mano de obra). Desafortunadamente, los informes no son consistentes en nombrar (o incluso tener) secciones, lo que significa que sería necesaria una recodificación de títulos de sección. Aún así, existe la oportunidad de explorar el sentimiento y la relación de un dominio específico con indicadores económicos comunes (por ejemplo, determinar si el sentimiento de la sección "empleo" sigue la pista con las tasas de desempleo).
Gracias a Xan Gregg por la idea de analizar el Libro Beige y por raspar y procesar el HTML sin procesar en tablas JMP.
Productos y plataformas con secuencias de comandos
Productos: JMP Pro 16
Plataformas con secuencias de comandos: Explorador de texto (análisis de opinión, selección de términos), generador de gráficos
Fuente de datos
Archivos
- Libro beige - Sentiment.jmp : Informes a nivel de distrito para análisis de sentimientos
- Libro beige - Término Selection.jmp : Informes a nivel nacional para la selección de términos
- Libro beige Raw - Section Content.jmp : Informes a nivel nacional y de distrito por sección de informe; para una mayor exploración si lo desea
- Fed District Map.zip : Archivos de mapas personalizados para distritos de la Reserva Federal
Demostración de ejemplo
