Descripción general
Demostración de análisis de opinión y selección de términos basada en esta presentación de Discovery Europe 2021 .
Los datos son de Libro beige de la Reserva Federal de EE. UU. informes desde mayo de 1970 hasta octubre de 2020. Cada informe del Libro Beige describe las condiciones económicas y las perspectivas basadas en datos cualitativos (por ejemplo, entrevistas con líderes empresariales). Es publicado por la Reserva Federal ocho veces al año tanto a nivel nacional como distrital.
El Análisis de sentimiento del Libro Beige proporciona una medida cuantitativa del grado de optimismo o pesimismo de la Reserva Federal sobre la economía, lo que puede ser un indicador económico útil. Ver este ejemplo del mundo real de un economista que informa sobre el sentimiento del Libro Beige . En este ejemplo, mostramos que el sentimiento del Libro Beige es un indicador líder de las recesiones económicas y que rastrea eventos históricos como la caída de las puntocom o la Gran Recesión.
La selección de términos se puede aplicar al Libro Beige para identificar los términos asociados con las recesiones económicas. Esto tiene el potencial de revelar conceptos específicos que son impulsores o consecuencias de las recesiones, y también puede usarse para detectar posibles términos de sentimiento. En este ejemplo, se revelan términos informativos como "posponer", "recortar" y "cancelar", lo que sugiere que la mención del Libro Beige de la interrupción de las actividades económicas planificadas puede ser un indicador importante de recesión.
Hay dos conjuntos de datos para la demostración: uno para el análisis de sentimiento y otro para la selección de términos.
- Libro Beige – Sentimiento.jmp contiene 5268 informes a nivel de distrito. Se incluyen secuencias de comandos de tabla para el análisis de sentimiento y para dos visualizaciones: (1) Sentimiento a lo largo del tiempo muestra el seguimiento del sentimiento con períodos de recesión económica (mostrado en rojo) y (2) un mapa geográfico que muestra el sentimiento en los doce distritos de la Reserva Federal a lo largo del tiempo ( por ejemplo, el sentimiento en la región de San Francisco aumentó y disminuyó rápidamente durante la caída de las puntocom, 1999-2001). El mapa requiere archivos de mapas personalizados, también incluidos aquí.
- Libro beige – Selección de términos.jmp contiene 436 informes a nivel nacional, así como una variable binaria que indica si la economía de EE. UU. estaba en recesión en la fecha de publicación. La secuencia de comandos de la tabla solitaria inicia la selección de términos, con los 1000 términos principales como predictores y la recesión como la variable de resultado ("Recesión" es el nivel objetivo).
Para ver un posible flujo de demostración, consulte la presentación de Discovery vinculada a continuación.
Cosas importantes a tener en cuenta:
- El script de análisis de opinión agrega aproximadamente 100 términos y frases de opinión personalizados al diccionario de opinión predeterminado. En la práctica del mundo real, sería necesaria una mayor personalización, incluida una especificación más detallada de las puntuaciones y la eliminación de términos de sentimiento predeterminados inapropiados. Si durante una demostración ve un término que debería (o no) incluirse en el diccionario, o una puntuación con la que no está de acuerdo, es una buena oportunidad para demostrar lo fácil que es personalizar el diccionario de forma interactiva.
- El script de análisis de opinión activa el análisis sintáctico de todos los informes cuando lo ejecuta por primera vez. Esto puede tardar varios minutos en completarse debido a la cantidad y la longitud de los informes. Los análisis resultantes se almacenan en caché en su máquina durante un período de tiempo, pero eventualmente se pueden eliminar según la configuración del sistema operativo. Ejecute siempre la secuencia de comandos al menos 15 minutos antes de la demostración para asegurarse de que los análisis se almacenen en caché cuando posteriormente inicie el análisis frente a un cliente. En caso de emergencia, puede cancelar el análisis y seguir obteniendo resultados, aunque la precisión de la negación y la intensificación se verán afectadas.
- Los scripts usan expresiones regulares personalizadas durante la tokenización para eliminar los encabezados de sección entre corchetes presentes en cada informe. Vea la llamada Set Regex() en la secuencia de comandos de la tabla.
Se incluye un tercer conjunto de datos: Beige Book Raw – Contenido de la sección.jmp . Esto incluye informes nacionales y a nivel de distrito desglosados por encabezados de sección HTML presentes en los datos sin procesar. Estos datos se pueden utilizar para intentar análisis con respecto a dominios económicos específicos (p. ej., manufactura, comercio minorista, mano de obra). Desafortunadamente, los informes no son consistentes al nombrar (o incluso tener) las secciones, lo que significa que sería necesario volver a codificar el título de la sección. Aún así, existe la oportunidad de explorar el sentimiento específico del dominio y la relación con los indicadores económicos comunes (p. ej., determinar si el sentimiento de la sección de "empleo" se corresponde con las tasas de desempleo).
Gracias a Xan Gregg por la idea de analizar el Libro Beige y por raspar y procesar el HTML sin procesar en tablas JMP.
Productos y plataformas con guión
Productos: JMP Pro 16
Plataformas con secuencias de comandos: explorador de texto (análisis de opinión, selección de términos), generador de gráficos
Fuente de datos
archivos
- Libro Beige – Sentimiento.jmp : Informes a nivel de distrito para análisis de sentimiento
- Libro beige – Selección de términos.jmp : Informes a nivel nacional para la selección de términos
- Beige Book Raw – Contenido de la sección.jmp : Informes a nivel nacional y distrital por sección de informe; para una mayor exploración si lo desea
- Distrito Federal Map.zip : archivos de mapas personalizados para los distritos de la Reserva Federal
demostración de ejemplo
