Vocero
|
Transcripción
|
| Ross Metusalem |
Hola a todos, y gracias por tomarse un tiempo para aprender cómo JMP está expandiendo su kit de herramientas de minería de texto en JMP Pro 16 con |
| |
análisis de sentimientos y selección de términos. |
| |
Soy Ross Metusalem, un ingeniero de sistemas de JMP en el sureste de los EE. UU., Y les daré un adelanto de estos dos nuevos análisis, les explicaré un poco cómo funcionan y les proporcionaré algunas de las mejores prácticas para usarlos. |
| |
Entonces, estas dos técnicas de análisis vienen en Text Explorer, que para aquellos que no están familiarizados, esta es la de JMP. |
| |
herramienta para analizar lo que llamamos textos libres o no estructurados, es decir, textos en lenguaje natural. |
| |
Y es lo que llamamos una herramienta de minería de texto, por lo que es una herramienta para derivar información cuantitativa de texto libre para que podamos |
| |
utilizar otros tipos de herramientas estadísticas o analíticas para obtener conocimientos del texto libre o incluso utilizar ese texto como entradas para otros análisis. |
| |
Entonces, echemos un vistazo a estas dos nuevas técnicas de minería de texto que están llegando a Text Explorer en JMP Pro 16, y comenzaremos con el análisis de sentimientos. |
| |
El análisis de sentimientos en su esencia responde a la pregunta de qué tan emocionalmente positivo o negativo es un texto. |
| |
Y vamos a realizar un análisis de sentimiento sobre el Libro Beige, que es un informe recurrente del Banco de la Reserva Federal de EE. UU. |
| |
Ahora me disculpo por usar un ejemplo de Estados Unidos en JMP Discovery Europe, pero el Libro Beige proporciona una buena demostración de lo que se trata el análisis de sentimientos. |
| |
Entonces, esta es una publicación mensual, contiene un informe a nivel nacional, así como 12 informes a nivel de distrito, que resumen las condiciones económicas en esos distritos, y todos estos se basan en información cualitativa, cosas como entrevistas y encuestas. |
| |
Y los legisladores estadounidenses pueden utilizar la información cualitativa del Libro Beige, junto con la información cuantitativa, ya sabes, en los indicadores económicos tradicionales para impulsar la política económica. |
| |
Entonces podrías pensar, bueno, estamos hablando de sentimiento o emoción en este momento. No sé si espero que los informes económicos contengan mucha emoción, pero el Libro Beige informa y gran parte del lenguaje en realidad contiene palabras que pueden transmitir o transmitir emoción. |
| |
Así que echemos un vistazo a un extracto de un informe. Aquí hay una captura de pantalla sacada directamente de la nueva plataforma de análisis de sentimientos. |
| |
Notará algunas palabras resaltadas, y estos son los que llamaremos términos de opinión, es decir, |
| |
términos que diríamos que tienen algún contenido emocional. Por ejemplo, en la parte superior, "las ventas de computadoras, por otro lado, han estado severamente deprimidas", |
| |
donde "severamente deprimido" está resaltado en violeta, lo que indica que consideramos que eso transmite una emoción negativa, lo que parece ser que si alguien describe las ventas de computadoras como "severamente deprimidas", parece que quieren interpretarlo como algo ciertamente malo. . |
| |
Si miramos hacia abajo, vemos en naranja, un par de términos de sentimiento positivo resaltados, como "mejorar" o "favorable". Entonces podemos buscar palabras que creemos que tienen efectos emocionales positivos o negativos. |
| |
púrpura para negativo, naranja para positivo, y algunos análisis de sentimientos mantienen las cosas en ese nivel, por lo que solo una distinción binaria, un texto positivo o un texto negativo. |
| |
Hay formas adicionales de realizar análisis de sentimiento y, en particular, |
| |
De muchas formas se intenta cuantificar el grado de positividad o negatividad, no solo si algo es positivo o negativo. Así que considere este otro ejemplo y dirigiré nuestra atención directamente al final aquí, donde podemos ver un informe de "ventas deficientes". |
| |
Y voy a comparar eso con lo que dijimos que "las ventas de computadoras están muy deprimidas". |
| |
Así que ambas son declaraciones negativas, pero creo que todos estaríamos de acuerdo en que "severamente deprimido" suena mucho más negativo que simplemente "pobre". |
| |
Por lo tanto, queremos averiguar no solo si un sentimiento se expresa de manera positiva o negativa, sino también qué tan positivo o negativo es, y eso es lo que hace el análisis de sentimientos en |
| |
Text Explorer lo hace. Entonces, ¿cómo lo hace? Bueno, utiliza una técnica llamada análisis de sentimiento léxico que se basa en algunos términos de sentimiento y puntuaciones asociadas. |
| |
Entonces, lo que estamos viendo en este momento es un extracto de lo que llamaríamos un diccionario de sentimientos que contiene los términos y sus puntajes. |
| |
Por ejemplo, el término "fantástico" tiene una puntuación de 90 positivo y el término "sombrío" en la parte inferior tiene una puntuación de -75. |
| |
Entonces, lo que hacemos es especificar qué términos creemos que tienen contenido emocional y el grado en que son positivos o negativos en una escala arbitraria, aquí -100 a 100. |
| |
Y luego podemos encontrar estos términos en todos nuestros documentos y usarlos para calificar qué tan positivos o negativos son esos documentos en general. |
| |
Si piensa en nuestro ejemplo "severamente deprimido", esa palabra "severamente" y toma la palabra "deprimido" y lo que llamamos la intensifica. |
| |
Es un intensificador o un multiplicador del sentimiento expresado, por lo que también tenemos un diccionario de intensificadores y lo que hacen al sentimiento expresado por término de sentimiento. |
| |
Por ejemplo, decimos que "increíblemente" multiplica el sentimiento por un factor de 1,4, mientras que "poco" multiplica el sentimiento por un factor de 0,3, por lo que en realidad, ya sabes, atenúa un poco el sentimiento expresado. |
| |
Ahora, finalmente, hay otro tipo de palabra que queremos tener en cuenta y son negadores, cosas como "no" y "no", y las tratamos básicamente como inversiones de polaridad. Asi que |
| |
"no fantástico" sería tomar el puntaje de "fantástico" y multiplicarlo por -1. |
| |
Y entonces, esta es una forma común de hacer análisis de sentimiento, nuevamente llamado análisis de sentimiento léxico. Entonces, lo que hacemos es tomar los términos de sentimiento que encontramos, los multiplicamos por cualquier intensificador asociado |
| |
o negadores y luego para cada documento, cuando tenemos todos los puntajes de sentimiento para los términos individuales que aparecen, simplemente promediamos todos ellos para obtener un puntaje de sentimiento para ese documento. |
| |
Y JMP nos devuelve estas puntuaciones de varias formas útiles. Así que esta es una captura de pantalla de la herramienta de análisis de sentimientos y, ya sabes, la usaremos en un momento. |
| |
Pero puede ver, entre otras cosas, que nos brinda una distribución de puntajes de opinión en todos nuestros documentos. Nos da una lista de todos los términos de opinión y con qué frecuencia ocurren. |
| |
E incluso tenemos la capacidad, como veremos, de exportar las puntuaciones de sentimiento para usarlas en gráficos o análisis. |
| |
Entonces, de hecho, hice un par de gráficos aquí para tratar de ver como un primer paso inicial, ¿el sentimiento en los informes del Libro Beige realmente se alinea con los eventos económicos de la manera que creemos que debería? Sabes, ¿realmente tenemos alguna validez para esto? |
| |
sentimiento como una especie de indicador económico? Y la respuesta parece, sí, probablemente. |
| |
Aquí tengo un diagrama que hice en Graph Builder; es el sentimiento a lo largo del tiempo, por lo que todos los pequeños puntos grises son informes individuales |
| |
y el azul más suave muestra la tendencia del sentimiento a lo largo del tiempo con esa línea negra en cero que muestra un sentimiento neutral, al menos de acuerdo con nuestro esquema de puntuación. |
| |
Las áreas rojas son |
| |
tiempos de recesión económica según la lista oficial de la Reserva Federal. |
| |
Por lo tanto, puede notar que el sentimiento parece tocar fondo o que hay puntos bajos en torno a las recesiones, pero otra cosa que puede notar |
| |
es que, en realidad, antes de cada recesión, vemos una caída en el sentimiento ya sea meses o, en algunos casos, parece incluso un par de años antes. Y no vemos estas grandes caídas en el sentimiento |
| |
en situaciones en las que no se produjo una recesión. Entonces, tal vez haya algo de validez en el sentimiento del Libro Beige como un indicador principal de una recesión. |
| |
Si lo miramos geográficamente, también vemos cosas que tienen sentido. Este es solo un ejemplo del análisis. Estamos mirando el sentimiento en el 12 |
| |
Distritos de la Reserva Federal a lo largo del tiempo desde 1999 hasta 2000 hasta 2001. Este fue el momento de lo que comúnmente se llama Dotcom Bust, por lo que es cuando |
| |
había una gran burbuja de empresas de tecnología y negocios en línea que estaban apareciendo y, finalmente, muchos de ellos se hundieron y hubo algunas consecuencias económicas bastante graves. |
| |
El sentimiento de 1999 a 2000 está creciendo, de hecho, el sentimiento está creciendo con bastante fuerza, al parecer, |
| |
en el distrito de la Reserva Federal de San Francisco, que es donde tienen su sede muchas de estas empresas. Y luego, en 2001, después del colapso, la mayor caída que vemos hasta el final del sentimiento negativo en rojo aquí, nuevamente ocurriendo en ese distrito de San Francisco. |
| |
Por lo tanto, solo una revisión gráfica rápida de estos puntajes de sentimiento del Libro Beige sugiere que tienen cierta validez real en términos de su capacidad para rastrear, tal vez predecir, algunos eventos económicos, aunque, por supuesto, esto último, necesitamos investigar más. con cuidado. |
| |
Pero este es solo un ejemplo de los posibles casos de uso del análisis de sentimientos y hay muchos más. |
| |
Una de las áreas de aplicación más importantes en las que se utiliza en este momento es la investigación de consumidores, donde la gente podría, digamos, analizar |
| |
algunas respuestas de encuestas de consumidores para identificar qué impulsa opiniones o reacciones positivas o negativas. |
| |
Pero el análisis de opiniones también se puede utilizar, por ejemplo, en la mejora de productos, donde el análisis de reseñas de productos o reclamos de garantía puede ayudarnos a encontrar características o problemas de productos que provocan fuertes respuestas emocionales en nuestros clientes. |
| |
Mirando, digamos, atención al cliente, podríamos analizar el centro de llamadas o los chats ... transcripciones de chat para |
| |
encontrar algunas prácticas de apoyo que resulten en clientes felices o descontentos. Tal vez incluso las políticas públicas, analizamos los comentarios abiertos para medir la reacción del público a las políticas propuestas o existentes. |
| |
Estos son solo algunos de los dominios en los que se puede aplicar el análisis de opiniones. Es realmente aplicable en cualquier lugar donde tenga texto que transmita alguna emoción y esa emoción podría ser informativa. |
| |
Eso es todo lo que quiero decir desde el principio. Ahora me gustaría dedicar un poco de tiempo a explicarle cómo funciona en JMP, así que pasemos a JMP. |
| |
Aquí tenemos los datos del Libro Beige, por lo que en la parte inferior, puede ver que tenemos un poco más de 5,000 informes aquí, y tenemos la fecha de cada informe de |
| |
Mayo de 1972 Octubre de 2020, de cuál de los 12 distritos es, y luego el texto del informe. Y puede ver que estos informes, |
| |
no son solo declaraciones rápidas de lo que sabes, la economía va bien o mal, pueden entrar en algún nivel de detalle. |
| |
Ahora, antes de sumergirnos en estos datos, solo quiero agradecerle a alguien por la idea de analizar el Libro Beige y por extraer los datos y ponerlos en JMP, en una |
| |
formato listo para analizar. Y ese agradecimiento va para Xan Gregg quien, si no lo sabe, Xan es director del equipo de desarrollo de JMP y el creador de Graph Builder, así que gracias, Xan, por su ayuda. |
| |
Muy bien, cuantifiquemos el grado de emoción positiva y negativa en todos estos informes. Usaremos Text Explorer en el menú de análisis. |
| |
Aquí tenemos nuestra ventana de lanzamiento. Tomaré nuestros datos de texto y los pondré en el rol de columnas de texto. Un par de cosas para destacar antes de empezar. |
| |
Text Explorer admite varios idiomas, pero en este momento, el análisis de sentimientos está disponible solo en inglés, y otra cosa sobre la que quiero llamar la atención es la raíz aquí. |
| |
Entonces, para aquellos que hacen análisis de texto, probablemente estén familiarizados con lo que es la derivación, pero para aquellos que no están familiarizados, la derivación es un proceso por el cual colapsamos múltiples ... |
| |
bueno, para que no sea técnico ... varias versiones de la misma palabra juntas. Tome "fuerte", "más fuerte" y "más fuerte". Entonces estos son tres |
| |
versiones de la misma palabra "fuerte" y en algunas técnicas de minería de texto, querría combinar todas esas en un solo término y simplemente decir, oh, todas significan "fuerte" porque eso es conceptualmente lo mismo. |
| |
De hecho, voy a dejar de mencionar aquí, y es porque ... tome "más fuerte", que describe lo más fuerte que algo puede llegar a ser |
| |
versus "más fuerte", que dice que sabes que es fuerte, pero todavía hay espacio para que sea aún más fuerte. |
| |
Así que "más fuerte" probablemente debería obtener una puntuación de sentimiento más alta que "más fuerte", y si tuviera que detenerme, perdería la distinción entre esas palabras. Como no quiero perder esa distinción, quiero darles diferentes puntuaciones de sentimiento. Voy a seguir alejándome de aquí. |
| |
Entonces haré clic en Aceptar. |
| |
Y JMP ahora va a convertir en token nuestro texto, es decir, dividirlo en todas sus palabras individuales y luego contar la frecuencia con la que ocurre cada una. |
| |
Y aquí tenemos una lista de todos los términos y qué tan frecuentes son. Entonces, las "ventas" ocurren más de 46,000 veces y también tenemos nuestra lista de frases aquí. Entonces las frases son |
| |
secuencias de dos o más palabras que ocurren mucho y, a veces, realmente queremos contarlas como términos en nuestro |
| |
análisis. Y para el análisis de sentimientos, querrá revisar su lista de frases y, digamos, tal vez agregar "bienes raíces", que son dos palabras, pero en realidad se refiere a, ya sabe, propiedad. |
| |
Y podría agregar eso. Ahora, normalmente en el análisis de texto, también agregaríamos las llamadas palabras vacías, |
| |
son palabras que realmente no tienen significado en el contexto de nuestro análisis y que queremos excluir. Tome "distrito". Esto sucede ... o el Libro Beige usa |
| |
la palabra "distrito" con frecuencia, simplemente diciendo, ya sabes, "este informe del distrito de Richmond", algo así, no es realmente significativo. |
| |
Pero en realidad no me voy a molestar con las palabras vacías aquí y eso es porque, si recuerdas, |
| |
De regreso a nuestras diapositivas, dijimos que todos nuestros puntajes de sentimiento se basan en un diccionario, donde elegimos palabras de sentimiento y qué puntaje deberían obtener. |
| |
Y si simplemente dejamos "distrito", inherentemente obtiene un puntaje de 0 y no afecta nuestro puntaje de sentimiento, por lo que realmente no necesito declararlo como una palabra de parada. |
| |
Entonces, una vez que estemos listos, invocaríamos el texto o, perdón, el análisis de sentimientos debajo del triángulo rojo aquí. |
| |
Entonces, lo que JMP está haciendo en este momento, porque no hemos declarado ningún término de opinión o de otra manera, es usar un diccionario de opinión incorporado para calificar todos los documentos. Aquí sacamos nuestras puntuaciones. |
| |
Ahora, antes de navegar por estos resultados, probablemente deberíamos personalizar nuestro diccionario de sentimientos, de modo que el sentimiento contenga las palabras y sus puntuaciones. Y eso se debe a que en diferentes dominios, |
| |
tal vez con diferentes personas generando el texto, ciertas palabras van a tener diferentes niveles de sentimiento o tener sentimiento en un caso y no en otro. Entonces queremos |
| |
Realmente, con mucho cuidado y en profundidad, creemos un diccionario de sentimientos en el que sintamos el sentimiento capturado con precisión tal como lo transmite el lenguaje que estamos analizando en este momento. |
| |
Entonces, JMP, como dije, usa un diccionario incorporado y es bastante escaso. Puedes verlo aquí mismo, tiene algunos emoticonos, |
| |
como estos pequeños emoticonos y todo eso, pero luego tenemos un lenguaje bastante claro que soporta sentimientos, como "abismal" en -90. |
| |
Ahora bien, probablemente no es el caso de que alguien vaya a usar la palabra "abismal" y no lo diga en un sentido negativo, así que nos sentimos bastante bien con eso. Pero, ya sabes, no es una lista demasiado larga y es posible que queramos agregarle algunos términos. |
| |
Entonces, veamos cómo lo hacemos, y una cosa que puedo recomendar es simplemente mirar sus datos. Ya sabes, lee algunos de los documentos que tienes y trata de encontrar algunas palabras que creas que podrían ser indicativas de sentimiento. |
| |
De hecho, tenemos aquí una herramienta que nos permite examinar nuestros documentos y agregar directamente términos de opinión de ellos. Así que aquí tengo una lista de documentos. Puede ver que el Documento 1 está resaltado y luego el Documento 1 se muestra a continuación. Podría seleccionar diferentes documentos para verlos. |
| |
Ahora, si miramos el Documento 1, desde el principio, es posible que observe un par de términos de sentimiento potenciales como "pesimismo" y "optimismo". |
| |
Ahora puede ver que estos no están resaltados. En realidad, estos no están incluidos en el diccionario de sentimientos estándar. |
| |
Y muchos sustantivos que encontrarás en realidad no lo son, y eso se debe a que sustantivos como "pesimismo" u "optimismo" pueden describirse de maneras que sugieren su presencia o su ausencia, básicamente. Entonces podría decir, ya sabes, "el pesimismo está disminuyendo" o |
| |
"hay una clara falta de pesimismo", "el pesimismo ya no se informa". |
| |
Y, en esos casos, no diríamos que el "pesimismo" es algo negativo. Es ... así que debes tener cuidado y pensar en las palabras en contexto y cómo se usan realmente antes de agregarlas a un diccionario de sentimientos. |
| |
Por ejemplo, podría volver a nuestra lista de términos aquí. Solo voy a mostrar el filtro |
| |
busque "pesimismo" y luego muestre el texto para ver cómo se usa. Así podemos ver en este primer ejemplo, "el ánimo de nuestros directores varía del pesimismo al optimismo". |
| |
Y el siguiente |
| |
"conversaciones privadas con un profundo ánimo de pesimismo". Si realmente lees, este es el uso típico, por lo que en realidad en el Libro Beige, no parecen usar la palabra pesimismo de la manera que yo temo. |
| |
"El optimismo va en aumento". |
| |
Así que, de hecho, me parece bien agregar "pesimismo" aquí, así que agregémoslo a nuestro diccionario de sentimientos. |
| |
Entonces, si me coloco sobre él, |
| |
puede ver que mostramos algunas opciones de qué hacer con él. Así que aquí puedo, digamos, darle una puntuación de -60. |
| |
Y ahora eso se agregará a nuestro diccionario con la puntuación correspondiente, y activará la puntuación de sentimiento actualizada en JMP. Es decir, ahora busca la palabra "pesimismo" y ajusta todos los puntajes del documento donde la encuentra. |
| |
Así que regresemos ahora para ver nuestros términos de opinión con más detalle. Si me desplazo hacia abajo, encontrarás "pesimismo". |
| |
aquí mismo con la puntuación de -60 que le acabo de dar. Ahora, en realidad, podría querer ... si se da cuenta, "pesimista" es, de forma predeterminada, una puntuación de -50, así que tal vez solo escriba -50 aquí para que sea coherente. |
| |
Y podría, pero no voy a hacerlo, solo para que no activemos otra actualización. |
| |
También notará, aquí mismo, esta lista de posibles términos de opinión. Por lo tanto, estos son términos que JMP ha identificado como que pueden tener sentimientos, y es posible que desee echarles un vistazo y considerarlos para incluirlos en su diccionario. |
| |
Por ejemplo, la palabra "fuerte" aquí, si observa algunos de los textos del documento a la derecha, podría decir, está bien, esto es claramente algo positivo. Y si ha mirado muchos de estos ejemplos, realmente se destaca que |
| |
la palabra "fuerte" y, en consecuencia, "débil" son palabras que estos economistas usan mucho para hablar de cosas buenas o malas de la economía actual. |
| |
Así que podría agregarlos, o agregar "fuerte" aquí haciendo clic en, digamos, 60 positivo en los botones de arriba. Nuevamente, no lo haré ahora, solo por el hecho de acelerar nuestro análisis del sentimiento. |
| |
Así que podríamos revisar, al igual que nuestros textos a continuación, podríamos revisar nuestra lista de términos de sentimiento aquí para elegir algunos buenos candidatos. |
| |
Debajo del triángulo rojo, también podemos administrar los términos de opinión de manera más directa, por lo que es solo en el |
| |
listas de administración de términos a las que podríamos estar acostumbrados para un usuario de Text Explorer, como la administración de frases y la administración de palabras vacías. |
| |
Puede ver que hemos agregado un nuevo término local a este análisis en particular, además de todos nuestros términos incorporados. Por supuesto, también podríamos declarar excepciones, si queremos no incluir algunas de ellas. |
| |
Y lo que es más importante, también puede importar y exportar su diccionario de sentimientos. Otra forma de declarar términos de opinión es consultar con expertos en la materia. Sabes, |
| |
Los economistas probablemente tendrían mucho que decir sobre los tipos de palabras que esperarían ver que transmitieran claramente |
| |
emoción positiva o negativa en estos informes. Y si pudiéramos hablar con ellos, querríamos saber qué tienen que decir al respecto, e incluso podríamos derivar un diccionario en, digamos, un archivo separado por pestañas con ellos y luego importarlo aquí. |
| |
Y luego, por supuesto, una vez que creemos un diccionario que nos guste, deberíamos exportarlo y guardarlo para que sea fácil de aplicar nuevamente en el futuro. |
| |
Así que eso es un poco sobre cómo curarías tu diccionario de sentimientos. También sería importante |
| |
seleccione sus términos de intensificador y sus términos de negación, y nuevamente, no verá puntajes aquí, porque estos son solo inversiones de polaridad. |
| |
Solo para mostrarte un poco más sobre cómo se ve realmente, si ... echemos un vistazo al sentimiento aquí, para que podamos ver casos en los que |
| |
JMP ha encontrado la palabra "no" antes de algunos de estos términos de opinión y de hecho aplicó la puntuación adecuada. Entonces, en la parte superior, "no aceptable" obtiene una puntuación de -25. |
| |
Así que les muestro que solo para, en cierto modo, llamar su atención sobre el hecho de que estos negadores e intensificadores están siendo aplicados automáticamente por JMP. |
| |
Pero de todos modos, pasemos de hablar sobre cómo configurar el análisis a mirar realmente los resultados. Así que voy a sacar el tema |
| |
una versión del análisis que ya está hecha, es decir, ya he seleccionado el diccionario de sentimientos y podemos empezar a interpretar los resultados que obtenemos. |
| |
Así que tenemos nuestro resumen de alto nivel aquí, por lo que tenemos más documentos positivos que negativos. Como comentamos antes, podemos ver, ya sabes, cuántos de cada uno. De hecho, en la parte inferior de esa tabla a la izquierda, puede ver que tenemos un documento que no tiene ningún sentimiento expresado en él. |
| |
"fuerte" ocurre 14.000 veces, "débil" ocurre 4.500 veces aproximadamente |
| |
y mirándolos por sus recuentos o por sus puntuaciones, mirando los más negativos y positivos, |
| |
incluso mirarlos en contexto puede ser bastante informativo en sí mismo. Quiero decir, especialmente en, digamos, un dominio como la investigación de consumidores, si desea saber cuándo las personas se sienten positivamente o expresan positividad |
| |
sobre nuestra marca o algunos productos que tenemos, qué tipo de lenguaje están usando, tal vez eso informaría los esfuerzos de marketing, digamos. Esta lista de términos de opinión puede ser muy informativa en ese sentido. |
| |
fabricación, |
| |
turismo, inversiones. Y a veces queremos concentrarnos en uno de esos subdominios en particular, lo que podríamos llamar una característica. |
| |
Y si voy a esta pestaña de funciones en el análisis de opiniones, haré clic en buscar. JMP encuentra algunas palabras que comúnmente ocurren con términos de sentimiento y le pregunta si desea sumergirse en el sentimiento con respecto a esa característica. |
| |
Tomemos, por ejemplo, "ventas". Podemos ver que "las ventas se informaron débiles", "se debilitaron las ventas", "se informó que las ventas se mantuvieron bien", etc. |
| |
Entonces, si solo califico esta función seleccionada, ahora lo que JMP hará es proporcionar calificaciones de opinión solo con respecto a la mención de "ventas" dentro de estos informes más grandes, y esto nos ayudará a refinar nuestro análisis o enfocarlo en una muy buena subdominio definido. |
| |
Y eso es particularmente importante. |
| |
Podría darse el caso de que el dominio en el idioma que estamos analizando no esté tan restringido. Tomar como ejemplo, |
| |
reseñas de productos. Le interesa saber qué tan positivas o negativas se sienten las personas con respecto al producto, pero también pueden hablar sobre, por ejemplo, el envío y no necesariamente le importa si no estaban muy contentos con el envío, principalmente porque está fuera de su control. . |
| |
No querrás incluir solo un montón de reseñas que también comenten sobre ese envío. Por lo tanto, es importante considerar el dominio de análisis y restringirlo de manera adecuada, y el buscador de funciones aquí es una forma de hacerlo. |
| |
Como puede ver ahora que he puntuado en "ventas", tenemos una distribución muy diferente de documentos positivos y negativos. Tenemos más documentos que no tienen una puntuación de opinión porque |
| |
simplemente no hable de ventas o no use un lenguaje emocional para discutirlo, y tenemos una lista diferente de términos de opinión que ahora capturan las ventas en particular. |
| |
Déjame eliminar esto. |
| |
Una cosa que me di cuenta de que olvidé mencionar, la mencioné brevemente, es cómo se calculan estos puntajes generales de documentos que hemos estado viendo, y dije que son el promedio de todos los términos de sentimiento de ... |
| |
que ocurrió en un documento en particular. Así que veamos el Documento 1. Solo me gustaría mostrarte eso |
| |
Si alguna vez se pregunta de dónde viene este puntaje, digamos, -20, puede simplemente pasar el mouse sobre el mouse y le mostrará una lista de todos los términos de opinión que aparecieron. |
| |
Y pueden ver, aquí tenemos 16 de ellos, incluidos todos en la parte inferior, "punto realmente brillante", que era un +78 y luego, si divide ... sume todos esos puntajes. dividir por 78 ... |
| |
o dividir por 16, perdón, entonces obtienes un sentimiento promedio de -20. Y esta es una de las dos formas de proporcionar puntuaciones generales. Otro es un puntaje mínimo máximo, por lo que las diferencias entre el mínimo y el máximo |
| |
sentimientos expresados en el texto. |
| |
Ahora podemos obtener mucha información con solo mirar este informe, ya sabes, obviamente puntajes de sentimiento, los términos más comunes. |
| |
Pero a menudo queremos tomar los sentimientos y usarlos de alguna otra manera, como |
| |
mírelos gráficamente, como lo hicimos en las diapositivas. Entonces, cuando llegue el momento de esa parte de su análisis, diríjase al triángulo rojo aquí |
| |
y guarde las puntuaciones del documento. Y estos guardarán esos puntajes en su tabla de datos para que pueda ingresarlos en más análisis o graficarlos, lo que sea que desee hacer. |
| |
Así que es un adelanto del análisis de opiniones que llega a Text Explorer en JMP Pro 16. La idea para llevar a casa es que el análisis de sentimientos utiliza un diccionario de sentimientos que |
| |
configura para proporcionar puntuaciones correspondientes al contenido emocional positivo y negativo de cada documento y, a partir de ahí, puede utilizar esa información de cualquier forma que le resulte informativa. |
| |
Así que dejaremos atrás el análisis de sentimientos y volveré a nuestras diapositivas para hablar sobre la otra técnica que pronto estará disponible en Text Explorer. |
| |
Y esa es la selección de términos, donde la selección de términos responde a una pregunta diferente, y es decir, ¿qué términos están más fuertemente asociados con alguna variable importante o variable que me importa? |
| |
Nos vamos a quedar con el Libro Beige. |
| |
Vamos a preguntar qué palabras están asociadas estadísticamente con las recesiones. Entonces, en el gráfico aquí, tenemos a lo largo del tiempo, el cambio porcentual |
| |
PIB (producto interno bruto) trimestre a trimestre, donde el azul muestra el crecimiento económico y el rojo la contracción económica. Y podríamos preguntarnos, bueno, ¿qué |
| |
términos, tal como aparecen en el Libro Beige, ¿podrían estar asociados estadísticamente con estos períodos de recesión económica? Por ejemplo, algunos de ellos aquí. |
| |
Sabes, ¿por qué querríamos asociar términos específicos en el Libro Beige con períodos de recesión económica? |
| |
Bueno, podría ser potencialmente informativo en sí mismo obtener una lista de términos. Sabes, podría encontrar algunos potencialmente, ya sabes, sutiles |
| |
impulsores o efectos de las recesiones que quizás no conozca o que no capte fácilmente en datos cuantitativos. |
| |
También podría encontrar algunas palabras para un análisis más detallado. Podría ... podría encontrar algunos |
| |
términos de sentimiento potencial, algunos términos que se están utilizando cuando la economía va particularmente mal que me perdí la primera vez cuando estaba haciendo mi análisis de sentimiento. |
| |
O tal vez podría encontrar algunas palabras que están tan fuertemente asociadas con las recesiones que creo que podría usarlas en un modelo predictivo para tratar de averiguar cuándo podrían ocurrir recesiones en el futuro. |
| |
Por lo tanto, existen algunas razones diferentes por las que podríamos querer saber qué palabras están más fuertemente asociadas con las recesiones. |
| |
Entonces, ¿cómo funciona esto en JMP? Bueno, básicamente construimos un modelo de regresión donde la variable de resultado es la variable que nos importa, las recesiones, y las entradas son todas las palabras diferentes. |
| |
Los datos ingresados en el modelo toman la forma de una matriz de términos del documento, donde cada fila corresponde a |
| |
un documento o un informe del Libro Beige, y luego las columnas capturan las palabras que aparecen en ese informe. Aquí tenemos la columna "débil" resaltada y dice "binario", lo que significa que |
| |
contendrá unos y ceros; un 1 indica que ese informe contenía la palabra "débil" y un 0 indica que ese informe no contenía la palabra "débil". Y esta es una de las varias formas en que podríamos calificar los documentos, pero nos quedaremos con este binario por ahora. |
| |
Entonces tomamos esta información y la ingresamos en un modelo de regresión. Así que así es como se vería el lanzamiento. |
| |
Tenemos nuestra recesión como nuestra variable Y y eso es solo una especie de variable de sí o no, y luego tenemos todos estos predictores de términos binarios ingresados como nuestros efectos de modelo. |
| |
Y luego usaremos la herramienta de regresión generalizada de JMP Pro |
| |
para construir el modelo, y eso es porque la regresión generalizada o GenReg, como lo llamamos, incluye técnicas de selección automática de variables. Entonces, si estás familiarizado con |
| |
Regresión regularizada, estamos hablando como el lazo o la red elástica. Y si no sabes lo que eso significa, está bien. La idea es que automáticamente |
| |
encuentre qué términos están más fuertemente asociados con la variable de resultado "recesión", y luego los que no cree que estén asociados con ella, los eliminará a cero. |
| |
Y esto nos permite mirar las relaciones entre "recesión" y tal vez conozca cientos, miles de palabras posibles que se asociarían con ellas. |
| |
Entonces, ¿qué obtenemos cuando ejecutamos el análisis? |
| |
Sacamos un modelo. Entonces, lo que tenemos aquí es la ecuación para ese modelo. No se preocupe demasiado por eso. la idea es que digamos |
| |
el registro de probabilidades de recesión, por lo que es una función de la probabilidad de que estemos en una recesión y cuando se emite el Libro Beige es una función |
| |
todas las diferentes palabras que pueden aparecer en el informe del Libro Beige. |
| |
Y pueden ver, tenemos, ya saben, el efecto de la aparición de la palabra "pandemia" con un coeficiente de 1,94. |
| |
Eso solo significa que las probabilidades logarítmicas de "recesión" aumentan en 1,94 si el informe del Libro Beige menciona la palabra "pandemia". Luego vemos menos 1.02 veces la "ganancia". Bueno, eso significa que si el informe del Libro Beige menciona la palabra "ganancia", entonces la probabilidad de recesión ... |
| |
o las probabilidades logarítmicas de recesión se reducen en 1,02. |
| |
Así que de ahí salimos una lista de términos que están fuertemente asociados con un aumento en la probabilidad de recesión, cosas como "pandemia", "aplazamiento", "cancelación", "ejecuciones hipotecarias". |
| |
Y también obtenemos una lista de términos que están asociados con una probabilidad decreciente de recesión, como "ganar", "fortalecer", "competencia". |
| |
También vemos "fabricación" allí mismo, pero tiene un coeficiente relativamente pequeño, alrededor de -2. |
| |
Y realmente lo notará aquí, y si miramos una representación gráfica de todos los términos que se seleccionan en este análisis, no verá demasiados dominios específicos como "fabricación", |
| |
"turismo", "inversiones" y todo eso. Eso es porque siempre se habla de esas cosas, ya sea que estemos en una recesión o no, así que lo que realmente estamos buscando son las palabras que se usan, |
| |
ya sabes, cuando estamos en recesión con más frecuencia de lo que cabría esperar por casualidad. Entonces tenemos ... por ejemplo, esos son |
| |
"pandemia" es el más predictivo. Tiene mucho sentido. No hablamos de pandemias hasta hace muy poco y también hemos experimentado la recesión recientemente, así que lo hemos detectado con bastante claridad. |
| |
Luego tenemos algunos otros en esta especie de segundo nivel, por lo que eso es "pospuesto", "cancelar", "embargado", "deteriorado", "pesimista". |
| |
Y es algo interesante, este "aplazamiento" y "cancelación" está asociado con recesiones. Tiene sentido, realmente quieres hablar sobre posponer, digamos, la actividad económica |
| |
cuando está ocurriendo una recesión, o al menos esa es quizás una tendencia confiable. Es ... de modo que eso es conocimiento, en sí mismo. en efecto, yo |
| |
Quiero decir, no podría decirles cómo rastrea la Reserva Federal el aplazamiento o la cancelación de actividades económicas, pero el hecho de que esos términos se marquen en este análisis sugiere que probablemente valga la pena rastrearlo. |
| |
Muy bien, esa es la selección de términos. De hecho, sacamos esta bonita lista de términos asociados con las recesiones y podemos ver la fuerza relativa de la asociación. Ahora veamos esto brevemente aquí, cómo se hace en JMP. |
| |
Así que volveré a JMP y lo que vamos a hacer es obtener una tabla de datos ligeramente diferente. Sin embargo, todavía son datos del Libro Beige, ahora solo tenemos los informes nacionales. |
| |
Y tenemos esta variable acompañante si Estados Unidos estaba o no en recesión en ese momento. Y, por supuesto, hay cierta autocorrelación en estos datos. Quiero decir, si estamos en una recesión el mes pasado, es más probable que estemos en una recesión este mes que si no lo estuviéramos. |
| |
Y usted sabe que normalmente podría ser un problema para los análisis basados en regresión, pero esto es puramente exploratorio. No estamos demasiado preocupados por eso. |
| |
Así que voy a sacar el Explorador de texto de los scripts de una tabla solo porque ya hemos visto cómo se lanza antes. |
| |
Sin embargo, tenga en cuenta que ya hice algunas frases, como lo hicimos antes. También agregué algunas palabras vacías, no se pueden ver aquí, pero palabras que no quiero que sean necesariamente devueltas por este análisis. |
| |
Y he activado la derivación, que es lo que significan esos pequeños puntos en la lista de términos. Por ejemplo, esto para "aumentar" ahora en realidad está colapsando entre "aumentos", "aumentando", "cada vez más". |
| |
Y eso es porque ahora, en cierto modo, considero que todos son el mismo concepto, y solo quiero saber si, ya sabes, ese concepto está asociado con las recesiones. |
| |
Entonces, para invocar la selección de términos, simplemente iremos al triángulo rojo y lo seleccionaré aquí. |
| |
Primero aparece una ventana de control, o debería decir sección, donde seleccionamos qué variable nos importa, eso es recesiones. Seleccione el nivel objetivo, por lo que quiero que sea en términos de probabilidad de recesión, en contraposición a la probabilidad de que no haya recesión. |
| |
Puedo especificar algunas configuraciones de modelo. Si está familiarizado con GenReg, verá que puede elegir si desea una parada anticipada, si desea una de dos |
| |
penalizaciones para realizar la selección de variables, qué estadística desea realizar la validación. Y si esas cosas son nuevas para ti, no te preocupes demasiado. La configuración predeterminada es un buen camino a seguir al principio. |
| |
Tenemos nuestra ponderación, si recuerda, teníamos los 1 y 0 en esa columna para "débil", simplemente diciendo si la palabra aparece en un documento o no, pero puede seleccionar lo que desee. Asi que |
| |
por ejemplo, la frecuencia no es, si ocurrió "débil" o no, es cuántas veces ocurrió. Y este tipo de afecta la forma en que interpretaría sus resultados. Vamos a quedarnos con el binario por ahora. |
| |
Pero voy a decir, quiero ver los 1,000 términos más frecuentes, en lugar de los 400 por defecto, que pueden ver, eso es mucho más que 436, y normalmente no se puede ajustar un modelo con 1,000 X pero solo 436 |
| |
observaciones, pero gracias a las |
| |
selección automática de variables en regresión generalizada, esto no es un problema. Entonces, una vez más, selecciona cuál de estos mil términos está más fuertemente relacionado, de ahí la selección del término de nombre. |
| |
Así que voy a ejecutar esto. Puede ver que lo que sucedió es que JMP llamó a la plataforma de regresión generalizada y devolvió estos resultados, donde aquí arriba, vemos información sobre el modelo que se ajustaba. Por ejemplo, tenemos 37 términos devueltos. |
| |
Déjame mover eso. Porque aquí a la derecha es donde encontramos información realmente valiosa. Esta es la lista de términos más fuertemente asociados con la recesión. |
| |
Ahora, los ordenaré por el coeficiente para encontrar los más fuertemente asociados con la probabilidad de recesión, así que, una vez más, eso es "pandemia", "aplazamiento", "cancelaciones" y, como es de esperar, en este punto, si hago clic en uno de estos, actualizará estas vistas previas |
| |
o estos fragmentos de texto a continuación, para que podamos ver esta palabra en contexto. |
| |
Entonces, esta lista de términos en sí misma podría ser increíblemente valiosa. Usted, puede aprender algunas cosas sobre términos o conceptos específicos que son importantes y que quizás no conocía antes. También puede utilizar estos términos en modelos predictivos. |
| |
Ahora algunas otras cosas a tener en cuenta. |
| |
Puede ver aquí abajo, una vez más tenemos una tabla por cada documento individual, pero en lugar de puntajes de opinión, ahora tenemos básicamente puntajes del modelo. Tenemos para cada uno |
| |
la... |
| |
lo que llamamos la contribución positiva, entonces esta es la contribución de los coeficientes positivos que predicen la probabilidad de recesión. Aquí tenemos los del lado negativo. |
| |
Y luego incluso tenemos la probabilidad de recesión del modelo, 71,8% aquí y luego lo que realmente observamos. |
| |
Y no estamos construyendo un modelo predictivo aquí necesariamente, es decir, no voy a usar este modelo para intentar predecir recesiones. Quiero decir, tengo todo tipo de variables de indicadores económicos que usaría |
| |
también, pero esta es una buena manera de verificar básicamente la cordura de su modelo. ¿Parece que está haciendo bien algunas de sus predicciones? |
| |
Porque si no lo es, es posible que no confíe en los términos que devuelve. También tiene mucha otra información para intentar hacer ese juicio. Quiero decir, tenemos algunas estadísticas de ajustes, como el área debajo de la curva aquí arriba. |
| |
O incluso podemos ir a la plataforma de regresión generalizada, con todas sus opciones normales para evaluar su modelo también allí. |
| |
No voy a entrar en detalles allí, pero todo eso está disponible para que pueda evaluar su modelo, modificar su modelo como desee, para asegurarse de tener una lista de términos con los que se sienta bien. |
| |
Ahora puede ver aquí, tenemos esto, bajo el resumen, esta lista de modelos y eso es porque es posible que desee ejecutar varios modelos. Así que si vuelvo al modelo ... oh, perdón ... si volvemos a nuestro |
| |
configuraciones aquí, en realidad podría ejecutar un modelo ligeramente diferente. Tal vez, por ejemplo, sé que el BIC es un poco más conservador que el AICc y quiero devolver menos términos, tal vez hice un análisis que arrojó 900 términos y estás un poco abrumado. |
| |
Así que haré clic en ejecutar y construiré otro modelo usando eso. |
| |
Y ahora tenemos ese modelo agregado a nuestra lista aquí, y puedo cambiar entre estos modelos para ver los resultados de cada uno. En este caso, hemos devuelto solo 14 términos, en lugar de 37 y bajaría para evaluarlos a continuación. |
| |
Entonces, dos grandes resultados que obtendría de esto, por supuesto, es esta lista de términos. Si desea guardar eso, estos son solo términos importantes para usted y desea realizar un seguimiento de ellos, simplemente haga clic derecho y conviértalo en una tabla de datos. Ahora tengo una mesa JMP |
| |
con los términos, sus coeficientes y otra información. |
| |
Y |
| |
si lo que quiere hacer es escribir esto en su tabla de datos original, tal vez, para que pueda usar la información en algún otro tipo de análisis o modelo predictivo, |
| |
simplemente diríjase a la selección de términos y diga que desea guardar los puntajes de los términos como una matriz de términos del documento, que si traigo nuestra tabla de datos aquí, puede ver que ahora escribí a sus |
| |
columnas para cada uno de estos términos que se han seleccionado. En este caso, complete con sus valores de coeficiente, y ahora puedo usar esto |
| |
información cuantitativa como quiera. |
| |
Eso es solo un poco sobre la selección de términos. Nuevamente, la gran idea aquí es que encontré una lista de términos que están relacionados con una variable que me importa e incluso tengo, a través de sus coeficientes, información sobre qué tan fuerte podría ser esa relación. |
| |
Así que terminemos entonces. Hemos cubierto dos técnicas. Acabamos de ver la selección de términos, encontrar esas palabras importantes. Antes de eso, revisamos el análisis de sentimiento, todo sobre |
| |
cuantificar el grado de emoción positiva o negativa en un texto. Estas son dos nuevas técnicas de minería de texto que llegan al Text Explorer de JMP Pro 16. Estamos muy emocionados de que los ponga en sus manos y esperamos sus comentarios. |
