| Vocero |
Transcripción |
| Ross Metusalem |
Hola a todos y gracias por tomarse un tiempo para aprender cómo JMP está ampliando su conjunto de herramientas de minería de texto en JMP Pro 16 con |
| |
Análisis de sentimiento y selección de términos. |
| |
Soy Ross Metusalem, ingeniero de sistemas de JMP en el sureste de Estados Unidos, y voy a ofrecerles un adelanto de estos dos nuevos análisis, explicarles brevemente cómo funcionan y brindarles algunas prácticas recomendadas para su uso. |
| |
Así que ambas técnicas de análisis vienen en Text Explorer, que para aquellos que no estén familiarizados, este es el JMP. |
| |
herramienta para analizar lo que llamamos textos libres o no estructurados, es decir, textos en lenguaje natural. |
| |
Y es lo que llamamos una herramienta de minería de texto, es decir, una herramienta para derivar información cuantitativa de texto libre para que podamos |
| |
utilizar otros tipos de herramientas estadísticas o analíticas para obtener información valiosa del texto libre o incluso utilizar ese texto como datos de entrada para otros análisis. |
| |
Así pues, echemos un vistazo a estas dos nuevas técnicas de minería de texto que llegarán a Text Explorer en JMP Pro 16, y comenzaremos con el análisis de sentimientos. |
| |
En esencia, el análisis de sentimientos responde a la pregunta de cuán emocionalmente positivo o negativo es un texto. |
| |
Y vamos a realizar un análisis de sentimiento sobre el Libro Beige, que es un informe periódico del Banco de la Reserva Federal de Estados Unidos. |
| |
Pido disculpas por usar un ejemplo de Estados Unidos en JMP Discovery Europe, pero el Libro Beige ofrece una buena demostración de en qué consiste el análisis de sentimientos. |
| |
Se trata de una publicación mensual que contiene un informe a nivel nacional, así como 12 informes a nivel de distrito que resumen las condiciones económicas en dichos distritos. Todos ellos se basan en información cualitativa, como entrevistas y encuestas. |
| |
Y los responsables políticos estadounidenses pueden utilizar la información cualitativa del Libro Beige, junto con la información cuantitativa, ya saben, la de los indicadores económicos tradicionales, para orientar la política económica. |
| |
Entonces, uno podría pensar: bueno, estamos hablando de sentimiento o emoción ahora mismo. No sé si espero que los informes económicos contengan mucha emoción, pero los informes del Libro Beige y gran parte del lenguaje sí contienen palabras que pueden transmitir o expresar emoción. |
| |
Veamos un extracto de un informe. Aquí tienen una captura de pantalla directamente de la nueva plataforma de análisis de sentimientos. |
| |
Notarás algunas palabras resaltadas, y a estas las llamaremos términos de sentimiento, es decir, |
| |
términos que, según argumentamos, tienen cierto contenido emocional. Por ejemplo, en la parte superior, "las ventas de computadoras, por otro lado, se han visto gravemente afectadas", |
| |
donde "gravemente deprimido" está resaltado en púrpura, lo que indica que consideramos que transmite una emoción negativa, lo cual parece ser el caso si alguien describe las ventas de computadoras como "gravemente deprimidas", suena como si quisieran que interpretáramos eso como algo ciertamente malo. |
| |
Si miramos hacia abajo, vemos en naranja un par de términos con connotación positiva resaltados, como "mejorar" o "favorable". Así podemos buscar palabras que creemos que tienen una connotación emocional positiva o negativa. |
| |
El color morado indica lo negativo, el naranja lo positivo, y algunos análisis de sentimiento mantienen las cosas en ese nivel, por lo que se trata simplemente de una distinción binaria: un texto positivo o un texto negativo. |
| |
Hay formas adicionales de realizar análisis de sentimientos y, en particular, |
| |
Existen muchos métodos para cuantificar el grado de positividad o negatividad, no solo si algo es positivo o negativo. Consideremos este otro ejemplo y dirijamos nuestra atención a la parte inferior, donde podemos ver un informe de "bajas ventas". |
| |
Y voy a compararlo con lo que dijimos antes: "las ventas de ordenadores están muy deprimidas". |
| |
Ambas son afirmaciones negativas, pero creo que todos estaríamos de acuerdo en que "gravemente deprimido" suena mucho más negativo que simplemente "pobre". |
| |
Entonces queremos averiguar no solo si un sentimiento expresado es positivo o negativo, sino cuán positivo o negativo es, y eso es lo que el análisis de sentimientos en |
| |
Text Explorer sí lo hace. ¿Cómo lo hace? Pues bien, utiliza una técnica llamada análisis de sentimiento léxico que se basa en ciertos términos de sentimiento y puntuaciones asociadas. |
| |
Lo que estamos viendo ahora mismo es un extracto de lo que podríamos llamar un diccionario de sentimientos que contiene los términos y sus puntuaciones. |
| |
Por ejemplo, el término "fantástico" tiene una puntuación de +90 y el término "sombrío", que se encuentra al final, tiene una puntuación de -75. |
| |
Lo que hacemos es especificar qué términos creemos que conllevan contenido emocional y el grado en que son positivos o negativos en una escala arbitraria, en este caso de -100 a 100. |
| |
Luego, podemos encontrar estos términos en todos nuestros documentos y utilizarlos para calificar cuán positivos o negativos son esos documentos en general. |
| |
Si recuerdas nuestro ejemplo "gravemente deprimido", esa palabra "gravemente" toma la palabra "deprimido" y lo que llamamos la intensifica. |
| |
Es un intensificador o un multiplicador del sentimiento expresado, por lo que también tenemos un diccionario de intensificadores y lo que hacen al sentimiento expresado por el término de sentimiento. |
| |
Por ejemplo, decimos que "increíblemente" multiplica el sentimiento por un factor de 1,4, mientras que "poco" lo multiplica por un factor de 0,3, por lo que en realidad, como que, ya sabes, atenúa un poco el sentimiento expresado. |
| |
Ahora, por último, hay otro tipo de palabra que queremos tener en cuenta, y son los negadores, cosas como "no" y "not", y los tratamos básicamente como inversiones de polaridad. Así que |
| |
"No es fantástico" sería tomar la puntuación de "fantástico" y multiplicarla por -1. |
| |
Y así, esta es una forma común de hacer análisis de sentimiento, también llamado análisis de sentimiento léxico. Lo que hacemos es tomar los términos de sentimiento que encontramos y multiplicarlos por cualquier intensificador asociado. |
| |
o negadores y luego, para cada documento, cuando tenemos todas las puntuaciones de sentimiento para los términos individuales que aparecen, simplemente promediamos todas ellas para obtener una puntuación de sentimiento para ese documento. |
| |
JMP nos devuelve estas puntuaciones de diversas maneras útiles. Esta es una captura de pantalla de la herramienta de análisis de sentimientos, que utilizaremos en breve. |
| |
Pero, como se puede observar, entre otras cosas, nos proporciona una distribución de las puntuaciones de sentimiento en todos nuestros documentos. Nos ofrece una lista de todos los términos que expresan sentimiento y con qué frecuencia aparecen. |
| |
Y, como veremos, incluso tenemos la posibilidad de exportar las puntuaciones de sentimiento para utilizarlas en gráficos o análisis. |
| |
Y por eso he hecho un par de gráficos aquí para intentar ver, como una primera aproximación, si el sentimiento en los informes del Libro Beige realmente se alinea con los eventos económicos de la manera que creemos que debería. Ya sabes, ¿realmente tenemos alguna validez en esto? |
| |
¿El sentimiento como una especie de indicador económico? Y la respuesta parece ser que sí, probablemente. |
| |
Aquí tengo un gráfico que he creado en Graph Builder; muestra el sentimiento a lo largo del tiempo, por lo que todos los pequeños puntos grises son los informes individuales. |
| |
y la línea azul suavizada muestra la tendencia del sentimiento a lo largo del tiempo, mientras que la línea negra en cero muestra un sentimiento neutral, al menos según nuestro sistema de puntuación. |
| |
Las áreas rojas son |
| |
períodos de recesión económica según la lista oficial de la Reserva Federal. |
| |
Entonces, es posible que notes que el sentimiento parece tocar fondo o que hay mínimos alrededor de las recesiones, pero otra cosa que podrías notar es: |
| |
Lo que sucede es que, en realidad, antes de cada recesión, vemos una caída en la confianza con meses de antelación o, en algunos casos, incluso con un par de años de anticipación. Y no vemos estas grandes caídas en la confianza. |
| |
en situaciones donde no había una recesión posterior. Así que tal vez haya cierta validez en el sentimiento del Libro Beige como indicador adelantado de una recesión. |
| |
Si lo analizamos geográficamente, también vemos cosas que tienen sentido. Este es solo un ejemplo del análisis. Estamos analizando el sentimiento en los 12 |
| |
Distritos de la Reserva Federal a lo largo del tiempo desde 1999 a 2000 a 2001. Esta fue la época de lo que comúnmente se llama el estallido de las puntocom, así que es cuando |
| |
Surgió una gran burbuja de empresas tecnológicas y negocios en línea, y finalmente muchas de ellas quebraron, lo que tuvo consecuencias económicas bastante graves. |
| |
El sentimiento entre 1999 y 2000 está creciendo, de hecho, el sentimiento está creciendo con bastante fuerza, al parecer. |
| |
en el distrito de la Reserva Federal de San Francisco, donde tienen su sede muchas de estas empresas. Y luego, en 2001, tras el desplome, la mayor caída que vemos aquí, que llega hasta el sentimiento negativo (en rojo), se produjo de nuevo en ese distrito de San Francisco. |
| |
Así pues, un simple análisis gráfico de las puntuaciones de sentimiento del Libro Beige sugiere que tienen cierta validez en cuanto a su capacidad para reflejar, e incluso predecir, algunos acontecimientos económicos, aunque, por supuesto, esto último debemos analizarlo con más detenimiento. |
| |
Pero este es solo un ejemplo de los posibles casos de uso del análisis de sentimientos, y existen muchos más. |
| |
Una de las áreas de aplicación más importantes donde se está utilizando actualmente es en la investigación de mercado, donde la gente podría, digamos, analizar |
| |
Algunas respuestas de encuestas a consumidores sirven para identificar qué factores influyen en las opiniones o reacciones positivas o negativas. |
| |
Pero el análisis de sentimientos también se puede utilizar, por ejemplo, para mejorar los productos, donde analizar las reseñas de productos o las reclamaciones de garantía podría ayudarnos a encontrar características o problemas del producto que provoquen fuertes respuestas emocionales en nuestros clientes. |
| |
Si observamos, por ejemplo, el servicio de atención al cliente, podríamos analizar el centro de llamadas o los chats... transcripciones de chats para |
| |
Buscamos prácticas de atención al cliente que generen satisfacción o insatisfacción. Incluso en el ámbito de las políticas públicas, analizamos los comentarios públicos para evaluar la reacción del público ante las políticas propuestas o existentes. |
| |
Estos son solo algunos ejemplos de ámbitos donde se puede aplicar el análisis de sentimientos. En realidad, es aplicable en cualquier contexto donde haya texto que transmita alguna emoción y que dicha emoción pueda resultar informativa. |
| |
Eso es todo lo que quería decir de entrada. Ahora me gustaría dedicar un poco de tiempo a explicarles cómo funciona en JMP, así que pasemos a JMP. |
| |
Aquí tenemos los datos del Libro Beige, así que abajo, pueden ver que tenemos un poco más de 5.000 informes aquí, y tenemos la fecha de cada informe desde |
| |
Mayo de 1972 - octubre de 2020, de cuál de los 12 distritos proviene, y luego el texto del informe. Y puede ver que estos informes, |
| |
No se trata solo de declaraciones rápidas sobre si la economía va bien o mal, sino que pueden entrar en cierto nivel de detalle. |
| |
Ahora, antes de sumergirnos en estos datos, quiero agradecer a alguien por la idea de analizar el Libro Beige y por descargar los datos y ponerlos en JMP, en un |
| |
Formato listo para analizar. Y eso se lo debemos a Xan Gregg, quien, por si no lo sabéis, es director del equipo de desarrollo de JMP y creador de Graph Builder, así que gracias, Xan, por tu ayuda. |
| |
Bien, vamos a cuantificar el grado de emoción positiva y negativa en todos estos informes. Usaremos el Explorador de texto en el menú Analizar. |
| |
Aquí tenemos nuestra ventana de lanzamiento. Tomaré nuestros datos de texto y los colocaré en la columna de texto. Un par de cosas a destacar antes de empezar. |
| |
Text Explorer admite varios idiomas, pero actualmente el análisis de sentimientos solo está disponible en inglés, y otra cosa a la que quiero llamar la atención es sobre la derivación aquí mismo. |
| |
Para quienes se dedican al análisis de textos, probablemente estén familiarizados con lo que es el lematizado, pero para quienes no lo estén, el lematizado es un proceso mediante el cual colapsamos varias palabras... |
| |
Bueno, para no ser demasiado técnico... múltiples versiones de la misma palabra juntas. Tomemos "fuerte", "más fuerte" y "el más fuerte". Entonces, estas son tres |
| |
versiones de la misma palabra "fuerte" y en algunas técnicas de minería de texto, querrías combinar todas esas en un solo término y simplemente decir, oh, todas significan "fuerte" porque conceptualmente es algo así como lo mismo. |
| |
Voy a dejar de lado el tema aquí, y es porque... tomemos "el más fuerte", que describe lo más fuerte que algo puede ser. |
| |
versus "más fuerte", que significa que sabes que es fuerte, pero aún hay margen para que sea aún más fuerte. |
| |
Así que "strongest" probablemente debería tener una puntuación de sentimiento más alta que "stronger", y si aplicara la derivación, perdería la distinción entre esas palabras. Como no quiero perder esa distinción, quiero darles puntuaciones de sentimiento diferentes. Voy a seguir aplicando la derivación aquí. |
| |
Entonces haré clic en Aceptar. |
| |
Y ahora JMP va a tokenizar nuestro texto, es decir, lo va a dividir en todas sus palabras individuales y luego va a contar con qué frecuencia aparece cada una. |
| |
Y aquí tenemos una lista de todos los términos y su frecuencia. Así que "ventas" aparece más de 46.000 veces y también tenemos nuestra lista de frases aquí. Entonces las frases son |
| |
secuencias de dos o más palabras que aparecen mucho, y a veces queremos contarlas como términos en nuestra |
| |
análisis. Y para el análisis de sentimientos, querrías revisar tu lista de frases y, digamos, agregar "bienes raíces", que son dos palabras, pero que en realidad se refiere a, ya sabes, propiedad. |
| |
Y podría añadir eso. Normalmente, en el análisis de texto, también añadiríamos lo que se denomina palabras vacías. |
| |
Son palabras que realmente no tienen significado en el contexto de nuestro análisis y que querríamos excluir. Tomemos como ejemplo "distrito". Esto sucede... o el Libro Beige utiliza... |
| |
La palabra "distrito" se usa con frecuencia, simplemente decir, ya sabes, "este informe del distrito de Richmond", algo así, realmente no tiene significado. |
| |
Pero en realidad no me voy a molestar con las palabras vacías aquí y eso es porque, si recuerdan, |
| |
Volviendo a nuestras diapositivas, dijimos que todas nuestras puntuaciones de sentimiento se basan en un diccionario, donde elegimos palabras que expresan sentimiento y qué puntuación deben obtener. |
| |
Y si simplemente omitimos "distrito", inherentemente obtiene una puntuación de 0 y no afecta nuestra puntuación de sentimiento, por lo que realmente no necesito declararlo como una palabra vacía. |
| |
Así que, cuando estemos listos, invocaríamos el análisis de texto o, perdón, el análisis de sentimiento que se encuentra debajo del triángulo rojo aquí. |
| |
Así que lo que JMP está haciendo ahora mismo, dado que no hemos declarado ningún término de sentimiento ni nada parecido, es usar un diccionario de sentimiento integrado para puntuar todos los documentos. Aquí obtenemos nuestras puntuaciones. |
| |
Ahora, antes de navegar por estos resultados, probablemente deberíamos personalizar nuestro diccionario de sentimientos, de modo que las palabras que transmiten sentimientos y sus puntuaciones. Y eso se debe a que en diferentes dominios, |
| |
tal vez con diferentes personas generando el texto, ciertas palabras van a tener diferentes niveles de sentimiento o tener sentimiento en un caso y no en otro. Entonces queremos |
| |
Creamos con mucho cuidado y minuciosidad un diccionario de sentimientos que, a nuestro parecer, captura con precisión el sentimiento tal como se transmite en el lenguaje que estamos analizando en este momento. |
| |
Entonces JMP, como dije, usa un diccionario incorporado y es bastante escaso. Así que puedes verlo aquí mismo, tiene algunos emoticonos, |
| |
como estos pequeños emoticonos y demás, pero luego tenemos un lenguaje que expresa sentimientos bastante claros, como "abrumador" en -90. |
| |
Ahora bien, es probable que nadie use la palabra "abismal" sin usarla en sentido negativo, así que nos sentimos bastante tranquilos al respecto. Pero, ya saben, no es una lista muy larga y tal vez queramos añadirle algunos términos. |
| |
Veamos cómo lo hacemos, y algo que puedo recomendar es que analicen sus datos. Lean algunos de los documentos que tienen e intenten encontrar palabras que puedan indicar un sentimiento. |
| |
Aquí abajo tenemos una herramienta que nos permite examinar nuestros documentos y añadir directamente términos de análisis de sentimiento. Aquí tengo una lista de documentos. Como pueden ver, el Documento 1 está resaltado y se muestra debajo. Podría seleccionar diferentes documentos para visualizarlos. |
| |
Ahora bien, si analizamos el Documento 1, de entrada, es posible que observemos un par de términos que podrían expresar sentimientos, como "pesimismo" y "optimismo". |
| |
Ahora puedes ver que estos no están resaltados. En realidad, no están incluidos en el diccionario de sentimientos estándar. |
| |
Y muchos sustantivos que encontrarás en realidad no lo son, y eso se debe a que sustantivos como "pesimismo" u "optimismo" pueden describirse de maneras que sugieren su presencia o su ausencia, básicamente. Así que podría decir, ya sabes, "el pesimismo está disminuyendo" o |
| |
"Hay una clara falta de pesimismo", "Ya no se habla de pesimismo". |
| |
Y, en esos casos, no diríamos que el "pesimismo" es algo negativo. Es... por eso conviene tener cuidado y pensar en las palabras en su contexto y en cómo se usan realmente antes de añadirlas a un diccionario de sentimientos. |
| |
Por ejemplo, podría volver a nuestra lista de términos aquí. Voy a mostrar el filtro, |
| |
Busca la palabra "pesimismo" y luego muestra el texto para ver cómo se usa. Así, en este primer ejemplo, podemos ver: "El estado de ánimo de nuestros directores varía del pesimismo al optimismo". |
| |
Y el siguiente |
| |
"conversaciones privadas un profundo estado de ánimo pesimista". Si realmente lo lees, este es el uso típico, así que en realidad en el Libro Beige, no parecen usar la palabra pesimismo de las maneras que yo podría temer, |
| |
"El optimismo va en aumento." |
| |
Así que, en realidad, me parece bien añadir "pesimismo" aquí, así que vamos a añadirlo a nuestro diccionario de sentimientos. |
| |
Entonces, si simplemente paso el cursor justo encima, |
| |
Como puedes ver, te mostramos algunas opciones sobre qué hacer con él. Por ejemplo, aquí puedo darle una puntuación de -60. |
| |
Ahora, esto se añadirá a nuestro diccionario con la puntuación correspondiente, lo que activará una actualización en la puntuación de sentimiento en JMP. Es decir, ahora busca la palabra "pesimismo" y ajusta las puntuaciones de todos los documentos donde la encuentra. |
| |
Así que volvamos arriba ahora para analizar nuestros términos de sentimiento con más detalle. Si sigo desplazándome hacia abajo, encontrarán "pesimismo". |
| |
Aquí mismo, con la puntuación de -60 que le acabo de dar. Ahora, tal vez quiera... si se fijan, "pesimista" tiene, por defecto, una puntuación de -50, así que tal vez solo escriba -50 aquí para que sea coherente. |
| |
Y podría hacerlo, pero no lo voy a hacer, para no provocar otra actualización. |
| |
También verás aquí una lista de posibles términos que expresan sentimiento. Estos son términos que JMP ha identificado como potencialmente sensibles al sentimiento, y quizás quieras revisarlos y considerar incluirlos en tu diccionario. |
| |
Por ejemplo, la palabra "fuerte" aquí, si miras algunos de los textos del documento a la derecha, podrías decir, bueno, esto es claramente algo positivo. Y si has visto muchos de estos ejemplos, realmente destaca que |
| |
Las palabras "fuerte" y, por consiguiente, "débil" son términos que estos economistas utilizan con mucha frecuencia para hablar de los aspectos positivos o negativos de la economía actual. |
| |
Podría agregarlos, o agregar "fuerte" aquí haciendo clic, por ejemplo, en positivo 60 en los botones de arriba. Repito, no lo haré ahora mismo, solo para agilizar nuestro análisis de sentimiento. |
| |
Así que podríamos revisar, al igual que nuestros textos a continuación, nuestra lista de términos de sentimiento para elegir algunos buenos candidatos. |
| |
Debajo del triángulo rojo, también podemos gestionar los términos de sentimiento de forma más directa, por lo que eso es simplemente en el completo |
| |
listas de gestión de términos a las que podríamos estar acostumbrados como usuario de Text Explorer, como la gestión de frases y la gestión de palabras vacías. |
| |
Como pueden ver, hemos añadido un nuevo término específico para este análisis, además de todos los términos predefinidos. Por supuesto, también podríamos establecer excepciones si quisiéramos no incluir algunos de ellos. |
| |
Y lo que es importante, también puedes importar y exportar tu diccionario de sentimientos. Otra forma de declarar términos de sentimiento es consultar con expertos en la materia. Ya sabes, |
| |
Los economistas probablemente tendrían mucho que decir sobre el tipo de palabras que esperarían ver que transmitieran claramente |
| |
En estos informes se reflejan emociones positivas o negativas. Si pudiéramos hablar con ellos, nos interesaría saber qué opinan al respecto, e incluso podríamos crear un diccionario en un archivo separado por tabulaciones y luego importarlo aquí. |
| |
Y luego, por supuesto, una vez que tengamos un diccionario con el que estemos satisfechos, deberíamos exportarlo y guardarlo para que sea fácil volver a utilizarlo en el futuro. |
| |
Así que eso es un poco sobre cómo se elaboraría realmente un diccionario de sentimientos. También sería importante |
| |
Selecciona cuidadosamente tus términos intensificadores y tus términos de negación, y de nuevo, aquí no verás puntuaciones, porque se trata simplemente de inversiones de polaridad. |
| |
Para mostrarles un poco más sobre cómo se ve realmente, si... veamos el sentimiento aquí, para que podamos ver instancias en las que |
| |
JMP ha detectado la palabra "no" antes de algunos de estos términos que expresan sentimiento y les ha aplicado la puntuación correspondiente. Así, en la parte superior, "no aceptable" recibe una puntuación de -25. |
| |
Así que les muestro esto solo para llamar su atención sobre el hecho de que estos negadores e intensificadores son aplicados automáticamente por JMP. |
| |
Pero bueno, dejemos de hablar de cómo configurar el análisis y pasemos a ver los resultados. Así que voy a mencionar... |
| |
una versión del análisis que ya está hecha, es decir, ya he seleccionado el diccionario de sentimientos y podemos empezar a interpretar los resultados que obtenemos. |
| |
Aquí tenemos nuestro resumen general, donde vemos que hay más documentos positivos que negativos. Como ya comentamos, podemos ver cuántos hay de cada tipo. De hecho, en la parte inferior de la tabla de la izquierda, vemos un documento que no expresa ningún sentimiento. |
| |
"fuerte" aparece 14.000 veces, "débil" aparece aproximadamente 4.500 veces |
| |
y observando estos ya sea por sus recuentos o sus puntuaciones, observando los más negativos y positivos, |
| |
Incluso mirarlos en contexto puede ser bastante informativo en sí mismo. Quiero decir, especialmente en un ámbito como la investigación de mercado, si quieres saber cuándo las personas se sienten bien o expresan positividad. |
| |
Sobre nuestra marca o algunos de nuestros productos, ¿qué tipo de lenguaje utilizan? Eso podría orientar nuestras estrategias de marketing. Esta lista de términos que reflejan el sentimiento puede ser muy útil en ese sentido. |
| |
fabricación, |
| |
turismo, inversiones. Y a veces queremos centrarnos en uno de esos subdominios en particular, lo que podríamos llamar una característica. |
| |
Y si voy a esta pestaña de funciones en el análisis de sentimientos, haré clic en buscar. JMP encuentra algunas palabras que aparecen comúnmente con términos de sentimiento y pregunta si quiero profundizar en el sentimiento con respecto a esa función. |
| |
Por ejemplo, veamos "ventas". Podemos observar que "las ventas fueron reportadas como débiles", "las ventas están disminuyendo", "se informa que las ventas se mantienen estables", etc. |
| |
Entonces, si simplemente califico esta característica seleccionada, lo que hará JMP es proporcionar puntuaciones de sentimiento solo con respecto a la mención de "ventas" dentro de estos informes más amplios, y esto nos ayudará a refinar nuestro análisis o enfocarlo en un subdominio realmente bien definido. |
| |
Y eso es particularmente importante. |
| |
Podría darse el caso de que el dominio en el lenguaje que estamos analizando no esté, ya sabes, tan bien restringido. Tomemos, por ejemplo, |
| |
Reseñas de productos. Te interesa saber qué opinan los usuarios sobre el producto, ya sea de forma positiva o negativa, pero también podrían hablar, por ejemplo, del envío, y no te importa necesariamente si no quedaron muy satisfechos con él, principalmente porque está fuera de tu control. |
| |
No querrías incluir simplemente un montón de reseñas que también comenten sobre ese envío. Por lo tanto, es importante considerar el ámbito de análisis y restringirlo adecuadamente, y el buscador de funciones es una forma de hacerlo. |
| |
Así que ahora que he puntuado en "ventas", tenemos una distribución muy diferente de documentos positivos y negativos. Tenemos más documentos que no tienen una puntuación de sentimiento porque |
| |
Simplemente no hable de ventas ni utilice un lenguaje emotivo al hablar de ellas, y ahora tenemos una lista diferente de términos que reflejan sentimientos y que se centran específicamente en las ventas. |
| |
Permítame eliminar esto. |
| |
Una cosa que me di cuenta que olvidé mencionar, lo mencioné brevemente, es cómo se calculan estas puntuaciones generales de los documentos que hemos estado analizando, y dije que son el promedio de todos los términos de sentimiento de... |
| |
que ocurrió en un documento en particular. Así que veamos el Documento 1. Solo quiero mostrarles que |
| |
Si alguna vez te preguntas de dónde viene esta puntuación, digamos -20, simplemente puedes pasar el ratón por encima y te mostrará una lista de todos los términos de sentimiento que aparecieron. |
| |
Y puedes ver, aquí tenemos 16 de ellos, incluyendo todos los de abajo, "punto realmente brillante", que fue un +78 y luego, si divides... sumas todas esas puntuaciones. divides por 78... |
| |
o dividir por 16, disculpe, entonces se obtiene un sentimiento promedio de -20. Y esta es una de las dos maneras de proporcionar puntuaciones generales. Otra es una puntuación de mínimo y máximo, por lo que las diferencias entre el mínimo y el máximo |
| |
sentimientos expresados en el texto. |
| |
Ahora podemos obtener mucha información con solo mirar este informe, ya saben, obviamente las puntuaciones de sentimiento, los términos más comunes. |
| |
Pero muchas veces queremos tomar esos sentimientos y usarlos de alguna otra manera, como |
| |
Obsérvenlos gráficamente, como hicimos en las diapositivas. Así que cuando llegue el momento de esa parte del análisis, diríjanse al triángulo rojo de aquí. |
| |
y guarda las puntuaciones del documento. Estas puntuaciones se guardarán en tu tabla de datos para que puedas introducirlas en análisis posteriores o representarlas gráficamente, o lo que quieras hacer. |
| |
Así que este es un adelanto del análisis de sentimientos que llegará a Text Explorer en JMP Pro 16. La idea principal es que el análisis de sentimientos utiliza un diccionario de sentimientos que |
| |
Puedes configurar el sistema para que asigne puntuaciones que correspondan al contenido emocional positivo y negativo de cada documento, y a partir de ahí, puedes utilizar esa información de la forma que te resulte más útil. |
| |
Dejaremos de lado el análisis de sentimientos por ahora y volveré a nuestras diapositivas para hablar sobre la otra técnica que pronto estará disponible en Text Explorer. |
| |
Y eso es la selección de términos, donde la selección de términos responde a una pregunta diferente, y es, ¿qué términos están más fuertemente asociados con alguna variable importante o variable que me interesa? |
| |
Vamos a seguir utilizando el Libro Beige. |
| |
Vamos a preguntarnos qué palabras están estadísticamente asociadas con las recesiones. En este gráfico, tenemos el cambio porcentual a lo largo del tiempo. |
| |
PIB (producto interno bruto) trimestre a trimestre, donde el azul muestra crecimiento económico, el rojo muestra contracción económica. Y podríamos preguntarnos, bueno, ¿qué |
| |
¿Los términos que aparecen en el Libro Beige podrían estar estadísticamente asociados con estos períodos de recesión económica? Por ejemplo, algunos de ellos aquí mismo. |
| |
¿Sabes?, ¿por qué querríamos asociar términos específicos del Libro Beige con períodos de recesión económica? |
| |
Bueno, obtener una lista de términos podría ser potencialmente informativo en sí mismo. Ya sabes, podría encontrar algunos potencialmente, ya sabes, sutiles. |
| |
Factores o efectos de las recesiones que quizás desconozca o que no pueda capturar fácilmente en datos cuantitativos. |
| |
También podría encontrar algunas palabras para un análisis más profundo. Podría... podría encontrar algunas |
| |
Términos que podrían influir en el sentimiento del consumidor, algunos términos que se utilizan cuando la economía está particularmente mal y que pasé por alto la primera vez que realicé mi análisis de sentimiento. |
| |
O tal vez podría encontrar algunas palabras que estén tan fuertemente asociadas con las recesiones que creo que podría utilizarlas en un modelo predictivo para intentar averiguar cuándo podrían ocurrir recesiones en el futuro. |
| |
Por lo tanto, existen varias razones por las que podríamos querer saber qué palabras están más fuertemente asociadas con las recesiones. |
| |
Entonces, ¿cómo funciona esto en JMP? Bueno, básicamente construimos un modelo de regresión donde la variable de resultado es la variable que nos interesa, las recesiones, y las entradas son todas las diferentes palabras. |
| |
Los datos introducidos en el modelo toman la forma de una matriz de términos de documento, donde cada fila corresponde a |
| |
un documento o un informe del Libro Beige, y luego las columnas capturan las palabras que aparecen en ese informe. Aquí tenemos la columna "débil" resaltada y dice "binario", lo que significa que |
| |
Contendrá unos y ceros; un 1 indica que el informe contenía la palabra "débil" y un 0 indica que no la contenía. Esta es una de las varias maneras en que podríamos calificar los documentos, pero por ahora nos quedaremos con este sistema binario. |
| |
Entonces tomamos esta información y la introducimos en un modelo de regresión. Así es como se vería el lanzamiento. |
| |
Tenemos la recesión como nuestra variable Y, que es simplemente una variable de sí o no, y luego tenemos todos estos predictores de términos binarios introducidos como efectos de nuestro modelo. |
| |
Y luego vamos a usar la herramienta de regresión generalizada de JMP Pro. |
| |
para construir el modelo, y eso se debe a que la regresión generalizada o GenReg, como la llamamos, incluye técnicas de selección automática de variables. Entonces, si está familiarizado con |
| |
regresión regularizada, hablamos de métodos como Lasso o elastic net. Y si no sabes lo que significa, no hay problema. La idea es que automáticamente |
| |
Encontrará qué términos están más fuertemente asociados con la variable de resultado "recesión" y luego eliminará a cero aquellos que no considere asociados con ella. |
| |
Y esto nos permite analizar las relaciones entre "recesión" y, tal vez, conozcas cientos o miles de palabras posibles que podrían estar asociadas con ella. |
| |
¿Qué obtenemos entonces al realizar el análisis? |
| |
Obtenemos un modelo. Así que lo que tenemos aquí es la ecuación para ese modelo. No se preocupen demasiado por eso. La idea es que decimos: |
| |
las probabilidades logarítmicas de recesión, por lo que es simplemente una función de la probabilidad de que estemos en una recesión y cuándo se publica el Libro Beige es una función de |
| |
Todas las palabras diferentes que podrían aparecer en el informe del Libro Beige. |
| |
Y como pueden ver, tenemos el efecto de la aparición de la palabra "pandemia" con un coeficiente de 1,94. |
| |
Eso simplemente significa que las probabilidades logarítmicas de "recesión" aumentan en 1,94 si el informe del Libro Beige menciona la palabra "pandemia". Luego vemos menos 1,02 veces "ganancia". Bueno, eso significa que si el informe del Libro Beige menciona la palabra "ganancia", entonces la probabilidad de recesión... |
| |
o la probabilidad logarítmica de recesión disminuye en 1,02. |
| |
De ahí obtenemos una lista de términos que están fuertemente asociados con un aumento en la probabilidad de recesión, cosas como "pandemia", "aplazamiento", "cancelación", "ejecuciones hipotecarias". |
| |
Y también obtenemos una lista de términos que están asociados con una probabilidad decreciente de recesión, como "ganancia", "fortalecimiento", "competencia". |
| |
También vemos "manufactura" ahí mismo, pero tiene un coeficiente relativamente pequeño, alrededor de -0,2. |
| |
Y de hecho lo notarán aquí, y si miramos una representación gráfica de todos los términos que se seleccionan en este análisis, no se ven muchos dominios específicos como "fabricación", |
| |
"turismo", "inversiones" y todo eso. Eso es porque siempre se habla de esas cosas, estemos en recesión o no, así que lo que realmente buscamos son palabras que se usan, |
| |
ya sabes, cuando estamos en recesión con más frecuencia de lo que cabría esperar por casualidad. Así que tenemos... por ejemplo, esos son |
| |
La "pandemia" es el factor más predictivo. Tiene mucho sentido. Hasta hace poco no hablábamos de pandemias, y además hemos experimentado la recesión recientemente, así que lo hemos notado con bastante claridad. |
| |
Luego tenemos algunos otros en este, por así decirlo, segundo nivel, que es "pospuesto", "cancelado", "ejecutado por ejecución hipotecaria", "deteriorado", "pesimista". |
| |
Y es bastante interesante que este "aplazamiento" y "cancelación" se asocien con las recesiones. Tiene sentido, realmente se quiere hablar de aplazar, por ejemplo, la actividad económica. |
| |
cuando hay una recesión, o al menos esa es quizás una tendencia confiable. Es... que eso es una revelación en sí misma. De hecho, yo |
| |
Es decir, no sabría decirte cómo la Reserva Federal hace un seguimiento del aplazamiento o la cancelación de actividades económicas, pero el hecho de que esos términos se señalen en este análisis sugiere que probablemente sea algo que valga la pena monitorear. |
| |
Bien, eso es la selección de términos. Obtenemos una lista de términos relacionados con las recesiones y podemos observar la fuerza relativa de la asociación. Ahora veamos brevemente cómo se hace en JMP. |
| |
Así que voy a volver a JMP y lo que vamos a hacer es abrir una tabla de datos ligeramente diferente. Siguen siendo datos del Libro Beige, solo que ahora tenemos los informes nacionales. |
| |
Y tenemos esta variable complementaria que indica si Estados Unidos estaba o no en recesión en ese momento. Y, por supuesto, existe cierta autocorrelación en estos datos. Es decir, si estábamos en recesión el mes pasado, es más probable que estemos en recesión este mes que si no lo estábamos. |
| |
Y ya saben que eso suele ser un problema en los análisis basados en regresión, pero esto es puramente exploratorio. No nos preocupa demasiado. |
| |
Así que voy a abrir Text Explorer desde una tabla de scripts, simplemente porque ya hemos visto cómo se inicia anteriormente. |
| |
Cabe señalar que ya he redactado algunas frases, como hicimos anteriormente. También he añadido algunas palabras vacías, que no se ven aquí, pero que no quiero que aparezcan necesariamente en este análisis. |
| |
Y he activado la derivación, que es lo que significan esos puntitos en la lista de términos. Por ejemplo, para "increase" ahora se combinan "increases", "increasing" y "increasingly". |
| |
Y eso se debe a que ahora, en cierto modo, considero que todos esos conceptos son lo mismo, y solo quiero saber si ese concepto está asociado con las recesiones. |
| |
Para seleccionar el término, simplemente iremos al triángulo rojo y lo seleccionaré aquí. |
| |
Primero aparece una ventana de control, o mejor dicho, una sección, donde seleccionamos la variable que nos interesa: las recesiones. Seleccionamos el nivel objetivo; en mi caso, quiero que se exprese en términos de la probabilidad de recesión, en contraposición a la probabilidad de que no haya recesión. |
| |
Puedo especificar algunas configuraciones del modelo. Si está familiarizado con GenReg, verá que puede elegir si desea una parada temprana, si desea uno de dos diferentes |
| |
Penalizaciones para realizar la selección de variables, qué estadística se desea utilizar para la validación. Si esto es nuevo para ti, no te preocupes demasiado. La configuración predeterminada es una buena opción para empezar. |
| |
Tenemos nuestra ponderación, si recuerdan, teníamos los 1 y 0 en esa columna para "débil", simplemente indicando si la palabra aparecía en un documento o no, pero pueden seleccionar lo que quieran. |
| |
Por ejemplo, la frecuencia no se refiere a si ocurrió o no un evento "débil", sino a cuántas veces ocurrió. Esto influye en la forma de interpretar los resultados. Por ahora, seguiremos utilizando el sistema binario. |
| |
Pero voy a decir que quiero revisar los 1000 términos más frecuentes, en lugar de los 400 por defecto, que como pueden ver, son muchos más que 436, y normalmente no se puede ajustar un modelo con 1000 X, sino solo con 436. |
| |
observaciones, pero gracias a la |
| |
En la regresión generalizada, la selección automática de variables no supone ningún problema. Así pues, selecciona cuáles de estos mil términos están más estrechamente relacionados, de ahí el nombre de selección de términos. |
| |
Voy a ejecutar esto. Como pueden ver, JMP se conectó a la plataforma de regresión generalizada y devolvió estos resultados, donde aquí arriba vemos información sobre el modelo ajustado. Por ejemplo, se devolvieron 37 términos. |
| |
Permítanme mover esto a un lado. Porque aquí a la derecha es donde encontramos información muy valiosa. Esta es la lista de términos más asociados con la recesión. |
| |
Ahora los ordenaré por coeficiente para encontrar aquellos más fuertemente asociados con la probabilidad de recesión, así que una vez más son "pandemia", "aplazamiento", "cancelaciones" y, como era de esperar, en este punto si hago clic en uno de ellos, se actualizarán estas vistas previas. |
| |
o estos fragmentos de texto a continuación, para que podamos ver esta palabra en contexto. |
| |
Esta lista de términos, por sí sola, puede ser increíblemente valiosa. Podrías aprender sobre términos o conceptos importantes que desconocías. Además, puedes utilizarlos en modelos predictivos. |
| |
Ahora, algunas otras cosas a tener en cuenta. |
| |
Como pueden ver aquí abajo, tenemos una vez más una tabla por cada documento individual, pero en lugar de puntuaciones de sentimiento, ahora tenemos básicamente puntuaciones del modelo. Tenemos para cada uno de ellos |
| |
el... |
| |
Lo que llamamos la contribución positiva, es decir, la contribución de los coeficientes positivos que predicen la probabilidad de recesión. Aquí tenemos los que están en el extremo negativo. |
| |
Y luego tenemos incluso la probabilidad de recesión del modelo, 71,8% aquí y luego lo que realmente observamos. |
| |
Y no estamos construyendo necesariamente un modelo predictivo aquí, es decir, no voy a usar este modelo para intentar predecir recesiones. Quiero decir, tengo todo tipo de variables de indicadores económicos que podría usar. |
| |
Además, esta es una buena manera de comprobar la cordura de tu modelo. ¿Parece que algunas de sus predicciones son correctas? |
| |
Porque si no es así, entonces podrías desconfiar de los términos que arroja. También tienes mucha otra información para intentar llegar a esa conclusión. Es decir, tenemos algunas estadísticas de ajuste, como el área bajo la curva que se muestra aquí arriba. |
| |
O incluso podemos acceder a la plataforma de regresión generalizada, que cuenta con todas sus opciones habituales para evaluar aún más su modelo. |
| |
No voy a entrar en detalles, pero toda esa información está a tu disposición para que puedas evaluar tu modelo, ajustarlo a tu gusto y asegurarte de tener una lista de términos con los que te sientas cómodo. |
| |
Ahora, como pueden ver aquí, tenemos esta lista de modelos debajo del resumen, y eso se debe a que es posible que deseen ejecutar varios modelos. Entonces, si volvemos al modelo... oh, disculpen... si volvemos a nuestro |
| |
Con la configuración que tengo aquí, podría usar un modelo ligeramente diferente. Por ejemplo, sé que el BIC es un poco más conservador que el AICc y quiero obtener menos términos; tal vez hice un análisis que arrojó 900 términos y me sentí un poco abrumado. |
| |
Así que haré clic en ejecutar y crearé otro modelo usando eso en su lugar. |
| |
Ahora que hemos añadido ese modelo a nuestra lista, puedo alternar entre ellos para ver los resultados de cada uno. En este caso, solo hemos obtenido 14 términos, en lugar de 37, y los analizaré más adelante. |
| |
Así que dos resultados importantes que obtendrías de esto, por supuesto, son esta lista de términos. Si quieres guardarla, si estos son solo términos importantes para ti y quieres llevar un registro de ellos, simplemente haz clic derecho y conviértela en una tabla de datos. Ahora tengo una tabla JMP. |
| |
con los términos, sus coeficientes y otra información. |
| |
Y |
| |
si lo que quieres hacer es realmente escribir esto de nuevo en tu tabla de datos original, tal vez, para que puedas usar la información en algún otro tipo de análisis o modelo predictivo, |
| |
Simplemente diríjase a la selección de términos y diga que desea guardar las puntuaciones de los términos como una matriz de términos de documento, que si traigo nuestra tabla de datos de vuelta aquí, puede ver que ahora he escrito en su |
| |
columnas para cada uno de estos términos que han sido seleccionados. En este caso, rellenados con sus valores de coeficiente, y ahora puedo usar esto |
| |
Información cuantitativa como me guste. |
| |
Eso es solo una breve introducción a la selección de términos. La idea principal es que he encontrado una lista de términos relacionados con una variable que me interesa, e incluso, a través de sus coeficientes, tengo información sobre la intensidad de esa relación. |
| |
Así que, para terminar, hemos cubierto dos técnicas. Acabamos de ver la selección de términos, encontrar esas palabras importantes. Antes de eso, revisamos el análisis de sentimientos, todo sobre |
| |
Cuantificar el grado de emoción positiva o negativa en un texto. Estas son dos nuevas técnicas de minería de texto que se incorporarán al Explorador de texto de JMP Pro 16. Estamos muy entusiasmados de que puedan probarlas y esperamos sus comentarios. |
