Vocero
|
Transcripción
|
| Ross Metusalem |
Hola a todos, y gracias por tomarse un tiempo para aprender cómo JMP está ampliando su conjunto de herramientas de minería de texto en JMP Pro 16 con |
| |
análisis de sentimiento y selección de términos. |
| |
Soy Ross Metusalem, ingeniero de sistemas de JMP en el sureste de EE. UU., y les daré un adelanto de estos dos nuevos análisis, les explicaré un poco cómo funcionan y les brindaré algunas de las mejores prácticas para usarlos. |
| |
Entonces, ambas técnicas de análisis vienen en Text Explorer, que para aquellos que no están familiarizados, este es JMP. |
| |
Herramienta para analizar lo que llamamos textos libres o no estructurados, es decir, textos en lenguaje natural. |
| |
Y es lo que llamamos una herramienta de minería de texto, es decir, una herramienta para derivar información cuantitativa a partir de texto libre para que podamos |
| |
utilizar otros tipos de herramientas estadísticas o analíticas para obtener información del texto libre o incluso utilizar ese texto como entrada para otros análisis. |
| |
Entonces, echemos un vistazo a estas dos nuevas técnicas de minería de texto que llegarán a Text Explorer en JMP Pro 16 y comenzaremos con el análisis de sentimientos. |
| |
El análisis de sentimientos en esencia responde a la pregunta de qué tan emocionalmente positivo o negativo es un texto. |
| |
Y vamos a realizar un análisis de sentimiento sobre el Libro Beige, que es un informe recurrente del Banco de la Reserva Federal de Estados Unidos. |
| |
Ahora me disculpo por usar un ejemplo de Estados Unidos en JMP Discovery Europe, pero el Libro Beige proporciona una buena demostración de de qué se trata el análisis de sentimientos. |
| |
Esta es una publicación mensual, contiene informes a nivel nacional, así como 12 informes a nivel de distrito, que resumen las condiciones económicas en esos distritos, y todos ellos se basan en información cualitativa, como entrevistas y encuestas. |
| |
Y las autoridades estadounidenses pueden utilizar la información cualitativa del Libro Beige, junto con la información cuantitativa de los indicadores económicos tradicionales, para impulsar la política económica. |
| |
Entonces podrías pensar, bueno, estamos hablando de sentimiento o emoción en este momento. No sé si espero que los informes económicos contengan mucha emoción, pero los informes del Libro Beige y gran parte del lenguaje en realidad contienen palabras que pueden transmitir o transmitir emoción. |
| |
Así que echemos un vistazo a un extracto de un informe. Aquí hay una captura de pantalla sacada directamente de la nueva plataforma de análisis de sentimientos. |
| |
Notarás que algunas palabras están resaltadas y son lo que llamaremos términos de sentimiento, es decir, |
| |
términos que diríamos que tienen algún contenido emocional. Por ejemplo, en la cima, "las ventas de computadoras, por otra parte, han estado severamente deprimidas". |
| |
donde "gravemente deprimido" está resaltado en violeta, lo que indica que consideramos que eso transmite una emoción negativa, lo que parece que si alguien describe las ventas de computadoras como "severamente deprimido", parece que quiere interpretarlo como algo ciertamente malo. . |
| |
Si miramos hacia abajo, vemos en naranja un par de términos de sentimiento positivo resaltados, como "mejorar" o "favorable". Entonces podemos buscar palabras que creemos que tienen un significado emocional positivo o negativo. |
| |
morado para negativo, naranja para positivo, y algunos análisis de sentimiento mantienen las cosas en ese nivel, así que solo una distinción binaria, un texto positivo o un texto negativo. |
| |
Hay formas adicionales de realizar análisis de sentimiento y, en particular, |
| |
Hay muchas maneras de intentar cuantificar el grado de positividad o negatividad, no sólo si algo es positivo o negativo. Consideremos este otro ejemplo y dirigiré nuestra atención directamente al final, donde podemos ver un informe de "malas ventas". |
| |
Y voy a comparar eso con lo que dijimos "las ventas de computadoras están gravemente deprimidas". |
| |
Ambas son afirmaciones negativas, pero creo que todos estaríamos de acuerdo en que "severamente deprimido" suena mucho más negativo que simplemente "pobre". |
| |
Así que queremos descubrir no sólo si un sentimiento se expresa de forma positiva o negativa, sino también qué tan positivo o negativo es, y de eso se trata el análisis de sentimiento. |
| |
El Explorador de texto lo hace. Entonces, ¿cómo lo hace? Bueno, utiliza una técnica llamada análisis de sentimiento léxico que se basa en algunos términos de sentimiento y puntuaciones asociadas. |
| |
Entonces, lo que estamos viendo ahora es un extracto de lo que llamaríamos un diccionario de sentimientos que contiene los términos y sus puntuaciones. |
| |
Por ejemplo, el término "fantástico" tiene una puntuación positiva de 90 y el término "sombrío" en la parte inferior tiene una puntuación de -75. |
| |
Entonces, lo que hacemos es especificar qué términos creemos que tienen contenido emocional y el grado en que son positivos o negativos en una escala arbitraria, aquí de -100 a 100. |
| |
Y luego podemos encontrar estos términos en todos nuestros documentos y usarlos para calificar qué tan positivos o negativos son esos documentos en general. |
| |
Si recuerda nuestro ejemplo "severamente deprimido", esa palabra "severamente" toma la palabra "deprimido" y lo que llamamos la intensifica. |
| |
Es un intensificador o multiplicador del sentimiento expresado, por lo que también tenemos un diccionario de intensificadores y lo que hacen con el sentimiento expresado por término de sentimiento. |
| |
Por ejemplo, decimos que "increíblemente" multiplica el sentimiento por un factor de 1,4, mientras que "pequeño" multiplica el sentimiento por un factor de 0,3, por lo que en realidad, ya sabes, atenúa un poco el sentimiento expresado. |
| |
Ahora, finalmente hay otro tipo de palabra que queremos tener en cuenta y son los negadores, cosas como "no" y "no", y las tratamos básicamente como inversiones de polaridad. Entonces |
| |
"No fantástico" sería tomar la puntuación de "fantástico" y multiplicarla por -1. |
| |
Esta es una forma común de realizar análisis de sentimiento, nuevamente llamado análisis de sentimiento léxico. Entonces lo que hacemos es tomar los términos de sentimiento que encontramos, los multiplicamos por cualquier intensificador asociado. |
| |
o negadores y luego, para cada documento, cuando tengamos todas las puntuaciones de opinión para los términos individuales que aparecen, simplemente promediamos todos ellos para obtener una puntuación de opinión para ese documento. |
| |
Y JMP nos devuelve estas puntuaciones de varias maneras útiles. Esta es una captura de pantalla de la herramienta de análisis de sentimientos y la usaremos en un momento. |
| |
Pero puede ver, entre otras cosas, que nos proporciona una distribución de puntuaciones de sentimiento en todos nuestros documentos. Nos brinda una lista de todos los términos de sentimiento y con qué frecuencia ocurren. |
| |
E incluso tenemos la capacidad, como veremos, de exportar las puntuaciones de sentimiento para usarlas en gráficos o análisis. |
| |
Por eso, he hecho un par de gráficos aquí para tratar de ver, como primer paso inicial, ¿el sentimiento en los informes del Libro Beige realmente se alinea con los eventos económicos de la manera que creemos que debería? Sabes, ¿realmente tenemos alguna validez para esto? |
| |
¿El sentimiento como algún tipo de indicador económico? Y la respuesta parece que sí, probablemente. |
| |
Aquí tengo un gráfico que hice en Graph Builder; es sentimiento a lo largo del tiempo, por lo que todos los pequeños puntos grises son informes individuales |
| |
y el azul más suave muestra la tendencia del sentimiento a lo largo del tiempo con esa línea negra en cero que muestra un sentimiento neutral, al menos según nuestro esquema de puntuación. |
| |
Las áreas rojas son |
| |
tiempos de recesión económica según la lista oficial de la Reserva Federal. |
| |
Por lo tanto, es posible que notes que el sentimiento parece tocar fondo o que hay puntos bajos en torno a las recesiones, pero hay otra cosa que puedes notar: |
| |
es que, en realidad, antes de cada recesión, vemos una caída en el sentimiento con meses o, en algunos casos, incluso con un par de años de anticipación. Y no vemos estas grandes caídas en el sentimiento. |
| |
en situaciones en las que no había una recesión a continuación. Así que tal vez haya cierta validez en el sentimiento del Libro Beige como indicador adelantado de una recesión. |
| |
Si lo miramos geográficamente, vemos cosas que también tienen sentido. Este es sólo un ejemplo del análisis. Estamos analizando el sentimiento en el 12 |
| |
Distritos de la Reserva Federal a lo largo del tiempo desde 1999 hasta 2000 y 2001. Esta fue la época de lo que comúnmente se llama la caída de Dotcom, así que fue entonces cuando |
| |
Hubo una gran burbuja de empresas tecnológicas y negocios en línea que estaban surgiendo y, finalmente, muchas de ellas se hundieron y hubo algunas consecuencias económicas bastante graves. |
| |
El sentimiento entre 1999 y 2000 está creciendo; de hecho, el sentimiento está creciendo con bastante fuerza, al parecer, |
| |
en el distrito de la Reserva Federal de San Francisco, que es donde tienen su sede muchas de estas empresas. Y luego, en 2001, después de la crisis, la caída más grande que vemos hasta llegar al sentimiento negativo en rojo aquí, ocurriendo nuevamente en ese distrito de San Francisco. |
| |
Entonces, solo una revisión gráfica rápida de estos puntajes de sentimiento del Libro Beige sugiere que tienen cierta validez real en términos de su capacidad para rastrear, tal vez predecir, algunos eventos económicos, aunque, por supuesto, necesitamos analizar más estos últimos. con cuidado. |
| |
Pero este es sólo un ejemplo de los posibles casos de uso del análisis de sentimientos y hay muchos más. |
| |
Una de las áreas de aplicación más importantes donde se está utilizando actualmente es en la investigación de consumidores, donde la gente podría, digamos, analizar |
| |
algunas respuestas de encuestas de consumidores para identificar qué impulsa opiniones o reacciones positivas o negativas. |
| |
Pero el análisis de sentimientos también se puede utilizar, por ejemplo, en la mejora de productos, donde el análisis de reseñas de productos o reclamos de garantía podría ayudarnos a encontrar características o problemas del producto que provoquen fuertes respuestas emocionales en nuestros clientes. |
| |
Si analizamos, por ejemplo, la atención al cliente, podríamos analizar el centro de llamadas o los chats... transcripciones de chats para |
| |
Encuentre algunas prácticas de soporte que resulten en clientes satisfechos o insatisfechos. Tal vez incluso políticas públicas, analizamos comentarios abiertos para medir la reacción del público a las políticas propuestas o existentes. |
| |
Estos son sólo algunos dominios en los que se puede aplicar el análisis de sentimientos. Es realmente aplicable en cualquier lugar donde tenga texto que transmita alguna emoción y esa emoción pueda ser informativa. |
| |
Eso es todo lo que quiero decir desde el principio. Ahora me gustaría dedicar un poco de tiempo a explicarle cómo funciona en JMP, así que pasemos a JMP. |
| |
Aquí tenemos los datos del Libro Beige, así que en la parte inferior, pueden ver que tenemos un poco más de 5000 informes aquí y tenemos la fecha de cada informe de |
| |
Mayo de 1972 Octubre de 2020, de cuál de los 12 distritos es y luego el texto del informe. Y puedes ver que estos informes, |
| |
No son sólo declaraciones rápidas sobre si la economía va bien o mal, sino que pueden entrar en cierto nivel de detalle. |
| |
Ahora, antes de profundizar en estos datos, solo quiero agradecer a alguien por la idea de analizar el Libro Beige y por extraer los datos e introducirlos en JMP, de una manera |
| |
formato listo para analizar. Y ese agradecimiento va para Xan Gregg quien, si no lo sabes, Xan es director del equipo de desarrollo de JMP y creador de Graph Builder, así que gracias Xan por tu ayuda. |
| |
Muy bien, cuantifiquemos el grado de emoción positiva y negativa en todos estos informes. Usaremos el Explorador de texto en el menú de análisis. |
| |
Aquí tenemos nuestra ventana de lanzamiento. Tomaré nuestros datos de texto y los pondré en la función de columnas de texto. Un par de cosas para resaltar antes de continuar. |
| |
Text Explorer admite varios idiomas, pero en este momento el análisis de sentimientos solo está disponible en inglés y otra cosa sobre la que quiero llamar la atención surge aquí. |
| |
Entonces, para aquellos que hacen análisis de texto, probablemente estén familiarizados con lo que es la derivación, pero para aquellos que no están familiarizados, la derivación es un proceso mediante el cual colapsamos múltiples... |
| |
bueno, para no ser técnico... múltiples versiones de la misma palabra juntas. Tomemos como ejemplo "fuerte", "más fuerte" y "más fuerte". Entonces estos son tres |
| |
versiones de la misma palabra "fuerte" y en algunas técnicas de minería de textos, en realidad querrás combinarlos todos en un solo término y simplemente decir, oh, todos significan "fuerte" porque conceptualmente es lo mismo. |
| |
De hecho, voy a dejarlo aquí, y es porque... toma "más fuerte", que describe lo más fuerte que algo puede llegar a ser. |
| |
versus "más fuerte", que dice que sabes que es fuerte, pero todavía hay espacio para que sea aún más fuerte. |
| |
Así que "más fuerte" probablemente debería obtener una puntuación de sentimiento más alta que "más fuerte", y si tuviera que frenar, perdería la distinción entre esas palabras. Como no quiero perder esa distinción, quiero darles puntuaciones de sentimiento diferentes. Voy a seguir saliendo de aquí. |
| |
Entonces haré clic en Aceptar. |
| |
Y JMP ahora va a tokenizar nuestro texto, es decir, dividirlo en todas sus palabras individuales y luego contar con qué frecuencia ocurre cada una. |
| |
Y aquí tenemos una lista de todos los términos y su frecuencia. Así que "ventas" aparece más de 46.000 veces y también tenemos nuestra lista de frases aquí. Entonces las frases son |
| |
secuencias de dos o más palabras que ocurren con frecuencia y, a veces, realmente queremos contarlas como términos en nuestra |
| |
análisis. Y para el análisis de sentimientos, querrá revisar su lista de frases y, digamos, tal vez agregar "bienes raíces", que son dos palabras, pero que en realidad se refieren a, ya sabes, propiedad. |
| |
Y podría agregar eso. Ahora bien, normalmente en el análisis de texto, también agregamos lo que se llaman palabras vacías, |
| |
esas son palabras que realmente no tienen significado en el contexto de nuestro análisis y querríamos excluir. Tomemos como ejemplo "distrito". Esto sucede...o el Libro Beige usa |
| |
La palabra "distrito" con frecuencia, simplemente decir, ya sabes, "este informe del distrito de Richmond", algo así, no tiene realmente significado. |
| |
Pero en realidad no me voy a molestar con palabras vacías aquí mismo y eso es porque, si recuerdas, |
| |
Al regresar de nuestras diapositivas, dijimos que todas nuestras puntuaciones de sentimiento se basan en un diccionario, donde elegimos palabras de sentimiento y qué puntuación deben obtener. |
| |
Y si simplemente dejamos de lado "distrito", inherentemente obtiene una puntuación de 0 y no afecta nuestra puntuación de sentimiento, por lo que realmente no necesito declararla como una palabra vacía. |
| |
Entonces, una vez que estemos listos, invocaremos el texto o, disculpe, el análisis de sentimientos debajo del triángulo rojo aquí. |
| |
Entonces, lo que JMP está haciendo en este momento, porque no hemos declarado ningún término de sentimiento o de otra manera, es usar un diccionario de sentimiento incorporado para calificar todos los documentos. Aquí sacamos nuestras puntuaciones. |
| |
Ahora, antes de navegar por estos resultados, probablemente deberíamos personalizar nuestro diccionario de sentimientos, de modo que las palabras que contienen sentimientos y sus puntuaciones. Y eso se debe a que en diferentes ámbitos, |
| |
tal vez con diferentes personas generando el texto, ciertas palabras tendrán diferentes niveles de sentimiento o tendrán sentimiento en un caso y no en otro. Entonces queremos |
| |
Realmente creamos con bastante cuidado y minuciosidad un diccionario de sentimientos que creemos que capturó con precisión los sentimientos tal como los transmite el lenguaje que estamos analizando en este momento. |
| |
Entonces, JMP, como dije, usa un diccionario incorporado y es bastante escaso. Así que puedes verlo aquí mismo, tiene algunos emoticones, |
| |
como estos pequeños emoticones y todo eso, pero luego tenemos un lenguaje con sentimientos bastante claro, como "abismal" en -90. |
| |
Ahora bien, probablemente no sea el caso de que alguien vaya a usar la palabra "abismal" y no la diga en un sentido negativo, así que nos sentimos bastante bien con eso. Pero, ya sabes, no es una lista muy larga y es posible que queramos agregarle algunos términos. |
| |
Entonces, veamos cómo lo hacemos, y una cosa que puedo recomendar es simplemente mirar sus datos. Ya sabes, lee algunos de los documentos que tienes e intenta encontrar algunas palabras que creas que podrían ser indicativas de sentimiento. |
| |
De hecho, tenemos aquí una herramienta que nos permite examinar nuestros documentos y agregar directamente términos de opinión a partir de ellos. Así que aquí tengo una lista de documentos. Puede ver que el Documento 1 está resaltado y luego el Documento 1 se muestra a continuación. Podría seleccionar diferentes documentos para verlos. |
| |
Ahora, si miramos el Documento 1, de buenas a primeras, es posible que observe un par de términos de sentimiento potenciales como "pesimismo" y "optimismo". |
| |
Ahora puedes ver que estos no están resaltados. En realidad, estos no están incluidos en el diccionario de sentimientos estándar. |
| |
Y muchos sustantivos que encontrarás en realidad no lo son, y eso se debe a que sustantivos como "pesimismo" u "optimismo" pueden describirse de maneras que sugieran su presencia o ausencia, básicamente. Entonces podría decir, ya sabes, "el pesimismo está disminuyendo" o |
| |
"hay una clara falta de pesimismo", "ya no se informa sobre el pesimismo". |
| |
Y, en esos casos, no diríamos que el "pesimismo" es algo negativo. Es... así que debes tener cuidado y pensar en las palabras en contexto y cómo se usan realmente antes de agregarlas a un diccionario de sentimientos. |
| |
Por ejemplo, podría volver a nuestra lista de términos aquí. Sólo voy a mostrar el filtro, |
| |
busque "pesimismo" y luego muestre el texto para ver cómo se usa. Así podemos comprobar en este primer ejemplo, "el estado de ánimo de nuestros directivos varía del pesimismo al optimismo". |
| |
y el siguiente |
| |
"Las conversaciones privadas generan un profundo sentimiento de pesimismo". Si realmente lees, este es el uso típico, por lo que en realidad en el Libro Beige no parecen usar la palabra pesimismo en la forma que yo temo. |
| |
"El optimismo está aumentando". |
| |
Así que realmente me parece bien agregar "pesimismo" aquí, así que agreguémoslo a nuestro diccionario de sentimientos. |
| |
Entonces, si paso el cursor sobre él, |
| |
Puedes ver que presentamos algunas opciones sobre qué hacer con él. Así que aquí puedo, digamos, darle una puntuación de -60. |
| |
Y ahora eso se agregará a nuestro diccionario con la puntuación correspondiente y activará la puntuación de sentimiento actualizada en JMP. Es decir, ahora busca la palabra "pesimismo" y ajusta todas las puntuaciones de los documentos donde la encuentra. |
| |
Así que volvamos ahora para echar un vistazo a nuestros términos de sentimiento con más detalle. Si me desplazo hacia abajo, encontrarás "pesimismo". |
| |
aquí mismo con la puntuación de -60 que le acabo de dar. Ahora tal vez quiera... si se dan cuenta, "pesimista" tiene, de forma predeterminada, una puntuación de -50, así que tal vez simplemente escriba -50 aquí para que sea coherente. |
| |
Y podría, pero no voy a hacerlo, sólo para no activar otra actualización. |
| |
También notarás, aquí mismo, esta lista de posibles términos de opinión. Estos son términos que JMP ha identificado como que quizás tengan sentimiento, y es posible que desee echarles un vistazo y considerarlos para incluirlos en su diccionario. |
| |
Por ejemplo, la palabra "fuerte" aquí, si miran algunos de los textos del documento a la derecha, podrían decir, está bien, esto es claramente algo positivo. Y si has visto muchos de estos ejemplos, realmente destaca que |
| |
La palabra "fuerte" y, en consecuencia, "débil" son palabras que estos economistas utilizan mucho para hablar de las cosas buenas o malas de la economía actual. |
| |
Entonces podría agregarlos, o agregar "fuerte" aquí haciendo clic en, digamos, 60 positivo en los botones de arriba. Una vez más, no lo haré ahora, sólo para acelerar nuestro análisis del sentimiento. |
| |
Entonces podríamos revisar, al igual que nuestros textos a continuación, podríamos revisar nuestra lista de términos de sentimiento aquí para elegir algunos buenos candidatos. |
| |
Debajo del triángulo rojo, también podemos gestionar los términos de opinión de forma más directa, por lo que está en su totalidad. |
| |
listas de administración de términos a las que podríamos estar acostumbrados para un usuario de Text Explorer, como la administración de frases y la administración de palabras vacías. |
| |
Puede ver que hemos agregado un nuevo término local a este análisis en particular, además de todos nuestros términos integrados. Por supuesto, también podríamos declarar excepciones, si tal vez no queremos incluir algunas de ellas. |
| |
Y lo más importante, también puedes importar y exportar tu diccionario de sentimientos. Otra forma de declarar términos de opinión es consultar con expertos en la materia. Sabes, |
| |
Los economistas probablemente tendrían mucho que decir sobre los tipos de palabras que esperarían ver y que transmitieran claramente |
| |
emoción positiva o negativa en estos informes. Y si pudiéramos hablar con ellos, querríamos saber qué tienen que decir al respecto, e incluso podríamos derivar un diccionario en, digamos, un archivo separado por tabulaciones con ellos y luego simplemente importarlo aquí. |
| |
Y luego, por supuesto, una vez que creamos un diccionario con el que nos sentimos bien, debemos exportarlo y guardarlo para que sea fácil volver a aplicarlo en el futuro. |
| |
Esto es un poco sobre cómo seleccionarías tu diccionario de sentimientos. También sería importante |
| |
seleccione sus términos intensificadores y sus términos de negación, y nuevamente, no ve puntuaciones aquí, porque son solo inversiones de polaridad. |
| |
Sólo para mostrarles un poco más sobre cómo se ve eso realmente, si nosotros... echemos un vistazo al sentimiento aquí, para que podamos ver casos en los que |
| |
JMP encontró la palabra "no" antes de algunos de estos términos de opinión y, de hecho, aplicó la puntuación adecuada. Entonces, en la parte superior, "no aceptable" obtiene una puntuación de -25. |
| |
Así que les muestro esto solo para llamar su atención sobre el hecho de que JMP aplica automáticamente estos negadores e intensificadores. |
| |
Pero de todos modos, pasemos de hablar de cómo configurar el análisis a observar los resultados. Así que voy a mencionar |
| |
una versión del análisis que ya está hecha, es decir, ya he seleccionado el diccionario de sentimientos y podemos comenzar a interpretar los resultados que obtenemos. |
| |
Tenemos nuestro resumen de alto nivel aquí, así que tenemos más documentos positivos que negativos. Como comentamos antes, podemos ver cuántos de cada uno. De hecho, en la parte inferior de esa tabla a la izquierda, ven que tenemos un documento que no expresa ningún sentimiento en él. |
| |
"fuerte" ocurre 14.000 veces, "débil" ocurre 4.500 veces aproximadamente |
| |
y observarlos ya sea por sus recuentos o por sus puntuaciones, observando lo más negativo y lo más positivo, |
| |
Incluso mirarlos en contexto puede ser bastante informativo en sí mismo. Quiero decir, especialmente en, digamos, un ámbito como la investigación del consumidor, si quieres saber cuándo las personas se sienten positivas o expresan positividad. |
| |
sobre nuestra marca o algunos productos que tenemos, qué tipo de lenguaje están usando, tal vez eso sirva de base para los esfuerzos de marketing, digamos. Esta lista de términos de opinión puede resultar muy informativa a ese respecto. |
| |
fabricación, |
| |
turismo, inversiones. Y a veces queremos centrarnos en uno de esos subdominios en particular, lo que podríamos llamar una característica. |
| |
Y si voy a esta pestaña de funciones en el análisis de opiniones, haré clic en buscar. JMP encuentra algunas palabras que aparecen comúnmente con términos de sentimiento y le pregunta si desea profundizar en el sentimiento con respecto a esa característica. |
| |
Tomemos, por ejemplo, "ventas". Podemos ver que "se informó que las ventas fueron débiles", "se debilitaron las ventas", "se informó que las ventas se mantienen bien", etc. |
| |
Entonces, si solo califico esta característica seleccionada, lo que JMP hará ahora será proporcionar puntuaciones de sentimiento solo con respecto a la mención de "ventas" dentro de estos informes más grandes, y esto nos ayudará a refinar nuestro análisis o centrarlo en una característica realmente buena. subdominio definido. |
| |
Y eso es particularmente importante. |
| |
Podría darse el caso de que el dominio en el idioma que estamos analizando no esté tan bien restringido. Toma por ejemplo, |
| |
reseñas de productos. Le interesa saber qué sienten las personas positivas o negativas sobre el producto, pero también pueden hablar, por ejemplo, del envío y no necesariamente le importa si no están muy contentos con el envío, principalmente porque está fuera de su control. . |
| |
No querrás incluir simplemente un montón de reseñas que también comenten sobre ese envío. Por eso es importante considerar el dominio de análisis y restringirlo adecuadamente y el buscador de características aquí es una forma de hacerlo. |
| |
Como pueden ver ahora que he puntuado en "ventas", tenemos una distribución muy diferente de documentos positivos y negativos. Tenemos más documentos que no tienen una puntuación de sentimiento porque |
| |
simplemente no hable de ventas ni utilice un lenguaje emocional para hablar de ello, y ahora tenemos una lista diferente de términos de sentimiento que captan las ventas en particular. |
| |
Déjame quitar esto. |
| |
Una cosa que me di cuenta que olvidé mencionar, la mencioné brevemente, es cómo se calculan estas puntuaciones generales de los documentos que hemos estado analizando, y dije que son el promedio de todos los términos de sentimiento de... |
| |
que ocurrió en un documento en particular. Así que veamos el Documento 1. Sólo me gustaría mostrarte eso |
| |
Si alguna vez se pregunta de dónde viene esta puntuación, digamos -20, puede pasar el ratón por encima y le mostrará una lista de todos los términos de sentimiento que aparecieron. |
| |
Y pueden ver, aquí tenemos 16 de ellos, incluidos todos en la parte inferior, "punto realmente brillante", que fue un +78 y luego, si divide... suma todos esos puntajes. dividir por 78... |
| |
o divídalo por 16, disculpe, entonces obtendrá un sentimiento promedio de -20. Y esta es una de dos formas de proporcionar puntuaciones generales. Otra es la puntuación mínima y máxima, por lo que las diferencias entre mínima y máxima |
| |
Sentimientos expresados en el texto. |
| |
Ahora podemos obtener mucha información simplemente mirando este informe, ya sabes, obviamente puntuaciones de sentimiento, los términos más comunes. |
| |
Pero muchas veces queremos tomar los sentimientos y usarlos de alguna otra manera, como |
| |
Mírelos gráficamente, como lo hicimos en las diapositivas. Entonces, cuando llegue el momento de esa parte de tu análisis, simplemente dirígete al triángulo rojo aquí. |
| |
y guardar las puntuaciones del documento. Y estos guardarán esos puntajes en su tabla de datos para que pueda ingresarlos en análisis posteriores o representarlos gráficamente, sea lo que sea que desee hacer. |
| |
Este es un adelanto del análisis de sentimientos que llegará a Text Explorer en JMP Pro 16. La idea principal es que el análisis de sentimientos utiliza un diccionario de sentimientos que |
| |
configura para proporcionar puntuaciones correspondientes al contenido emocional positivo y negativo de cada documento y luego, a partir de ahí, puede utilizar esa información de cualquier forma que le resulte informativa. |
| |
Así que dejaremos atrás el análisis de sentimientos y volveré a nuestras diapositivas para hablar sobre la otra técnica que pronto llegará a Text Explorer. |
| |
Y esa es la selección de términos, donde la selección de términos responde a una pregunta diferente, y es decir, ¿qué términos están más fuertemente asociados con alguna variable importante o variable que me importa? |
| |
Nos quedaremos con el Libro Beige. |
| |
Vamos a preguntar qué palabras están asociadas estadísticamente con las recesiones. Entonces, en el gráfico aquí, tenemos a lo largo del tiempo, el cambio porcentual |
| |
PIB (producto interno bruto) trimestre a trimestre, donde el azul muestra el crecimiento económico y el rojo muestra la contracción económica. Y podríamos preguntarnos, bueno, ¿qué |
| |
términos, tal como aparecen en el Libro Beige, podrían estar asociados estadísticamente con estos períodos de recesión económica? Por ejemplo, algunos de ellos aquí. |
| |
Ya sabes, ¿por qué querríamos asociar términos específicos del Libro Beige con períodos de recesión económica? |
| |
Bueno, podría ser potencialmente informativo en sí mismo obtener una lista de términos. Sabes, podría encontrar algunos potencialmente, ya sabes, sutiles. |
| |
impulsores o efectos de las recesiones de los que tal vez no sea consciente o no capture fácilmente en datos cuantitativos. |
| |
También podría encontrar algunas palabras para un análisis más detallado. Podría... podría encontrar algo. |
| |
términos de sentimiento potenciales, algunos términos que se utilizan cuando a la economía le está yendo particularmente mal y que me perdí la primera vez cuando estaba haciendo mi análisis de sentimiento. |
| |
O tal vez podría encontrar algunas palabras que estén tan fuertemente asociadas con las recesiones que creo que podría usarlas en un modelo predictivo para tratar de determinar cuándo podrían ocurrir recesiones en el futuro. |
| |
Así que hay algunas razones diferentes por las que podríamos querer saber qué palabras están más fuertemente asociadas con las recesiones. |
| |
Entonces, ¿cómo funciona esto en JMP? Bueno, básicamente construimos un modelo de regresión donde la variable de resultado es la variable que nos importa, las recesiones, y los insumos son todas las diferentes palabras. |
| |
Los datos ingresados en el modelo toman la forma de una matriz de términos de documento, donde cada fila corresponde a |
| |
un documento o un informe del Libro Beige y luego las columnas capturan las palabras que aparecen en ese informe. Aquí tenemos la columna "débil" resaltada y dice "binario", lo que significa que |
| |
contendrá unos y ceros; un 1 indica que ese informe contenía la palabra "débil" y un 0 indica que ese informe no contenía la palabra "débil". Y esta es una de varias maneras en que podríamos calificar los documentos, pero nos quedaremos con este binario por ahora. |
| |
Entonces tomamos esta información y la ingresamos en un modelo de regresión. Así que así es como se vería el lanzamiento. |
| |
Tenemos nuestra recesión como nuestra variable Y y esa es simplemente una variable de sí o no, y luego tenemos todos estos predictores de términos binarios ingresados como efectos de nuestro modelo. |
| |
Y luego usaremos la herramienta de regresión generalizada de JMP Pro. |
| |
para construir el modelo, y eso se debe a que la regresión generalizada o GenReg, como la llamamos, incluye técnicas de selección automática de variables. Así que si estás familiarizado con |
| |
regresión regularizada, estamos hablando como el Lasso o la red elástica. Y si no sabes lo que eso significa, está totalmente bien. La idea es que automáticamente |
| |
encuentra qué términos están más fuertemente asociados con la variable de resultado "recesión" y luego aquellos que no cree que estén asociados con ella, los pondrá a cero. |
| |
Y esto nos permite observar las relaciones entre "recesión" y quizás conozcan cientos, miles de posibles palabras que estarían asociadas con ellas. |
| |
Entonces, ¿qué obtenemos cuando ejecutamos el análisis? |
| |
Sacamos un modelo. Entonces lo que tenemos aquí es la ecuación para ese modelo. No te preocupes demasiado por eso. la idea es que digamos |
| |
las probabilidades logarítmicas de recesión, por lo que es una función de la probabilidad de que estemos en una recesión y cuando se publica el Libro Beige es una función de |
| |
todas las diferentes palabras que podrían aparecer en el informe del Libro Beige. |
| |
Y como pueden ver, tenemos el efecto de la aparición de la palabra "pandemia" con un coeficiente de 1,94. |
| |
Eso simplemente significa que las probabilidades logarítmicas de "recesión" aumentan en 1,94 si el informe del Libro Beige menciona la palabra "pandemia". Luego vemos menos 1,02 veces "ganancia". Bueno, eso significa que si el informe del Libro Beige menciona la palabra "ganancia", entonces la probabilidad de recesión... |
| |
o las probabilidades logarítmicas de recesión caen en 1,02. |
| |
De ahí sacamos una lista de términos que están fuertemente asociados con un aumento en la probabilidad de recesión, cosas como "pandemia", "aplazamiento", "cancelación", "ejecuciones hipotecarias". |
| |
Y también obtenemos una lista de términos que están asociados con una probabilidad decreciente de recesión, como "ganar", "fortalecer", "competencia". |
| |
También vemos "fabricación" allí mismo, pero tiene un coeficiente relativamente pequeño, alrededor de -0,2. |
| |
Y realmente se darán cuenta aquí, y si miramos una representación gráfica de todos los términos seleccionados en este análisis, no verán demasiados dominios específicos como "fabricación". |
| |
"turismo", "inversiones" y todo eso. Esto se debe a que siempre se habla de esas cosas, ya sea que estemos en recesión o no, así que lo que realmente buscamos son palabras que se usan, |
| |
ya sabes, cuando estamos en recesión con más frecuencia de lo que cabría esperar por casualidad. Entonces tenemos... por ejemplo, esos son |
| |
siendo "pandemia" la más predictiva. Tiene mucho sentido. No hablamos en absoluto de pandemias hasta hace poco y luego también experimentamos la recesión recientemente, por lo que lo hemos captado con bastante claridad. |
| |
Luego tenemos algunos otros en esta especie de segundo nivel, por lo que son "pospuestos", "cancelados", "ejecutados", "deteriorados", "pesimistas". |
| |
Y es algo interesante que este "aplazamiento" y "cancelación" estén asociados con recesiones. Tiene sentido, realmente quieres hablar de posponer, digamos, la actividad económica. |
| |
cuando se está produciendo una recesión, o al menos esa es quizás una tendencia confiable. Es... así que eso es conocimiento, en sí mismo. en efecto, yo |
| |
Es decir, no podría decirles cómo la Reserva Federal rastrea el aplazamiento o la cancelación de actividades económicas, pero el hecho de que esos términos sean marcados en este análisis sugiere que es algo que probablemente vale la pena rastrear. |
| |
Muy bien, esa es la selección de términos. De hecho, obtenemos esta bonita lista de términos asociados con las recesiones y podemos ver la fuerza relativa de la asociación. Ahora veamos brevemente aquí cómo se hace en JMP. |
| |
Así que regresaré a JMP y lo que haremos será obtener una tabla de datos ligeramente diferente. Sin embargo, siguen siendo datos del Libro Beige, ahora solo tenemos los informes nacionales. |
| |
Y tenemos esta variable que la acompaña, ya sea que Estados Unidos estuviera o no en recesión en ese momento. Y, por supuesto, hay cierta correlación automática en estos datos. Quiero decir, si estuvimos en recesión el mes pasado, es más probable que estemos en recesión este mes que si no la tuviéramos. |
| |
Y usted sabe que eso normalmente podría ser un problema para los análisis basados en regresión, pero esto es puramente exploratorio. No estamos demasiado preocupados por eso. |
| |
Así que voy a sacar el Explorador de texto desde una tabla de scripts solo porque ya hemos visto cómo se inicia antes. |
| |
Sin embargo, tenga en cuenta que ya he redactado algunas palabras, como hicimos antes. También agregué algunas palabras vacías, que no pueden ver aquí, pero son palabras que no quiero que necesariamente aparezcan en este análisis. |
| |
Y activé la derivación, que es lo que significan esos pequeños puntos en la lista de términos. Por ejemplo, lo que significa "aumento" ahora en realidad se derrumba en "aumentos", "aumentando", "cada vez más". |
| |
Y eso se debe a que ahora considero que todos son el mismo concepto, y solo quiero saber si ese concepto está asociado con las recesiones. |
| |
Entonces, para invocar la selección de términos, simplemente iremos al triángulo rojo y lo seleccionaremos aquí. |
| |
Primero aparece una ventana de control, o debería decir una sección, donde seleccionamos qué variable nos interesa, es decir, las recesiones. Seleccione el nivel objetivo, por lo que quiero que sea en términos de probabilidad de recesión, en contraposición a la probabilidad de que no haya recesión. |
| |
Puedo especificar algunas configuraciones del modelo. Si está familiarizado con GenReg, verá que puede elegir si desea detenerse anticipadamente, si desea uno de dos diferentes |
| |
penalizaciones al realizar selección de variables, qué estadística desea realizar la validación. Y si esas cosas son nuevas para ti, no te preocupes demasiado. La configuración predeterminada es una buena manera de hacerlo al principio. |
| |
Tenemos nuestra ponderación, si recuerdan, teníamos los 1 y 0 en esa columna para "débil", solo indicamos si la palabra apareció en un documento o no, pero pueden seleccionar lo que quieran. Entonces |
| |
por ejemplo, la frecuencia no es si ocurrió "débil" o no, sino cuántas veces ocurrió. Y esto afecta la forma en que interpretaría sus resultados. Por ahora nos quedaremos con el binario. |
| |
Pero voy a decir que quiero comprobar los 1000 términos más frecuentes, en lugar de los 400 predeterminados, que pueden ver, que son mucho más que 436, y normalmente no cabe un modelo con 1000 X. pero solo 436 |
| |
observaciones, pero gracias a la |
| |
selección automática de variables en regresión generalizada, esto no es un problema. Así que, una vez más, selecciona cuál de estos mil términos está más fuertemente relacionado, de ahí el nombre de selección de términos. |
| |
Entonces voy a ejecutar esto. Puede ver lo que sucedió: JMP llamó a la plataforma de regresión generalizada y arrojó estos resultados, donde aquí arriba vemos información sobre el modelo tal como se ajustaba. Por ejemplo, tenemos 37 términos que fueron devueltos. |
| |
Déjame dejar eso a un lado. Porque aquí a la derecha es donde encontramos información realmente valiosa. Esta es la lista de términos más fuertemente asociados con la recesión. |
| |
Ahora los ordenaré por el coeficiente para encontrar aquellos más fuertemente asociados con la probabilidad de recesión, así que una vez más son "pandemia", "aplazamiento", "cancelaciones" y, como es de esperar, en este punto, si hago clic en uno de estos, actualizará estas vistas previas |
| |
o estos fragmentos de texto a continuación, para que podamos ver esta palabra en contexto. |
| |
Así que esta lista de términos en sí misma podría ser increíblemente valiosa. Es posible que aprenda algunas cosas sobre términos o conceptos específicos que son importantes y que quizás no sabía antes. También puede utilizar estos términos en modelos predictivos. |
| |
Ahora algunas otras cosas a tener en cuenta. |
| |
Puede ver aquí abajo, una vez más tenemos una tabla para cada documento individual, pero en lugar de puntuaciones de sentimiento, ahora tenemos básicamente puntuaciones del modelo. Tenemos para cada uno. |
| |
el... |
| |
lo que llamamos contribución positiva, es decir, la contribución de los coeficientes positivos que predicen la probabilidad de recesión. Aquí tenemos los del lado negativo. |
| |
Y luego tenemos incluso la probabilidad de recesión del modelo, 71,8% de vez en cuando de lo que realmente observamos. |
| |
Y no necesariamente estamos construyendo un modelo predictivo aquí, es decir, no voy a usar este modelo para intentar predecir recesiones. Quiero decir, tengo todo tipo de variables de indicadores económicos que usaría |
| |
también, pero esta es una buena manera de verificar básicamente la cordura de su modelo. ¿Parece que está acertando algunas de sus predicciones? |
| |
Porque si no es así, es posible que no confíes en los términos que devuelve. También tienes mucha otra información para intentar hacer ese juicio. Quiero decir, tenemos algunas estadísticas de ajustes, como el área bajo la curva aquí arriba. |
| |
O incluso podemos acceder a la plataforma de regresión generalizada, con todas sus opciones normales para evaluar más a fondo su modelo. |
| |
No voy a entrar en detalles, pero todo eso está disponible para que usted pueda evaluar su modelo, modificarlo como desee y asegurarse de tener una lista de términos con los que se sienta bien. |
| |
Ahora verá aquí, tenemos esto, debajo del resumen, esta lista de modelos y eso se debe a que es posible que desee ejecutar varios modelos. Así que si vuelvo al modelo... oh, discúlpenme... si volvemos a nuestro |
| |
configuraciones aquí, en realidad podría ejecutar un modelo ligeramente diferente. Quizás, por ejemplo, sé que el BIC es un poco más conservador que el AICc y quiero devolver menos términos, quizás hice un análisis que arrojó 900 términos y estás un poco abrumado. |
| |
Así que haré clic en Ejecutar y construiré otro modelo usando eso en su lugar. |
| |
Y ahora tenemos ese modelo agregado a nuestra lista aquí, y puedo cambiar entre estos modelos para ver los resultados de cada uno. En este caso, hemos devuelto solo 14 términos, en lugar de 37, y los evaluaría a continuación. |
| |
Entonces, dos grandes resultados que se obtendrían de esto, por supuesto, es esta lista de términos. Si desea guardarlo, estos son solo términos importantes para usted y desea realizar un seguimiento de ellos, simplemente haga clic derecho y conviértalo en una tabla de datos. Ahora tengo una mesa JMP |
| |
con los términos, sus coeficientes y otra información. |
| |
Y |
| |
Si lo que quiere hacer es volver a escribir esto en su tabla de datos original, tal vez, para poder usar la información en algún otro tipo de análisis o modelo predictivo, |
| |
simplemente diríjase a la selección de términos y diga que desea guardar las puntuaciones de los términos como una matriz de términos de documento, que si vuelvo a traer nuestra tabla de datos aquí, podrá ver que ahora he escrito en su |
| |
columnas para cada uno de estos términos que se han seleccionado. En este caso, los completé con los valores de sus coeficientes y ahora puedo usar esto. |
| |
información cuantitativa como quiera. |
| |
Eso es sólo un poco sobre la selección de términos. Nuevamente, la gran idea aquí es que encontré una lista de términos que están relacionados con una variable que me interesa e incluso tengo, a través de sus coeficientes, información sobre qué tan fuerte podría ser esa relación. |
| |
Así que terminemos entonces. Hemos cubierto dos técnicas. Acabamos de ver la selección de términos y encontrar esas palabras importantes. Antes de eso revisamos el análisis de sentimiento, todo sobre |
| |
Cuantificar el grado de emoción positiva o negativa en un texto. Estas son dos nuevas técnicas de minería de texto que llegarán al Explorador de texto de JMP Pro 16. Estamos muy emocionados de que los tenga en sus manos y esperamos sus comentarios. |
