JMP 13 presentó una gran cantidad de funciones nuevas e interesantes para los clientes de JMP. Una de las funciones más esperadas fue la plataforma Text Explorer, que permite a los analistas comprender la estructura de los datos de texto. El revuelo en torno a Text Explorer ciertamente está justificado, ya que la plataforma tiene el potencial de revelar información objetiva de una multitud de entradas de texto que de otro modo sería imposible de detectar para una persona (especialmente cuando el análisis involucra miles o millones de fuentes de texto).
A medida que los clientes de JMP siguen aprovechando Text Explorer, el equipo de desarrollo de JMP se ha esforzado por simplificar el uso de la plataforma y mejorar la interpretación de los resultados. Estas mejoras se centraron específicamente en el análisis semántico latente y el análisis temático y están disponibles en JMP Pro 13.2. En esta publicación, describo estos esfuerzos y enfatizo cómo los cambios facilitan el uso y la interpretación de la plataforma Text Explorer por parte de los analistas.
una transformación
Análisis semántico latente y Análisis del tema Hay dos enfoques para analizar el texto. Anteriormente, estos análisis se realizaban en JMP a través de un valor singular de descomposición (SVD) de la matriz de términos del documento (DTM) "Centrado y escalado", "Centrado" o "No centrado". El DTM es una matriz derivada de sus datos de texto, que resume la cantidad de términos dentro y entre documentos de texto. El SVD en el DTM condujo a resultados reveladores, lo que permitió a los usuarios de JMP Pro identificar dimensiones clave (también conocidas como vectores singulares) subyacentes a sus datos de texto y valores que describen el significado de dichas dimensiones (también conocido como término o vectores singulares del documento).
Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figura 1. La nueva apariencia de Análisis Semántico Latente y Análisis de Tema, con etiquetas y valores más intuitivos.
Una mejora clave en la plataforma, implementada en 13.2, consistió en hacer el SVD del DTM "Centrado y escalado" o "Centrado" dividido por N-1 (N = número total de filas en DTM), o solo N si los usuarios seleccionan la opción de escalado “Sin centrar”. Es importante destacar que dividir el DTM por una constante (N-1 o N) no cambia el patrón de resultados en la plataforma, pero hace que las estimaciones resultantes sean mucho más interpretables.
Interpretabilidad mejorada
Gracias a que el DTM se divide por N-1 o N, el análisis semántico latente ahora es idéntico a Análisis de componentes principales (PCA). De manera similar, Topic Analysis ahora es idéntico a un PCA rotado (consulte la Figura 2 para ver los resultados seleccionados de ambas plataformas). Por lo tanto, los vectores singulares de términos ahora son idénticos a las cargas en un contexto de PCA y, en consecuencia, se etiquetan como "cargas de temas de términos". Cuando los usuarios seleccionan "Centrado y escalado" como la opción de escalado en Text Explorer (que es la opción predeterminada), los resultados son idénticos a un PCA de una matriz de correlación. De manera similar, cuando se elige "Centrado", los resultados son paralelos a los de PCA de una matriz de covarianza, y cuando se selecciona "Sin centrar", los resultados serán como PCA de una matriz sin escala.
Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figura 2. Comparación lado a lado de Análisis de Tema y Análisis de Componentes Principales Rotados, a los que se puede acceder a través de la opción "Análisis Factorial" en la plataforma de Componentes Principales.
¿Por qué estos cambios son emocionantes?
¿Conoces PCA?Ahora puede traducir todo lo que sabe sobre PCA en análisis de texto. Aquí hay unos ejemplos:
- Seleccionando el mejor número de temas: Todas las pautas de PCA ahora se pueden usar para seleccionar una cantidad adecuada de temas. Por ejemplo, buscar el codo en un gráfico de sedimentación de valores singulares al cuadrado (también conocidos como valores propios), o sumando el porcentaje de varianza explicada de valores singulares al cuadrado hasta lograr un porcentaje razonable, u otro método de elección.
- Entender la importancia de los temas: Lo que solía llamarse "Porciones de temas" ahora es "Varianza explicada por cada tema". Los valores son los mismos pero ahora la interpretación de los valores es más intuitiva. Si su primer tema explica el 40% de la variación en sus datos, entonces sabe que este tema es muy relevante en sus documentos.
- Interpretar el significado de un tema: Cuando se seleccionan "Centrado y escalado" o "Centrado" como opciones de escalado (recuerde que son equivalentes a PCA en Correlación y Covarianzas, respectivamente), Cargas de términos de tema representan la correlación del término particular con el tema subyacente. Así, valores altos (cercanos a 1) apuntan a un término muy característico del tema.
- Derivación de nuevas variables para un análisis posterior: Al igual que puede calcular puntuaciones de componentes en PCA para realizar análisis secundarios, puede calcular puntuaciones de temas de documentos (anteriormente denominados vectores singulares de documentos), que contienen la gran mayoría de la información en su DTM pero en una estructura mucho más concisa.
La piedra Rosetta
Para facilitar aún más la traducción entre Análisis semántico latente/Análisis de temas y PCA/PCA rotado, creé la siguiente ilustración, a la que llamo la piedra de Rosetta de Text Explorer (como en el piedra egipcia que ayudó a los historiadores a comprender los jeroglíficos). Incluyo paneles para las plataformas Text Explorer y PCA con palabras clave utilizadas en informes que tienen un significado equivalente, e incluyo un panel para Factor Analysis porque un caso especial de Factor Analysis es idéntico a Rotated PCA (el caso de comunalidades == 1, ver mi post sobre este tema ).
Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figura 3. La piedra de Rosetta de las plataformas Text Explorer, Principal Components y Factor Analysis. Las palabras clave de cada panel son equivalentes a las de la misma fila de otros paneles. *No disponible en la plataforma ya que normalmente no se utilizan. La Figura 3 ayuda a ver cómo la jerga de una plataforma se relaciona con la jerga de la otra.
Así que no te demores en actualizar a JMP Pro 13.2 y aprovecha esta y otras mejoras para JMP !
