Los informáticos se han beneficiado durante mucho tiempo de la metodología que les permite extraer información de una variedad de documentos de texto. Su metodología no solo cuenta los términos y frases en los textos, sino que también descubre la estructura y proporciona información sobre el contenido de los textos. Por otro lado, la mayoría de los científicos sociales — que tienen muchos datos de texto en los campos de comentarios de encuestas, transcripciones de entrevistas, etc., no parecen depender de estos métodos (aquellos que estudian idiomas o colaboran con informáticos son las raras excepciones).
En esta publicación, animo a los científicos sociales a explorar el espectro de posibilidades que puede ofrecer el análisis de texto. Lo hago proporcionando una breve explicación de dos técnicas analíticas de texto: análisis semántico latente (LSA) y análisis de tema (TA). Como pronto será obvio, los científicos sociales con experiencia en estadísticas multivariadas podrán usar, aplicar e interpretar LSA y TA sin esfuerzo (¡podría tomar esta publicación para ponerlo en marcha!) Mi explicación se basa en dos estadísticas técnicas muy conocidas en las ciencias sociales: Análisis de Componentes Principales (PCA) y Análisis Factorial (FA).
Una revisión del análisis de componentes principales
PCA es un método que nos permite identificar y extraer dimensiones no correlacionadas de máxima variabilidad de nuestros datos. Esto se hace a través de una descomposición de valores propios de la matriz de correlación de los datos. La Figura 1 muestra los pasos involucrados en la descomposición de valores propios y los pasos subsiguientes para ayudar en la interpretación del PCA (tenga en cuenta que la figura está demasiado simplificada para facilitar esta revisión).
Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figura 1. Representación de los pasos involucrados en el Análisis de Componentes Principales.
La matriz de correlación representa una “nube de datos” en un espacio multidimensional. La descomposición de valores propios ayuda a identificar las principales dimensiones que son perpendiculares entre sí dentro de esta nube y produce dos piezas clave de información: la vectores propios , que son indicativos de las direcciones de las dimensiones principales, y la valores propios , que identifican la magnitud de cada dimensión y son las varianzas de las dimensiones. Si solo un par de dimensiones capturan la mayor parte de la variabilidad en los datos (es decir, los primeros dos valores propios son grandes con respecto a todos los demás), entonces los analistas pueden optar por conservar los dos primeros vectores propios y valores propios para reducir la cantidad de variables que tienen que analizar. analizar. Todos los vectores propios tienen una longitud unitaria, pero se pueden "redimensionar" utilizando la información proporcionada por los valores propios. Estos vectores propios reescalados se conocen como cargas.
Los vectores de carga tienen una variabilidad igual a su valor propio correspondiente. Además, los coeficientes de carga son coeficientes de correlación que describen la asociación entre la dimensión (componente principal) y la variable correspondiente. Por esta razón, las cargas son fundamentales para comprender lo que representa un componente principal. Sin embargo, una matriz de carga puede tener un patrón difícil de discernir, como cargas de magnitud moderada en varias dimensiones (ver Matriz de carga en la Figura 1). Por lo tanto, los analistas pueden optar por rotar la matriz de carga en un esfuerzo por mejorar la interpretación de los componentes. Muy a menudo, se emplea una rotación ortogonal (por ejemplo, Varimax), que tiende a dar como resultado un patrón simple de cargas (denominado "estructura simple" por Thurstone, 1947). Es decir, las cargas son muy altas para un componente dado y casi nulas para todos los demás componentes. La estructura simple de la matriz de carga rotada (ver Figura 1) ayuda a identificar con claridad qué representa cada componente principal.
Análisis de componentes principales == Análisis semántico latente
Ahora que PCA está fresco en su mente, la buena noticia es que el análisis semántico latente (LSA) es simplemente PCA realizado en una matriz de correlación de términos de texto (pero sin rotaciones involucradas). En otras palabras, las variables del análisis son columnas que indican la incidencia de un término en los documentos de texto. Este conjunto de variables se denomina matriz de términos del documento (DTM; consulte la Figura 2), que tiene tantas columnas como términos en los documentos y tantas filas como documentos. Si queremos un DTM binario, cada entrada de celda puede ser un 0 o un 1 dependiendo de si el término dado está en el documento dado. Un DTM de frecuencia requiere que cada entrada sea un recuento del número de veces que aparece el término en el documento dado. Hay otras formas de construir el DTM; un método preferido en la literatura (Ramos, 2003) se llama TF-IDF (término frecuencia-frecuencia de documento inversa), que puede implementar en JMP con el clic de un botón!
Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figura 2. Matriz de términos de documento de muestra (DTM) de tres documentos.
Observe que el primer documento en la Figura 2 tiene la palabra "desde" y, sin embargo, ese término no aparece en el DTM. Esto se debe a que existen pasos preliminares importantes para crear un DTM. ¡Veamos los siguientes!
Configuración de datos de texto para análisis
El análisis de texto comienza con la identificación de la unidad de medida. Específicamente, debe determinar qué constituirá un "documento". Un documento puede ser una oración, un párrafo, un artículo o un libro, entre muchas otras opciones. El siguiente paso consiste en identificar términos relevantes en los documentos. Para ello, filtre las "palabras vacías" (esas palabras extremadamente comunes que probablemente no ayuden a revelar la estructura en el corpus de texto, como "el", "y", "de", "es", "de"). ," etc.). Además, puede optar por condensar términos similares en uno solo. Por ejemplo, las columnas "análisis" y "análisis" en la Figura 2 son redundantes y se pueden combinar en una sola columna "análisis". Esto se llama derivación. Finalmente, no todas las palabras en un texto deben dividirse. Los “científicos sociales” en la primera fila de la Figura 2 son un ejemplo. Puede combinar estas palabras en un término antes de crear el DTM (puede hacer lo mismo con frases como "erase una vez").
Todos los pasos anteriores son críticos para un análisis sólido. Por suerte, el plataforma Explorador de texto en JMP hace que estas tareas sean muy sencillas. En el menú Analizar > Explorador de texto, asigne la columna de la tabla de datos que contiene los documentos como Columna de texto (consulte la Figura 3). También puede personalizar las opciones para derivar en la ventana de inicio. Después de iniciar Text Explorer, puede seleccionar más frases para considerarlas como términos.
Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figura 3. Ventana de inicio de Text Explorer (izquierda) e informe inicial del inicio de Text Explorer (derecha).
Con todos los pasos preliminares completados, puede crear el DTM y realizar un PCA con él. Sin embargo, dependiendo de qué tan grande sea su DTM (y tienden a ser bastante grandes), un PCA como el que describí anteriormente puede tardar mucho en ejecutarse y requerir mucha memoria. Afortunadamente, JMP utiliza la descomposición de valores singulares en lugar de la descomposición de valores propios para hacer que este análisis sea muy eficiente. En una publicación futura, explicaré las equivalencias entre la descomposición de valores propios y la descomposición de valores singulares, pero por ahora, tendrá que confiar en mí que ambos enfoques conducirán a los mismos resultados.
Análisis del tema
Otra valiosa técnica de análisis de texto es el análisis de temas (TA). Esta técnica también se puede traducir fácilmente a los científicos sociales aclarando que TA es simplemente PCA con una rotación Varimax de la matriz de carga. Similar a LSA, TA se lleva a cabo con descomposición de valores singulares en lugar de descomposición de valores propios para que sea más eficiente. Es probable que los resultados de TA sean más fáciles de interpretar que los de LSA debido a la rotación de las cargas. Los temas serán las principales dimensiones de la variabilidad en sus datos de texto. Las cargas te permiten interpretar lo que representa el tema. Además, las puntuaciones de los temas (o componentes) se pueden calcular y utilizar en análisis secundarios.
Para dar una idea de lo que TA puede hacer, realicé TA en un conjunto de datos de 231,657 chistes*. Para no ofender a ningún lector, solo muestro los resultados de tres temas que surgieron del análisis (Figura 4).
Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figura 4. Seleccione temas del análisis de temas (TA) realizado en una tabla de datos de 231.657 chistes.
Los lectores pueden estar de acuerdo en que existe una clara distinción entre los tipos de chistes que representa cada uno de los temas de la Figura 4. Para ejemplos más convincentes de análisis de texto, consulte esta publicación sobre cómo predecir los precios futuros de las acciones, o leer una publicación reciente utilizando datos de redes sociales (Kern et al., 2016). o mira este video .
Comentarios sobre el análisis factorial
En la sección inicial, dije que confiaría en el conocimiento de PCA y FA de los científicos sociales. Pero hasta ahora solo he hablado de PCA. Si tu entrenamiento fue similar al mío, sabes que hay diferencias importantes entre PCA y FA. En una publicación anterior , describí esas diferencias, pero también mencioné una similitud clave: los resultados de PCA y FA se vuelven cada vez más similares a medida que la matriz de datos en consideración crece en tamaño (si desea una actualización de FA, le recomiendo que lee la publicación ). De hecho, en el análisis de texto, las matrices de datos tienden a ser muy largo. En el Matriz de términos del documento de muestra arriba, ¡el DTM ya tiene 10 variables! ¡Y el ejemplo de broma tiene un DTM con 4316 variables!). Por lo tanto, los temas o componentes de LSA y TA pueden considerarse como aproximaciones de variables latentes y pueden usarse de manera efectiva para abordar una gran cantidad de preguntas de investigación.
Cerrar…
Con demasiada frecuencia, permitimos que nuestro conjunto de herramientas estadísticas determine el diseño y el análisis de nuestra investigación (¡a veces sin darnos cuenta!). Por lo tanto, espero que esta publicación abra la puerta a nuevas preguntas de investigación en las ciencias sociales (y otros campos) que pueden abordarse de manera única con el análisis de texto.
Puntos clave
- El análisis de texto está infrautilizado en las ciencias sociales a pesar de que se basa en técnicas estadísticas que son bien conocidas por los científicos sociales.
- El análisis semántico latente es equivalente al análisis de componentes principales realizado en una matriz de términos de documentos.
- Una matriz de términos de documento tiene tantas filas como documentos y tantas columnas como términos en los documentos. Las celdas contienen la incidencia de los términos en un documento determinado.
- El análisis de temas es equivalente al análisis de componentes principales con una rotación de las cargas de los componentes para ayudar a la interpretación de los temas. Pero tenga en cuenta que algunos métodos de agrupación a veces también se describen como análisis de temas.
- Debido a que las matrices de términos de documentos tienden a ser bastante grandes, los científicos sociales pueden pensar en los componentes principales como aproximaciones bastante buenas de variables latentes o temas latentes.
¡Hay mucho más que decir sobre el análisis de texto! Sugiero comenzar con este webcast a pedido , que hace un gran trabajo al describir muchos más detalles. También puedes ver mi publicacion sobre la plataforma Text Explorer en JMP, especialmente la Sección de la piedra de Rosetta , que aclara más vínculos entre PCA y LSA/TA.
Referencias
- Kern, ML, Parque, G., Eichstaedt, JC, Schwartz, HA, Savia, M., Smith, LK, & Ungar, LH (2016). Obtener información del lenguaje de las redes sociales: Metodologías y desafíos. Métodos psicológicos. Publicación anticipada en línea. http://dx.doi.org/10.1037/met0000091
- Ramos, J. (2003, diciembre). Uso de tf-idf para determinar la relevancia de las palabras en consultas de documentos. En Actas de la primera conferencia educativa sobre aprendizaje automático (Vol. 242, págs. 133-142).
- Thurstone, LL (1947). Análisis factorial múltiple . Chicago: Prensa de la Universidad de Chicago, 1947.
* Gracias a amoudgl que hizo que este archivo estuviera disponible gratuitamente aquí: https://github.com/amoudgl/short-jokes-dataset
