Interpretación de la puntuación del temaEstamos trabajando en el enfoque del Explorador de texto y tratando de comunicar la interpretación de las puntuaciones de tema. Por ejemplo, un valor negativo en comparación con un valor positivo para un término dentro de un tema. ¿Puede dirigirnos a alguien que pueda ayudar con algunos ejemplos? El menú de ayuda sugiere que un término de valor negativo ocurriría con menos frecuencia en comparación con un valor positivo, pero cuando miramos los conjuntos de datos reales, esto no parece estar funcionando.
Entonces parece que es una escala lineal donde cada extremo es positivo y un extremo es negativo. Cuanto más cerca esté una palabra hacia un extremo de la escala, indicaría un uso positivo o negativo. Cualquier perspectiva es apreciada.
Re: interpretación de la puntuación del temaHola Laura,
Lo siento, leí esta respuesta, pero nunca dije gracias. ¡Muchas gracias! Esto fue muy útil.
-Jeff
Re: interpretación de la puntuación del temaTécnicamente, lo contrario también se aplicaría, pero, en la práctica, no esperaría que encuentre ese escenario. La razón es que solo volteamos el signo cuando la mayoría de las grandes cargas son negativas. Con datos de texto, no es muy común tener grandes positivos y cargas negativas Solo en esos casos esperarías encontrar lo contrario. En resumen, está haciendo lo correcto al examinar la carga de sus temas junto con sus puntajes para asegurarse de que comprende el significado de los temas. Desea poder etiquetar cada tema (por ejemplo, "satisfacción con el producto") para poder interpretar los puntajes como "puntajes más altos significan más satisfacción con el producto" o al revés.
Mejor,
~ Laura
Re: interpretación de la puntuación del temaGracias, esto ayuda con mi ejemplo inmediato. Una pregunta similar es ¿debería esperar también lo contrario? Por ejemplo, ¿un ejemplo negativo fuerte en las gráficas de puntaje de tema que resulta en un puntaje de tema positivo donde el texto implicaría que debería ser fuertemente negativo?
Re: interpretación de la puntuación del temaHola @reese_sj ,
¡Gracias por señalar eso! De hecho, hay casos en los que la descomposición de valores singulares conduce a temas con cargas totalmente negativas. Para facilitar la interpretación de los temas, los signos de las cargas se voltean para que siempre sean positivos. En esos casos, los puntajes de los temas también deberían cambiarse, pero actualmente no lo son. Somos conscientes de ello y planeamos abordar esto en una versión futura. Por ahora, podría crear una nueva columna de fórmula que tome los puntajes de los temas y los multiplique por -1. Una forma sencilla de determinar qué puntajes de tema deben cambiarse es (1) mirar los "Gráficos de puntaje de tema" en el informe, (2) seleccionar las observaciones con puntajes más extremos, (3) hacer clic en "Mostrar texto" y (4) verifique la correspondencia entre documentos y términos en el tema.
Aquí hay un ejemplo con los datos de "Pet Survey.jmp":
Lancé Text Explorer, ejecuté un análisis semántico latente y un análisis de tema con todos los valores predeterminados. Las principales cargas para los dos primeros temas son: 
Luego podemos mirar los gráficos de puntaje y obtener el texto para los puntajes más altos del Tema 1: 
Las cargas de temas positivos se corresponden con el contenido de los documentos. Así, mayor las puntuaciones en el Tema 1 apuntan a documentos que son más sobre "perros vigilando casas".
En contraste, cuando examinamos el texto en los valores más extremos del Tema 2, encontramos que inferior las puntuaciones corresponden a documentos que son más sobre "huskies disfrutando de paseos en trineo en invierno" 
Quizás la forma más fácil de identificar cuándo se deben cambiar los puntajes es cuando los valores más extremos son negativos pero las cargas para ese tema son positivas: 
¡Espero que esto te permita avanzar con tu análisis!
Mejor,
~ Laura
Re: interpretación de la puntuación del temaPosible problema con la interpretación de la puntuación del tema:
Tengo un tema que "Parece" tener un efecto positivo en mi calificación de estrellas. Utilicé el DTM y las columnas indicadoras para ver los 2 términos principales en el tema: "Absolutley" y "Love". Como se ve, cuando uso una de las palabras mi calificación de estrellas aumenta y si uso ambas palabras, aumenta aún más. Tenga en cuenta que es un muy pequeño N.
Profundizando en esto, parece que cuando guardo mis temas, hay una correlación negativa entre el recuento y cómo se califica el término. Esto sucede a pesar de que la carga es positiva. Pude revisarlo y encontrarlo para este tema, pero si tuviera que cargar esto en genreg (o en cualquier otro enfoque de modelado), no tengo idea de si los efectos son correctos, mostrando positivo o negativo para los temas sin revisando manualmente todos y cada uno de los temas y términos para asegurarse de que estén siendo tratados adecuadamente.
Visto a continuación, si uso las palabras Absolutamente y Amor, cuanto más se usan o si se usan juntas, genera un efecto negativo significativo según cualquier enfoque de modelado.
Re: interpretación de la puntuación del temaDefinitivamente probaré eso. Gracias.
Re: interpretación de la puntuación del temaScott
Si su objetivo es descartar los términos que son relevantes para su variable de resultado, es posible que solo desee ejecutar GenReg con las columnas DTM. Como es una regresión grande, llevará un tiempo terminarla. Por ejemplo, el ouctome es una respuesta de tipo Sí / No y ejecuté el lazo con 1.782 columnas binarias DTM en un conjunto de datos de 18,000 filas. Tardó unos 20 minutos en completarse. Encontré 483 términos activos (distintos de cero). Si solo mantengo los estadísticamente significativos (valor p <0.05), el número de términos es solo 203.
Un enfoque más visual es utilizar la opción Colorear / Por valor de columna en la nube de palabras. Colorear las palabras por la variable de resultado le permite ver qué palabras están asociadas con los resultados. Los que tienen colores mezclados no están o menos asociados con el resultado.
Jian
Re: interpretación de la puntuación del temaPor cierto, usé un signo de porcentaje, y la entrada fue recodificada como "Bleep" ... quizás otra oportunidad de recodificación 
(cara sonriente).
Re: interpretación de la puntuación del temaA medida que sigo evolucionando y mejorando mis temas, busco orientación sobre la adición de palabras clave. Sé que cada término está correlacionado con cada tema, pero me gustaría una forma de reducir la diversidad de cada tema de modo que haya menos términos que tengan una fuerte correlación con el tema. Esto me permite tomar medidas apropiadas sobre determinados temas de interés. Mi conjunto de datos actual tiene una variable de resultado.
¿Puede comentar sobre el siguiente enfoque: construir los temas (número de temas basados en un valor singular ** bleep ** punto de corte porcentual), guardar los vectores de temas del documento, ejecutar genreg con los temas, mirar los temas de menor impacto, identifique el término principal de cada tema de bajo impacto y agréguelo como una palabra de parada, y luego repita el ciclo hasta llegar a una solución "viable".
Re: interpretación de la puntuación del temaJeff
Gracias por tu pregunta Permítanme agregar a la excelente explicación de Laura. Sí, el término carga de tema representa la correlación entre un término y el tema latente correspondiente. Sin embargo, JMP no escala los vectores de temas del documento (es decir, las puntuaciones de los temas) debido a la preocupación de que un DTM podría ser demasiado grande para hacerlo, por lo que las correlaciones entre los vectores de temas del documento y las columnas de DTM no coinciden con el tema del término informado cargas Pero, como descubriste, están muy cerca.
Jian
Re: interpretación de la puntuación del temaHola @JeffSwartzel ,
Excelente pregunta! El análisis semántico latente (LSA) y el análisis de temas (TA) se basan en una descomposición escasa de valores singulares (SVD) para caracterizar la estructura de los datos de una manera muy eficiente. Es decir, a pesar de tener una matriz de términos de documentos (DTM) con cientos o miles de columnas, el algoritmo SVD disperso nos permite obtener solo una fracción de los valores singulares y los vectores singulares (los más importantes).
Para continuar aprovechando la escasa SVD, los puntajes de TA se calculan de manera diferente en PCA y TA rotados (tenga en cuenta que los puntajes son idénticos entre PCA estándar y LSA). En PCA rotado, los puntajes se escalan por el inverso de la matriz de correlación del DTM y los valores singulares (invertir la matriz de correlación del DTM sería intratable con un gran corpus; imagine invertir una matriz con miles de columnas). Mientras que las puntuaciones de TA omiten esta escala. Los puntajes de TA son simplemente una proyección del DTM en el espacio girado de menor dimensión.
Además, encontramos que los puntajes de TA están altamente correlacionados con los puntajes de PCA (> .90) a pesar de las diferencias en los cálculos. Es importante destacar que las cargas de temas SON la correlación exacta de la columna DTM y el componente PCA correspondiente. Por lo tanto, podemos pensar en los puntajes de TA como muy buenas aproximaciones de los puntajes de PCA.
HTH
~ Laura
PD Estas son las fórmulas:
pcaScores = DTM_s * Inversa (DTM_cor) * evec * Diag (Sqrt (eval)) * rotMat
taScores = DTM_s * evec * rotMat
donde DTM_s es el DTM estandarizado, DTM_cor es la matriz de correlación del DTM, evec son los vectores propios (o valores singulares rectos) del DTM, eval son los valores propios (o valores singulares al cuadrado) del DTM, y rotMat es la matriz de rotación .
Re: interpretación de la puntuación del tema¡Gracias!Re: interpretación de la puntuación del temaY para cualquiera que lea esto, hay una versión a pedido de @jiancao transmisión web:
Analítica de Mercadeo e Investigación del Consumidor .
Re: interpretación de la puntuación del temaHola @JeffSwartzel , eso fue @jiancao en el webcast Mastering JMP de hoy.
Al etiquetarlo aquí, se le notificará sobre su pregunta y puede intervenir según corresponda.
¡Gracias!
Re: interpretación de la puntuación del temaHola Chris,
Acabo de ver un seminario web de JMP llamado "Uso de JMP Pro para mejorar el análisis de marketing y la investigación del consumidor (avanzado)".
Me da vergüenza que me perdí el nombre del orador, pero pensé que daba una interpretación muy intuitiva de la carga del tema. Si lo entendí correctamente, la carga del tema para una palabra en particular en un tema podría interpretarse como la correlación entre el vector de esa palabra en la matriz de términos del documento y el vector de tema del documento correspondiente. Para inventar un ejemplo falso, digamos que tenemos "Tema 1" y el primer término en ese tema es "naranjas". La carga en "naranjas" se muestra como 0.85361. Si se calcula la correlación entre "Tema 1" y el vector para "naranjas" en la matriz de términos del documento, también debería ser 0.85361.
Pensé que esta era una gran explicación, e intenté recrearla yo mismo, pero estoy teniendo algunos problemas. Las correlaciones son cercanas pero no exactas. ¿Tienes alguna idea de por qué este podría ser el caso? Si me ayudara, podría intentar dar un ejemplo con el archivo "Aircraft Incidents.jmp".
Cualquier ayuda es apreciada!
Gracias,
-Jeff Swartzel
Re: interpretación de la puntuación del temaGracias. Tengo una pregunta de seguimiento con respecto a la documentación. Actualmente, establece que dentro del análisis del tema, los valores negativos indican una fuerza de repulsión y ocurrirán con menos frecuencia en comparación con los valores positivos.
archivo: /// C: /Program%20Files/SAS/JMPEA/14/Help/index.html#page/jmp%2FBA_Text_Explorer_19.html%23ww428969
Re: interpretación de la puntuación del temaGracias, esto es muy útil.
Scott
Re: interpretación de la puntuación del temaHola, Scott: la mejor manera de comprender los resultados basados en SVD en el Explorador de texto (TE) al comprender que (1) Los resultados de SVD son idénticos a un PCA de la matriz de términos del documento (DTM) y (2) El Análisis de tema es un La rotación VARIMAX de los resultados SVD, lo que significa que el Análisis del tema es matemáticamente idéntico al análisis factorial del DTM.
Esto significa que todas las herramientas interpretativas y las reglas generales que puede extraer de un texto sobre análisis factorial se aplican al análisis de temas. Esto incluye
(1) El signo de los puntajes no tiene significado. Las herramientas numéricas JMP hacen que la carga más grande para cada dimensión (cargas no rotadas) sea positiva. Esta convención se adoptó para hacer que los resultados sean reproducibles y únicos (de lo contrario, pedir 5 dimensiones y luego 10 dimensiones puede conducir a resultados que difieren en un factor de -1). La convención para las cargas tiene que llevarse a cabo y aplicarse a los puntajes.
(2) El análisis de temas basado en la SVD centrada y escalada tiene las mismas reglas para un límite superior del número de factores que en el análisis factorial tradicional. Por ejemplo, si solo hay 10 valores singulares que son mayores que 1.0, nunca pediría más de 10 Temas.
Laura Castro-Schilo, experta residente de JMP I + D en análisis multivariante, ha escrito dos excelentes blogs sobre la comprensión y el aprovechamiento de la correspondencia entre Text Explorer y los métodos estadísticos multivariados clásicos.
Cable JMPer: El nuevo aspecto de Text Explorer
Cable JMPer: Análisis de textos en ciencias sociales: un nuevo espectro de posibilidades
@reese_sj escribió:
Estamos trabajando en el enfoque del Explorador de texto y tratando de comunicar la interpretación de las puntuaciones de tema. Por ejemplo, un valor negativo en comparación con un valor positivo para un término dentro de un tema. ¿Puede dirigirnos a alguien que pueda ayudar con algunos ejemplos? El menú de ayuda sugiere que un término de valor negativo ocurriría con menos frecuencia en comparación con un valor positivo, pero cuando miramos los conjuntos de datos reales, esto no parece estar funcionando.
Entonces parece que es una escala lineal donde cada extremo es positivo y un extremo es negativo. Cuanto más cerca esté una palabra hacia un extremo de la escala, indicaría un uso positivo o negativo. Cualquier perspectiva es apreciada.
