Estrategias para eliminar términos sin importancia en Text Explorer AnalysisTengo curiosidad por saber qué tipo de estrategias están utilizando las personas para decidir cómo eliminar términos no importantes de un análisis del Explorador de texto.
Estoy trabajando con un cliente y quieren reducir el número de términos a algo más manejable, y algo que explique más la variación porcentual cuando se realiza el análisis semático latente (el porcentaje de Cum reportado bajo el valor de singluar).
Están realizando un análisis de TSA rotativo y luego de LSA para el x% superior del valor porcentual de Singular (quieren llegar al 70%) y luego eliminan los términos.
¿Cómo eliminamos los términos de una manera inteligente?
Sugerí que usen el valor absoluto de cada término para cada tema y escojan las puntuaciones más bajas (porque esas palabras no contribuyen a CUALQUIER tema).
También utilizaron Gen Reg para modelar los temas en comparación con una variable de resultado para encontrar temas que no son importantes para ese resultado, y eliminar los términos principales de los temas de edición cero (con el LASSO). Estoy menos seguro de este enfoque.
¿Algún otro pensamiento o idea por ahí? ¿Debo publicar esto en la comunidad pública?
Re: Estrategias para eliminar términos sin importancia en Text Explorer Analysisintente hacer palabras de parada con todos los términos que tienen más apariciones que documentos. Cuando hice eso para los libros del proyecto Gutenberg, los idiomas se separaron mejor porque el texto en inglés estaba desaparecido. Al menos así es como interpreté los resultados.
Re: Estrategias para eliminar términos sin importancia en Text Explorer AnalysisHay muchos principios y reglas de guía, pero hay muchas excepciones. Las reglas solo te llevan tan lejos. Un análisis significativo requiere que un experto en dominios dedique un tiempo considerable a examinar la lista de términos (y luego la lista de frases) para descubrir términos sin sentido y detenerlos (ala Craige). Sí, me refiero a curar la lista un término a la vez.
Entonces este análisis no es un proceso totalmente automatizado. Los parámetros Tokenizing, terming y phrasing ayudan pero son un sledghammer, no un bisturí. Todos los expertos con los que hablé mientras escribía el curso para JMP me dijeron que el analista debe pasar este tiempo en la lista. Estaban usando SAS Text Miner, un sistema de análisis mucho más poderoso que JMP, y aún así no pudieron evitar este trabajo.
Text Explorer proporciona herramientas maravillosas para el analista. Herramientas, no una solución.
Debo agregar que realmente ayuda definir las preguntas que deben ser respondidas por el análisis. Este conjunto de preguntas le servirá bien cuando pregunte: "¿Debo mantener este término?" o "¿Cómo usaría este término?"
Re: Estrategias para eliminar términos sin importancia en Text Explorer AnalysisAñadiendo soporte a @markbailey . Aparte de deshacerse de palabras de conexión comunes, etc. como @Craige_Hales Sugiere, este es un proceso extremadamente manual. Un buen libro para obtener los trazos generales que Mark menciona es Miner Practical Text Mining de Miner, pero es una gran cantidad de prueba y error de cualquier forma en que lo cortes.
METRORe: Estrategias para eliminar términos sin importancia en Text Explorer Analysis¡Grandes sugerencias! Estoy buscando específicamente algo después de hacer todo el término y la curación de frases, algo que es una técnica analítica más allá de "Creo que esta palabra podría ser importante". ¡Me encanta la sugerencia de Craige!
Tenemos técnicas ANALÍTICAS para encontrar los mejores términos, entonces, ¿qué pasa con los términos más bajos?
Re: Estrategias para eliminar términos sin importancia en Text Explorer AnalysisHola Laura,
Una de las cosas que recordé de hace mucho tiempo fue la sugerencia de generar la Matriz de Diagrama de Dispersión de la SVD y usar esa gráfica como herramienta para ayudar a encontrar palabras clave tanto en el término como en la lista de frases. Selecciona algunas frases y también destacará los términos. Luego puede "Mostrar texto" para ver si desea conservar o no los términos / frases o agregarlos como palabras para detener.
Mejor,
Cuenta
Re: Estrategias para eliminar términos sin importancia en Text Explorer AnalysisSi el objetivo es eliminar los términos importantes que son relevantes para una variable de resultado, puede ejecutar GenReg para la selección de variables directamente con las columnas de DTM. Ya que es una gran regresión, tomará un tiempo terminarla. Para el ejemplo de los datos del Casino de Toronto, corrí el Lasso con 1,787 columnas binarias DTM. Tardó unos 20 minutos en completarse. Encontré 483 términos activos (no cero) de los cuales 203 son estadísticamente significativos (valor de p <0,05).
Un enfoque más visual es usar la opción Coloring / By Column Value en Word Cloud. Colorear las palabras con la variable de resultado le permite ver qué palabras están asociadas con los resultados. Los que tienen colores mezclados no están asociados con el resultado.
