Explorador de texto: busque documentos similares a partir de un documento determinadoEntonces, tengo un corpus con miles de documentos que contienen los detalles de los problemas que se han resuelto en el pasado. Es una gran cantidad de conocimientos. Cada documento también tiene metadatos (calidad dudosa + omisiones). Los documentos tienen más de 100 fichas que cuentan la historia de lo que se hizo.
Imagine este caso de uso: a través de filtros y metadatos, encontré un documento (ID#5678) que se acerca bastante al problema que estoy tratando de resolver ahora. ¿Cómo puedo encontrar fácilmente todos los documentos similares al n.º 5678?
Con mi conocimiento actual de la plataforma Text Explorer, podría hacer un análisis de tema, luego buscar a qué tema pertenece #5678 (por ejemplo, #10) y luego mirar todos los documentos donde Tema=10.
¿Hay una mejor manera de hacer esto?
¡Gracias de antemano desde la tormentosa Kuala Lumpur, Malasia!
Modelado estadístico avanzadoExploración y visualización de datosRe: Explorador de texto: busque documentos similares a partir de un documento determinado¡Hola, @markschahl !
El análisis de temas es unidireccional, también soy fanático de los gráficos SVD (ejemplo en la imagen a continuación también JMP Docs 1 y JMP Docs 2 ). Los zarcillos que se alejan del centro de la trama tienden a tener temas similares. Los gráficos doc SVD y term SVD proporcionan vistas ligeramente diferentes de los datos. Querrás echar un vistazo a ambos. Con un poco de suerte, su documento de interés quedará muy lejos en un zarcillo que debería brindarle algunos buenos candidatos.
Dado que tiene metadatos y tokens, también puede probar el complemento Torch. Tiene algunos modelos de lenguaje que podrían funcionar.
Re: Explorador de texto: busque documentos similares a partir de un documento determinadoAdemás de la sugerencia de @MikeD_Anderson , también puede obtener buenos resultados utilizando el análisis discriminante y de correspondencia. Aquí hay una entrada de blog que detalla el proceso.
Re: Explorador de texto: busque documentos similares a partir de un documento determinadoCreo que desea excluir los tokens que describen la solución porque busca problemas similares que tenían soluciones diferentes.
Re: Explorador de texto: busque documentos similares a partir de un documento determinadoJED:
Gracias. Lo intenté. En lugar de Autores, tenía el tipo de plataforma de fabricación (piense en el tipo de unidad de procesamiento en una refinería o planta química). ¿Podemos predecir la plataforma de fabricación a partir de las palabras del texto de descripción? La tasa general de clasificación errónea fue del 60%. Al observar el resumen de la clasificación, la tasa más alta prevista fue ~0,6. Por lo tanto, es seguro concluir que los problemas de una plataforma no son exclusivos de esa plataforma, lo cual tiene sentido ya que hay muchos equipos/procesos que son comunes entre plataformas. Mi hipótesis de que deberíamos buscar soluciones en todas las plataformas parece razonable...
Re: Explorador de texto: busque documentos similares a partir de un documento determinadoMiguel:
Lo interesante es comparar el análisis de temas con la SVD. SVD muestra que ~56% está hablando de lo mismo(s).
Estoy reconsiderando cuántos temas/grupos debería solicitar. ¿Alguna orientación? ¿Existe un diagrama de pantalla equivalente para esto?
Re: Explorador de texto: busque documentos similares a partir de un documento determinadoCraige:
Tengo muchos metadatos sobre qué herramientas/técnicas se utilizaron para resolver el problema. He estado cotejando eso con la historia en texto de formato libre: es decir, ¿puedo confiar en los metadatos o en la historia como la verdad real? Probaré tu sugerencia: JMP es un token de alta frecuencia en el corpus...
¡Espero que la jubilación te esté tratando bien!
