Text Explorer : rechercher des documents similaires à partir d'un document donnéJ'ai donc un corpus avec des milliers de documents qui contiennent les détails des problèmes qui ont été résolus dans le passé. C'est une vaste pile de connaissances. Chaque document possède également des métadonnées (qualité douteuse + omissions). Les documents contiennent plus de 100 jetons qui racontent l’histoire de ce qui a été fait.
Imaginez ce cas d'utilisation : grâce aux filtres et aux métadonnées, j'ai trouvé un document (ID#5678) assez proche du problème que j'essaie de résoudre maintenant. Comment retrouver facilement tous les documents similaires au #5678 ?
Avec ma connaissance actuelle de la plate-forme Text Explorer, je pourrais faire une analyse de sujet, puis rechercher à quel sujet appartient le sujet n° 5678 (disons n° 10), puis regarder tous les documents où sujet = 10.
Y a-t-il une meilleure manière de faire cela?
Merci d'avance de la part de la tempête de Kuala Lumpur, en Malaisie !
Modélisation statistique avancéeExploration et visualisation des donnéesRe : Text Explorer : trouver des documents similaires à partir d'un document donnéSalut @markschahl !
L'analyse de sujet est un moyen, je suis également fan des tracés SVD eux-mêmes (exemple dans l'image ci-dessous également JMP Docs 1 et JMP Docs 2 ). Les vrilles qui s'éloignent du centre de l'intrigue ont tendance à avoir des thèmes similaires. Les tracés doc SVD et terme SVD fournissent des vues légèrement différentes des données. Vous voudrez jeter un oeil aux deux. Avec un peu de chance, votre document d'intérêt se trouvera loin sur une vrille, ce qui devrait vous donner de bons candidats.
Puisque vous disposez de métadonnées et de jetons, vous pouvez également essayer le complément Torch. Il propose des modèles de langage qui pourraient faire l’affaire.
Re : Text Explorer : trouver des documents similaires à partir d'un document donnéEn plus de la suggestion de @MikeD_Anderson , vous pouvez également obtenir de bons résultats en utilisant l'analyse discriminante et des correspondances. Voici une entrée de blog qui détaille le processus.
Re : Text Explorer : trouver des documents similaires à partir d'un document donnéJe pense que vous souhaitez exclure les jetons décrivant la solution, car vous recherchez des problèmes similaires ayant des solutions différentes.
Re : Text Explorer : trouver des documents similaires à partir d'un document donnéJed :
Merci. J'ai essayé ça. Au lieu d'auteurs, j'avais un type de plate-forme de fabrication (pensez au type d'unité de traitement dans une raffinerie ou une usine chimique). Pouvons-nous prédire la plate-forme de fabrication à partir des mots contenus dans le texte de description ? Le taux global d’erreurs de classification était de 60 %. En examinant le résumé de la classification, le taux prévu le plus élevé était d'environ 0,6. Il est donc raisonnable de conclure que les problèmes d’une plate-forme ne lui sont pas propres, ce qui est logique puisqu’il existe de nombreux équipements/processus communs à toutes les plates-formes. Mon hypothèse selon laquelle nous devrions rechercher des solutions sur toutes les plateformes semble raisonnable...
Re : Text Explorer : trouver des documents similaires à partir d'un document donnéMike:
Ce qui est intéressant, c'est de comparer l'analyse de sujet à SVD. SVD montre qu'environ 56 % parlent de la même ou des mêmes choses.
Je repense au nombre de sujets/clusters que je devrais demander. Des conseils ? Existe-t-il un équivalent pour un éboulis ?
Re : Text Explorer : trouver des documents similaires à partir d'un document donnéCraige :
J'ai beaucoup de métadonnées sur les outils/techniques qui ont été utilisés pour résoudre le problème. J'ai recoupé cela avec l'histoire en texte libre : c'est-à-dire, puis-je faire confiance aux métadonnées ou à l'histoire comme étant la vraie vérité. Je vais essayer votre suggestion : JMP est un jeton haute fréquence dans le corpus...
J'espère que la retraite vous traite bien !
