Stratégies de suppression de termes sans importance dans l'analyse de l'explorateur de texteJe suis curieux de savoir quel type de stratégies les gens utilisent pour décider comment supprimer les termes peu importants d'une analyse Explorateur de texte.
Je travaille avec un client et il souhaite réduire le nombre de termes à quelque chose de plus gérable, ce qui explique davantage la variation en pourcentage lorsque l’analyse sématique latente est effectuée (le pourcentage cumulé indiqué sous la valeur individuelle).
Ils effectuent de manière interactive une analyse LSA puis RotatedTopic pour les x% supérieurs du pourcentage cumulé de la valeur singulière (ils souhaitent atteindre 70%), puis suppriment les termes.
Comment pouvons-nous supprimer les termes de manière intelligente?
Je leur ai suggéré d'utiliser la valeur absolue de chaque terme pour chaque sujet et de choisir les scores les plus bas (car ces mots ne contribuent à AUCUN sujet).
Ils utilisaient également Gen Reg pour modéliser des sujets par rapport à une variable de résultat afin de trouver des sujets sans importance pour ce résultat, et en supprimant les termes les plus courants des sujets à éducation zéro (avec LASSO). Je suis moins sûr de cette approche.
Avez-vous d'autres idées ou idées? Devrais-je poster ceci à la communauté publique?
Re: Stratégies pour supprimer les termes sans importance dans l'analyse de l'explorateur de texteessayez de faire des mots vides à partir de tous les termes qui ont plus d'occurrences qu'il n'y a de documents. Lorsque j'ai fait cela pour les livres du projet Gutenberg, cela a permis de mieux séparer les langues car le texte standard anglais avait disparu. Au moins c'est comme ça que j'ai interprété les résultats.
Re: Stratégies pour supprimer les termes sans importance dans l'analyse de l'explorateur de texteIl existe de nombreux principes directeurs et règles, mais il existe de nombreuses exceptions. Les règles ne vous mènent que jusqu'à présent. Une analyse significative demande à un expert du domaine de passer beaucoup de temps à examiner la liste de termes (et plus tard la liste de phrases) pour découvrir des termes dénués de sens et les arrêter (à la manière de Craige). Oui, je parle de la liste un par un.
Donc, cette analyse n'est pas un processus entièrement automatisé. Les paramètres de marquage, de dénomination et de phrasé peuvent aider, mais ils sont un sledghammer, pas un scalpel. Tous les experts à qui j'ai parlé lors de la rédaction du cours pour JMP m'ont dit que l'analyste devait passer ce temps sur la liste. Ils utilisaient SAS Text Miner, un système d'analyse beaucoup plus puissant que JMP, et ne pouvaient toujours pas éviter ce travail.
Explorateur de texte fournit des outils merveilleux pour l'analyste. Des outils, pas une solution.
J'ajouterais qu'il est vraiment utile de définir les questions auxquelles l'analyse doit répondre. Cet ensemble de questions vous servira bien lorsque vous demanderez: "Dois-je conserver ce terme?" ou "Comment pourrais-je utiliser ce terme?"
Re: Stratégies pour supprimer les termes sans importance dans l'analyse de l'explorateur de texteAjout du support à @markbailey . Mis à part l’abandon de mots communs, etc. comme @Craige_Hales suggère, ceci est un processus extrêmement manuel. Un bon livre pour comprendre les grandes lignes citées par Mark est Mineral Text Practical de Miner's - mais il y a beaucoup d'essais et d'erreurs dans tous les sens.
MRe: Stratégies pour supprimer les termes sans importance dans l'analyse de l'explorateur de texteExcellentes suggestions! Je cherche spécifiquement quelque chose après avoir fait tout le curage de termes et de phrases - quelque chose qui est une technique analytique au-delà de "Je pense que ce mot pourrait être important". J'aime la suggestion de Craige!
Nous disposons de techniques ANALYTIQUES pour trouver les termes les plus élevés. Qu'en est-il des termes les plus bas?
Re: Stratégies pour supprimer les termes sans importance dans l'analyse de l'explorateur de texteSalut Laura,
Une des choses dont je me souvenais de loin était la suggestion de générer la matrice SVD Scatterplot et d’utiliser ce graphique comme outil pour aider à trouver des mots vides à la fois dans le terme et dans la liste. Sélectionnez quelques phrases et cela mettra également en évidence les termes. Vous pouvez ensuite "Afficher le texte" pour voir si vous souhaitez conserver les termes / phrases ou les ajouter en tant que mots vides.
Meilleur,
Facture
Re: Stratégies pour supprimer les termes sans importance dans l'analyse de l'explorateur de texteSi l'objectif est de filtrer les termes importatnt qui sont pertinents pour une variable de résultat, vous pouvez simplement exécuter GenReg pour la sélection de variable directement avec les colonnes DTM. Comme il s’agit d’une régression importante, il faudra un certain temps pour terminer. Pour l'exemple des données du Toronto Casino, j'ai exécuté le Lasso avec 1 787 colonnes DTM binaires. Il a fallu environ 20 minutes pour terminer. J'ai trouvé 483 termes actifs (non nuls) dont 203 sont statistiquement significatifs (valeur p <0,05).
Une approche plus visuelle consiste à utiliser l'option Coloration / Par valeur de colonne dans Word Cloud. La coloration des mots en fonction de la variable de résultat vous permet de voir quels mots sont associés aux résultats. Les couleurs mélangées ne sont pas ou moins associées au résultat.
