Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (ACV) sur mes données textuellesBonjour à tous,
J'ai utilisé LCA du formulaire d'explorateur de texte pour regrouper mes données texte, mais à chaque fois que je l'exécute. cela me donne des résultats différents. Quelqu'un sait pourquoi cela arrive?
Aussi, quelle est la différence entre ces deux méthodes de clustering sur la plate-forme de l'explorateur de texte, analyse de classe latente (ACV) et regroupement de documents dans l'analyse sémantique latente ?
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesJ'ai pensé publier une réponse que j'ai reçue du support technique de JMP sur la définition de la valeur de départ aléatoire.
"Pour générer des résultats reproductibles à partir de l'analyse des classes latentes dans l'explorateur de texte, vous devez définir la graine aléatoire avant chaque utilisation de la fonction JSL Random Reset().
Voici un exemple utilisant les données de l'échantillon Pet Survey qui correspond cinq fois à l'ACV, avec la réinitialisation de la graine aléatoire avant chaque. Les 5 résultats d'ACV doivent être identiques."
dt = ouvrir ( "$SAMPLE_DATA/Enquête sur les animaux domestiques.jmp" );
te= Explorateur de texte (
Colonnes de texte ( :Réponse à l'enquête ),
Définir Regex( Bibliothèque( "Mots" ) ),
Langue( "Anglais" ),
);
pour (je= 1 , je<= 5 , je++, //exécuter LCA cinq fois
Réinitialisation aléatoire ( 123 ); // définit la graine aléatoire avant chaque
lca=te<< Analyse de classe latente (
Nombre de grappes( 5 ),
Nombre maximal de mandats( 143 ),
Fréquence minimale des mandats( 2 )
));
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesVous pouvez également trouver de nombreuses réponses dans la documentation JMP.
Voir Aide > Livres > Analyse de base > Explorateur de texte.
Voir Aide > Livres > Méthodes multivariées > Analyse des classes latentes.
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesEh bien, les deux méthodes utilisent des graines aléatoires pour les clusters initiaux, il y a donc la différence d'exécution que vous avez observée.
La méthode LCA dédiée dans le TE peut gérer des matrices beaucoup plus grandes. Les chiffres peuvent entraîner une différence, mis à part l'aspect de graine aléatoire.
L'as tu essayé? Vous pouvez enregistrer le DTM avec la pondération de TE, puis l'analyser avec la plate-forme LCA distincte de TE.
S'il vous plaît pas que le identité des grappes est aléatoire, mais la composition de chaque grappe doit être stable, mais pas nécessairement identique. Autrement dit, le cluster 1 dans une exécution peut devenir le cluster 10 dans une autre exécution ou une autre plate-forme, mais les constituants doivent être essentiellement les mêmes. S'il n'y a pas beaucoup de similitude entre les documents, il peut y avoir des changements importants dans les clusters d'une exécution à l'autre ou d'une plateforme à l'autre. Le choix du nombre de clusters peut également affecter la stabilité de la composition des clusters.
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesJe remarque également que LSA peut regrouper des documents, a-t-il des résultats différents de ceux des clusters dans LCA ?
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesJe n'ai pas répondu à l'une de vos questions initiales sur la différence entre l'analyse de classe latente et l'analyse sémantique latente. Ces deux méthodes produisent des clusters. Les deux méthodes sont basées sur l'expression de variables latentes. L'ACV regroupe les documents en fonction de la matrice document-terme pondérée, la question porte donc sur des documents similaires. LSA regroupe les termes, également basés sur le DTM pondéré, donc la question porte sur les termes. Les clusters de LSA peuvent identifier des sujets latents.
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesLa plate-forme LCA et la LCA disponible dans la plate-forme Text Explorer accomplissent la même tâche. La plate-forme ACV est un outil général pour tout ensemble de données multivariées. Cependant, l'ACV intégrée à TE a été personnalisée pour l'analyse de texte. Premièrement, les résultats du regroupement sont présentés dans le contexte de la recherche de documents similaires dans le corpus. Deuxièmement, la matrice éparse des termes de document nécessite une nouvelle solution à la décomposition en valeurs singulières.
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesMerci! Ça marche!
De plus, je suis curieux de connaître la différence entre l'ACV dans la plate-forme d'exploration de texte et les documents de cluster dans l'analyse sémantique latente, une idée ?
Re : Le résultat du clustering change à chaque fois que j'effectue une analyse de classe latente (LCA) sur mes données textuellesLCA utilise des graines aléatoires pour commencer le processus de regroupement. Je pense que vous pouvez définir la graine aléatoire avant chaque exécution de LCA et reproduire l'ajustement précédent.
