Interprétation de la partition du sujetNous travaillons sur l'approche de l'explorateur de texte et essayons de communiquer l'interprétation des scores des sujets. Par exemple, une valeur négative par rapport à une valeur positive pour un terme dans un sujet. Pouvez-vous nous diriger vers quelqu'un qui peut vous aider avec quelques exemples? Le menu d'aide suggère qu'un terme de valeur négative se produirait moins fréquemment qu'une valeur positive, mais lorsque nous examinons les ensembles de données réels, cela ne semble pas jouer.
Il semble donc que ce soit une échelle linéaire où chaque extrémité est positive et une extrémité est négative. Plus un mot est proche d'une extrémité de l'échelle, cela indiquerait une utilisation positive ou négative. Toute perspective est appréciée.
Re: Interprétation de la partition du sujetSalut Laura,
Désolé, j'ai lu cette réponse, mais je n'ai jamais dit merci. Merci beaucoup! Ce fut très utile.
-Jeff
Re: Interprétation de la partition du sujetTechniquement, l'inverse s'appliquerait également mais, dans la pratique, je ne m'attendrais pas à ce que vous rencontriez ce scénario. La raison en est que nous n'inversons le signe que lorsque la plupart des charges importantes sont négatives. Avec les données textuelles, il n'est pas très courant d'avoir un grand positif et charges négatives. Seulement dans ces cas, vous vous attendez à trouver l'inverse. En somme, vous faites la bonne chose en examinant vos charges de sujets ainsi que vos scores pour vous assurer que vous comprenez la signification des sujets. Vous voulez pouvoir étiqueter chaque sujet (par exemple, "satisfaction avec le produit") afin que vous puissiez ensuite interpréter les scores comme "des scores plus élevés signifient plus de satisfaction avec le produit" ou l'inverse.
Meilleur,
~ Laura
Re: Interprétation de la partition du sujetMerci, cela aide avec mon exemple immédiat. Une question similaire est: dois-je également m'attendre à l'inverse? Par exemple, un exemple fortement négatif dans les graphiques de score de sujet qui se traduit par un score de sujet positif où le texte impliquerait qu'il devrait être fortement négatif?
Re: Interprétation de la partition du sujetsalut @reese_sj ,
Merci d'avoir fait remarquer cela! En effet, il y a des cas où la décomposition en valeurs singulières conduit à des sujets avec des chargements entièrement négatifs. Pour faciliter l'interprétation des sujets, les signes des chargements sont inversés afin qu'ils soient toujours positifs. Dans ces cas, les scores des sujets doivent également être inversés, mais ils ne le sont pas actuellement. Nous en sommes conscients et prévoyons de résoudre ce problème dans une prochaine version. Pour l'instant, vous pouvez créer une nouvelle colonne de formule qui prend les scores des sujets et les multiplie par -1. Un moyen simple de déterminer quels scores de sujet doivent être inversés est de (1) consulter les "Graphiques de score de sujet" sur le rapport, (2) sélectionner les observations avec les scores les plus extrêmes, (3) cliquer sur "Afficher le texte" et (4) vérifier la correspondance entre les documents et les termes du sujet.
Voici un exemple avec les données "Pet Survey.jmp":
J'ai lancé Text Explorer, exécuté une analyse sémantique latente et une analyse de sujet avec tous les paramètres par défaut. Les principales charges pour les deux premiers sujets sont: 
Nous pouvons ensuite examiner les graphiques de score et obtenir le texte des scores les plus élevés du sujet 1: 
Les charges de sujet positives correspondent au contenu des documents. Donc, plus haute les notes du sujet 1 indiquent des documents plus sur "les chiens qui gardent les maisons".
En revanche, lorsque nous examinons le texte dans les valeurs les plus extrêmes du sujet 2, nous constatons que inférieur les scores correspondent à des documents plus sur "les chiens de traîneau appréciant les promenades en traîneau en hiver" 
La façon la plus simple d'identifier les moments où les scores doivent être inversés est peut-être lorsque les valeurs les plus extrêmes sont négatives, mais les charges pour ce sujet sont positives: 
J'espère que cela vous permettra d'avancer dans votre analyse!
Meilleur,
~ Laura
Re: Interprétation de la partition du sujetProblème possible avec l'interprétation du Topic Score:
J'ai un sujet qui "semble" avoir un effet positif sur mon nombre d'étoiles. J'ai utilisé le DTM et les colonnes d'indicateur pour examiner les 2 termes principaux du sujet - "Absolutley" et "Love". Comme on le voit, lorsque j'utilise l'un des mots, mon nombre d'étoiles augmente et si j'utilise les deux mots, il augmente encore plus. Notez qu'il s'agit d'un très petit N.
En approfondissant cela, il semble que lorsque j'enregistre mes sujets, il existe une corrélation négative entre le nombre et la façon dont le terme est marqué. Cela se produit même si le chargement est positif. J'ai pu le parcourir et le trouver pour ce sujet, mais si je devais le charger dans genreg (ou toute autre approche de modélisation), je n'ai aucune idée si les effets sont corrects - montrant positifs ou négatifs pour les sujets sans parcourir manuellement chaque sujet et chaque terme pour s'assurer qu'ils sont traités de manière appropriée.
Vu ci-dessous, si j'utilise les mots Absolument et Amour, plus ils sont utilisés ou s'ils sont utilisés ensemble, cela entraîne un effet négatif significatif selon toutes les approches de modélisation.
Re: Interprétation de la partition du sujetJe vais certainement essayer ça. Je vous remercie.
Re: Interprétation de la partition du sujetScott,
Si votre objectif est de filtrer les termes qui sont pertinents pour votre variable de résultat, vous voudrez peut-être simplement exécuter GenReg avec les colonnes DTM. Puisqu'il s'agit d'une grande régression, il faudra un certain temps pour terminer. Par exemple, le ouctome est une réponse de type Oui / Non et j'ai exécuté le Lasso avec 1 782 colonnes DTM binaires sur un ensemble de données de 18 000 lignes. Il a fallu environ 20 minutes pour terminer. J'ai trouvé 483 termes actifs (non nuls). Si je ne garde que les termes statistiquement significatifs (valeur p <0,05), le nombre de termes n'est que de 203.
Une approche plus visuelle consiste à utiliser l'option Coloration / Par valeur de colonne dans Word Cloud. La coloration des mots par la variable de résultat vous permet de voir quels mots sont associés aux résultats. Ceux de couleur mélangée ne sont pas ou moins associés au résultat.
Jian
Re: Interprétation de la partition du sujetSoit dit en passant, j'ai utilisé un signe de pourcentage, et l'entrée a été recodée comme un "Bip". peut-être une autre opportunité de recoder 
(visage souriant).
Re: Interprétation de la partition du sujetAlors que je continue d'évoluer et d'améliorer mes sujets, je recherche des conseils sur l'ajout de mots vides. Je sais que chaque terme est corrélé à chaque sujet, mais je voudrais un moyen de réduire la diversité de chaque sujet de sorte qu'il y ait moins de termes qui ont une forte corrélation avec le sujet. Cela me permet de prendre des mesures appropriées sur certains sujets d'intérêt. Mon ensemble de données actuel a une variable de résultat.
Pouvez-vous commenter l'approche suivante: créer les sujets (nombre de sujets basés sur une valeur singulière ** bip ** pourcentage de coupure), enregistrer les vecteurs de sujet du document, exécuter genreg avec les sujets, regarder les sujets de moindre impact, identifiez le terme principal de chaque sujet à faible impact et ajoutez-le comme un mot d'arrêt, puis répétez le cycle jusqu'à ce que j'arrive à une solution «réalisable».
Re: Interprétation de la partition du sujetJeff,
Merci pour ta question. Permettez-moi d'ajouter à l'excellente explication de Laura. Oui, le terme chargement de sujet représente la corrélation entre un terme et un sujet latent correspondant. Cependant, les vecteurs de sujet de document (c.-à-d. Les scores de sujet) ne sont pas mis à l'échelle par JMP par crainte qu'un DTM soit trop volumineux pour le faire, de sorte que les corrélations entre les vecteurs de sujet de document et les colonnes DTM ne correspondent pas au terme rapporté sujet chargements. Mais, comme vous l'avez découvert, ils sont très proches.
Jian
Re: Interprétation de la partition du sujetsalut @JeffSwartzel ,
Excellente question! L'analyse sémantique latente (LSA) et l'analyse thématique (TA) s'appuient sur une décomposition clairsemée de valeurs singulières (SVD) pour caractériser la structure des données de manière très efficace. C'est-à-dire qu'en dépit d'une matrice de termes de document (DTM) avec des centaines ou des milliers de colonnes, l'algorithme SVD clairsemé ne nous permet d'obtenir qu'une fraction des valeurs singulières et des vecteurs singuliers (les plus importants).
Pour continuer à profiter de la SVD clairsemée, les scores TA sont calculés différemment dans les PCA et TA tournés (notez que les scores sont identiques entre les PCA standard et les LSA). Dans l'ACP pivotée, les scores sont mis à l'échelle par l'inverse de la matrice de corrélation du DTM et des valeurs singulières (inverser la matrice de corrélation du DTM serait intraitable avec un grand corpus; imaginez inverser une matrice avec des milliers de colonnes). Alors que les scores TA omettent cette mise à l'échelle. Les scores TA sont simplement une projection du DTM sur l'espace dimensionnel tourné inférieur.
De plus, nous constatons que les scores TA sont fortement corrélés avec les scores PCA (> .90) malgré les différences de calculs. Surtout, les chargements de rubrique SONT la corrélation exacte de la colonne DTM et du composant PCA correspondant. Ainsi, nous pouvons considérer les scores TA comme de très bonnes approximations des scores PCA.
HTH,
~ Laura
PS Ce sont les formules:
pcaScores = DTM_s * Inverse (DTM_cor) * evec * Diag (Sqrt (eval)) * rotMat
taScores = DTM_s * evec * rotMat
où DTM_s est le DTM normalisé, DTM_cor est la matrice de corrélation du DTM, evec sont les vecteurs propres (ou valeurs singulières droites) du DTM, eval sont les valeurs propres (ou valeurs singulières au carré) du DTM, et rotMat est la matrice de rotation .
Re: Interprétation de la partition du sujetMerci!Re: Interprétation de la partition du sujetEt pour tous ceux qui lisent ceci, il existe une version à la demande de @jiancao webcast de:
Analyse marketing et recherche consommateurs .
Re: Interprétation de la partition du sujetsalut @JeffSwartzel , c'était @jiancao lors de la webémission Mastering JMP d'aujourd'hui.
En le marquant ici, il sera informé de votre question et pourra sonner si nécessaire.
Merci!
Re: Interprétation de la partition du sujetSalut chris,
Je viens de regarder un webinaire JMP intitulé "Utilisation de JMP Pro pour Enhanced Marketing Analytics & Consumer Research (Advanced)".
Je suis gêné d'avoir raté le nom de l'orateur, mais j'ai pensé qu'il donnait une interprétation très intuitive des sujets chargés. Si je l'ai bien compris, le chargement de sujet pour un mot particulier dans un sujet pourrait être interprété comme la corrélation entre le vecteur de ce mot dans la matrice de termes du document et le vecteur de sujet de document correspondant. Pour inventer un faux exemple, disons que nous avons "Sujet 1" et le premier terme dans ce sujet est "oranges". Le chargement sur les "oranges" est indiqué par 0,85361. Si l'on calcule la corrélation entre "Thème 1" et le vecteur "oranges" dans la matrice des termes du document, elle devrait également être de 0,85361.
J'ai pensé que c'était une excellente explication, et j'ai essayé de la recréer moi-même, mais j'ai des problèmes. Les corrélations sont proches mais pas exactes. Avez-vous des idées sur la raison pour laquelle cela pourrait être le cas? Si cela pouvait aider, je pourrais essayer de fournir un exemple avec le fichier "Aircraft Incidents.jmp".
Toute aide est appréciée!
Merci,
-Jeff Swartzel
Re: Interprétation de la partition du sujetJe vous remercie. J'ai une question de suivi concernant la documentation. Actuellement, il indique que dans l'analyse du sujet, les valeurs négatives indiquent une force de répulsion et se produiront avec moins de fréquence que les valeurs positives.
fichier: /// C: /Program%20Files/SAS/JMPEA/14/Help/index.html#page/jmp%2FBA_Text_Explorer_19.html%23ww428969
Re: Interprétation de la partition du sujetMerci, c'est très utile.
Scott
Re: Interprétation de la partition du sujetSalut Scott - La meilleure façon de comprendre les résultats basés sur SVD dans Text Explorer (TE) en comprenant que (1) Les résultats SVD sont identiques à une PCA de la matrice de termes de document (DTM) et (2) L'analyse de sujet est un Rotation VARIMAX des résultats SVD, ce qui signifie que l'analyse thématique est mathématiquement identique à une analyse factorielle du MNT.
Cela signifie que tous les outils d'interprétation et règles empiriques que vous pouvez glaner dans un texte sur l'analyse factorielle s'appliquent à l'analyse de sujet. Ceci comprend
(1) Le signe des scores n'a pas de sens. Les outils numériques JMP permettent de faire en sorte que la plus grande charge pour chaque dimension (charges non rotatives) soit positive. Cette convention a été adoptée pour rendre les résultats reproductibles et uniques (sinon demander 5 dimensions puis 10 dimensions peut conduire à des résultats qui diffèrent d'un facteur -1). La convention pour les chargements doit être respectée et appliquée aux scores.
(2) L'analyse thématique basée sur la SVD centrée et échelonnée a les mêmes règles pour une limite supérieure du nombre de facteurs que dans l'analyse factorielle traditionnelle. Par exemple, s'il n'y a que 10 valeurs singulières supérieures à 1,0, vous ne demanderez jamais plus de 10 rubriques.
Laura Castro-Schilo, experte résidente de JMP R & D en analyse multivariée, a écrit deux excellents blogs sur la compréhension et l'utilisation de la correspondance entre Text Explorer et les méthodes statistiques multivariées classiques.
Câble JMPer: Le nouveau look de Text Explorer
Câble JMPer: Analyse de texte en sciences sociales: un nouveau spectre de possibilités
@reese_sj a écrit:
Nous travaillons sur l'approche de l'explorateur de texte et essayons de communiquer l'interprétation des scores des sujets. Par exemple, une valeur négative par rapport à une valeur positive pour un terme dans un sujet. Pouvez-vous nous diriger vers quelqu'un qui peut vous aider avec quelques exemples? Le menu d'aide suggère qu'un terme de valeur négative se produirait moins fréquemment qu'une valeur positive, mais lorsque nous examinons les ensembles de données réels, cela ne semble pas jouer.
Il semble donc que ce soit une échelle linéaire où chaque extrémité est positive et une extrémité est négative. Plus un mot est proche d'une extrémité de l'échelle, cela indiquerait une utilisation positive ou négative. Toute perspective est appréciée.
