Conférencier
|
Transcription
|
| Ross Metusalem |
Bonjour à tous, et merci d'avoir pris le temps d'apprendre comment JMP étend sa boîte à outils d'exploration de texte dans JMP Pro 16 avec |
| |
analyse des sentiments et sélection des termes. |
| |
Je m'appelle Ross Metusalem, ingénieur système chez JMP dans le sud-est des États-Unis, et je vais vous donner un aperçu de ces deux nouvelles analyses, expliquer un peu leur fonctionnement et vous proposer quelques bonnes pratiques pour les utiliser. |
| |
Ces deux techniques d'analyse arrivent donc dans Text Explorer, qui pour ceux qui ne sont pas familiers, il s'agit de JMP. |
| |
outil d'analyse de ce que nous appelons des textes libres ou non structurés, c'est-à-dire des textes en langage naturel. |
| |
Et c'est ce que nous appelons un outil d'exploration de texte, c'est donc un outil permettant de dériver des informations quantitatives à partir d'un texte libre afin que nous puissions |
| |
utiliser d'autres types d'outils statistiques ou analytiques pour tirer des informations du texte libre ou peut-être même utiliser ce texte comme contribution à d'autres analyses. |
| |
Jetons donc un coup d'œil à ces deux nouvelles techniques d'exploration de texte qui arrivent dans Text Explorer dans JMP Pro 16, et nous commencerons par l'analyse des sentiments. |
| |
L’analyse des sentiments répond essentiellement à la question de savoir dans quelle mesure un texte est émotionnellement positif ou négatif. |
| |
Et nous allons effectuer une analyse du sentiment sur le Livre Beige, qui est un rapport récurrent de la Réserve fédérale américaine. |
| |
Maintenant, je m'excuse d'avoir utilisé un exemple américain dans JMP Discovery Europe, mais le Livre Beige fournit une belle démonstration de ce qu'est l'analyse des sentiments. |
| |
Il s'agit donc d'une publication mensuelle, elle contient un rapport au niveau national, ainsi que 12 rapports au niveau des districts, qui résument les conditions économiques dans ces districts, et tous sont basés sur des informations qualitatives, comme des entretiens et des enquêtes. |
| |
Et les décideurs politiques américains peuvent utiliser les informations qualitatives du Livre Beige, ainsi que les informations quantitatives, vous savez, des indicateurs économiques traditionnels pour piloter leur politique économique. |
| |
Vous pourriez donc penser que nous parlons actuellement de sentiment ou d’émotion. Je ne sais pas si je m'attends à ce que les rapports économiques contiennent beaucoup d'émotion, mais les rapports du Livre Beige et de nombreux termes contiennent en fait des mots qui peuvent véhiculer ou transmettre de l'émotion. |
| |
Jetons donc un coup d'œil à un extrait d'un rapport. Voici une capture d'écran tout droit sortie de la nouvelle plateforme d'analyse des sentiments. |
| |
Vous remarquerez certains mots surlignés, et c'est ce que nous appellerons des termes de sentiment, c'est-à-dire : |
| |
des termes qui, selon nous, ont un certain contenu émotionnel. Par exemple, au sommet, "les ventes d'ordinateurs, en revanche, ont été sévèrement déprimées". |
| |
où « sévèrement déprimé » est surligné en violet, indiquant que nous considérons que cela véhicule une émotion négative, ce qui semble être le cas si quelqu'un décrit les ventes d'ordinateurs comme « gravement déprimées », il semble que cela signifie pour nous d'interpréter cela comme étant certainement une mauvaise chose. . |
| |
Si nous regardons vers le bas, nous voyons en orange quelques termes de sentiment positif mis en évidence, comme « améliorer » ou « favorable ». Nous pouvons donc rechercher des mots qui, selon nous, ont un impact émotionnel positif ou négatif. |
| |
violet pour négatif, orange pour positif, et certaines analyses de sentiments maintiennent les choses à ce niveau, donc juste une distinction binaire, un texte positif ou un texte négatif. |
| |
Il existe d'autres moyens d'effectuer une analyse des sentiments et, en particulier, |
| |
de nombreuses façons tentent de quantifier le degré de positivité ou de négativité, et pas seulement si quelque chose est positif ou négatif. Considérons donc cet autre exemple et je porterai notre attention vers le bas ici, où nous pouvons voir un rapport sur les « mauvaises ventes ». |
| |
Et je vais comparer cela avec ce que nous disions : « les ventes d'ordinateurs sont gravement déprimées ». |
| |
Ce sont donc deux déclarations négatives, mais je pense que nous serions tous d’accord pour dire que « gravement déprimé » semble beaucoup plus négatif que simplement « pauvre ». |
| |
Nous voulons donc déterminer non seulement si un sentiment est exprimé de manière positive ou négative, mais aussi dans quelle mesure il est positif ou négatif, et c'est ce que propose l'analyse des sentiments dans |
| |
L'Explorateur de texte le fait. Alors comment ça fait ? Eh bien, il utilise une technique appelée analyse lexicale des sentiments qui est basée sur certains termes de sentiment et les scores associés. |
| |
Ce que nous voyons actuellement est un extrait de ce que nous appellerions un dictionnaire de sentiments qui contient les termes et leurs scores. |
| |
Par exemple, le terme « fantastique » a un score positif de 90 et le terme « sinistre » en bas a un score de -75. |
| |
Nous spécifions donc quels termes nous pensons avoir un contenu émotionnel et dans quelle mesure ils sont positifs ou négatifs sur une échelle arbitraire, ici de -100 à 100. |
| |
Et puis nous pouvons trouver ces termes dans tous nos documents et les utiliser pour évaluer dans quelle mesure ces documents sont globalement positifs ou négatifs. |
| |
Si vous repensez à notre exemple « sévèrement déprimé », ce mot « sévèrement » prend le mot « déprimé » et ce que nous appelons l'intensifie. |
| |
Il s'agit d'un intensificateur ou d'un multiplicateur du sentiment exprimé, nous avons donc également un dictionnaire des intensificateurs et de ce qu'ils font au sentiment exprimé par terme de sentiment. |
| |
Par exemple, nous disons « incroyablement » multiplie le sentiment par un facteur de 1,4 alors que « peu » multiplie le sentiment par un facteur de 0,3, donc en fait, vous savez, cela atténue un peu le sentiment exprimé. |
| |
Maintenant, enfin, il y a un autre type de mot que nous voulons prendre en compte : ce sont les négateurs, des choses comme « non » et « non », et nous les traitons essentiellement comme des inversions de polarité. Donc |
| |
"pas fantastique" reviendrait à prendre le score de "fantastique" et à le multiplier par -1. |
| |
Il s’agit donc d’une manière courante de procéder à une analyse des sentiments, encore appelée analyse lexicale des sentiments. Donc ce que nous faisons, c'est prendre les termes de sentiment que nous trouvons, nous les multiplions par tout intensificateur associé. |
| |
ou des négationnistes, puis pour chaque document, lorsque nous avons tous les scores de sentiment pour les termes individuels qui apparaissent, nous faisons simplement la moyenne de tous pour obtenir un score de sentiment pour ce document. |
| |
Et JMP nous renvoie ces scores de plusieurs manières utiles. Il s'agit donc d'une capture d'écran de l'outil d'analyse des sentiments et nous allons, vous savez, l'utiliser dans un instant. |
| |
Mais vous pouvez voir, entre autres choses, que cela nous donne une répartition des scores de sentiment sur tous nos documents. Cela nous donne une liste de tous les termes de sentiment et à quelle fréquence ils surviennent. |
| |
Et nous avons même la possibilité, comme nous le verrons, d'exporter les scores de sentiment pour les utiliser dans des graphiques ou des analyses. |
| |
J'ai donc réalisé quelques graphiques ici pour essayer de voir, dans un premier temps, si le sentiment exprimé dans les rapports du Livre Beige s'aligne réellement sur les événements économiques d'une manière que nous pensons qu'il devrait être ? Vous savez, avons-nous vraiment une certaine validité à cela |
| |
le sentiment comme une sorte d’indicateur économique ? Et la réponse semble être oui, probablement. |
| |
Ici, j'ai un tracé que j'ai réalisé dans Graph Builder ; c'est un sentiment au fil du temps, donc tous les petits points gris sont les rapports individuels |
| |
et le bleu plus lisse montre la tendance du sentiment au fil du temps, avec cette ligne noire à zéro indiquant un sentiment neutre, du moins selon notre système de notation. |
| |
Les zones rouges sont |
| |
périodes de récession économique officiellement répertoriées par la Réserve fédérale. |
| |
Vous remarquerez peut-être que le sentiment semble avoir atteint son point le plus bas ou qu'il y a des creux autour des récessions, mais vous remarquerez peut-être autre chose. |
| |
est qu’avant chaque récession, nous constatons une baisse de la confiance quelques mois ou, dans certains cas, même quelques années à l’avance. Et nous ne voyons pas ces grosses baisses de sentiment |
| |
dans des situations où il n’y avait pas de récession à suivre. Alors peut-être que le sentiment du Livre Beige a une certaine validité en tant qu’indicateur avancé d’une récession. |
| |
Si nous regardons les choses géographiquement, nous voyons aussi des choses qui ont du sens. Ceci n’est qu’un exemple tiré de l’analyse. Nous examinons le sentiment dans le 12 |
| |
Districts de la Réserve fédérale au fil du temps, de 1999 à 2000 et 2001. C'était l'époque de ce qu'on appelle communément le Dotcom Bust, c'est donc à ce moment-là que |
| |
Il y avait une grande bulle d’entreprises technologiques et d’entreprises en ligne qui surgissaient et, finalement, beaucoup d’entre elles ont fait faillite, ce qui a eu des conséquences économiques assez graves. |
| |
De 1999 à 2000, le sentiment s'est accru, en fait le sentiment s'est accru assez fortement, semble-t-il, |
| |
dans le district de la Réserve fédérale de San Francisco, où se trouvent le siège de bon nombre de ces sociétés. Et puis en 2001, après la crise, la plus forte baisse que nous observons jusqu'au sentiment négatif en rouge ici, se produisant à nouveau dans ce quartier de San Francisco. |
| |
Ainsi, une simple vérification graphique rapide de ces scores de sentiment du Livre Beige suggère qu'ils ont une réelle validité en termes de capacité à suivre, peut-être à prédire, certains événements économiques, même si, bien sûr, sur ces derniers, nous devons examiner davantage. soigneusement. |
| |
Mais ce n’est qu’un exemple des cas d’utilisation potentiels de l’analyse des sentiments et il y en a bien d’autres. |
| |
L'un des principaux domaines d'application où il est actuellement utilisé est celui des études de consommation, où les gens pourraient, disons, analyser |
| |
certaines réponses à des enquêtes auprès des consommateurs pour identifier ce qui motive des opinions ou des réactions positives ou négatives. |
| |
Mais l'analyse des sentiments peut également être utilisée, par exemple, pour l'amélioration des produits, où l'analyse des avis sur les produits ou des réclamations au titre de la garantie peut nous aider à trouver des caractéristiques ou des problèmes de produits qui suscitent de fortes réactions émotionnelles chez nos clients. |
| |
En regardant, par exemple, le support client, nous pourrions analyser le centre d'appels ou les chats... les transcriptions des chats pour |
| |
trouvez des pratiques d'assistance qui aboutissent à des clients satisfaits ou mécontents. Peut-être même sur les politiques publiques, nous analysons les commentaires ouverts pour évaluer la réaction du public aux politiques proposées ou existantes. |
| |
Ce ne sont là que quelques domaines dans lesquels l’analyse des sentiments peut être appliquée. C'est vraiment applicable partout où vous avez un texte qui transmet une émotion et cette émotion peut être informative. |
| |
C'est donc tout ce que je veux dire d'emblée. J'aimerais maintenant passer un peu de temps à vous expliquer comment cela fonctionne dans JMP, passons donc à JMP. |
| |
Ici, nous avons les données du Beige Book, donc en bas, vous pouvez voir que nous avons un peu plus de 5 000 rapports ici, et nous avons la date de chaque rapport du |
| |
Mai 1972 octobre 2020, de quel district il s'agit parmi les 12, puis le texte du rapport. Et vous pouvez voir que ces rapports, |
| |
ce ne sont pas seulement des déclarations rapides sur l'économie qui se porte bien ou mal, ils peuvent entrer dans un certain niveau de détail. |
| |
Maintenant, avant de plonger dans ces données, je veux juste remercier quelqu'un pour l'idée d'analyser le Livre Beige et pour avoir extrait les données et les avoir introduites dans JMP, de manière simple. |
| |
format prêt à être analysé. Et cela merci à Xan Gregg qui, si vous ne le savez pas, est directeur de l'équipe de développement JMP et créateur de Graph Builder, alors merci, Xan, pour votre aide. |
| |
Très bien, quantifions le degré d'émotion positive et négative dans tous ces rapports. Nous utiliserons Text Explorer dans le menu d'analyse. |
| |
Ici, nous avons notre fenêtre de lancement. Je vais prendre nos données texte, les mettre dans le rôle de colonnes de texte. Quelques points à souligner avant de commencer. |
| |
Text Explorer prend en charge plusieurs langues, mais pour le moment, l'analyse des sentiments n'est disponible qu'en anglais, et une autre chose sur laquelle je souhaite attirer l'attention vient ici. |
| |
Donc, pour ceux qui font de l'analyse de texte, vous savez probablement ce qu'est le stemming, mais pour ceux qui ne le sont pas, le stemming est un processus par lequel nous réduisons en quelque sorte plusieurs... |
| |
eh bien, pour que cela reste non technique... plusieurs versions du même mot ensemble. Prenez « fort », « plus fort » et « le plus fort ». Donc ce sont trois |
| |
versions du même mot « fort » et dans certaines techniques d'exploration de texte, vous voudriez en fait combiner tous ces termes en un seul terme et dire simplement, oh, ils signifient tous « fort » parce que c'est un peu la même chose sur le plan conceptuel. |
| |
En fait, je vais laisser le sujet ici, et c'est parce que... prenez « le plus fort », qui décrit aussi fort que quelque chose peut l'être. |
| |
par rapport à « plus fort », qui signifie que vous savez que c'est fort, mais qu'il y a encore, vous savez, de la place pour qu'il soit encore plus fort. |
| |
Donc, « le plus fort » devrait probablement obtenir un score de sentiment plus élevé que « plus fort », et si je devais m'arrêter, je perdrais la distinction entre ces mots. Parce que je ne veux pas perdre cette distinction, je veux leur attribuer des scores de sentiment différents. Je vais continuer à partir d'ici. |
| |
Je vais donc cliquer sur OK. |
| |
Et JMP va maintenant symboliser notre texte, c'est-à-dire le diviser en tous ses mots individuels, puis compter la fréquence à laquelle chacun d'entre eux apparaît. |
| |
Et ici, nous avons une liste de tous les termes et de leur fréquence. Les « ventes » se produisent donc plus de 46 000 fois et nous avons également notre liste d'expressions ici. Les phrases sont donc |
| |
des séquences de deux mots ou plus qui reviennent souvent, et parfois nous voulons en fait les compter comme des termes dans notre |
| |
analyse. Et pour l'analyse des sentiments, vous voudriez parcourir votre liste de phrases et, disons, peut-être ajouter « immobilier », qui est composé de deux mots, mais cela fait en réalité référence, vous savez, à la propriété. |
| |
Et je pourrais ajouter ça. Normalement, dans l'analyse de texte, nous ajoutons également ce qu'on appelle des mots vides, |
| |
ce sont des mots qui n'ont pas vraiment de sens dans le contexte de notre analyse et que nous voudrions exclure. Prenez « quartier ». Cela arrive... ou le Livre Beige utilise |
| |
le mot « district » fréquemment, disant simplement, vous savez, « ce rapport du district de Richmond », quelque chose comme ça, n'a pas vraiment de sens. |
| |
Mais en fait, je ne vais pas m'embêter avec des mots vides ici et c'est parce que, si vous vous en souvenez, |
| |
En revenant de nos diapositives, nous avons dit que tous nos scores de sentiment sont basés sur un dictionnaire, dans lequel nous choisissons les mots de sentiment et quel score ils devraient obtenir. |
| |
Et si nous laissons simplement « district » de côté, il obtient intrinsèquement un score de 0 et n'affecte pas notre score de sentiment, donc je n'ai pas vraiment besoin de le déclarer comme un mot vide. |
| |
Donc, une fois que nous serons prêts, nous invoquerons le texte ou, excusez-moi, l'analyse des sentiments sous le triangle rouge ici. |
| |
Donc, ce que JMP fait actuellement, parce que nous n'avons déclaré aucun terme de sentiment ou autrement, il utilise un dictionnaire de sentiment intégré pour évaluer tous les documents. Ici, nous sortons nos scores. |
| |
Maintenant, avant de parcourir ces résultats, nous devrions probablement personnaliser notre dictionnaire de sentiments, c'est-à-dire les mots porteurs de sentiments et leurs scores. Et c'est parce que dans différents domaines, |
| |
peut-être qu'avec différentes personnes générant le texte, certains mots vont véhiculer différents niveaux de sentiment ou véhiculer un sentiment dans un cas et pas dans un autre. Nous voulons donc |
| |
créer vraiment soigneusement et minutieusement un dictionnaire de sentiments qui, selon nous, capture avec précision les sentiments tels qu'ils sont véhiculés par la langue que nous analysons en ce moment. |
| |
Donc JMP, comme je l'ai dit, utilise un dictionnaire intégré et il est assez clairsemé. Donc vous pouvez le voir ici, il y a des émoticônes, |
| |
comme ces petits smileys et ainsi de suite, mais nous avons ensuite un langage assez clair porteur de sentiments, comme « épouvantable » à -90. |
| |
Il est peu probable que quelqu'un utilise le mot « épouvantable » sans l'entendre dans un sens négatif, donc nous sommes plutôt satisfaits de cela. Mais vous savez, la liste n’est pas très longue et nous souhaiterions peut-être y ajouter quelques termes. |
| |
Voyons donc comment nous procédons, et une chose que je peux recommander est simplement de regarder vos données. Vous savez, lisez certains des documents dont vous disposez et essayez de trouver des mots qui, selon vous, pourraient indiquer un sentiment. |
| |
Nous avons en fait ici un outil qui nous permet de parcourir nos documents et d'y ajouter directement des termes de sentiments. Donc ici, j'ai une liste de documents. Vous pouvez voir que le document 1 est mis en surbrillance, puis le document 1 est affiché ci-dessous. Je pouvais sélectionner différents documents pour les visualiser. |
| |
Maintenant, si nous regardons le document 1, dès le départ, vous remarquerez peut-être quelques termes de sentiment potentiels comme « pessimisme » et « optimisme ». |
| |
Vous pouvez maintenant voir qu'ils ne sont pas mis en surbrillance. Ceux-ci ne sont en fait pas inclus dans le dictionnaire de sentiments standard. |
| |
Et beaucoup de noms que vous trouverez ne le sont pas, et c'est parce que des noms comme « pessimisme » ou « optimisme » peuvent être décrits d'une manière qui suggère leur présence ou leur absence, en gros. Donc je pourrais dire, vous savez, « le pessimisme est en déclin » ou |
| |
"il y a un manque flagrant de pessimisme", "le pessimisme n'est plus signalé". |
| |
Et, dans ces cas-là, nous ne dirions pas que le « pessimisme » soit une chose négative. C'est... donc vous voulez être prudent et réfléchir aux mots dans leur contexte et à la façon dont ils sont réellement utilisés avant de les ajouter à un dictionnaire de sentiments. |
| |
Par exemple, je pourrais revenir à notre liste de termes ici. Je vais juste montrer le filtre, |
| |
recherchez « pessimisme », puis montrez le texte pour voir comment il est utilisé. Ainsi, on peut le constater dans ce premier exemple, « l'humeur de nos dirigeants varie du pessimisme à l'optimisme ». |
| |
Et le prochain |
| |
"les conversations privées suscitent un profond pessimisme." Si vous lisez réellement, c'est l'utilisation typique, donc en fait dans le Livre Beige, ils ne semblent pas utiliser le mot pessimisme de la manière que je pourrais craindre, |
| |
"l'optimisme augmente." |
| |
Donc, en fait, je me sens d'accord pour ajouter le « pessimisme » ici, alors ajoutons-le à notre dictionnaire des sentiments. |
| |
Donc si je passe la souris dessus, |
| |
vous pouvez voir que nous proposons quelques options sur ce qu'il faut en faire. Donc ici, je peux, disons, lui donner une note de -60. |
| |
Et maintenant, cela sera ajouté à notre dictionnaire avec le score correspondant, et cela déclenchera une mise à jour du score de sentiment dans JMP. Autrement dit, il recherche maintenant le mot « pessimisme » et ajuste les notes de tous les documents là où il le trouve. |
| |
Revenons donc maintenant en arrière pour examiner plus en détail nos termes relatifs aux sentiments. Si je fais défiler vers le bas, vous trouverez du "pessimisme" |
| |
ici même avec la note de -60 que je viens de lui donner. Maintenant, je voudrais peut-être en fait... si vous remarquez, "pessimiste" a, par défaut, un score de -50, alors peut-être que je tape simplement -50 ici pour rendre cela cohérent. |
| |
Et je pourrais mais je ne le ferai pas, juste pour ne pas déclencher une autre mise à jour. |
| |
Vous remarquerez également, ici même, cette liste de termes de sentiment possibles. Ce sont donc des termes que JMP a identifiés comme pouvant être porteurs de sentiments, et vous souhaiterez peut-être les examiner et envisager de les inclure dans votre dictionnaire. |
| |
Par exemple, le mot « fort » ici, si vous regardez certains textes de documents à droite, vous pourriez dire, d'accord, c'est clairement une chose positive. Et si vous avez regardé beaucoup de ces exemples, il ressort vraiment que |
| |
les mots « fort » et, par conséquent, « faible » sont des mots que ces économistes utilisent beaucoup pour parler des choses qui sont bonnes ou mauvaises dans l'économie actuelle. |
| |
Je pourrais donc les ajouter, ou ajouter « fort » ici en cliquant, disons, sur positif 60 dans les boutons là-haut. Encore une fois, je ne le ferai pas pour le moment, juste pour accélérer notre examen de l'analyse des sentiments. |
| |
Nous pourrions donc parcourir, tout comme nos textes ci-dessous, notre liste de termes de sentiment ici pour choisir de bons candidats. |
| |
Sous le triangle rouge, nous pouvons également gérer les termes de sentiment plus directement, donc c'est dans son intégralité. |
| |
des listes de gestion de termes auxquelles nous pourrions être habitués pour un utilisateur de Text Explorer, comme la gestion des phrases et la gestion des mots vides. |
| |
Vous pouvez voir que nous avons ajouté un nouveau terme local à cette analyse particulière, en plus de tous nos termes intégrés. Bien sûr, nous pourrions également déclarer des exceptions, si nous voulons simplement ne pas en inclure certaines. |
| |
Et surtout, vous pouvez également importer et exporter votre dictionnaire de sentiments. Une autre façon de déclarer les termes de sentiments consiste à consulter des experts en la matière. Tu sais, |
| |
les économistes auraient probablement beaucoup à dire sur le type de mots qu’ils s’attendraient à voir et qui transmettraient clairement |
| |
émotion positive ou négative dans ces rapports. Et si nous pouvions leur parler, nous voudrions savoir ce qu'ils ont à dire à ce sujet, et nous pourrions même être en mesure de dériver un dictionnaire, disons, dans un fichier séparé par des tabulations avec eux, puis de l'importer ici. |
| |
Et puis, bien sûr, une fois que nous avons créé un dictionnaire qui nous plaît, nous devons l'exporter et le sauvegarder afin qu'il soit facile de l'appliquer à nouveau à l'avenir. |
| |
Voilà donc un peu comment vous organiseriez réellement votre dictionnaire de sentiments. Il serait également important de |
| |
organisez vos termes intensificateurs et vos termes de négation, et encore une fois, vous ne voyez pas de scores ici, car ce ne sont que des inversions de polarité. |
| |
Juste pour vous montrer un peu plus à quoi cela ressemble réellement, si nous... jetons un coup d'œil aux sentiments ici, afin que nous puissions voir les cas dans lesquels |
| |
JMP a trouvé le mot « pas » devant certains de ces termes sentimentaux et a appliqué le score approprié. Ainsi, en haut, « pas acceptable » obtient un score de -25. |
| |
Je vous montre donc cela juste pour attirer votre attention sur le fait que ces négateurs et intensificateurs sont en quelque sorte appliqués automatiquement par JMP. |
| |
Quoi qu'il en soit, passons de la discussion sur la façon de configurer l'analyse à l'examen réel des résultats. Je vais donc évoquer |
| |
une version de l'analyse qui a déjà été effectuée, c'est-à-dire que j'ai déjà organisé le dictionnaire des sentiments, et nous pouvons réellement commencer à interpréter les résultats que nous obtenons. |
| |
Nous avons donc notre résumé de haut niveau ici, nous avons donc plus de documents positifs que négatifs. Comme nous en avons discuté auparavant, nous pouvons voir, vous savez, combien de chacun. En fait, au bas de ce tableau, à gauche, vous voyez que nous avons un document dans lequel aucun sentiment n’est exprimé. |
| |
"fort" apparaissant 14 000 fois, "faible" apparaissant 4 500 fois environ |
| |
et en les regardant soit par leurs décomptes, soit par leurs scores, en regardant les plus négatifs et les plus positifs, |
| |
même les regarder dans leur contexte peut être assez informatif en soi. Je veux dire, surtout dans un domaine comme les études de consommation, par exemple, si vous voulez savoir quand les gens se sentent positifs ou expriment leur positivité. |
| |
à propos de notre marque ou de certains produits que nous avons, quel type de langage utilisent-ils, peut-être que cela éclairerait les efforts de marketing, disons. Cette liste de termes sentimentaux peut être très informative à cet égard. |
| |
fabrication, |
| |
tourisme, investissements. Et parfois, nous souhaitons nous concentrer sur l’un de ces sous-domaines en particulier, ce que nous pourrions appeler une fonctionnalité. |
| |
Et si je vais dans cet onglet de fonctionnalités dans l'analyse des sentiments, je clique sur Rechercher. JMP trouve certains mots qui apparaissent fréquemment avec des termes de sentiment et vous demande si vous souhaitez peut-être approfondir le sentiment concernant cette fonctionnalité. |
| |
Prenons par exemple « ventes ». Nous pouvons voir « les ventes auraient été faibles », « un affaiblissement des ventes », « les ventes auraient bien résisté », etc. |
| |
Donc, si je me contente d'évaluer cette fonctionnalité sélectionnée, JMP va maintenant fournir des scores de sentiment uniquement en ce qui concerne la mention des « ventes » dans ces rapports plus volumineux, et cela va nous aider à affiner notre analyse ou à la concentrer sur un très bon aspect. sous-domaine défini. |
| |
Et c'est particulièrement important. |
| |
Il se peut que le domaine dans la langue que nous analysons ne soit pas, vous savez, aussi bien restreint. Prends pour exemple, |
| |
avis sur les produits. Vous vous intéressez à ce que les gens pensent de positif ou de négatif à propos du produit, mais ils peuvent aussi parler, par exemple, de l'expédition et vous ne vous souciez pas nécessairement s'ils n'étaient pas trop satisfaits de l'expédition, principalement parce que cela échappe à votre contrôle. . |
| |
Vous ne voudriez pas simplement inclure un tas d’avis qui commentent également cette expédition. Il est donc important de considérer le domaine d'analyse et de le restreindre de manière appropriée et le chercheur de fonctionnalités ici est un moyen d'y parvenir. |
| |
Vous pouvez donc voir maintenant que j'ai obtenu des scores sur les « ventes », nous avons une répartition très différente des documents positifs et négatifs. Nous avons davantage de documents qui n'ont pas de score de sentiment car ils |
| |
ne parlez tout simplement pas des ventes ou n'utilisez pas de langage émotionnel pour en discuter, et nous avons une liste différente de termes de sentiments qui capturent désormais en particulier les ventes. |
| |
Permettez-moi de supprimer ceci. |
| |
Une chose que j'ai réalisé que j'avais oublié de mentionner, je l'ai mentionné brièvement, c'est la façon dont les notes globales des documents que nous avons examinés sont calculées, et j'ai dit qu'il s'agissait de la moyenne de tous les termes de sentiment de... |
| |
qui s'est produit dans un document particulier. Regardons donc le document 1. Je voudrais juste te montrer ça |
| |
Si jamais vous vous demandez d'où vient ce score, disons -20, vous pouvez simplement passer votre souris dessus et il vous montrera une liste de tous les termes de sentiment qui sont apparus. |
| |
Et vous pouvez voir, ici nous en avons 16, y compris tous en bas, "le vrai point lumineux", qui était un +78 et ensuite, si vous divisez... additionnez tous ces scores. diviser par 78... |
| |
ou divisez par 16, excusez-moi, vous obtenez alors un sentiment moyen de -20. Et c’est l’une des deux manières d’obtenir des scores globaux. Un autre est un score min max, donc les différences entre le minimum et le maximum |
| |
sentiments exprimés dans le texte. |
| |
Maintenant, nous pouvons obtenir beaucoup d'informations en examinant uniquement ce rapport, vous savez, évidemment les scores de sentiment, les termes les plus courants. |
| |
Mais souvent, nous voulons prendre les sentiments et les utiliser d'une autre manière, comme |
| |
regardez-les graphiquement, comme nous l'avons fait dans les diapositives. Alors, quand vient le temps de faire cette partie de votre analyse, dirigez-vous simplement vers le triangle rouge ici |
| |
et enregistrez les partitions du document. Et ceux-ci enregistreront ces scores dans votre tableau de données afin que vous puissiez les saisir dans des analyses ultérieures ou les représenter graphiquement, quoi que vous souhaitiez faire. |
| |
Voilà donc un avant-goût de l'analyse des sentiments qui sera disponible dans Text Explorer dans JMP Pro 16. L'idée à retenir est que l'analyse des sentiments utilise un dictionnaire de sentiments qui |
| |
vous configurez pour fournir des scores correspondant au contenu émotionnel positif et négatif de chaque document, puis à partir de là, vous pouvez utiliser ces informations de manière informative. |
| |
Nous allons donc laisser de côté l'analyse des sentiments maintenant et je vais revenir à nos diapositives pour parler de l'autre technique qui sera bientôt disponible dans Text Explorer. |
| |
Et c'est la sélection de termes, où la sélection de termes répond à une question différente, à savoir quels termes sont les plus fortement associés à une variable importante ou à une variable qui m'intéresse ? |
| |
Nous allons nous en tenir au Livre Beige. |
| |
Nous allons demander quels mots sont statistiquement associés aux récessions. Donc dans le graphique ici, nous avons au fil du temps, le pourcentage de changement |
| |
PIB (produit intérieur brut) trimestre par trimestre, le bleu représentant la croissance économique et le rouge la contraction économique. Et nous pourrions nous demander, eh bien, quoi |
| |
Ces termes, tels qu'ils apparaissent dans le Livre Beige, pourraient-ils être statistiquement associés à ces périodes de ralentissement économique ? Par exemple, quelques-uns d’entre eux ici. |
| |
Vous savez, pourquoi voudrions-nous associer des termes spécifiques dans le Livre Beige à des périodes de ralentissement économique ? |
| |
Eh bien, il pourrait potentiellement être informatif en soi d'obtenir une liste de termes. Tu sais, je pourrais en trouver potentiellement, tu sais, subtiles |
| |
les facteurs ou les effets des récessions dont je ne suis peut-être pas conscient ou que je ne saisis pas facilement dans des données quantitatives. |
| |
Je pourrais aussi trouver quelques mots pour une analyse plus approfondie. Je pourrais... je pourrais en trouver |
| |
termes de sentiment potentiels, certains termes qui sont utilisés lorsque l'économie se porte particulièrement mal et que j'ai raté la première fois lorsque je faisais mon analyse de sentiment. |
| |
Ou peut-être pourrais-je trouver des mots si fortement associés aux récessions que je pense pouvoir les utiliser dans un modèle prédictif pour essayer de déterminer quand les récessions pourraient survenir dans le futur. |
| |
Il existe donc différentes raisons pour lesquelles nous pourrions vouloir savoir quels mots sont les plus fortement associés aux récessions. |
| |
Alors, comment cela fonctionne-t-il dans JMP ? Eh bien, nous construisons essentiellement un modèle de régression dans lequel la variable de résultat est la variable qui nous intéresse, les récessions, et les entrées sont tous des mots différents. |
| |
Les données saisies dans le modèle prennent la forme d'une matrice de termes de document, où chaque ligne correspond à |
| |
un document ou un rapport du Beige Book, puis les colonnes capturent les mots qui apparaissent dans ce rapport. Ici, nous avons la colonne « faible » en surbrillance et elle indique « binaire », ce qui signifie que |
| |
il va contenir des 1 et des 0 ; un 1 indique que ce rapport contenait le mot « faible » et un 0 indique que ce rapport ne contenait pas le mot « faible ». Et c'est l'une des nombreuses façons dont nous pourrions en quelque sorte évaluer les documents, mais nous nous en tiendrons à ce binaire pour l'instant. |
| |
Nous prenons donc ces informations et les entrons dans un modèle de régression. Voici donc à quoi ressemblerait le lancement. |
| |
Nous avons notre récession comme variable Y et c'est juste une sorte de variable oui ou non, puis nous avons tous ces prédicteurs de termes binaires entrés comme effets de modèle. |
| |
Et puis nous allons utiliser l'outil de régression généralisée de JMP Pro |
| |
afin de construire le modèle, et c'est parce que la régression généralisée ou GenReg, comme nous l'appelons, inclut des techniques de sélection automatique de variables. Alors si vous connaissez |
| |
régression régularisée, on parle comme du Lasso ou du filet élastique. Et si vous ne savez pas ce que cela signifie, ce n'est pas grave. L'idée est qu'il sera automatiquement |
| |
Il trouvera quels termes sont les plus fortement associés à la variable de résultat « récession », puis ceux qu'il ne pense pas y être associés, il les éliminera. |
| |
Et cela nous permet d’examiner les relations entre « récession » et peut-être connaissez-vous des centaines, des milliers de mots possibles qui leur seraient associés. |
| |
Alors, qu’obtenons-nous lorsque nous effectuons l’analyse ? |
| |
Nous sortons un modèle. Ce que nous avons donc ici est l’équation de ce modèle. Ne vous inquiétez pas trop. l'idée est que nous disons |
| |
le logarithme des probabilités de récession, donc cela dépend de la probabilité que nous soyons en récession et le moment où le Livre Beige sera publié dépendra de |
| |
tous les différents mots qui pourraient apparaître dans le rapport du Livre Beige. |
| |
Et vous voyez, nous avons, vous savez, l’effet de l’apparition du mot « pandémie » avec un coefficient de 1,94. |
| |
Cela signifie simplement que la probabilité logarithmique d’une « récession » augmente de 1,94 si le rapport du Livre Beige mentionne le mot « pandémie ». Ensuite, nous voyons moins 1,02 fois le « gain ». Eh bien, cela signifie que si le rapport du Livre Beige mentionne le mot « gain », alors la probabilité d'une récession... |
| |
ou bien la probabilité logarithmique d’une récession chute de 1,02. |
| |
Nous en ressortons donc une liste de termes fortement associés à une augmentation de la probabilité de récession, des choses comme « pandémie », « report », « annulation », « saisies ». |
| |
Et nous obtenons également une liste de termes associés à une probabilité décroissante de récession, comme « gain », « renforcer », « concurrence ». |
| |
Nous y voyons également le terme « fabrication », mais son coefficient est relativement faible, environ -0,2. |
| |
Et vous remarquerez en fait ici, et si nous regardons une représentation graphique de tous les termes sélectionnés dans cette analyse, vous ne voyez pas trop de domaines spécifiques comme « fabrication », |
| |
"tourisme", "investissements" et tout ça. C'est parce que l'on parle toujours de ces choses, que nous soyons en récession ou non, donc ce que nous recherchons vraiment, c'est les mots qui sont utilisés, |
| |
vous savez, lorsque nous sommes en récession plus souvent que prévu, par hasard. Nous avons donc... par exemple, ce sont |
| |
« pandémie » étant le plus prédictif. Cela a beaucoup de sens. Nous ne parlions pas du tout de pandémie jusqu'à assez récemment, et nous avons également connu la récession récemment, nous l'avons donc assez clairement compris. |
| |
Ensuite, nous en avons quelques autres dans cette sorte de deuxième niveau, donc c'est « reporté », « annulé », « saisi », « détérioré », « pessimiste ». |
| |
Et c'est assez intéressant, ce « report » et cette « annulation » étant associés aux récessions. C'est logique, vous voulez vraiment parler de reporter, disons, l'activité économique |
| |
lorsqu'une récession survient, ou du moins c'est peut-être une tendance fiable. C'est... donc c'est une perspicacité, en soi. En fait, je |
| |
En d’autres termes, je ne pourrais pas vous dire comment la Réserve fédérale suit le report ou l’annulation d’activités économiques, mais le fait que ces termes soient signalés dans cette analyse suggère que c’est quelque chose qui mérite probablement d’être suivi. |
| |
Très bien, c'est donc la sélection des termes. Nous publions en fait cette belle liste de termes associés aux récessions et nous pouvons voir la force relative de l’association. Voyons maintenant brièvement comment cela se fait dans JMP. |
| |
Je vais donc retourner à JMP et ce que nous allons faire, c'est extraire un tableau de données légèrement différent. Il s’agit toujours des données du Beige Book, mais nous n’avons plus que les rapports nationaux. |
| |
Et nous avons cette variable qui l’accompagne, que les États-Unis soient ou non en récession à ce moment-là. Et bien sûr, il existe une certaine corrélation automatique entre ces données. Je veux dire, si nous sommes en récession le mois dernier, il est plus probable que nous soyons en récession ce mois-ci que si nous ne l'étions pas. |
| |
Et vous savez que cela pourrait généralement poser un problème pour les analyses basées sur la régression, mais c'est purement exploratoire. Cela ne nous inquiète pas trop. |
| |
Je vais donc simplement extraire Text Explorer d'un script de table simplement parce que nous avons en quelque sorte vu comment il est lancé auparavant. |
| |
Notez cependant que j’ai déjà formulé quelques phrases, comme nous l’avons fait auparavant. J'ai également ajouté quelques mots vides, que vous ne pouvez pas voir ici, mais des mots dont je ne veux pas qu'ils soient nécessairement renvoyés par cette analyse. |
| |
Et j'ai activé la recherche radicale, ce que signifient ces petits points dans la liste de termes. Par exemple, le mot « augmentation » est maintenant en fait réduit à « augmentations », « de plus en plus », « de plus en plus ». |
| |
Et c’est parce que maintenant, je considère en quelque sorte tous ces concepts comme le même, et je veux juste savoir si, vous savez, ce concept est associé aux récessions. |
| |
Donc, pour invoquer la sélection de termes, nous allons simplement aller au triangle rouge, et je le sélectionnerai ici. |
| |
Nous obtenons d'abord une fenêtre de contrôle, ou devrais-je dire une section, dans laquelle nous sélectionnons la variable qui nous intéresse, à savoir les récessions. Sélectionnez le niveau cible, je veux donc qu’il soit exprimé en termes de probabilité de récession, par opposition à la probabilité d’absence de récession. |
| |
Je peux spécifier certains paramètres du modèle. Si vous êtes familier avec GenReg, vous verrez que vous pouvez choisir si vous souhaitez un arrêt anticipé, si vous souhaitez l'un des deux |
| |
pénalités pour effectuer la sélection de variables, quelle statistique vous souhaitez effectuer la validation. Et si tout cela est nouveau pour vous, ne vous inquiétez pas trop. Les paramètres par défaut sont une bonne solution au début. |
| |
Nous avons notre pondération, si vous vous en souvenez, nous avions les 1 et les 0 dans cette colonne pour « faible », indiquant simplement si le mot apparaissait dans un document ou non, mais vous pouvez sélectionner ce que vous voulez. Donc |
| |
par exemple, la fréquence n'est pas la question de savoir si "faible" s'est produit ou non, mais combien de fois cela s'est produit. Et cela affecte la façon dont vous interpréterez vos résultats. Nous allons nous en tenir au binaire pour l'instant. |
| |
Mais je vais dire, je veux vérifier les 1 000 termes les plus fréquents, au lieu des 400 par défaut, que vous pouvez voir, cela fait beaucoup plus que 436, et normalement vous ne pouvez pas adapter un modèle avec 1 000 X. mais seulement 436 |
| |
observations, mais grâce aux |
| |
sélection automatique de variables en régression généralisée, ce n'est pas un problème. Une fois de plus, il sélectionne lesquels de ces milliers de termes sont les plus étroitement liés, d'où la sélection du terme nommé. |
| |
Alors je vais lancer ça. Vous pouvez voir ce qui s'est passé lorsque JMP a appelé la plate-forme de régression généralisée et a renvoyé ces résultats. Ici, nous voyons des informations sur le modèle tel qu'il était ajusté. Par exemple, nous avons 37 termes qui ont été renvoyés. |
| |
Permettez-moi de déplacer cela. Parce que c'est ici, à droite, que nous trouvons des informations vraiment précieuses. Il s’agit de la liste des termes les plus fortement associés à la récession. |
| |
Maintenant, je vais les trier par coefficient pour trouver ceux qui sont les plus fortement associés à la probabilité de récession, donc encore une fois, c'est "pandémie", "report", "annulations" et, comme vous pouvez vous y attendre, à ce stade, si je clique sur l'un des ça, ça mettra à jour ces aperçus |
| |
ou ces extraits de texte ci-dessous, afin que nous puissions réellement voir ce mot dans son contexte. |
| |
Cette liste de termes en elle-même pourrait donc être extrêmement précieuse. Vous pourriez apprendre des choses sur des termes ou des concepts spécifiques importants que vous ne connaissiez peut-être pas auparavant. Vous pouvez également utiliser ces termes dans des modèles prédictifs. |
| |
Maintenant, quelques autres choses à noter. |
| |
Vous pouvez voir ici, nous avons à nouveau un tableau pour chaque document individuel, mais au lieu des scores de sentiment, nous avons maintenant essentiellement les scores du modèle. Nous avons pour chacun |
| |
le... |
| |
ce que nous appelons la contribution positive, c’est donc la contribution des coefficients positifs prédisant la probabilité de récession. Ici, nous avons ceux du côté négatif. |
| |
Et puis nous avons même la probabilité de récession d’après le modèle, 71,8% ici et ce que nous avons réellement observé. |
| |
Et nous ne construisons pas nécessairement ici un modèle prédictif, c’est-à-dire que je ne vais pas utiliser ce modèle pour essayer de prédire les récessions. Je veux dire, j'ai toutes sortes de variables d'indicateurs économiques que j'utiliserais |
| |
aussi, mais c'est un bon moyen de vérifier l'intégrité de votre modèle. Est-ce qu'il semble que certaines de ses prédictions soient correctes ? |
| |
Parce que si ce n'est pas le cas, vous pourriez ne pas faire confiance aux conditions renvoyées. Vous disposez également de nombreuses autres informations pour tenter de porter ce jugement. Je veux dire, nous avons des statistiques sur les ajustements, comme la zone sous la courbe ici. |
| |
Ou nous pouvons même accéder à la plate-forme de régression généralisée, avec toutes ses options normales pour évaluer davantage votre modèle. |
| |
Je ne vais pas entrer dans les détails ici, mais tout cela est à votre disposition pour que vous puissiez évaluer votre modèle, peaufiner votre modèle comme vous le souhaitez, pour vous assurer d'avoir une liste de termes avec lesquels vous vous sentez bien. |
| |
Maintenant, vous voyez ici, nous avons ceci, sous le résumé, cette liste de modèles et c'est parce que vous souhaiterez peut-être réellement exécuter plusieurs modèles. Donc si je reviens au modèle... oh, excusez-moi... si nous revenons à notre |
| |
paramètres ici, je pourrais en fait exécuter un modèle légèrement différent. Peut-être, par exemple, que je sais que le BIC est un peu plus conservateur que l'AICc et que je souhaite renvoyer moins de termes, peut-être que j'ai fait une analyse qui a renvoyé 900 termes et que vous êtes un peu dépassé. |
| |
Je vais donc cliquer sur Exécuter et créer un autre modèle en l'utilisant à la place. |
| |
Et maintenant, nous avons ce modèle ajouté à notre liste ici, et je peux basculer entre ces modèles pour voir les résultats pour chacun. Dans ce cas, nous n'avons renvoyé que 14 termes, au lieu de 37 et je descendrais les évaluer ci-dessous. |
| |
Bien entendu, deux résultats importants que vous en tireriez seraient cette liste de termes. Si vous souhaitez enregistrer cela, ce ne sont que des termes importants pour vous et vous souhaitez en garder une trace, faites simplement un clic droit et transformez-le en tableau de données. Maintenant j'ai une table JMP |
| |
avec les termes, leurs coefficients et d'autres informations. |
| |
Et |
| |
si ce que vous voulez faire est en fait de réécrire cela dans votre table de données d'origine, peut-être, afin que vous puissiez utiliser les informations dans un autre type d'analyse ou de modèle prédictif, |
| |
dirigez-vous simplement vers la sélection des termes et dites que vous souhaitez enregistrer les scores des termes en tant que matrice de termes du document. Si je ramène notre tableau de données ici, vous pouvez voir que j'ai maintenant écrit à leur |
| |
colonnes pour chacun de ces termes qui ont été sélectionnés. Dans ce cas, rempli avec leurs valeurs de coefficient, et maintenant je peux utiliser ceci |
| |
informations quantitatives comme je l'aime. |
| |
C'est juste un peu une question de sélection des termes. Encore une fois, la grande idée ici est que j'ai trouvé une liste de termes liés à une variable qui m'intéresse et j'ai même, grâce à leurs coefficients, des informations sur la force de cette relation. |
| |
Alors, concluons. Nous avons couvert deux techniques. Nous venons de voir la sélection des termes, la recherche de ces mots importants. Avant cela, nous avons examiné l'analyse des sentiments, tout au sujet de |
| |
quantifier le degré d’émotion positive ou négative dans un texte. Il s'agit de deux nouvelles techniques d'exploration de texte disponibles dans l'explorateur de texte de JMP Pro 16. Nous sommes vraiment ravis que vous mettiez la main dessus et attendons avec impatience vos commentaires. |
