Conférencier
|
Transcription
|
| Ross Metusalem |
Bonjour à tous et merci d'avoir pris le temps d'apprendre comment JMP étend sa boîte à outils d'exploration de texte dans JMP Pro 16 avec |
| |
analyse des sentiments et sélection des termes. |
| |
Je suis Ross Metusalem, un ingénieur système JMP dans le sud-est des États-Unis, et je vais vous donner un aperçu de ces deux nouvelles analyses, expliquer un peu comment elles fonctionnent et fournir quelques bonnes pratiques pour les utiliser. |
| |
Donc, ces deux techniques d'analyse arrivent dans Text Explorer, qui pour ceux qui ne sont pas familiers, c'est JMP |
| |
outil d'analyse de ce que nous appelons des textes libres ou non structurés, c'est-à-dire des textes en langage naturel. |
| |
Et c'est ce que nous appelons un outil d'exploration de texte, c'est donc un outil pour dériver des informations quantitatives à partir de texte libre afin que nous puissions |
| |
utiliser d'autres types d'outils statistiques ou analytiques pour obtenir des informations à partir du texte libre ou peut-être même utiliser ce texte comme entrées pour d'autres analyses. |
| |
Jetons donc un coup d'œil à ces deux nouvelles techniques d'exploration de texte qui arrivent dans Text Explorer dans JMP Pro 16, et nous commencerons par l'analyse des sentiments. |
| |
L'analyse des sentiments répond à la question de savoir dans quelle mesure un texte est émotionnellement positif ou négatif. |
| |
Et nous allons effectuer une analyse des sentiments sur le livre beige, qui est un rapport récurrent de la Réserve fédérale américaine. |
| |
Désolée maintenant d'utiliser un exemple des États-Unis à JMP Discovery Europe, mais le livre beige fournit une belle démonstration de ce qu'est l'analyse des sentiments. |
| |
Il s'agit donc d'une publication mensuelle, elle contient un rapport au niveau national, ainsi que 12 rapports au niveau du district, qui résument les conditions économiques dans ces districts, et tous sont basés sur des informations qualitatives, comme des entretiens et des enquêtes. |
| |
Et les décideurs américains peuvent utiliser les informations qualitatives du livre beige, ainsi que les informations quantitatives, vous savez, dans les indicateurs économiques traditionnels pour orienter la politique économique. |
| |
Donc, vous pourriez penser, eh bien, nous parlons de sentiment ou d'émotion en ce moment. Je ne sais pas si je m'attends à ce que les rapports économiques contiennent beaucoup d'émotion, mais les rapports du livre beige et beaucoup de langage contiennent en fait des mots qui peuvent véhiculer ou transmettre des émotions. |
| |
Jetons donc un coup d'œil à un extrait d'un rapport. Voici une capture d'écran tout droit sortie de la nouvelle plateforme d'analyse des sentiments. |
| |
Vous remarquerez que certains mots sont mis en évidence, et ce sont ce que nous appellerons des termes de sentiment, c'est-à-dire |
| |
des termes qui, selon nous, ont un contenu émotionnel pour eux. Par exemple, au sommet, "les ventes d'ordinateurs, en revanche, ont été gravement déprimées", |
| |
où «gravement déprimé» est surligné en violet, indiquant que nous considérons que pour transmettre une émotion négative, ce qui semble être le cas si quelqu'un décrit les ventes d'ordinateurs comme «gravement déprimées», cela semble vouloir dire pour nous d'interpréter cela comme une mauvaise chose . |
| |
Si nous regardons vers le bas, nous voyons en orange, quelques termes de sentiment positifs mis en évidence, comme «améliorer» ou «favorable». Nous pouvons donc rechercher des mots qui, selon nous, ont des émotions positives ou négatives |
| |
violet pour le négatif, orange pour le positif, et une analyse des sentiments maintient les choses à ce niveau, donc juste une distinction binaire, un texte positif ou un texte négatif. |
| |
Il existe d'autres moyens d'effectuer une analyse des sentiments et, en particulier, |
| |
de nombreuses façons tentent de quantifier le degré de positivité ou de négativité, pas seulement si quelque chose est positif ou négatif. Considérez donc cet autre exemple et je vais attirer notre attention tout en bas ici, où nous pouvons voir un rapport de «ventes médiocres». |
| |
Et je vais comparer cela avec ce que nous avons dit "les ventes d'ordinateurs sont gravement déprimées". |
| |
Donc, ces deux déclarations sont négatives, mais je pense que nous serions tous d'accord pour dire que «gravement déprimé» semble beaucoup plus négatif que «pauvre». |
| |
Nous voulons donc déterminer non seulement un sentiment exprimé de manière positive ou négative, mais aussi à quel point il est positif ou négatif, et c'est ce que l'analyse des sentiments dans |
| |
Text Explorer le fait. Alors, comment fait-il? Eh bien, il utilise une technique appelée analyse de sentiment lexicale basée sur certains termes de sentiment et les scores associés. |
| |
Donc, ce que nous voyons en ce moment est un extrait de ce que nous appellerions un dictionnaire des sentiments qui contient les termes et leurs scores. |
| |
Par exemple, le terme «fantastique» a un score positif de 90 et le terme «sinistre» en bas a un score de -75. |
| |
Donc, ce que nous faisons est de spécifier quels termes nous pensons avoir un contenu émotionnel et dans quelle mesure ils sont positifs ou négatifs sur une échelle arbitraire, ici -100 à 100. |
| |
Ensuite, nous pouvons trouver ces termes dans tous nos documents et les utiliser pour évaluer le degré de positif ou de négatif de ces documents dans l'ensemble. |
| |
Si vous repensez à notre exemple «sévèrement déprimé», ce mot «sévèrement» prend le mot «déprimé» et ce que nous appelons l'intensifie. |
| |
C'est un intensificateur ou un multiplicateur du sentiment exprimé, nous avons donc également un dictionnaire des intensificateurs et ce qu'ils font au sentiment exprimé par le terme de sentiment. |
| |
Par exemple, nous disons que «incroyablement» multiplie le sentiment par un facteur de 1,4 alors que «peu» multiplie le sentiment par un facteur de 0,3, donc en fait, vous savez, cela atténue un peu le sentiment exprimé. |
| |
Maintenant, enfin, il y a un autre type de mot que nous voulons prendre en compte et ce sont les négateurs, des choses comme «non» et «pas», et nous les traitons fondamentalement comme des inversions de polarité. Alors |
| |
"pas fantastique" serait prendre le score pour "fantastique" et le multiplier par -1. |
| |
Et donc, c'est une manière courante de faire une analyse des sentiments, encore appelée analyse lexicale des sentiments. Donc ce que nous faisons, c'est nous prenons les termes de sentiment que nous trouvons, nous les multiplions par n'importe quel intensificateur associé |
| |
ou négateurs, puis pour chaque document, lorsque nous avons tous les scores de sentiment pour les termes individuels qui apparaissent, nous faisons la moyenne de tous pour obtenir un score de sentiment pour ce document. |
| |
Et JMP nous renvoie ces scores de plusieurs manières utiles. Il s'agit donc d'une capture d'écran de l'outil d'analyse des sentiments et nous allons, vous savez, l'utiliser dans un instant. |
| |
Mais vous pouvez voir, entre autres, que cela nous donne une répartition des scores de sentiment dans tous nos documents. Il nous donne une liste de tous les termes de sentiment et à quelle fréquence ils se produisent. |
| |
Et nous avons même la possibilité, comme nous le verrons, d'exporter les scores de sentiment pour les utiliser dans des graphiques ou des analyses. |
| |
Et donc j'ai en fait fait quelques graphiques ici pour simplement essayer de voir comme un premier passage initial, le sentiment dans les rapports du livre beige s'aligne-t-il réellement avec les événements économiques de la manière que nous pensons qu'il devrait? Vous savez, avons-nous vraiment une certaine validité à cela |
| |
sentiment comme une sorte d'indicateur économique? Et la réponse ressemble à, oui, probablement. |
| |
Ici, j'ai un tracé que j'ai fait dans Graph Builder; c'est un sentiment au fil du temps, donc tous les petits points gris sont les rapports individuels |
| |
et le bleu plus lisse montre la tendance du sentiment au fil du temps avec cette ligne noire à zéro montrant un sentiment neutre, du moins selon notre système de notation. |
| |
Les zones rouges sont |
| |
périodes de récession économique officiellement répertoriées par la Réserve fédérale. |
| |
Vous remarquerez peut-être que le sentiment semble au plus bas ou qu'il y a des creux autour des récessions, mais une autre chose que vous pourriez remarquer |
| |
est-ce qu'en fait, avant chaque récession, nous constatons une baisse du sentiment pendant des mois ou, dans certains cas, cela ressemble même à quelques années à l'avance. Et nous ne voyons pas ces grosses baisses de sentiment |
| |
dans des situations où il n'y avait pas de récession à suivre. Alors peut-être y a-t-il une certaine validité dans le sentiment du Beige Book comme indicateur avancé d'une récession. |
| |
Si nous l'examinons géographiquement, nous voyons des choses qui ont également un sens. Ce n'est qu'un exemple de l'analyse. Nous regardons le sentiment dans le 12 |
| |
Districts de la Réserve fédérale dans le temps de 1999 à 2000 à 2001. C'était l'époque de ce qu'on appelle communément le buste Dotcom, alors c'est à ce moment-là |
| |
il y avait une grande bulle d'entreprises de technologie et d'entreprises en ligne qui surgissaient et, finalement, beaucoup d'entre elles ont coulé et il y a eu des conséquences économiques assez graves. |
| |
Le sentiment de 99 à 2000 augmente, en fait, le sentiment augmente assez fortement, semble-t-il, |
| |
dans le district de la Réserve fédérale de San Francisco, où se trouvent le siège de bon nombre de ces entreprises. Et puis en 2001, après la crise, la plus grosse baisse que nous voyons jusqu'au sentiment négatif en rouge ici, se produisant à nouveau dans ce quartier de San Francisco. |
| |
Ainsi, juste une vérification graphique rapide de ces scores de sentiment du Beige Book suggère qu'ils ont une réelle validité en termes de capacité à suivre, peut-être à prévoir, certains événements économiques, bien que, bien sûr, ces derniers soigneusement. |
| |
Mais ce n'est qu'un exemple des cas d'utilisation potentiels de l'analyse des sentiments et il y en a beaucoup plus. |
| |
L'un des plus grands domaines d'application où il est actuellement utilisé est la recherche sur les consommateurs, où les gens peuvent, disons, analyser |
| |
certaines réponses à des sondages auprès des consommateurs pour identifier ce qui motive des opinions ou réactions positives ou négatives. |
| |
Mais l'analyse des sentiments peut également être utilisée dans, par exemple, l'amélioration des produits, où l'analyse des avis sur les produits ou des demandes de garantie peut nous aider à trouver des caractéristiques ou des problèmes de produit qui suscitent de fortes réactions émotionnelles chez nos clients. |
| |
En regardant, par exemple, le support client, nous pourrions analyser le centre d'appels ou les chats ... des transcriptions de chat à |
| |
trouver des pratiques d'assistance qui aboutissent à des clients satisfaits ou mécontents. Peut-être même les politiques publiques, nous analysons les commentaires ouverts pour évaluer la réaction du public aux politiques proposées ou existantes. |
| |
Ce ne sont là que quelques domaines dans lesquels l'analyse des sentiments peut être appliquée. C'est vraiment applicable partout où vous avez un texte qui transmet une émotion et cette émotion peut être informative. |
| |
C'est donc tout ce que je veux dire dès le départ. J'aimerais maintenant passer un peu de temps à vous expliquer comment cela fonctionne dans JMP, alors passons à JMP. |
| |
Ici, nous avons les données du livre beige, donc en bas, vous pouvez voir que nous avons un peu plus de 5000 rapports ici, et nous avons la date de chaque rapport de |
| |
Mai 1972 Octobre 2020, de laquelle des 12 districts il est originaire, puis le texte du rapport. Et vous pouvez voir que ces rapports, |
| |
ce ne sont pas seulement des déclarations rapides de vous savez, l'économie va bien ou mal, ils peuvent entrer dans un certain niveau de détail. |
| |
Maintenant, avant de plonger dans ces données, je veux juste dire merci à quelqu'un pour l'idée d'analyser le livre beige et pour avoir réellement extrait les données et les avoir introduites dans JMP, dans un |
| |
format prêt à analyser. Et ces remerciements vont à Xan Gregg qui, si vous ne le savez pas, Xan est un directeur de l'équipe de développement JMP et le créateur de Graph Builder, alors merci, Xan, pour votre aide. |
| |
Très bien, alors quantifions le degré d'émotion positive et négative dans tous ces rapports. Nous utiliserons Text Explorer dans le menu d'analyse. |
| |
Ici, nous avons notre fenêtre de lancement. Je vais prendre nos données de texte, les mettre dans le rôle des colonnes de texte. Quelques points à souligner avant de commencer. |
| |
Text Explorer prend en charge plusieurs langues, mais pour le moment, l'analyse des sentiments n'est disponible qu'en anglais, et une autre chose sur laquelle je souhaite attirer l'attention est celle qui découle ici. |
| |
Donc, pour ceux qui font de l'analyse de texte, vous êtes probablement familier avec ce qu'est le dérivation, mais pour ceux qui ne le sont pas, la dérivation est un processus par lequel nous effondrons en quelque sorte plusieurs ... |
| |
eh bien, pour que ce ne soit pas technique ... plusieurs versions du même mot ensemble. Prenez «fort», «plus fort» et «plus fort». Donc ce sont trois |
| |
versions du même mot «fort» et dans certaines techniques d'exploration de texte, vous voudriez en fait combiner tous ceux-ci en un seul terme et dire simplement, oh, ils signifient tous «fort» parce que c'est un peu la même chose conceptuellement. |
| |
Je vais laisser les racines ici en fait, et c'est parce que ... prenez "le plus fort", cela décrit aussi fort que quelque chose peut devenir |
| |
contre «plus fort», qui dit que vous savez que c'est fort, mais il y a encore, vous savez, de la place pour qu'il soit encore plus fort. |
| |
Donc «le plus fort» devrait probablement obtenir un score de sentiment plus élevé que «plus fort», et si je devais endiguer, je perdrais la distinction entre ces mots. Parce que je ne veux pas perdre cette distinction, je veux leur donner des scores de sentiment différents. Je vais continuer à m'en sortir ici. |
| |
Alors je clique sur OK. |
| |
Et JMP va maintenant symboliser notre texte, c'est-à-dire le diviser en tous ses mots individuels, puis compter la fréquence à laquelle chacun se produit. |
| |
Et ici, nous avons une liste de tous les termes et de leur fréquence. Ainsi, les "ventes" se produisent plus de 46 000 fois et nous avons également notre liste de phrases ici. Donc les phrases sont |
| |
séquences de deux mots ou plus qui se produisent souvent, et parfois nous voulons en fait les compter comme des termes dans notre |
| |
Analyse. Et pour l'analyse des sentiments, vous voudrez parcourir votre liste de phrases et, disons, ajouter peut-être «immobilier», qui est de deux mots, mais il se réfère vraiment, vous savez, à la propriété. |
| |
Et je pourrais ajouter cela. Maintenant, normalement dans l'analyse de texte, nous ajouterions également ce que l'on appelle des mots vides, |
| |
ce sont des mots qui n'ont pas vraiment de sens dans le contexte de notre analyse et que nous voudrions exclure. Prenez «district». Cela arrive ... ou le livre beige utilise |
| |
le mot «district» souvent, en disant simplement, vous savez, «ce rapport du district de Richmond», quelque chose comme ça, ça n'a pas vraiment de sens. |
| |
Mais en fait, je ne vais pas me soucier des mots vides ici et c'est parce que, si vous vous en souvenez, |
| |
De retour de nos diapositives, nous avons dit que tous nos scores de sentiment sont basés sur un dictionnaire, où nous choisissons les mots de sentiment et quel score ils devraient obtenir. |
| |
Et si nous laissons simplement «district» de côté, il obtient intrinsèquement un score de 0 et n'affecte pas notre score de sentiment, donc je n'ai pas vraiment besoin de le déclarer comme un mot d'arrêt. |
| |
Donc, une fois que nous sommes prêts, nous invoquerions du texte ou, excusez-moi, une analyse des sentiments sous le triangle rouge ici. |
| |
Donc, ce que fait JMP en ce moment, parce que nous n'avons déclaré aucun terme de sentiment ou autre, c'est utiliser un dictionnaire de sentiment intégré pour noter tous les documents. Ici, nous sortons nos scores. |
| |
Maintenant, avant de naviguer dans ces résultats, nous devrions probablement personnaliser notre dictionnaire des sentiments, donc les mots porteurs de sentiments et leurs scores. Et c'est parce que dans différents domaines, |
| |
peut-être qu'avec différentes personnes générant le texte, certains mots vont porter différents niveaux de sentiment ou porter des sentiments dans un cas et pas dans un autre. Alors nous voulons |
| |
vraiment assez soigneusement et complètement créer un dictionnaire de sentiments que nous sentons capturé avec précision le sentiment tel qu'il est véhiculé par le langage que nous analysons en ce moment. |
| |
Donc JMP, comme je l'ai dit, utilise un dictionnaire intégré et c'est assez rare. Donc vous pouvez le voir ici, il a des émoticônes, |
| |
comme ces petits smileys et tout le reste, mais alors nous avons un langage assez clair portant des sentiments, comme "abyssal" à -90. |
| |
Maintenant, ce n'est probablement pas le cas que quelqu'un utilise le mot «abyssal» et ne le pense pas dans un sens négatif, donc nous nous sentons plutôt bien à ce sujet. Mais, vous savez, la liste n'est pas terriblement longue et nous voudrons peut-être y ajouter quelques termes. |
| |
Voyons donc comment nous faisons cela, et une chose que je peux recommander est simplement de regarder vos données. Vous savez, lisez certains des documents que vous avez et essayez de trouver des mots qui, selon vous, pourraient être révélateurs d'un sentiment. |
| |
Nous avons en fait ici un outil qui nous permet de parcourir nos documents et d'ajouter directement des termes de sentiment à partir d'eux. Alors ici, j'ai une liste de documents. Vous pouvez voir que le document 1 est mis en surbrillance, puis le document 1 est affiché ci-dessous. Je pourrais sélectionner différents documents pour les visualiser. |
| |
Maintenant, si nous regardons le Document 1, dès le départ, vous remarquerez peut-être quelques termes de sentiment potentiels tels que «pessimisme» et «optimisme». |
| |
Vous pouvez maintenant voir que ceux-ci ne sont pas mis en évidence. Ceux-ci ne sont en fait pas inclus dans le dictionnaire des sentiments standard. |
| |
Et beaucoup de noms que vous trouverez ne le sont pas, et c'est parce que des noms comme «pessimisme» ou «optimisme» peuvent être décrits de manière à suggérer leur présence ou leur absence, en gros. Je pourrais donc dire, vous savez, "le pessimisme est en baisse" ou |
| |
«il y a un manque flagrant de pessimisme», «le pessimisme n'est plus signalé». |
| |
Et, dans ces cas, nous ne dirions pas que le «pessimisme» est une chose négative. C'est ... donc vous voulez faire attention et réfléchir aux mots dans leur contexte et à la manière dont ils sont réellement utilisés avant de les ajouter à un dictionnaire de sentiments. |
| |
Par exemple, je pourrais revenir à notre liste de termes ici. Je vais juste montrer le filtre, |
| |
recherchez "pessimisme" et montrez ensuite le texte pour voir comment il est utilisé. On voit donc dans ce premier exemple, «l'humeur de nos réalisateurs varie du pessimisme à l'optimisme». |
| |
Et le suivant |
| |
"conversations privées une profonde humeur de pessimisme." Si vous lisez réellement, c'est l'utilisation typique, donc en fait dans le livre beige, ils ne semblent pas utiliser le mot pessimisme de la manière que je pourrais craindre, |
| |
"l'optimisme augmente." |
| |
Donc je me sens vraiment bien d'ajouter "pessimisme" ici, alors ajoutons-le à notre dictionnaire des sentiments. |
| |
Donc si je passe juste au-dessus, |
| |
vous pouvez voir que nous proposons quelques options sur ce qu'il faut en faire. Donc ici je peux, disons, lui donner un score de -60. |
| |
Et maintenant, cela sera ajouté à notre dictionnaire avec ce score correspondant, et cela déclenchera un score de sentiment mis à jour dans JMP. Donc, il cherche maintenant le mot «pessimisme» et ajuste tous les scores du document là où il le trouve. |
| |
Revenons donc en arrière maintenant pour jeter un coup d'œil à nos termes de sentiment plus en détail. Si je fais défiler vers le bas, vous trouverez "pessimisme" |
| |
ici avec le score de -60 que je viens de lui donner. Maintenant, je pourrais vouloir en fait ... si vous remarquez, "pessimiste" est, par défaut, a un score de -50, alors peut-être que je saisis simplement -50 ici pour rendre cela cohérent. |
| |
Et je pourrais mais je ne vais pas le faire, juste pour que nous ne déclenchions pas une autre mise à jour. |
| |
Vous remarquerez également, ici même, cette liste de termes de sentiment possibles. Ce sont donc des termes que JMP a identifiés comme pouvant susciter des sentiments, et vous voudrez peut-être les examiner et les envisager pour les inclure dans votre dictionnaire. |
| |
Par exemple, le mot «fort» ici, si vous regardez certains des textes du document à droite, vous pourriez dire, d'accord, c'est clairement une chose positive. Et si vous avez regardé beaucoup de ces exemples, il ressort vraiment que |
| |
le mot «fort» et par conséquent «faible» sont des mots que ces économistes utilisent beaucoup pour parler de choses qui sont bonnes ou mauvaises dans l'économie actuelle. |
| |
Je pourrais donc les ajouter, ou ajouter "fort" ici en cliquant sur, disons, positif 60 dans les boutons là-haut. Encore une fois, je ne le ferai pas pour le moment, juste pour accélérer notre examen de l'analyse des sentiments. |
| |
Ainsi, nous pourrions passer en revue, tout comme nos textes ci-dessous, nous pourrions parcourir notre liste de termes de sentiment ici pour choisir quelques bons candidats. |
| |
Sous le triangle rouge, nous pouvons également simplement gérer les termes de sentiment plus directement, de sorte que ce soit juste dans le plein |
| |
des listes de gestion des termes auxquelles nous pourrions être habitués pour un utilisateur de Text Explorer, comme la gestion des phrases et la gestion des mots vides. |
| |
Vous pouvez voir que nous avons ajouté un nouveau terme local à cette analyse particulière, en plus de tous nos termes intégrés. Bien sûr, nous pourrions également déclarer des exceptions, si nous voulons peut-être ne pas en inclure certaines. |
| |
Et surtout, vous pouvez également importer et exporter votre dictionnaire des sentiments. Une autre façon de déclarer les termes de sentiment est de consulter des experts en la matière. Vous connaissez, |
| |
les économistes auraient probablement beaucoup à dire sur les types de mots qu'ils s'attendraient à voir qui traduiraient clairement |
| |
émotion positive ou négative dans ces rapports. Et si nous pouvions leur parler, nous voudrions savoir ce qu'ils ont à dire à ce sujet, et nous pourrions même être en mesure de dériver un dictionnaire dans, par exemple, un fichier séparé par des tabulations avec eux, puis de l'importer ici. |
| |
Et puis, bien sûr, une fois que nous avons créé un dictionnaire qui nous convient, nous devons l'exporter et le sauvegarder afin qu'il soit facile à appliquer à nouveau dans le futur. |
| |
Voilà donc un peu comment vous organiseriez réellement votre dictionnaire des sentiments. Il serait également important de |
| |
organisez vos termes intensificateurs et vos termes de négation, et encore une fois, vous ne voyez pas les scores ici, car ce ne sont que des inversions de polarité. |
| |
Juste pour vous montrer un peu plus à quoi cela ressemble réellement, si nous ... jetons un coup d'œil au sentiment ici, afin que nous puissions voir les instances dans lesquelles |
| |
JMP a trouvé le mot «pas» avant certains de ces termes de sentiment et a effectivement appliqué le score approprié. Donc, en haut, «pas acceptable» obtient un score de -25. |
| |
Je vous montre donc que pour attirer votre attention sur le fait que ces négateurs et intensificateurs sont en quelque sorte appliqués automatiquement par JMP. |
| |
Mais de toute façon, passons de la manière de configurer l'analyse à l'examen des résultats. Alors je vais évoquer |
| |
une version de l'analyse qui est déjà faite, c'est-à-dire que j'ai déjà organisé le dictionnaire des sentiments, et nous pouvons réellement commencer à interpréter les résultats que nous obtenons. |
| |
Nous avons donc ici notre résumé de haut niveau, donc nous avons plus de documents positifs que négatifs. Comme nous en avons discuté avant, nous pouvons voir, vous savez, combien de chacun. En fait, au bas de ce tableau à gauche, vous voyez que nous avons un document qui ne contient aucun sentiment exprimé. |
| |
«fort» survenant 14 000 fois, «faible» survenant 4 500 fois environ |
| |
et en les regardant soit par leurs décomptes, soit par leurs scores, en regardant les plus négatifs et les plus positifs, |
| |
même les regarder dans leur contexte peut être assez instructif en soi. Je veux dire, en particulier dans, par exemple, un domaine comme la recherche sur les consommateurs, si vous voulez savoir quand les gens se sentent positivement ou expriment de la positivité |
| |
à propos de notre marque ou de certains produits que nous avons, quel type de langage utilisent-ils, peut-être que cela éclairerait les efforts de marketing, disons. Cette liste de termes de sentiment peut être très informative à cet égard. |
| |
fabrication, |
| |
tourisme, investissements. Et parfois, nous voulons nous concentrer sur l'un de ces sous-domaines en particulier, ce que nous pourrions appeler une fonctionnalité. |
| |
Et si je vais à cet onglet de fonctionnalités dans l'analyse des sentiments, je clique sur Rechercher. JMP trouve quelques mots qui se produisent couramment avec des termes de sentiment et vous demande si vous voulez peut-être plonger dans le sentiment par rapport à cette fonctionnalité. |
| |
Prenons donc, par exemple, les «ventes». Nous pouvons voir "les ventes ont été signalées faibles", "un affaiblissement des ventes", "les ventes auraient bien résisté" et ainsi de suite. |
| |
Donc, si je note juste cette fonctionnalité sélectionnée, maintenant ce que JMP va faire est de fournir des scores de sentiment uniquement en ce qui concerne la mention des "ventes" dans ces rapports plus volumineux, et cela va nous aider à affiner notre analyse ou à la concentrer sur un très bon - sous-domaine défini. |
| |
Et c'est particulièrement important. |
| |
Il se peut que le domaine dans la langue que nous analysons ne soit pas, vous savez, si bien restreint. Prends pour exemple, |
| |
avis sur les produits. Vous êtes intéressé par les sentiments positifs ou négatifs des gens à propos du produit, mais ils peuvent aussi parler, par exemple, de l'expédition et vous ne vous souciez pas nécessairement s'ils n'étaient pas trop satisfaits de l'expédition, principalement parce que cela échappe à votre contrôle . |
| |
Vous ne voudriez pas simplement inclure un tas de critiques qui commentent également cette expédition. Et il est donc important de considérer le domaine de l'analyse et de le restreindre de manière appropriée.L'outil de recherche de fonctionnalités est ici une façon de le faire. |
| |
Donc, vous pouvez voir maintenant que j'ai marqué sur les «ventes», nous avons une distribution très différente de documents positifs et négatifs. Nous avons plus de documents qui n'ont pas de score de sentiment parce qu'ils |
| |
ne parlez tout simplement pas des ventes ou n'utilisez pas de langage émotionnel pour en discuter, et nous avons une liste différente de termes de sentiment qui capturent maintenant les ventes en particulier. |
| |
Laissez-moi supprimer ceci. |
| |
Une chose que j'ai réalisé que j'avais oublié de mentionner, je l'ai brièvement mentionnée, est la façon dont ces scores globaux de documents que nous avons examinés sont calculés, et j'ai dit qu'ils étaient la moyenne de tous les termes de sentiment de ... |
| |
qui s'est produite dans un document particulier. Regardons donc le document 1. Je voudrais juste te montrer que |
| |
si vous vous demandez d'où vient ce score, disons, -20, vous pouvez simplement passer votre souris dessus et il vous montrera une liste de tous les termes de sentiment qui sont apparus. |
| |
Et vous pouvez voir, ici nous en avons 16, y compris tous en bas, "vrai point lumineux", qui était un +78 et ensuite, si vous divisez ... additionnez tous ces scores. diviser par 78 ... |
| |
ou divisez par 16, excusez-moi, alors vous obtenez un sentiment moyen de -20. Et c'est l'une des deux façons de fournir des scores globaux. Un autre est un score min max, donc les différences entre le minimum et le maximum |
| |
sentiments exprimés dans le texte. |
| |
Maintenant, nous pouvons obtenir beaucoup d'informations en regardant juste ce rapport, vous savez, évidemment les scores de sentiment, les termes les plus courants. |
| |
Mais souvent, nous voulons prendre les sentiments et les utiliser d'une autre manière, comme |
| |
regardez-les graphiquement, comme nous l'avons fait dans les diapositives. Alors, quand vient le temps de cette partie de votre analyse, dirigez-vous simplement vers le triangle rouge ici |
| |
et enregistrez les scores du document. Et ceux-ci enregistreront ces scores dans votre tableau de données afin que vous puissiez les saisir dans des analyses plus poussées ou les représenter sous forme de graphique, quoi que vous souhaitiez faire. |
| |
Voici donc un aperçu de l'analyse des sentiments à venir dans Text Explorer dans JMP Pro 16. L'idée à retenir est que l'analyse des sentiments utilise un dictionnaire des sentiments qui |
| |
vous vous êtes mis en place pour fournir des scores correspondant au contenu émotionnel positif et négatif de chaque document, puis à partir de là, vous pouvez utiliser ces informations de quelque manière que ce soit qui vous soit informative. |
| |
Nous allons donc laisser l'analyse des sentiments derrière nous maintenant et je vais revenir à nos diapositives pour parler de l'autre technique à venir dans Text Explorer bientôt. |
| |
Et c'est la sélection des termes, où la sélection des termes répond à une question différente, et c'est-à-dire, quels termes sont le plus fortement associés à une variable ou une variable importante qui me tient à cœur? |
| |
Nous allons nous en tenir au livre beige. |
| |
Nous allons demander quels mots sont statistiquement associés aux récessions. Donc dans le graphique ici, nous avons au fil du temps, le changement en pourcentage |
| |
PIB (produit intérieur brut) trimestre par trimestre, où le bleu indique la croissance économique, le rouge indique la contraction économique. Et nous pourrions nous demander, eh bien, quoi |
| |
termes, tels qu'ils apparaissent dans le livre beige, pourraient être statistiquement associés à ces périodes de ralentissement économique? Par exemple, quelques-uns d'entre eux ici. |
| |
Vous savez, pourquoi voudrions-nous associer des termes spécifiques du livre beige à des périodes de ralentissement économique? |
| |
Eh bien, cela pourrait être instructif en soi pour obtenir une liste de termes. Tu sais, je pourrais en trouver potentiellement, tu sais, subtile |
| |
facteurs ou effets de récessions dont je ne suis peut-être pas conscient ou que je ne saisis facilement dans les données quantitatives. |
| |
Je pourrais aussi trouver quelques mots pour une analyse plus approfondie. Je pourrais ... je pourrais en trouver |
| |
termes de sentiment potentiel, certains termes qui sont utilisés lorsque l'économie se porte particulièrement mal et que j'ai raté la première fois lorsque je faisais mon analyse des sentiments. |
| |
Ou peut-être pourrais-je trouver des mots qui sont si fortement associés aux récessions que je pense que je pourrais peut-être les utiliser dans un modèle prédictif pour essayer de déterminer quand des récessions pourraient se produire à l'avenir. |
| |
Il y a donc plusieurs raisons différentes pour lesquelles nous pourrions vouloir savoir quels mots sont les plus fortement associés aux récessions. |
| |
Alors, comment cela fonctionne-t-il dans JMP? Eh bien, nous construisons essentiellement un modèle de régression où la variable de résultat est la variable qui nous tient à cœur, les récessions, et les entrées sont tous des mots différents. |
| |
Les données saisies dans le modèle prennent la forme d'une matrice de termes de document, où chaque ligne correspond à |
| |
un document ou un rapport Beige Book, puis les colonnes capturent les mots qui apparaissent dans ce rapport. Ici, nous avons la colonne «faible» en surbrillance et elle dit «binaire», ce qui signifie que |
| |
il va contenir des 1 et des 0; un 1 indique que ce rapport contenait le mot «faible» et 0 indique que ce rapport ne contenait pas le mot «faible». Et c'est l'une des nombreuses façons dont nous pourrions en quelque sorte noter les documents, mais nous allons nous en tenir à ce binaire pour le moment. |
| |
Nous prenons donc ces informations et nous les entrons dans un modèle de régression. Voici donc à quoi ressemblerait le lancement. |
| |
Nous avons notre récession comme variable Y et c'est juste une sorte de variable oui ou non, puis nous avons tous ces prédicteurs de termes binaires entrés comme effets de notre modèle. |
| |
Et puis nous allons utiliser l'outil de régression généralisée de JMP Pro |
| |
afin de construire le modèle, et c'est parce que la régression généralisée ou GenReg, comme nous l'appelons, inclut des techniques de sélection automatique de variables. Donc, si vous connaissez |
| |
régression régularisée, on parle comme le Lasso ou le filet élastique. Et si vous ne savez pas ce que cela signifie, c'est très bien. L'idée est qu'il sera automatiquement |
| |
trouver les termes les plus fortement associés à la variable de résultat «récession», puis ceux qu'il ne pense pas y être associés, il les mettra à zéro. |
| |
Et cela nous permet d'examiner les relations entre «récession» et peut-être connaissez-vous des centaines, des milliers de mots possibles qui leur seraient associés. |
| |
Alors, qu'obtenons-nous lorsque nous exécutons l'analyse? |
| |
Nous sortons un modèle. Nous avons donc ici l'équation de ce modèle. Ne vous en faites pas trop. l'idée est que nous disons |
| |
le log des probabilités de récession, donc c'est simplement une fonction de la probabilité que nous soyons en récession et quand le livre beige est publié est une fonction de |
| |
tous les différents mots qui pourraient apparaître dans le rapport Beige Book. |
| |
Et vous pouvez voir, nous avons, vous savez, l'effet de l'apparition du mot «pandémie» avec un coefficient de 1,94. |
| |
Cela signifie simplement que les probabilités de «récession» dans le journal augmentent de 1,94 si le rapport du livre beige mentionne le mot «pandémie». Ensuite, nous voyons moins 1,02 fois le «gain». Eh bien, cela signifie que si le rapport Beige Book mentionne le mot «gain», alors la probabilité de récession ... |
| |
ou les probabilités logarithmiques de récession diminuent de 1,02. |
| |
Nous en sortons donc une liste de termes qui sont fortement associés à une augmentation de la probabilité de récession, des choses comme «pandémie», «report», «annulation», «saisies». |
| |
Et nous obtenons également une liste de termes associés à une probabilité décroissante de récession, comme «gain», «renforcer», «concurrence». |
| |
Nous voyons aussi la «fabrication» là-bas, mais il a un coefficient relativement petit, environ -2,2. |
| |
Et vous remarquerez réellement ici, et si nous regardons une représentation graphique de tous les termes qui sont sélectionnés dans cette analyse, vous ne voyez pas trop de domaines spécifiques comme "fabrication", |
| |
«tourisme», «investissements» et tout ça. C'est parce que l'on parle toujours de ces choses, que nous soyons en récession ou non, alors ce que nous recherchons vraiment des mots qui sont utilisés, |
| |
vous savez, lorsque nous sommes en récession plus souvent que vous ne le pensez par hasard. Nous avons donc ... par exemple, ce sont |
| |
«pandémie» étant la plus prédictive. Cela a beaucoup de sens. Nous ne parlons pas du tout de pandémies jusqu'à assez récemment, puis nous avons également connu la récession récemment, alors nous l'avons clairement compris. |
| |
Ensuite, nous en avons quelques autres dans ce genre de deuxième niveau, donc c'est «reporté» «annuler», «exclu», «détériorer», «pessimiste». |
| |
Et c'est assez intéressant, ce «report» et «annulation» étant associés à des récessions. Cela a du sens, vous voulez vraiment parler de report, par exemple, de l'activité économique |
| |
lorsqu'une récession se produit, ou du moins c'est peut-être une tendance fiable. C'est ... pour que ce soit un aperçu, en soi. En fait, je |
| |
signifie, je ne pourrais pas vous dire comment la Réserve fédérale suit le report ou l'annulation des activités économiques, mais le fait que ces termes soient signalés dans cette analyse suggère que cela vaut probablement la peine d'être suivi. |
| |
Très bien, c'est donc la sélection des termes. Nous sortons en fait cette belle liste de termes associés aux récessions et nous pouvons voir la force relative de l'association. Voyons maintenant cela brièvement ici, comment cela se fait dans JMP. |
| |
Je vais donc retourner à JMP et ce que nous allons faire est de créer un tableau de données légèrement différent. Cependant, ce sont toujours les données du livre beige, mais maintenant nous n'avons que les rapports nationaux. |
| |
Et nous avons cette variable d'accompagnement, que les États-Unis soient ou non en récession à l'époque. Et bien sûr, il y a une corrélation automatique dans ces données. Je veux dire, si nous sommes en récession le mois dernier, il est plus probable que nous soyons en récession ce mois-ci que si nous ne l'étions pas. |
| |
Et vous savez que cela pourrait généralement être un problème pour les analyses basées sur la régression, mais c'est purement exploratoire. Nous ne sommes pas trop concernés par cela. |
| |
Je vais donc simplement extraire Text Explorer d'un script de table simplement parce que nous avons en quelque sorte vu comment il a été lancé auparavant. |
| |
Notez cependant que j'ai déjà fait du phrasé, comme nous l'avons fait auparavant. J'ai aussi ajouté quelques mots vides, vous ne pouvez pas voir ici, mais des mots que je ne veux pas forcément renvoyés par cette analyse. |
| |
Et j'ai activé la dérivation, c'est ce que signifient ces petits points dans la liste de termes. Par exemple, ceci pour «augmenter» maintenant est en fait en train de s'effondrer entre «augmentations», «augmentant», «de plus en plus». |
| |
Et c'est parce que maintenant, en quelque sorte, je considère que tout cela est le même concept, et je veux juste savoir si, vous savez, ce concept est associé à des récessions. |
| |
Donc, pour invoquer la sélection de termes, nous allons simplement aller au triangle rouge, et je vais le sélectionner ici. |
| |
Nous obtenons une fenêtre de contrôle qui apparaît en premier, ou je devrais dire section, où nous sélectionnons la variable qui nous intéresse, ce sont les récessions. Sélectionnez le niveau cible, donc je veux que ce soit en termes de probabilité de récession, par opposition à la probabilité d'absence de récession. |
| |
Je peux spécifier certains paramètres du modèle. Si vous êtes familier avec GenReg, vous verrez que vous pouvez choisir si vous voulez un arrêt prématuré, si vous voulez l'un des deux |
| |
pénalisations pour effectuer la sélection de variables, quelle statistique vous voulez effectuer la validation. Et si ce truc est nouveau pour vous, ne vous en faites pas trop. Les paramètres par défaut sont une bonne façon de procéder au début. |
| |
Nous avons notre pondération, si vous vous en souvenez, nous avions les 1 et 0 dans cette colonne pour «faible», indiquant simplement si le mot est apparu dans un document ou non, mais vous pouvez sélectionner ce que vous voulez. Alors |
| |
par exemple, la fréquence n'est pas, est-ce que «faible» s'est produit ou non, c'est combien de fois cela s'est-il produit. Et ce genre d'affecte la façon dont vous interpréteriez vos résultats. Nous allons nous en tenir au binaire pour le moment. |
| |
Mais je vais dire, je veux vérifier les 1000 termes les plus fréquents, au lieu des 400 par défaut, que vous pouvez voir, c'est beaucoup plus que 436, et normalement vous ne pouvez pas adapter un modèle avec 1000 Xs mais seulement 436 |
| |
observations, mais grâce à la |
| |
sélection automatique de variables en régression généralisée, ce n'est pas un problème. Donc, une fois de plus, il sélectionne lesquels de ces mille termes sont les plus étroitement liés, d'où la sélection des termes de nom. |
| |
Alors je vais m'en occuper. Vous pouvez voir ce qui s'est passé, c'est que JMP a appelé la plate-forme de régression généralisée et a renvoyé ces résultats, où ici, nous voyons des informations sur le modèle tel qu'il était. Par exemple, 37 termes ont été renvoyés. |
| |
Permettez-moi de déplacer cela. Parce que c'est ici, à droite, que nous trouvons des informations vraiment précieuses. Il s'agit de la liste des termes les plus fortement associés à la récession. |
| |
Maintenant, je vais les trier par coefficient pour trouver ceux qui sont le plus fortement associés à la probabilité de récession, donc encore une fois c'est "pandémie" "report" "annulations" et, comme vous pouvez vous y attendre, à ce stade, si je clique sur l'un des ceux-ci, il mettra à jour ces aperçus |
| |
ou ces extraits de texte ci-dessous, afin que nous puissions voir ce mot dans son contexte. |
| |
Cette liste de termes en elle-même pourrait donc être extrêmement précieuse. Vous, vous pourriez apprendre des choses sur des termes ou des concepts spécifiques qui sont importants que vous ne connaissiez peut-être pas auparavant. Vous pouvez également utiliser ces termes dans des modèles prédictifs. |
| |
Maintenant, quelques autres choses à noter. |
| |
Vous pouvez voir ici, nous avons à nouveau un tableau par document individuel, mais au lieu de scores de sentiment, nous avons maintenant essentiellement des scores du modèle. Nous avons pour chacun |
| |
le... |
| |
ce que nous appelons la contribution positive, c'est donc la contribution des coefficients positifs prédisant la probabilité de récession. Ici, nous avons ceux du côté négatif. |
| |
Et puis nous avons même la probabilité de récession du modèle, 71,8% ici et puis ce que nous avons réellement observé. |
| |
Et nous ne construisons pas nécessairement un modèle prédictif ici, c'est-à-dire que je ne vais pas utiliser ce modèle pour essayer de prédire les récessions. Je veux dire, j'ai toutes sortes de variables d'indicateurs économiques que j'utiliserais |
| |
aussi, mais c'est un bon moyen de vérifier la santé de votre modèle. Est-ce qu'il semble que certaines de ses prédictions sont correctes? |
| |
Parce que si ce n'est pas le cas, vous risquez de ne pas faire confiance aux termes renvoyés. Vous avez également beaucoup d'autres informations pour essayer de porter ce jugement. Je veux dire, nous avons des statistiques d'ajustement, comme l'aire sous la courbe ici. |
| |
Ou nous pouvons même entrer dans la plate-forme de régression généralisée, avec toutes ses options normales pour évaluer votre modèle plus loin également. |
| |
Je ne vais pas entrer dans les détails ici, mais tout cela est à votre disposition pour que vous puissiez évaluer votre modèle, peaufiner votre modèle comme vous le souhaitez, pour vous assurer que vous avez une liste de termes qui vous plaisent. |
| |
Maintenant que vous voyez ici, nous avons ceci, sous le résumé, cette liste de modèles et c'est parce que vous voudrez peut-être exécuter plusieurs modèles. Donc si je retourne au modèle ... oh, excusez-moi ... si nous retournons à notre |
| |
paramètres ici, je pourrais en fait exécuter un modèle légèrement différent. Peut-être, par exemple, je sais que le BIC est un peu plus conservateur que l'AICc et je veux renvoyer moins de termes, peut-être fait une analyse qui a renvoyé 900 termes et vous êtes un peu dépassé. |
| |
Je vais donc cliquer sur exécuter et créer un autre modèle en utilisant cela à la place. |
| |
Et maintenant, nous avons ce modèle ajouté à notre liste ici, et je peux basculer entre ces modèles pour voir les résultats pour chacun. Dans ce cas, nous n'avons renvoyé que 14 termes, au lieu de 37 et je reviendrais les évaluer ci-dessous. |
| |
Donc, deux grands résultats que vous obtiendriez de ceci, bien sûr, est cette liste de termes. Si vous souhaitez enregistrer cela, ce ne sont que des termes importants pour vous et vous souhaitez en garder une trace, il suffit de cliquer avec le bouton droit de la souris et d'en faire un tableau de données. Maintenant j'ai une table JMP |
| |
avec les termes, leurs coefficients et autres informations. |
| |
Et |
| |
si ce que vous voulez faire est en fait de réécrire ceci dans votre table de données d'origine, peut-être, afin que vous puissiez utiliser les informations dans un autre type d'analyse ou de modèle prédictif, |
| |
dirigez-vous simplement vers la sélection des termes et dites que vous souhaitez enregistrer les scores des termes en tant que matrice de termes de document, ce qui, si je ramène notre tableau de données ici, vous pouvez voir que j'ai maintenant écrit |
| |
colonnes pour chacun de ces termes qui ont été sélectionnés. Dans ce cas, rempli avec leurs valeurs de coefficient, et maintenant je peux utiliser ceci |
| |
des informations quantitatives comme j'aime. |
| |
C'est juste un peu la sélection des termes. Encore une fois, la grande idée ici est que j'ai trouvé une liste de termes liés à une variable qui me tient à cœur et j'ai même, grâce à leurs coefficients, des informations sur la force de cette relation. |
| |
Alors terminons-nous donc. Nous avons couvert deux techniques. Nous venons de voir la sélection des termes, trouver ces mots importants. Avant cela, nous avons examiné l'analyse des sentiments, tout au sujet de |
| |
quantifier le degré d'émotion positive ou négative dans un texte. Ce sont deux nouvelles techniques d'exploration de texte à venir dans l'explorateur de texte de JMP Pro 16. Nous sommes ravis que vous mettiez la main dessus et attendons vos commentaires avec impatience. |
