| Conférencier |
Transcription |
| Ross Metusalem |
Bonjour à tous, et merci de prendre le temps de découvrir comment JMP enrichit sa boîte à outils d'exploration de texte dans JMP Pro 16. |
| |
Analyse des sentiments et sélection des termes. |
| |
Je suis Ross Metusalem, ingénieur système chez JMP dans le sud-est des États-Unis, et je vais vous donner un aperçu de ces deux nouvelles analyses, vous expliquer brièvement leur fonctionnement et vous fournir quelques bonnes pratiques pour les utiliser. |
| |
Ces deux techniques d'analyse seront donc intégrées à Text Explorer, qui, pour ceux qui ne le connaissent pas, est un outil de JMP. |
| |
outil permettant d'analyser ce que nous appelons textes libres ou non structurés, c'est-à-dire des textes en langage naturel. |
| |
Et c'est ce que nous appelons un outil d'exploration de texte, c'est-à-dire un outil permettant d'extraire des informations quantitatives à partir de texte libre afin que nous puissions |
| |
utiliser d'autres types d'outils statistiques ou analytiques pour tirer des enseignements du texte libre, voire utiliser ce texte comme intrants pour d'autres analyses. |
| |
Alors, jetons un coup d'œil à ces deux nouvelles techniques d'exploration de texte qui arrivent dans Text Explorer de JMP Pro 16, et nous commencerons par l'analyse des sentiments. |
| |
L'analyse des sentiments répond essentiellement à la question de savoir dans quelle mesure un texte est émotionnellement positif ou négatif. |
| |
Nous allons également effectuer une analyse des sentiments exprimés dans le Livre beige, un rapport périodique de la Réserve fédérale américaine. |
| |
Je m'excuse d'utiliser un exemple américain chez JMP Discovery Europe, mais le Livre beige illustre bien ce qu'est l'analyse des sentiments. |
| |
Il s'agit donc d'une publication mensuelle, qui contient un rapport national ainsi que 12 rapports au niveau des districts, résumant les conditions économiques de ces districts, et tous ces rapports sont basés sur des informations qualitatives, telles que des entretiens et des enquêtes. |
| |
Et les décideurs politiques américains peuvent utiliser les informations qualitatives du Livre beige, ainsi que les informations quantitatives, vous savez, les indicateurs économiques traditionnels, pour orienter la politique économique. |
| |
On pourrait donc penser : « Nous parlons ici de sentiments ou d’émotions. » Je ne m’attends pas à ce que les rapports économiques soient particulièrement chargés d’émotion, mais les rapports du Livre beige et une grande partie du langage courant contiennent effectivement des mots qui peuvent véhiculer ou exprimer des émotions. |
| |
Examinons donc un extrait d'un rapport. Voici une capture d'écran issue directement de la nouvelle plateforme d'analyse des sentiments. |
| |
Vous remarquerez certains mots mis en évidence ; ce sont ce que nous appellerons des termes de sentiment, c’est-à-dire : |
| |
Des termes qui, selon nous, comportent une certaine charge émotionnelle. Par exemple, en haut de page : « les ventes d’ordinateurs, en revanche, ont fortement chuté ». |
| |
où « gravement déprimé » est mis en évidence en violet, indiquant que nous considérons que cela véhicule une émotion négative, ce qui semble être le cas si quelqu'un décrit les ventes d'ordinateurs comme « gravement déprimées », on a l'impression qu'il veut que nous interprétions cela comme étant certainement une mauvaise chose. |
| |
Si nous regardons plus bas, nous voyons en orange quelques termes à connotation positive mis en évidence, comme « améliorer » ou « favorable ». Nous pouvons donc rechercher des mots qui, selon nous, ont une connotation émotionnelle positive ou négative. |
| |
Le violet pour le négatif, l'orange pour le positif, et certaines analyses de sentiments s'en tiennent à ce niveau, donc à une simple distinction binaire : un texte positif ou un texte négatif. |
| |
Il existe d'autres méthodes pour effectuer une analyse des sentiments et, en particulier, |
| |
De nombreuses méthodes tentent de quantifier le degré de positivité ou de négativité, et non pas simplement de déterminer si quelque chose est positif ou négatif. Prenons donc cet autre exemple ; je vous invite à regarder tout en bas, où l’on peut voir un rapport faisant état de « mauvaises ventes ». |
| |
Et je vais comparer cela avec ce que nous avons dit : « Les ventes d'ordinateurs sont fortement déprimées. » |
| |
Ce sont donc deux affirmations négatives, mais je pense que nous serions tous d'accord pour dire que « gravement déprimé » sonne beaucoup plus négatif que simplement « pauvre ». |
| |
Nous voulons donc déterminer non seulement si un sentiment est exprimé de manière positive ou négative, mais aussi à quel point il est positif ou négatif ; c’est précisément le rôle de l’analyse des sentiments. |
| |
Text Explorer le fait. Mais comment ? Il utilise une technique appelée analyse lexicale des sentiments, basée sur des termes de sentiment et des scores associés. |
| |
Ce que nous voyons actuellement est un extrait de ce que nous appellerions un dictionnaire de sentiments, qui contient les termes et leurs scores. |
| |
Par exemple, le terme « fantastique » a un score de 90 et le terme « sinistre » en bas a un score de -75. |
| |
Nous précisons donc quels termes nous estimons porteurs d'un contenu émotionnel et dans quelle mesure ils sont positifs ou négatifs sur une échelle arbitraire, ici de -100 à 100. |
| |
Nous pouvons ensuite retrouver ces termes dans tous nos documents et les utiliser pour évaluer le caractère globalement positif ou négatif de ces documents. |
| |
Si vous repensez à notre exemple « gravement déprimé », le mot « gravement » reprend le mot « déprimé » et l'intensifie. |
| |
Il s'agit d'un intensificateur ou d'un multiplicateur du sentiment exprimé ; nous disposons donc également d'un dictionnaire des intensificateurs et de leur effet sur le sentiment exprimé par le terme de sentiment. |
| |
Par exemple, on dit « incroyablement » multiplie le sentiment par un facteur de 1,4 tandis que « peu » le multiplie par un facteur de 0,3, ce qui a pour effet d'atténuer légèrement le sentiment exprimé. |
| |
Enfin, il y a un autre type de mot que nous voulons prendre en compte : les négationnistes, comme « non » et « pas », que nous traitons essentiellement comme des inversions de polarité. |
| |
Dire « pas fantastique » reviendrait à prendre la note de « fantastique » et à la multiplier par -1. |
| |
Voici donc une méthode courante d'analyse des sentiments, appelée analyse lexicale des sentiments. Concrètement, nous prenons les termes de sentiment que nous trouvons et nous les multiplions par l'intensificateur associé, le cas échéant. |
| |
ou des négationnistes, puis pour chaque document, lorsque nous avons tous les scores de sentiment pour les termes individuels qui apparaissent, nous faisons simplement la moyenne de tous ces scores pour obtenir un score de sentiment pour ce document. |
| |
JMP nous renvoie ces scores de plusieurs manières utiles. Voici une capture d'écran de l'outil d'analyse des sentiments, que nous allons utiliser dans un instant. |
| |
Mais vous pouvez constater, entre autres, qu'il nous fournit une répartition des scores de sentiment dans tous nos documents. Il nous donne également la liste de tous les termes de sentiment et leur fréquence d'apparition. |
| |
Et nous avons même la possibilité, comme nous le verrons, d'exporter les scores de sentiment pour les utiliser dans des graphiques ou des analyses. |
| |
J'ai donc réalisé quelques graphiques pour tenter de déterminer, dans un premier temps, si le sentiment exprimé dans les rapports du Livre beige correspond bien aux événements économiques comme on l'attend. Autrement dit, avons-nous réellement des éléments probants à ce sujet ? |
| |
Le sentiment comme indicateur économique ? La réponse semble être : oui, probablement. |
| |
Voici un graphique que j'ai créé avec Graph Builder ; il représente l'évolution du sentiment au fil du temps, les petits points gris correspondant aux rapports individuels. |
| |
et la courbe bleue lisse illustre en quelque sorte l'évolution du sentiment au fil du temps, la ligne noire à zéro indiquant un sentiment neutre, du moins selon notre système de notation. |
| |
Les zones rouges sont |
| |
périodes de récession économique telles que répertoriées officiellement par la Réserve fédérale. |
| |
Vous pourriez donc remarquer que le moral semble atteindre un point bas ou qu'il y a des creux autour des récessions, mais une autre chose que vous pourriez remarquer |
| |
En réalité, avant chaque récession, on observe une baisse du moral des consommateurs, soit plusieurs mois, soit, dans certains cas, même deux ans à l'avance. Et nous ne constatons pas ces fortes baisses de moral. |
| |
Dans des situations où aucune récession ne s'en est suivie. Il se pourrait donc que l'indice Beige Book soit un indicateur avancé de récession, et qu'il y ait donc une certaine validité à ce qu'il représente. |
| |
Si l'on considère l'analyse géographique, on constate également des éléments cohérents. Ceci n'est qu'un exemple parmi d'autres tirés de cette analyse. Nous étudions le sentiment dans les 12 |
| |
Les districts de la Réserve fédérale au fil du temps, de 1999 à 2000 puis 2001. Cette période correspond à ce que l'on appelle communément l'éclatement de la bulle Internet. |
| |
Une bulle spéculative importante s'est formée autour de sociétés technologiques et d'entreprises en ligne qui ont vu le jour, et finalement, beaucoup d'entre elles ont fait faillite, entraînant des conséquences économiques assez graves. |
| |
Le sentiment qui prévaut entre 1999 et 2000 se renforce, et même, semble-t-il, il se renforce assez fortement. |
| |
Dans le quartier de la Réserve fédérale de San Francisco, où se trouvent les sièges sociaux de nombreuses entreprises. Puis, en 2001, après le krach, on observe la plus forte chute, avec un sentiment négatif généralisé (indiqué par le rouge), là encore dans ce quartier de San Francisco. |
| |
Un simple coup d'œil graphique à ces scores de sentiment du Livre beige suggère qu'ils présentent une certaine validité quant à leur capacité à suivre, voire à prédire, certains événements économiques, même si, bien sûr, ce dernier point mérite un examen plus approfondi. |
| |
Mais ce n'est qu'un exemple parmi tant d'autres des cas d'utilisation potentiels de l'analyse des sentiments. |
| |
L'un des principaux domaines d'application où elle est utilisée actuellement est celui des études de consommation, où l'on peut, par exemple, analyser |
| |
certaines réponses à un sondage auprès des consommateurs permettent d'identifier les facteurs qui influencent les opinions ou réactions positives ou négatives. |
| |
Mais l'analyse des sentiments peut également être utilisée, par exemple, pour l'amélioration des produits, où l'analyse des avis clients ou des réclamations de garantie peut nous aider à identifier les caractéristiques ou les problèmes des produits qui suscitent de fortes réactions émotionnelles chez nos clients. |
| |
Prenons l'exemple du support client : nous pourrions analyser les centres d'appels ou les conversations en ligne… les transcriptions des conversations… |
| |
Nous recherchons des pratiques de support client qui ont un impact sur la satisfaction ou l'insatisfaction des clients. Nous pouvons également analyser les commentaires publics afin d'évaluer la réaction du public aux politiques proposées ou existantes, voire aux politiques publiques. |
| |
Ce ne sont là que quelques exemples de domaines d'application de l'analyse des sentiments. Elle est en réalité pertinente dès lors qu'un texte véhicule une émotion susceptible d'être informative. |
| |
Voilà, c'est tout ce que je voulais dire pour commencer. Maintenant, j'aimerais vous expliquer brièvement comment cela fonctionne dans JMP. Passons donc à JMP. |
| |
Voici les données du Livre beige. En bas, vous pouvez voir un peu plus de 5 000 rapports, avec la date de chaque rapport. |
| |
Mai 1972 - octobre 2020, de quel district parmi les 12 il provient, puis le texte du rapport. Et vous pouvez constater que ces rapports, |
| |
Ce ne sont pas simplement des déclarations rapides du genre « l'économie se porte bien ou mal », elles peuvent entrer dans un certain niveau de détail. |
| |
Avant de nous plonger dans ces données, je tiens à remercier la personne qui a eu l'idée d'analyser le Livre beige et qui a extrait les données et les a intégrées à JMP. |
| |
Le format est prêt à être analysé. Un grand merci à Xan Gregg qui, si vous ne le connaissez pas, est directeur au sein de l'équipe de développement de JMP et créateur de Graph Builder. Merci donc, Xan, pour ton aide. |
| |
Très bien, quantifions maintenant le degré d'émotion positive et négative dans tous ces rapports. Nous utiliserons l'Explorateur de texte du menu Analyser. |
| |
Voici notre fenêtre de lancement. Je vais prendre nos données textuelles et les placer dans le rôle des colonnes de texte. Quelques points importants avant de commencer. |
| |
Text Explorer prend en charge plusieurs langues, mais pour l'instant, l'analyse des sentiments n'est disponible qu'en anglais, et un autre point que je souhaite souligner se trouve juste ici. |
| |
Ceux qui pratiquent l'analyse textuelle connaissent probablement le principe de la racinisation, mais pour ceux qui ne le connaissent pas, la racinisation est un processus qui consiste à regrouper plusieurs mots… |
| |
Bon, pour rester simple… il s’agit de plusieurs formes d’un même mot. Prenons « fort », « plus fort » et « le plus fort ». Ce sont donc trois formes. |
| |
Il existe plusieurs variantes du même mot « fort », et dans certaines techniques d'exploration de texte, on voudrait en fait les combiner en un seul terme et simplement dire : « Oh, elles signifient toutes “fort” », car c'est conceptuellement la même chose. |
| |
Je vais laisser de côté la notion de tige ici, car… prenez « le plus fort », qui décrit ce qui est le plus fort possible. |
| |
par opposition à « plus fort », qui signifie que vous savez que c'est fort, mais qu'il y a encore de la place pour que ce soit encore plus fort. |
| |
« Le plus fort » devrait donc probablement obtenir un score de sentiment plus élevé que « plus fort », et si je procédais à une analyse grammaticale, je perdrais la distinction entre ces deux mots. Comme je ne veux pas perdre cette distinction, je souhaite leur attribuer des scores de sentiment différents. Je vais donc continuer l'analyse grammaticale ici. |
| |
Je vais donc cliquer sur OK. |
| |
Et JMP va maintenant tokeniser notre texte, c'est-à-dire le décomposer en tous ses mots individuels, puis compter la fréquence d'apparition de chacun. |
| |
Voici la liste de tous les termes et leur fréquence d'utilisation. Le terme « ventes » apparaît plus de 46 000 fois. Vous trouverez également ici notre liste d'expressions. Voici les expressions : |
| |
séquences de deux mots ou plus qui apparaissent fréquemment, et que nous souhaitons parfois compter comme des termes dans notre vocabulaire |
| |
Pour l'analyse des sentiments, il faudrait parcourir votre liste d'expressions et, par exemple, ajouter « immobilier », qui est un mot en deux mots, mais qui désigne en réalité une propriété. |
| |
Et je pourrais ajouter cela. Normalement, en analyse de texte, nous ajoutons également ce qu'on appelle les mots vides. |
| |
Ce sont des mots qui n'ont pas vraiment de sens dans le contexte de notre analyse et que nous souhaitons exclure. Prenons « district ». Cela arrive… ou le Livre beige l'utilise |
| |
L'utilisation fréquente du mot « district », dans des phrases comme « ce rapport du district de Richmond », n'a pas vraiment de sens. |
| |
Mais je ne vais pas m'embêter avec les mots vides ici, et c'est parce que, si vous vous souvenez, |
| |
Pour revenir à nos diapositives, nous avons expliqué que tous nos scores de sentiment sont basés sur un dictionnaire, dans lequel nous choisissons les mots clés et le score qu'ils doivent obtenir. |
| |
Et si l'on omet simplement le mot « district », il obtient automatiquement un score de 0 et n'affecte pas notre score de sentiment ; je n'ai donc pas vraiment besoin de le déclarer comme mot vide. |
| |
Une fois que nous serons prêts, nous procéderons à l'analyse de texte, ou plutôt à l'analyse des sentiments, sous le triangle rouge ici. |
| |
Comme nous n'avons spécifié aucun terme d'analyse de sentiment, JMP utilise actuellement un dictionnaire de sentiments intégré pour attribuer une note à tous les documents. Voici les résultats obtenus. |
| |
Avant d'explorer ces résultats, il serait judicieux de personnaliser notre dictionnaire de sentiments, c'est-à-dire les mots porteurs de sentiments et leurs scores. En effet, dans différents domaines, |
| |
Il se peut que, selon les personnes qui rédigent le texte, certains mots puissent avoir des connotations différentes, voire être perçus comme tels dans un contexte et pas dans un autre. Nous souhaitons donc… |
| |
Nous avons créé avec soin et rigueur un dictionnaire de sentiments qui, selon nous, capture fidèlement les sentiments tels qu'ils sont véhiculés par le langage que nous analysons actuellement. |
| |
Comme je l'ai dit, JMP utilise un dictionnaire intégré assez limité. Vous pouvez le voir ici : il contient quelques émoticônes. |
| |
comme ces petits smileys et autres, mais nous avons aussi un langage assez clair qui exprime des sentiments, comme « abyssal » à -90. |
| |
Il est peu probable que quelqu'un utilise le mot « abyssal » sans l'employer dans un sens positif, ce qui nous rassure. Cependant, la liste n'est pas très longue et nous pourrions y ajouter quelques termes. |
| |
Voyons donc comment procéder. Je vous recommande tout simplement d'analyser vos données. Lisez certains documents et essayez de repérer les mots clés qui pourraient révéler un sentiment. |
| |
Nous disposons ici d'un outil qui nous permet de parcourir nos documents et d'y ajouter directement des indicateurs de sentiment. Voici une liste de documents. Le document 1 est sélectionné et affiché en dessous. Je peux sélectionner d'autres documents pour les consulter. |
| |
Maintenant, si nous regardons le Document 1, vous remarquerez d'emblée quelques termes pouvant exprimer un sentiment, comme « pessimisme » et « optimisme ». |
| |
Vous pouvez constater que ces éléments ne sont pas mis en évidence. Ils ne figurent d'ailleurs pas dans le dictionnaire de sentiments standard. |
| |
Et beaucoup de noms que vous rencontrerez ne le sont pas, car des noms comme « pessimisme » ou « optimisme » peuvent être décrits de manière à suggérer leur présence ou leur absence. Je pourrais donc dire, par exemple, « le pessimisme est en déclin » ou |
| |
« On constate un net manque de pessimisme », « le pessimisme n'est plus signalé ». |
| |
Et, dans ces cas-là, on ne dirait pas que le « pessimisme » est négatif. C'est… Il faut donc être prudent et réfléchir au contexte et à l'usage réel des mots avant de les ajouter à un dictionnaire de sentiments. |
| |
Par exemple, je pourrais revenir à notre liste de termes ici. Je vais simplement afficher le filtre. |
| |
Recherchez le mot « pessimisme », puis affichez le texte pour observer son utilisation. Dans ce premier exemple, on peut voir : « L’humeur de nos directeurs oscille entre pessimisme et optimisme. » |
| |
Et le suivant |
| |
« Conversations privées empreintes d'un profond pessimisme. » Si vous lisez attentivement, c'est l'usage typique ; or, dans le Livre beige, le mot pessimisme n'est pas employé de la manière que je craignais. |
| |
« L’optimisme est en hausse. » |
| |
Je suis donc tout à fait d'accord pour ajouter le mot « pessimisme » ici, alors ajoutons-le à notre dictionnaire de sentiments. |
| |
Donc si je passe simplement la souris dessus, |
| |
Vous voyez, nous proposons plusieurs options quant à l'utilisation de cette donnée. Ici, je peux par exemple lui attribuer une note de -60. |
| |
Cette entrée sera donc ajoutée à notre dictionnaire avec le score correspondant, ce qui déclenchera une mise à jour du score de sentiment dans JMP. Autrement dit, le système recherche désormais le mot « pessimisme » et ajuste les scores de tous les documents où il est présent. |
| |
Revenons donc en arrière pour examiner plus en détail nos termes relatifs aux sentiments. Si je fais défiler vers le bas, vous trouverez « pessimisme ». |
| |
Voici le score de -60 que je viens d'attribuer. En fait, vous remarquerez que « pessimiste » a par défaut un score de -50 ; je vais donc peut-être simplement saisir -50 ici pour plus de cohérence. |
| |
Et je pourrais, mais je ne le ferai pas, pour éviter de déclencher une autre mise à jour. |
| |
Vous remarquerez également ici une liste de termes susceptibles d'exprimer des sentiments. Il s'agit de termes que JMP a identifiés comme pouvant véhiculer des sentiments ; vous pourriez les consulter et envisager de les inclure dans votre dictionnaire. |
| |
Par exemple, le mot « fort » ici, si vous regardez certains des textes des documents à droite, vous pourriez dire : « D’accord, c’est clairement un point positif. » Et si vous avez examiné plusieurs de ces exemples, cela ressort vraiment que |
| |
Les mots « fort » et, par conséquent, « faible » sont des mots que ces économistes utilisent très souvent pour parler des aspects positifs ou négatifs de l'économie actuelle. |
| |
Je pourrais donc les ajouter, ou ajouter « fort » ici en cliquant, par exemple, sur « positif 60 » dans les boutons ci-dessus. Mais je ne le ferai pas tout de suite, afin de poursuivre notre analyse des sentiments. |
| |
Nous pourrions donc, tout comme pour nos textes ci-dessous, parcourir notre liste de termes relatifs aux sentiments ici afin de choisir de bons candidats. |
| |
Sous le triangle rouge, nous pouvons également gérer plus directement les termes de sentiment, ce qui est inclus dans la version complète. |
| |
Les listes de gestion des termes auxquelles un utilisateur de Text Explorer pourrait être habitué, comme la gestion des phrases et la gestion des mots vides. |
| |
Comme vous pouvez le constater, nous avons ajouté un nouveau terme spécifique à cette analyse, en plus de tous nos termes intégrés. Bien entendu, nous pouvons également déclarer des exceptions, si nous souhaitons exclure certains de ces termes. |
| |
Et surtout, vous pouvez également importer et exporter votre dictionnaire de sentiments. Une autre façon de définir les termes relatifs aux sentiments consiste à consulter des experts du domaine. Vous savez, |
| |
Les économistes auraient probablement beaucoup à dire sur les types de mots qu'ils s'attendraient à voir et qui permettraient de transmettre clairement ce message. |
| |
Ces rapports contiennent des informations sur les émotions positives ou négatives. Si nous pouvions dialoguer avec les personnes concernées, nous aimerions connaître leur avis à ce sujet et peut-être même constituer un dictionnaire à partir de leurs données, par exemple dans un fichier texte séparé par des tabulations, que nous pourrions ensuite importer ici. |
| |
Et puis, bien sûr, une fois que nous avons créé un dictionnaire qui nous convient, nous devrions l'exporter et le sauvegarder afin de pouvoir l'utiliser facilement à nouveau à l'avenir. |
| |
Voilà donc un aperçu de la manière dont vous pourriez constituer votre dictionnaire de sentiments. Il serait également important de |
| |
Choisissez avec soin vos termes intensificateurs et vos termes de négation, et encore une fois, vous ne voyez pas de scores ici, car il s'agit simplement d'inversions de polarité. |
| |
Pour vous montrer un peu plus à quoi cela ressemble concrètement, si nous... examinons ici le sentiment, afin de voir les cas où |
| |
JMP a détecté le mot « pas » avant certains de ces termes d'analyse de sentiment et a appliqué le score correspondant. Ainsi, « inacceptable » obtient un score de -25. |
| |
Je vous montre cela simplement pour attirer votre attention sur le fait que ces négateurs et intensificateurs sont en quelque sorte appliqués automatiquement par JMP. |
| |
Bref, passons de la configuration de l'analyse à l'examen des résultats. Je vais donc aborder… |
| |
une version de l'analyse déjà réalisée, c'est-à-dire que j'ai déjà constitué le dictionnaire de sentiments, et nous pouvons donc commencer à interpréter les résultats obtenus. |
| |
Voici donc notre résumé général, qui montre que les documents positifs sont plus nombreux que les documents négatifs. Comme évoqué précédemment, nous pouvons voir le nombre de documents de chaque type. En fait, tout en bas du tableau de gauche, vous constatez qu'un document ne contient aucune opinion exprimée. |
| |
Le mot « fort » apparaît environ 14 000 fois, et le mot « faible » environ 4 500 fois. |
| |
et en les examinant soit par leur nombre, soit par leurs scores, en considérant les plus négatifs et les plus positifs, |
| |
Le simple fait de les examiner dans leur contexte peut s'avérer très instructif en soi. Je veux dire, notamment dans un domaine comme les études de consommation, si l'on veut savoir quand les gens ressentent des émotions positives ou expriment de la positivité… |
| |
Concernant notre marque ou certains de nos produits, quel type de langage utilise-t-on ? Cela pourrait orienter nos efforts marketing. Cette liste de termes relatifs aux sentiments peut s'avérer très instructive à cet égard. |
| |
fabrication, |
| |
Tourisme, investissements. Et parfois, nous souhaitons nous concentrer sur l'un de ces sous-domaines en particulier, ce que nous pourrions appeler une fonctionnalité. |
| |
Si je me rends dans l'onglet « Fonctionnalités » de l'analyse des sentiments, je clique sur « Rechercher ». JMP trouve des mots fréquemment associés aux termes d'analyse des sentiments et me propose d'explorer plus en détail le sentiment lié à cette fonctionnalité. |
| |
Prenons par exemple le terme « ventes ». On peut voir « les ventes ont été jugées faibles », « affaiblissement des ventes », « les ventes se maintiennent bien », etc. |
| |
Donc, si je me contente d'attribuer un score à cette fonctionnalité sélectionnée, JMP fournira des scores de sentiment uniquement en ce qui concerne la mention des « ventes » dans ces rapports plus volumineux, ce qui nous permettra d'affiner notre analyse ou de la concentrer sur un sous-domaine bien défini. |
| |
Et c'est particulièrement important. |
| |
Il se pourrait que le domaine du langage que nous analysons ne soit pas, vous savez, si bien délimité. Prenons, par exemple, |
| |
Les avis sur les produits. Vous vous intéressez à savoir ce que les gens pensent positivement ou négativement du produit, mais ils peuvent aussi parler, par exemple, de la livraison, et cela ne vous importe pas forcément s'ils n'étaient pas très satisfaits de la livraison, principalement parce que c'est hors de votre contrôle. |
| |
Il serait imprudent d'inclure uniquement des avis mentionnant également la livraison. Il est donc important de bien définir le champ d'analyse et de le circonscrire en conséquence ; l'outil de recherche de fonctionnalités proposé ici permet justement d'y parvenir. |
| |
Vous pouvez donc constater que, maintenant que j'ai calculé le score « ventes », la répartition des documents positifs et négatifs est très différente. Nous avons davantage de documents sans score de sentiment car… |
| |
Il suffit de ne pas parler de ventes ou de ne pas utiliser de langage émotionnel pour en parler, et nous disposons désormais d'une liste différente de termes relatifs aux sentiments, qui englobent notamment les ventes. |
| |
Je vais supprimer ceci. |
| |
J'ai oublié de mentionner un point que j'avais brièvement évoqué : le calcul des scores globaux des documents que nous avons analysés. J'avais précisé qu'il s'agissait de la moyenne de tous les termes d'analyse de sentiment… |
| |
cela s'est produit dans un document particulier. Prenons donc le document 1. Je voudrais simplement vous montrer que |
| |
Si vous vous demandez d'où vient ce score, par exemple -20, il vous suffit de passer votre souris dessus pour afficher la liste de tous les termes de sentiment qui sont apparus. |
| |
Et vous voyez, nous en avons ici 16, y compris tous ceux du bas, le « point fort », qui était un +78. Ensuite, si vous additionnez tous ces scores, puis divisez par 78… |
| |
Ou divisez par 16, excusez-moi, et vous obtenez un sentiment moyen de -20. C'est l'une des deux façons de fournir des scores globaux. L'autre consiste à calculer les différences entre le score minimum et le score maximum. |
| |
Les sentiments exprimés dans le texte. |
| |
Maintenant, ce simple rapport nous permet d'obtenir beaucoup d'informations, notamment les scores de sentiment et les termes les plus courants. |
| |
Mais souvent, nous voulons nous approprier ces sentiments et les utiliser d'une autre manière, comme |
| |
Observez-les graphiquement, comme nous l'avons fait dans les diapositives précédentes. Donc, au moment de cette partie de votre analyse, il vous suffit de vous référer au triangle rouge ici. |
| |
et enregistrez les scores des documents. Ces scores seront ensuite enregistrés dans votre tableau de données, ce qui vous permettra de les utiliser pour des analyses ultérieures, de les représenter graphiquement, ou toute autre action de votre choix. |
| |
Voici donc un aperçu de l'analyse des sentiments qui sera bientôt disponible dans Text Explorer de JMP Pro 16. L'idée principale est que l'analyse des sentiments utilise un dictionnaire de sentiments qui |
| |
Vous configurez un système permettant d'attribuer des scores correspondant au contenu émotionnel positif et négatif de chaque document, et vous pouvez ensuite utiliser ces informations de la manière qui vous semble la plus utile. |
| |
Nous allons donc laisser de côté l'analyse des sentiments pour le moment et je vais revenir à nos diapositives pour parler de l'autre technique qui sera bientôt disponible dans Text Explorer. |
| |
Et c'est là qu'intervient la sélection des termes, où la sélection des termes répond à une question différente : quels termes sont les plus fortement associés à une variable importante ou à une variable qui m'intéresse ? |
| |
Nous allons nous en tenir au Livre beige. |
| |
Nous allons chercher quels mots sont statistiquement associés aux récessions. Le graphique ci-contre représente l'évolution en pourcentage au fil du temps. |
| |
PIB (produit intérieur brut) trimestre par trimestre, le bleu indiquant la croissance économique et le rouge la contraction. Et l'on peut se demander : |
| |
Certains termes, tels qu'ils apparaissent dans le Livre beige, pourraient-ils être statistiquement associés à ces périodes de ralentissement économique ? Par exemple, certains d'entre eux sont présentés ici. |
| |
Vous savez, pourquoi voudrions-nous associer des termes spécifiques du Livre beige à des périodes de ralentissement économique ? |
| |
Eh bien, obtenir une liste de termes pourrait s'avérer instructif en soi. Je pourrais y trouver des termes potentiellement, disons, subtils. |
| |
Facteurs ou effets des récessions dont je n'ai pas forcément connaissance ou que je ne peux pas facilement quantifier. |
| |
Je pourrais aussi trouver des éléments pour une analyse plus approfondie. Je pourrais... je pourrais trouver quelques éléments. |
| |
Termes potentiels liés aux sentiments, certains termes utilisés lorsque l'économie se porte particulièrement mal et que j'avais manqués lors de ma première analyse des sentiments. |
| |
Ou peut-être pourrais-je trouver des mots tellement associés aux récessions que je pourrais les utiliser dans un modèle prédictif pour essayer de déterminer quand des récessions pourraient survenir à l'avenir. |
| |
Il existe donc plusieurs raisons pour lesquelles nous pourrions vouloir savoir quels mots sont les plus fortement associés aux récessions. |
| |
Alors, comment cela fonctionne-t-il dans JMP ? Eh bien, nous construisons essentiellement un modèle de régression où la variable de résultat est la variable qui nous intéresse, les récessions, et les entrées sont tous les différents mots. |
| |
Les données saisies dans le modèle prennent la forme d'une matrice document-terme, où chaque ligne correspond à |
| |
Un document ou un rapport du Livre beige, et les colonnes recensent les mots qui y figurent. Ici, la colonne « faible » est mise en évidence et indique « binaire », ce qui signifie que… |
| |
Il contiendra des 1 et des 0 ; un 1 indique que le rapport contenait le mot « faible » et un 0 indique qu’il ne le contenait pas. C’est l’une des manières possibles d’évaluer les documents, mais nous nous en tiendrons à ce système binaire pour le moment. |
| |
Nous utilisons donc ces informations et les intégrons dans un modèle de régression. Voici à quoi ressemblerait le lancement. |
| |
Nous avons notre récession comme variable Y, qui est en quelque sorte une variable binaire (oui ou non), et nous avons ensuite entré tous ces prédicteurs binaires comme effets de notre modèle. |
| |
Nous allons ensuite utiliser l'outil de régression généralisée de JMP Pro. |
| |
afin de construire le modèle, et c'est parce que la régression généralisée, ou GenReg, comme on l'appelle, inclut des techniques de sélection automatique des variables. Donc, si vous êtes familier avec |
| |
La régression régularisée, c'est un peu comme le Lasso ou l'Elastic Net. Si vous ne savez pas ce que c'est, pas de souci. L'idée, c'est que ça va automatiquement… |
| |
Le système identifie les termes les plus fortement associés à la variable de résultat « récession », puis met à zéro ceux qui ne sont pas considérés comme associés. |
| |
Et cela nous permet d'examiner les relations entre le terme « récession » et peut-être des centaines, voire des milliers de mots possibles qui pourraient lui être associés. |
| |
Alors, qu'obtenons-nous lorsque nous effectuons l'analyse ? |
| |
Nous obtenons un modèle. Voici donc l'équation de ce modèle. Ne vous en préoccupez pas trop. L'idée est que nous disons |
| |
le logarithme des chances de récession, c'est donc une fonction de la probabilité que nous soyons en récession, et la date de publication du Livre beige est une fonction de |
| |
tous les différents mots susceptibles d'apparaître dans le rapport du Livre beige. |
| |
Et vous pouvez constater que nous avons, vous savez, l'effet de l'occurrence du mot « pandémie » avec un coefficient de 1,94. |
| |
Cela signifie simplement que le logarithme des chances de « récession » augmente de 1,94 si le rapport du Livre beige mentionne le mot « pandémie ». On observe ensuite une réduction de 1,02 fois pour le mot « gain ». Autrement dit, si le rapport du Livre beige mentionne le mot « gain », la probabilité de récession… |
| |
ou la probabilité logarithmique de récession diminue de 1,02. |
| |
On obtient donc une liste de termes fortement associés à une augmentation de la probabilité de récession, comme « pandémie », « report », « annulation », « saisies immobilières ». |
| |
Et nous obtenons également une liste de termes associés à une probabilité décroissante de récession, comme « gain », « renforcement », « concurrence ». |
| |
On y voit également le secteur manufacturier, mais son coefficient est relativement faible, environ -0,2. |
| |
Et vous remarquerez d'ailleurs ici, et si nous regardons une représentation graphique de tous les termes sélectionnés dans cette analyse, vous ne verrez pas beaucoup de domaines spécifiques comme « la fabrication », |
| |
« Tourisme », « investissements », etc. C'est parce qu'on parle toujours de ces choses-là, qu'on soit en récession ou non. Donc, ce qu'on cherche vraiment, ce sont les mots qui sont utilisés. |
| |
Vous savez, on est en récession plus souvent qu'on ne le penserait par hasard. Donc, on a… par exemple, ce sont… |
| |
Le terme « pandémie » s'avère le plus prédictif. C'est tout à fait logique. On ne parlait pas du tout de pandémie jusqu'à très récemment, et puis on a aussi connu la récession, donc on l'a bien compris. |
| |
Ensuite, nous avons quelques autres éléments dans cette sorte de deuxième niveau, comme « reporté », « annulé », « saisi », « détérioré », « pessimiste ». |
| |
Et c'est assez intéressant, ce « report » et cette « annulation » associés aux récessions. C'est logique, on a vraiment envie de parler de reporter, par exemple, l'activité économique. |
| |
lorsqu'une récession survient, ou du moins c'est une tendance qui se vérifie peut-être. C'est... donc c'est une observation pertinente en soi. En fait, je |
| |
Je ne saurais pas vous dire comment la Réserve fédérale suit les reports ou les annulations d'activités économiques, mais le fait que ces termes soient signalés dans cette analyse suggère que c'est probablement un élément qu'il vaut la peine de surveiller. |
| |
Très bien, voilà pour la sélection des termes. On obtient ainsi une liste de termes associés aux récessions et on peut observer la force relative de cette association. Voyons maintenant brièvement comment cela se fait dans JMP. |
| |
Je vais donc retourner sur JMP et nous allons consulter un tableau de données légèrement différent. Il s'agit toujours des données du Livre beige, mais cette fois-ci, nous n'avons que les rapports nationaux. |
| |
Et nous avons cette variable concomitante qui indique si les États-Unis étaient en récession ou non à ce moment-là. Bien sûr, il existe une certaine autocorrélation dans ces données. Autrement dit, si nous étions en récession le mois dernier, il est plus probable que nous le soyons encore ce mois-ci. |
| |
Vous savez que cela peut généralement poser problème pour les analyses de régression, mais il s'agit ici d'une étude purement exploratoire. Cela ne nous préoccupe pas outre mesure. |
| |
Je vais donc simplement ouvrir Text Explorer à partir d'un tableau de scripts, car nous avons déjà vu comment il se lance. |
| |
Notez cependant que j'ai déjà reformulé certains termes, comme précédemment. J'ai également ajouté des mots vides, invisibles ici, que je ne souhaite pas voir apparaître dans cette analyse. |
| |
J'ai activé la racinisation, ce qui explique la signification des petits points dans la liste des termes. Par exemple, pour « augmentation », on regroupe maintenant « augmentations », « augmentation » et « augmentation croissante ». |
| |
Et c'est parce que maintenant, je considère en quelque sorte tout cela comme un seul et même concept, et je veux juste savoir si, vous savez, ce concept est associé aux récessions. |
| |
Pour lancer la sélection des termes, il suffit d'aller sur le triangle rouge, et je vais le sélectionner ici. |
| |
Une fenêtre de contrôle s'affiche, ou plutôt une section, où l'on sélectionne la variable qui nous intéresse : les récessions. On choisit ensuite le niveau cible ; je souhaite donc qu'il s'agisse de la probabilité de récession, et non de la probabilité de non-récession. |
| |
Je peux spécifier certains paramètres du modèle. Si vous connaissez GenReg, vous verrez que vous pouvez choisir si vous souhaitez un arrêt anticipé, ou l'un des deux modes différents. |
| |
Les pénalités servent à la sélection des variables, et la statistique de validation est à définir. Si ces notions vous sont nouvelles, ne vous en préoccupez pas trop. Les paramètres par défaut sont un bon point de départ. |
| |
Nous avons notre système de pondération ; si vous vous souvenez, nous avions des 1 et des 0 dans cette colonne pour « faible », indiquant simplement si le mot apparaissait ou non dans un document, mais vous pouvez sélectionner ce que vous voulez. |
| |
Par exemple, la fréquence ne se limite pas à savoir si l'événement « faible » s'est produit ou non, mais plutôt combien de fois il s'est produit. Cela influence l'interprétation des résultats. Pour l'instant, nous utiliserons une représentation binaire. |
| |
Mais je vais préciser que je souhaite examiner les 1 000 termes les plus fréquents, au lieu des 400 par défaut. Comme vous pouvez le constater, c’est bien plus que 436, et normalement, on ne peut pas modéliser avec 1 000 X, mais seulement avec 436. |
| |
observations, mais grâce aux |
| |
La sélection automatique des variables en régression généralisée ne pose pas de problème. Elle sélectionne donc, parmi les mille termes étudiés, ceux qui sont les plus fortement corrélés, d'où le terme de sélection de termes. |
| |
Je vais donc lancer le calcul. Vous pouvez constater que JMP a interrogé la plateforme de régression généralisée et a renvoyé ces résultats. Ici, nous voyons des informations sur le modèle tel qu'il a été ajusté. Par exemple, 37 termes ont été renvoyés. |
| |
Je vais déplacer ça. Car c'est ici, à droite, que se trouvent des informations très précieuses. Voici la liste des termes les plus fortement associés à la récession. |
| |
Je vais maintenant trier ces éléments par coefficient afin de trouver ceux qui sont le plus fortement associés à la probabilité de récession. Il s'agit donc, encore une fois, de « pandémie », « report » et « annulations ». Et, comme vous pouvez vous y attendre, si je clique sur l'un d'eux, les aperçus seront mis à jour. |
| |
ou ces extraits de texte ci-dessous, afin que nous puissions voir ce mot dans son contexte. |
| |
Cette liste de termes pourrait donc s'avérer extrêmement précieuse. Vous pourriez y découvrir des notions ou des concepts importants que vous ignoriez peut-être. Vous pourrez également utiliser ces termes dans des modèles prédictifs. |
| |
Quelques autres points à noter. |
| |
Comme vous pouvez le voir ci-dessous, nous avons à nouveau un tableau pour chaque document, mais au lieu des scores de sentiment, nous avons maintenant les scores issus du modèle. Nous avons pour chaque document… |
| |
le... |
| |
Ce que nous appelons la contribution positive, c'est-à-dire la contribution des coefficients positifs qui prédisent la probabilité de récession. Ici, nous avons ceux qui se situent du côté négatif. |
| |
Et puis nous avons même la probabilité de récession selon le modèle, 71,8 % ici, et ensuite ce que nous avons réellement observé. |
| |
Et nous ne construisons pas nécessairement un modèle prédictif ici, c'est-à-dire que je ne vais pas utiliser ce modèle pour essayer de prédire les récessions. J'ai toutes sortes de variables indicatrices économiques que je pourrais utiliser. |
| |
C'est aussi une bonne façon de vérifier la cohérence de votre modèle. Semble-t-il faire des prédictions correctes ? |
| |
Car si ce n'est pas le cas, vous pourriez ne pas faire confiance aux résultats obtenus. Vous disposez également de nombreuses autres informations pour vous aider à vous forger votre propre opinion. Par exemple, nous avons des statistiques d'ajustement, comme l'aire sous la courbe ci-dessus. |
| |
Ou bien nous pouvons même passer à la plateforme de régression généralisée, avec toutes ses options habituelles pour évaluer plus en détail votre modèle. |
| |
Je ne vais pas entrer dans les détails, mais tout cela est à votre disposition pour que vous puissiez évaluer votre modèle, l'ajuster à votre guise, afin de vous assurer d'avoir une liste de termes qui vous convienne. |
| |
Vous voyez ici, sous le résumé, nous avons cette liste de modèles, car vous pourriez vouloir exécuter plusieurs modèles. Donc, si je reviens au modèle… oh, excusez-moi… si nous revenons à notre |
| |
Avec ces paramètres, je pourrais exécuter un modèle légèrement différent. Par exemple, je sais que le BIC est un peu plus conservateur que l'AICc et je souhaite obtenir moins de résultats ; peut-être avez-vous effectué une analyse qui a renvoyé 900 résultats et que cela vous semble un peu excessif. |
| |
Je vais donc cliquer sur « Exécuter » et créer un autre modèle en utilisant celui-ci. |
| |
Voilà, ce modèle est ajouté à notre liste. Je peux maintenant passer d'un modèle à l'autre pour voir les résultats de chacun. Ici, seuls 14 termes ont été trouvés au lieu de 37 ; je vous invite donc à les analyser plus bas. |
| |
Vous obtiendrez donc deux résultats importants : la liste des termes. Si vous souhaitez la sauvegarder (il s'agit simplement de termes importants que vous souhaitez conserver), faites un clic droit et transformez-la en tableau de données. J'ai maintenant un tableau JMP. |
| |
avec les termes, leurs coefficients et autres informations. |
| |
Et |
| |
si ce que vous souhaitez faire est en fait de réécrire ces données dans votre tableau d'origine, afin de pouvoir utiliser ces informations dans un autre type d'analyse ou de modèle prédictif, |
| |
Il suffit d'aller dans la sélection des termes et de préciser que vous souhaitez enregistrer les scores des termes sous forme de matrice document-terme. Si je ramène notre tableau de données ici, vous pouvez voir que j'ai maintenant écrit dans leur |
| |
Des colonnes pour chacun des termes sélectionnés. Dans ce cas, elles ont été remplies avec leurs valeurs de coefficient, et je peux maintenant utiliser ceci |
| |
Je préfère les informations quantitatives. |
| |
Voilà donc un bref aperçu de la sélection des termes. L'idée principale est la suivante : j'ai trouvé une liste de termes liés à une variable qui m'intéresse et, grâce à leurs coefficients, je dispose d'informations sur la force potentielle de cette relation. |
| |
Alors, pour conclure, nous avons abordé deux techniques. Nous venons de voir la sélection de termes, c'est-à-dire la recherche des mots clés. Auparavant, nous avons examiné l'analyse des sentiments, et plus précisément… |
| |
Quantifier le degré d'émotion positive ou négative dans un texte : voici deux nouvelles techniques d'exploration de texte qui seront bientôt disponibles dans Text Explorer de JMP Pro 16. Nous sommes impatients de vous les faire découvrir et attendons vos commentaires. |
