| Conférencier |
Transcription |
| Ross Metusalem |
Bonjour à tous et bienvenue à cette présentation sur la façon dont JMP a élargi sa boîte à outils d'exploration de texte dans JMP Pro 16, qui vient de sortir au printemps dernier. |
| |
Je suis Ross Metusalem. Je suis ambassadeur académique de JMP et je vais partager avec vous ces deux nouvelles fonctionnalités de text mining. |
| |
Analyse des sentiments et sélection de termes. Nous allons aborder leur nature et leur utilisation, ainsi que JMP, puis nous verrons deux exemples d'analyses réalisées sur des données réelles accessibles au public. |
| |
L'analyse des sentiments et la sélection de termes sont donc deux nouveaux ajouts à l'explorateur de texte de JMP, qui est un outil d'exploration de texte à usage général. |
| |
Vous pouvez donc utiliser cela pour dériver des informations quantitatives à partir de ce que nous appelons communément des données textuelles libres ou non structurées, cela peut donc aller de la dérivation de fréquences de mots, afin que nous puissions créer un nuage de mots, |
| |
pour effectuer une analyse sémantique latente, afin de regrouper les documents sémantiquement similaires. Les deux fonctionnalités que nous allons découvrir aujourd'hui sont celles de l'explorateur de texte. |
| |
Nous allons commencer par l’analyse des sentiments, une fonctionnalité populaire et souvent demandée que nous sommes heureux de présenter dans JMP Pro 16. |
| |
Pour ceux qui ne le savent pas, l'analyse des sentiments consiste à quantifier les émotions positives et négatives dans des données textuelles non structurées. |
| |
L’exemple que nous allons examiner est tiré du Livre Beige, un rapport narratif publié par la Réserve fédérale. |
| |
Et comme nous pouvons le voir sur la carte, la Réserve fédérale est divisée en 12 districts différents et environ huit fois par an, chaque district publie un rapport narratif du Livre Beige. |
| |
qui résume la situation économique actuelle et potentielle de la région géographique concernée. Ces rapports s'appuient en grande partie sur des données qualitatives. |
| |
Des conversations avec des chefs d'entreprise, des enquêtes, etc. Je pense donc que le Livre Beige constitue un bon exemple d'analyse des sentiments, non seulement parce qu'il |
| |
ce sont des données accessibles au public, et je peux les partager avec vous tous, mais aussi parce que ce serait assez intéressant si vous étiez, disons, un investisseur ou vous, |
| |
Vous savez, j'ai dirigé une institution financière pour connaître l'opinion positive ou négative des dirigeants de la Réserve fédérale sur la situation économique dans différentes régions du pays. Vous pourriez utiliser cela pour |
| |
peut-être guider la prise de décision, ou même si vous pouvez le quantifier, l'utiliser dans certaines analyses statistiques, peut-être même certains modèles prédictifs. |
| |
Prenons maintenant un exemple de texte tiré du Livre Beige. |
| |
Nous avons ici un extrait d'un des rapports, et nous pouvons voir, en commençant par le haut, que ce rapport indique que les ventes d'ordinateurs, en revanche, ont été gravement déprimées. |
| |
Alors que, si nous descendons vers le bas, un individu a également signalé qu'il y a un certain nombre de pailles favorables dans le vent, nous avons donc « gravement déprimé » et « favorable » et également « s'améliorer » mis en évidence ici, |
| |
Car ce sont ce que l'on appelle des expressions sentimentales. Il s'agit donc d'un ou plusieurs mots qui expriment un contenu émotionnel positif ou négatif. |
| |
Donc en haut, nous avons sévèrement déprimé, ce qui serait fortement négatif, et puis nous avons en bas, favorable, ce qui serait généralement positif, et nous utilisons ce code couleur pour que l'orange soit contre ce bleu ou ce violet (selon la façon dont vous le voyez) |
| |
pour indiquer respectivement un sentiment positif et négatif. |
| |
De nombreuses formes d'analyse des sentiments font exactement cela : elles recherchent des expressions positives et négatives dans un texte. |
| |
Le formulaire utilisé par JMP, et que vous pourriez rencontrer ailleurs, quantifie en fait le sentiment positif et négatif sur une échelle continue. |
| |
Prenons par exemple, au bas de ce deuxième extrait de texte, où nous voyons que quelqu'un dit que les grands magasins de la région signalent de faibles ventes. |
| |
Donc, en haut, les ventes sont très en baisse, et en bas, elles sont faibles. Je pense que nous sommes tous d'accord : « Très en baisse » semble pire. |
| |
en termes de ventes que les pauvres. Et donc, on pourrait vouloir, |
| |
Bien qu'ils soient tous deux négatifs, la dépression sévère est plus négative que la pauvreté. C'est ce que nous faisons dans l'analyse des sentiments dans JMP. Nous allons en parler. |
| |
très brièvement ici sur la façon dont ces scores sont calculés, en particulier, mais je pense d'abord qu'il vaut la peine d'examiner réellement |
| |
démonstrations potentielles de la validité de la quantification des sentiments en examinant des termes et des expressions individuels comme ceux-ci. |
| |
Et nous parlons essentiellement de noter des documents, en fonction des mots qui y apparaissent. |
| |
Ce que nous pensons dénote une émotion et son degré. C'est une question interne et subjective, mais cette approche, l'analyse des sentiments, |
| |
peut réellement démontrer une certaine validité prédictive. Par exemple, si l'on observe l'évolution du sentiment du Livre Beige au fil du temps, on constate qu'il suit de manière assez fiable les récessions. Voici donc le sentiment. |
| |
Sur l'axe des Y, on voit qu'il s'étend de -75 à 75 ; c'est la plage que nous avons tracée. L'échelle réelle va de -100. |
| |
à 100, où zéro est neutre. Et vous pouvez constater que, grâce au lissage temporel, l'évolution générale du sentiment dans tous les rapports du Livre Beige est reflétée. |
| |
On observe une tendance intéressante concernant les récessions économiques, elles-mêmes surlignées en rouge. On observe notamment une baisse constante du sentiment avant chaque récession. |
| |
Donc, même s'il s'agit d'une mesure relativement subjective de ce que nous pensons être l'état émotionnel des directeurs de la Réserve fédérale américaine, je veux dire, cela correspond aux récessions économiques comme on pourrait s'y attendre. |
| |
Il est également intéressant de noter que le suivi géographique est également pertinent. Prenons l'exemple de l'éclatement des bulle Internet vers 2000-2001, lorsque plusieurs start-ups Internet ont vu le jour dans la baie de San Francisco. |
| |
Les indicateurs de San Francisco sont surlignés ici, ce qui nous permet de visualiser les scores de cette région. Le sentiment positif est en orange, comme nous l'avons vu précédemment, et le sentiment négatif est en bleu. |
| |
Nous pouvons voir que le sentiment monte jusqu'à 2000 |
| |
était assez élevé dans la région de la Baie, 38,65, puis il a chuté de plus de 60 points en 2001 en moyenne pour atteindre |
| |
Environ -24,7. C'est une variation bien plus importante que celle observée ailleurs dans le pays, car c'est la région… probablement la plus durement touchée. |
| |
On observe un phénomène similaire avec la Grande Récession. L'effondrement du marché immobilier de 2008 s'est accompagné d'une baisse de confiance, et ce, de manière inégale. |
| |
Il semble que les plus fortes baisses aient été constatées sur la côte ouest, c'est-à-dire à nouveau dans la région de San Francisco, la région de New York et également la région d'Atlanta, qui comprend |
| |
La Floride, où je vis, a été particulièrement touchée. Et, en fait, si l'on regarde la rangée du bas, on peut voir que la Floride… |
| |
Le sentiment ne semble pas se redresser dans cette région avant 2012 environ, après d'autres régions, ce qui semble logique. Le marché immobilier en Floride a été l'un des derniers à se redresser à l'échelle nationale. |
| |
Nous avons donc cette mesure subjective de l’émotion, mais elle suit, dans ce cas, des événements externes… des événements économiques d’une manière à laquelle nous nous attendrions. |
| |
Et vous savez, nous nous intéressons au Livre Beige, car c'est un exemple particulièrement pertinent et accessible au public. |
| |
parlons de domaines peut-être plus courants pour appliquer l'analyse des sentiments, comme les études de marché sur les consommateurs, où vous traitez avec un |
| |
la voix du client sous forme de données textuelles, donc des avis sur les produits, des réponses aux enquêtes, des choses comme ça, |
| |
vous pourrez peut-être utiliser l'analyse des sentiments afin de mieux comprendre, peut-être même prédire, par exemple, les comportements des clients, tout comme nous pouvons utiliser le sentiment ici pour mieux comprendre ou prédire, peut-être, les récessions économiques. |
| |
Cela étant dit, je me rends compte que nous avons examiné les scores de sentiment au cours des dernières minutes ici, et cela soulève vraiment une question sur leur origine. |
| |
JMP utilise donc une forme d'analyse des sentiments appelée analyse lexicale des sentiments. Il utilise donc un lexique des sentiments ou |
| |
dictionnaire des sentiments |
| |
Attribuer des notes à tous les mots que nous considérons comme porteurs d'un sentiment. Ainsi, un mot comme « fantastique » pourrait obtenir une note de 90, ce qui est très positif. Il atteint presque le maximum positif, soit 100, tandis qu'un mot comme « craint » obtient une note de -60. |
| |
Nous pouvons désormais attribuer des scores à ces termes et les compter ou prendre leur moyenne dans n’importe quel document individuel. |
| |
Mais nous voulons aussi prendre en compte quelques autres éléments. Si vous vous souvenez de la première expression de sentiment que nous avons vue dans l'exemple du Livre Beige, c'était « gravement déprimé ». |
| |
D'autres mots, « sévèrement », sont un exemple de ce que nous appelons un intensificateur, qui est en fait un multiplicateur de sentiment. Vous voyez ici que nous pourrions déclarer « incroyablement » comme un multiplicateur avec un score de sentiment de 1,4, où un petit… |
| |
il l'échelonne de 0,3, diminuant ainsi un peu l'ampleur du sentiment. |
| |
Ainsi, si un intensificateur apparaît avec le terme de sentiment, nous effectuons cette multiplication, et également si un négatif apparaît. Nous disons donc : |
| |
vous savez, quelque chose n'est pas ou ne devrait pas ou n'était pas, nous multiplions par moins un, de sorte que nous inversons fondamentalement le signe ; le positif devient négatif et vice versa. |
| |
Et donc pour n'importe quelle phrase de sentiment, nous effectuons simplement cette simple multiplication, puis sur un document, |
| |
nous pouvons prendre le score moyen ou peut-être la différence entre les scores de sentiment minimum et maximum pour |
| |
Calculer une valeur de sentiment pour ces documents. C'est ce que nous observions dans ces graphiques : l'évolution du sentiment au fil du temps dans ces cartes. |
| |
Il s'agit donc d'une analyse lexicale des sentiments. C'est une pratique très courante et c'est le type d'analyse des sentiments implémenté dans JMP. Comme nous le verrons, avec JMP |
| |
En calculant tous les scores de sentiment, vous obtenez de nombreuses informations utiles. Voici un exemple de rapport d'analyse des sentiments. |
| |
Pour prévisualiser un seul élément des résultats, en haut ici, nous avons un simple résumé du sentiment dans tous nos documents. |
| |
Nous avons donc un histogramme codé par couleur qui nous montre que la distribution des sentiments globaux semble pencher vers le positif, que nous avons une queue de sentiment négatif assez forte. |
| |
Nous pouvons voir que, sur l’ensemble des documents, le score de sentiment moyen est de 4,1, donc légèrement supérieur à la neutralité. |
| |
Pour tous les documents globalement positifs, au nombre de 3 900, leur score moyen est de 22,9, tandis que parmi les quelque 1 400 documents négatifs, le |
| |
le score moyen est de -15,4, donc les documents négatifs ne sont pas aussi fortement négatifs que les documents positifs sont fortement positifs. |
| |
Maintenant, bien sûr, vous savez, ici avec le Livre Beige, je pourrais dire, eh bien, vous savez, dans ce cas en 1970 jusqu'à aujourd'hui, en regardant simplement le score de sentiment moyen, peut-être, vous savez, je ne m'en soucie pas autant que de regarder les scores des documents individuels ou |
| |
Il faudrait peut-être examiner la distribution de certains termes de sentiment. Mais encore une fois, si vous traitez des données… |
| |
disons, des études de marché sur les consommateurs, quelque chose comme ça, des données textuelles où vous avez la voix du client, même juste un résumé de haut niveau comme celui-ci qui peut nous dire à quel point nos clients se sentent positifs ou négatifs, en fonction des données dont nous disposons, |
| |
Même un simple rapport peut être très utile. Nous allons bientôt passer à JMP et découvrir que le rapport d'analyse des sentiments offre de nombreuses possibilités supplémentaires d'exploration des données pour en tirer des informations pertinentes. |
| |
Alors, allons voir JMP et voyons comment cela se passe. |
| |
Nous voici donc dans JMP Pro 16.1, et avant de plonger dans ces données du Beige Book, je tiens à remercier Xan Gregg. |
| |
Pour ceux qui ne le connaissent pas, Xan est directeur au sein de notre équipe de développement. Il est le créateur de Graph Builder. |
| |
C'est aussi lui qui a eu l'idée d'examiner les données du Livre Beige, et qui a même eu la gentillesse d'extraire les pages HTML des archives du Livre Beige pour me fournir une belle table de données JMP. Merci beaucoup, Xan. |
| |
Très bien maintenant, regardons l'analyse des sentiments et en fait, au lieu d'entrer dans les résultats, |
| |
vous savez, je veux vous montrer brièvement comment mettre en place l'analyse, car il y a quelques considérations importantes à prendre en compte, |
| |
en ce qui concerne non seulement la manière dont JMP l'implémente, mais aussi la manière de réaliser une analyse des sentiments ou une analyse des sentiments lexicaux en général. |
| |
Et pour démontrer cette configuration, je vais en fait examiner juste un sous-ensemble des données de 2010 à aujourd'hui, dans ce cas, juste pour garder les choses claires, car nous allons demander |
| |
L'explorateur de texte met automatiquement à jour son analyse un certain nombre de fois, et nous voulons que cela soit, vous savez, aussi instantané que possible. |
| |
Donc, ici, j'ai ce sous-ensemble de données, donc nous avons nos rapports du Livre Beige sur les 12 districts à partir de janvier 2010 jusqu'au rapport le plus récent du mois dernier. |
| |
Très bien, pour lancer notre analyse des sentiments, je vais dans « Analyser » et choisir « Explorateur de texte ». Je prends notre texte et je le place dans les colonnes de texte. Quelques points à noter. |
| |
L’une d’elles est que, même si l’explorateur de texte prend généralement en charge un certain nombre de langues, |
| |
L'analyse des sentiments n'est actuellement disponible qu'en anglais. |
| |
Et l'autre est que si... au moins si vous êtes un utilisateur expérimenté de l'explorateur de texte, vous avez peut-être l'habitude d'activer la radicalisation, et vous remarquerez que je vais la désactiver pour le moment. |
| |
Pour ceux qui ne connaissent pas la terminologie, c'est une façon de regrouper plusieurs formes d'un même mot ou, en langage linguistique, d'un même lemme. Prenons donc strong, stronger et strongest. |
| |
Nous nous effondrerions sur eux tous, et nous dirions simplement, eh bien, ils sont tous forts pour nos objectifs. |
| |
Et évidemment, nous ne voulons pas faire cela ici parce que le plus fort est plus positif que le plus fort, qui est plus positif que le fort. |
| |
Et donc nous laissons la fonction de dérivation désactivée et, en fait, même si vous l'activez une fois que vous invoquez l'analyse des sentiments, elle ignorera cette dérivation, car, encore une fois, vous ne devriez vraiment pas l'utiliser. |
| |
Je vais donc cliquer sur « OK ». Non, et il semblerait qu'en faisant cela, nous ayons rencontré un léger problème technique. Je m'excuse, il s'est passé quelque chose d'étrange avec mon ordinateur ces derniers temps, ce qui est à l'origine de ce problème, mais ce n'est pas grave. Nous pouvons simplement redémarrer notre partage d'écran et récupérer ma vidéo. Bonjour à tous. |
| |
Et nous allons partager ça. Bon, on devrait continuer, on dirait que l'enregistrement est toujours en cours. Je vais vérifier que JMP est assigné au bon moniteur. Apparemment, c'est le cas. Bon, désolé pour ça tout le monde. Bref, revenons-en à nos moutons. |
| |
Voici donc notre fenêtre d'exploration de texte. Si vous avez l'habitude de faire |
| |
En analyse de texte, vous savez qu'on commence généralement par déclarer les mots vides. Par exemple, on parle de mes contacts dans l'industrie qui m'ont dit que… Et vous savez, je ne voudrais pas utiliser le mot « contacts » dans mon analyse, donc normalement, je le ferais. |
| |
ajoutez cela comme mot d'arrêt et passez ensuite potentiellement des heures à le parcourir |
| |
déclarer les mots vides avant de faire mon analyse, et vous n'êtes pas obligé de le faire avec l'analyse des sentiments. |
| |
Tout est basé sur ce dictionnaire de sentiments, et donc, pour un mot comme « contacts », il n'est pas dans le dictionnaire. Il est de toute façon fonctionnellement exclu, ce qui permet de gagner du temps. |
| |
Cependant, vous voudrez probablement déclarer des phrases, par exemple, l'immobilier ou une chose que nous allons examiner, à savoir la demande de prêt, qui est assise ici. |
| |
Je clique donc sur « Demande de prêt » et je l'ajoute comme expression. Elle est placée dans notre liste de termes ; on la retrouve donc rapidement. |
| |
Voilà, 1 139 instances. Ceci nous permet d'explorer en profondeur les sous-domaines de ces analyses. |
| |
dans cet ensemble de données. Imaginez donc que je veuille calculer le sentiment, non pas globalement, mais uniquement par rapport à la demande de prêts. |
| |
Pour ce faire, comme nous le verrons, je dois d'abord le déclarer comme une phrase, il est donc raisonnable de passer en revue et de déclarer certaines phrases au moins pour les domaines vraiment importants qui pourraient vous intéresser. |
| |
Très bien, fermons maintenant cela et lançons réellement l’analyse des sentiments. |
| |
Et vous verrez quand je le ferai, je vais publier un rapport complet, et il pourrait donc me sembler qu'il est temps de commencer à explorer mes résultats, car cela ressemble à une analyse complète, mais je veux encourager quiconque utilise cela à freiner et à considérer votre dictionnaire de sentiments. |
| |
Différents groupes de personnes, vous savez, génèrent des textes dans des contextes différents sur des sujets différents, avec des langues vernaculaires différentes. |
| |
Vous pouvez utiliser le langage de multiples façons. Il est donc important d'adapter vos listes de termes de négation de sentiment et d'intensification. |
| |
Pour refléter cela. J'hésite donc à utiliser le mot « jamais », mais je vais… je vais dire « jamais » : utilisez simplement le dictionnaire de sentiments par défaut. Vous obtiendrez toujours des résultats plus pertinents si vous le gérez vous-même. |
| |
Donc, si je vais aux termes de sentiment ici, vous pouvez voir que les scores sont basés sur ce dictionnaire intégré, qui est relativement clairsemé. |
| |
Mais je voudrais relire une partie du texte et voir si je peux identifier d'autres mots qui mériteraient d'être inclus dans le dictionnaire. Je vous conseille même de parcourir le |
| |
la liste intégrée et en exclure certains, bien que cette liste soit relativement clairsemée et donc idéalement, vous ne devriez pas avoir à en exclure trop ou peut-être aucun. |
| |
Dans notre rapport, vous disposez d'outils pour organiser votre dictionnaire, et pas seulement pour explorer les résultats. Je peux sélectionner le document dans ce tableau et afficher le texte. |
| |
Juste en dessous. Je vais donc brièvement descendre en bas de l'écran. Vous pouvez voir, en surbrillance dans ce texte, que les termes et expressions de sentiment ont déjà été trouvés, légèrement mieux. |
| |
Mais si vous regardez, disons, ici nous avons le mot faible, les conditions actuelles sont restées faibles, et il s'avère, pour autant que je sache, que c'est un mot très courant |
| |
Terme utilisé dans les rapports du Livre Beige indiquant que quelque chose est fondamentalement mauvais. Je ne sais pas, je ne suis pas économiste, mais il se peut qu'en économie… |
| |
vous savez, faible est synonyme de mauvais, fort est synonyme de bon, et c'est mon point de vue, après avoir examiné ces données de manière assez approfondie. |
| |
Vous verrez qu'il n'est pas surligné. Cela signifie que « faible » n'est pas encore dans mon dictionnaire, mais je peux l'ajouter très facilement. Il suffit de passer la souris dessus. |
| |
Je peux ajouter un terme directement dans le texte, et l'ajouter comme négatif. Je peux lui attribuer une valeur d'intensification ou de sentiment pour qu'il soit modérément négatif. Je clique donc sur -60. |
| |
Et ce qui se passe, c'est qu'il est maintenant ajouté à mon dictionnaire, et tous les scores de sentiment sont recalculés en temps réel ici. |
| |
Dans ma liste de termes de sentiment, je peux désormais sélectionner « faible » et en voir toutes les occurrences. Si l'on revient à la colonne « nombre » de ce tableau, il semble que ce terme apparaisse 1 012 fois dans ce sous-ensemble de données du Livre Beige. |
| |
Alors, certainement, parcourez et lisez, peut-être, un sous-ensemble aléatoire ou un sous-ensemble aléatoire stratifié de vos documents et essayez d'identifier certains termes de sentiment qui appartiennent à votre dictionnaire. |
| |
Désormais, vous pouvez également compter sur une fonctionnalité pratique, cette liste de sentiments possibles, |
| |
qui vous propose des termes sentimentaux potentiels. Je pourrais noter, par exemple, « fort » ici, et ajouter « faible ». Je veux absolument « fort » et je vais donc déclarer que c'est un |
| |
fort. |
| |
J'ai utilisé les raccourcis clavier, comme +60 et -60, mais vous pouvez saisir n'importe quel score entre -100 et 100. Je préfère donc un score de 50 pour « fort ». Je vais donc le faire, et si vous regardez en bas, vous verrez que tout est mis à jour automatiquement. |
| |
Soyez donc attentif à votre liste de termes de sentiment. Je ne détaillerai pas non plus la mécanique de vos termes intensificateurs de négation, mais les mêmes principes s'appliquent. |
| |
Assurez-vous de bien les obtenir pour vraiment refléter votre domaine, puis je vous recommande, sous le triangle rouge, de toujours accéder aux outils de gestion de termes complets pour que vous puissiez saisir manuellement certains termes, donc peut-être que je sais que je veux le plus fort et je veux que ce soit un score de 90. |
| |
Je peux donc ajouter une sorte de format de lot ici |
| |
sans mise à jour automatique à chaque fois, ou je peux également importer et exporter des listes de termes de sentiment, |
| |
ce qui est idéal pour les partager avec d'autres personnes, pour les rendre portables, pour aider à suivre notre travail et le rendre reproductible. |
| |
Étant donné que vos résultats dépendent dans une large mesure de la liste des termes de sentiment, ainsi que des intensificateurs et des négateurs, je vous recommande vivement, lorsque vous disposez d'une liste définie, de les exporter afin de les documenter entièrement et de pouvoir également les importer dans une nouvelle analyse et les répliquer. |
| |
Voilà pour la configuration de l'analyse. Je tiens simplement à souligner que si vous utilisez l'analyse des sentiments, vous obtiendrez un rapport, mais ne vous y plongez pas directement. Commencez par gérer votre dictionnaire. |
| |
Alors, maintenant que j'ai |
| |
Nous avons battu ce point sans pitié, mais examinons ce rapport. |
| |
Et ce que je vais faire maintenant, c'est extraire, vous savez, un rapport entièrement cuit en utilisant, dans ce cas, les 5 300 plus |
| |
Voici les rapports du Livre Beige. Comme je l'ai mentionné précédemment, la section des résultats présente un résumé général. Nous n'y reviendrons pas. Nous avons vu que vous aviez également |
| |
Tous les documents individuels, vous permettant ainsi de visualiser leur notation et leur contenu. Explorez l'utilisation des termes et expressions sentimentales en contexte. |
| |
Vous pouvez également voir dans ce tableau un certain nombre de mesures utiles, par exemple, le score total positif d'un document, |
| |
Le score moyen des expressions positives du document. Il en va de même pour les expressions négatives, puis le score global. Vous le remarquerez, comme je l'ai mentionné. |
| |
Survolez ces valeurs pour voir comment elles sont calculées. Si je regarde la moyenne des scores négatifs, je vois qu'il y a sept termes au total, leurs scores respectifs et la moyenne. |
| |
Je peux également voir que la moyenne, dans ce cas, de moins un, est simplement le score moyen sur tous les termes de sentiment, positifs et négatifs. |
| |
Il existe de nombreuses façons pratiques de survoler les éléments de ce rapport pour obtenir des informations utiles. Je vous recommande vivement d'essayer : passez la souris à différents endroits. Vous trouverez probablement des informations utiles. |
| |
En général, on ne scrute pas les documents individuellement lorsqu'on fait du text mining comme ça. Si seulement on pouvait tous les lire, |
| |
Alors, on le ferait. On comprend mieux le langage que les ordinateurs. Donc, on ne va certainement pas simplement parcourir cette collection de 5 300 documents, mais on pourrait trier par score et ne regarder que les plus négatifs. |
| |
rapports, et les lire réellement pour avoir une idée de, d'accord, eh bien, |
| |
Quand les gens sont particulièrement négatifs, sur quoi sont-ils négatifs ? Que puis-je apprendre sur les causes de cette négativité ? Et encore une fois, notamment dans les études de consommation, l'examen des avis produits et des sondages peut s'avérer très utile. |
| |
Nous avons également vu que vous avez votre liste de termes de sentiment, où nous pouvons voir tous les différents termes de sentiment qui apparaissent, à quelle fréquence ils apparaissent et leur |
| |
Les scores qui leur sont associés. Si j'en sélectionne un, je peux également le voir dans son contexte. Ainsi, si un terme de sentiment particulier est utilisé, |
| |
Il est fréquent que vos données contiennent des termes que vous souhaitiez mieux comprendre en contexte pour comprendre pourquoi les utilisateurs les utilisent ou ce qui les motive. C'est très simple : il suffit de sélectionner le terme et de parcourir le texte ci-dessous. |
| |
Maintenant, enfin, ce que je pense être l’une des fonctionnalités les plus utiles dans l’analyse des sentiments se trouve sous cet onglet de fonctionnalités. |
| |
Donc, ce que cela fait lorsque je clique sur Rechercher, c'est qu'il trouve des termes non sentimentaux qui apparaissent fréquemment avec des termes sentimentaux et nous permet de faire une analyse approfondie, où nous évaluons le sentiment uniquement par rapport à cela. |
| |
Terme sélectionné, ou ce que nous appellerons fonctionnalité, ou vous pourriez aussi l'appeler sous-domaine. Donc, peut-être que le sentiment concerne uniquement les ventes, et nous pouvons voir que les ventes ont été signalées comme faibles, en baisse. |
| |
Ou, pour revenir à ce que j'ai dit plus tôt, vous pourriez vouloir reformuler votre texte. Cherchons la demande de prêt dans cette liste. |
| |
Et évaluons tous nos documents uniquement en fonction du sentiment concernant la demande de prêts. Et bien sûr, cela utilise |
| |
traitement du langage naturel afin d'essayer de déterminer quelles phrases de sentiment s'appliquent ou non à la demande de prêt, et avec n'importe quelle méthode NLP, cela ne sera pas précis à 100 %, mais sa précision, en particulier dans un texte bien formé écrit en |
| |
À l'instar des rapports du Livre Beige, il semble que cela fonctionne plutôt bien. Je peux donc maintenant comprendre, par exemple, leur perception de la demande de prêts. |
| |
Dans tous ces rapports, le bilan est globalement positif, même si certains sont particulièrement négatifs. |
| |
Dernière chose à signaler ici, et juste pour nous ramener à la case départ, j'ai probablement remarqué que j'ai eu deux pics quand j'ai fait ça, et c'est... ça ressemble à plus 60 et moins 60. |
| |
Et cela souligne à nouveau à quel point il est important de gérer votre dictionnaire de sentiments lorsque vous effectuez cette analyse et de tenir compte de la manière dont vous l'avez construit lorsque vous interprétez vos résultats. |
| |
Donc ici, ce pic à plus de 60 pourrait très bien être dû au fait que lorsque j'ai initialement entré beaucoup de termes de sentiment dans le dictionnaire, j'utilisais ces boutons de raccourci. |
| |
J'ai donc ces 30, 60, 90 boutons de raccourci et je me prépare donc presque à voir des pics de scores à |
| |
positif 60 et négatif 60. Et si j'avais pris un peu plus de soin pour rendre les scores plus précis, alors peut-être que je ne verrais pas tout à fait cette, vous savez, intéressante, nous l'appellerons, distribution. |
| |
Je le souligne donc uniquement pour souligner à nouveau à quel point il est important d'avoir votre dictionnaire de sentiments. |
| |
ensemble au préalable et ensuite, une fois que vous l'avez fait, vous avez toutes ces informations utiles sur le sentiment global, le sentiment par document, le sentiment par terme individuel ou même par sous-domaine, en utilisant ces fonctionnalités |
| |
section ici. Et puis, bien sûr, comme vous en avez probablement l'habitude dans JMP, quand il est temps de sauvegarder ce que vous avez créé pour pouvoir l'utiliser ailleurs, sous le triangle rouge, vous trouverez ces options. Je pourrais donc enregistrer les notes de mes documents. |
| |
Si nous revenons à mon tableau de données, qui se trouve ici, vous pouvez voir que j'ai en fait enregistré, dans ce cas, ce sont les scores pour ce sous-domaine de demande de prêt, dans mon tableau de données afin que je puisse les utiliser, par exemple, dans une analyse ou un graphique plus approfondi, comme certains des graphiques que nous avons créés pour les diapositives. |
| |
Il s'agit donc de l'analyse des sentiments, une nouveauté de JMP Pro 16 permettant de quantifier les émotions positives et négatives dans un texte. |
| |
Ceci étant dit, passons à la sélection de termes, l'autre nouvelle technique de text mining dont j'aimerais parler. Comme son nom l'indique, la sélection de termes consiste à identifier les mots associés à un résultat, c'est-à-dire à une autre mesure. Par exemple, ici, nous avons… |
| |
les textes du rapport du Livre Beige, mais nous pourrions également intégrer |
| |
variables économiques, par exemple le PIB, et voir comment certains termes dans les rapports du Livre Beige suivent le PIB, ou peut-être une variable binaire, comme si l'économie est en récession ou non. |
| |
Il s'agit d'une... sélection de termes ici est un outil à usage général pour trouver des mots associés à une autre variable, ce qui peut être utile |
| |
dans un contexte interprétatif, pour trouver peut-être les moteurs d'une autre variable, ou peut-être dans un exercice de modélisation prédictive, afin que nous puissions identifier les termes qui sont prédictifs de quelque chose afin qu'à l'avenir, nous puissions utiliser ces termes pour aider à le prédire. |
| |
Voyons donc comment fonctionne la sélection des termes, et nous allons en fait examiner un exemple différent ici, tiré de la plainte des consommateurs du Consumer Financial Protection Bureau. |
| |
base de données. Ainsi, les consommateurs qui ont une réclamation concernant un produit ou un service financier peuvent la déposer auprès du CFPB, qui assure la médiation entre eux et |
| |
Le fournisseur du produit ou service financier. Voici un exemple de ce que l'on peut trouver dans ces données. Voici une personne qui affirme avoir surveillé son dossier de crédit et avoir reçu un avis de recouvrement de 3 900 $, tout en prétendant ne rien savoir. |
| |
Et vous pouvez voir également, dans le tableau de données, que nous avons une colonne juste à côté qui indique que le consommateur a contesté, et ici le consommateur a contesté, et cela signifie qu'il a reçu une réponse de la part du |
| |
prestataire de services financiers et ils n’étaient pas satisfaits de cette réponse, alors ils l’ont contestée. |
| |
Comme le montre la spécification du graphique d'en-tête de la table de données, ce n'est pas si courant. C'est environ un cas sur cinq dans l'ensemble de données que nous examinons. |
| |
Cela peut entraîner un litige de consommation. Cependant, si vous êtes l'établissement financier qui traite avec ce client, vous ne souhaitez certainement pas qu'une réponse soit émise et qu'il continue de la contester. Il est important de comprendre les types de réclamations. |
| |
arrivent et conduisent réellement à des litiges de consommation, de sorte que vous pourriez être en mesure, par exemple, d'identifier à l'avance ceux qui sont susceptibles d'entraîner un litige, |
| |
Ou simplement mieux comprendre vos pratiques de résolution des litiges pour en réduire le nombre. Il existe de nombreuses raisons d'y prêter attention. |
| |
Données narratives sur les plaintes des consommateurs pour voir ce qui pourrait être à l'origine de ces litiges en premier lieu, et ce que fait la sélection de termes, c'est qu'elle trouve les termes individuels dans les textes qui sont associés à ce résultat, cette variable de litige. |
| |
Voici donc un graphique que j'ai réalisé à partir des résultats d'une analyse de sélection de termes. Sur l'axe des Y, nous avons une collection de termes. Sur l'axe des X, nous avons le log de Worth, qui est |
| |
Une mesure de la force des preuves statistiques de l'association. Ce résultat est en fait classé par valeurs log-worth. En haut, on trouve |
| |
« violer » et vous pouvez voir le petit point. Cela montre que nous avons procédé à une élimination des racines ici, donc « violer » signifie « violer », « violation », etc. |
| |
Nous avons donc des preuves statistiques solides que ce terme « violer » est associé à des litiges de consommation, et en fait, dans le code couleur, |
| |
J'ai la force de l'effet en termes de rapport de cotes ici. Donc, quand quelqu'un prononce le mot « violer », |
| |
les risques de litige sont multipliés par 1,5 environ. Donc, si je suis |
| |
En tant que prestataire de services financiers, je devrais peut-être me renseigner sur ce terme. Je devrais peut-être enquêter sur la manière et le moment où les gens dénoncent certaines violations, et comme nous le verrons, il s'agit en réalité de violations de la loi fédérale. |
| |
Lorsqu'ils font cette réclamation dans une plainte, comment se fait-il que nous les traitions, car il semble que nous ne les traitions peut-être pas de manière satisfaisante. |
| |
Peut-être souhaitez-vous utiliser la présence ou l’absence de ce terme dans le cadre d’un modèle prédictif pour aider à signaler les plaintes potentiellement problématiques en amont, afin que nous puissions accélérer leur résolution. |
| |
Alors, comment tout cela fonctionne-t-il ? Nous construisons un modèle qui commence par la matrice des termes du document, qui est une représentation du texte, où chaque |
| |
Chaque ligne correspond à un document, et chaque colonne à un terme susceptible d'apparaître. |
| |
Dans ce cas, nous utilisons ce que l'on appelle la pondération binaire : si le terme apparaît, nous saisissons un ; s'il n'apparaît pas dans le document, nous saisissons zéro. Il existe d'autres pondérations, mais nous allons nous en tenir à la pondération binaire pour notre exemple. |
| |
Lorsque nous entrons ces colonnes binaires comme prédicteurs dans un modèle, et en particulier nous utilisons |
| |
La régression généralisée de JMP, et nous verrons pourquoi dans un instant. Tout d'abord, je tiens à préciser que nous faisons ici une régression, en fait une certaine |
| |
certains diront, comme vous l'entendrez probablement, que la sélection de termes est une régression de texte. |
| |
Ne vous souciez pas trop de la forme du modèle. J'essaie simplement de souligner que nous prenons une variable de résultat. |
| |
Parce que nous avons une variable binaire, c'est le logarithme des cotes pour la régression logistique, et nous disons que cela est égal à, vous savez, une certaine interception plus, |
| |
Vous savez, un coefficient multiplié par une variable. Dans ce cas, c'est un 1 ou un zéro binaire ; y a-t-il eu violation ou non ? |
| |
Plus une autre valeur de coefficient, dans ce cas, moins 0,2 fois une autre variable binaire ; ici si quelqu'un a mentionné le terme raccroché ou non, et ainsi de suite. |
| |
Nous introduisons donc un ensemble de termes dans ce modèle et utilisons la régression généralisée pour sélectionner les termes qui appartiennent au modèle et ceux qui n'y appartiennent pas. |
| |
ce que nous voyons ici est un exemple de calcul JMP qui résout ce problème, quels termes nous appartiennent et lesquels ne nous appartiennent pas. |
| |
Ici, dans le chemin de solution, nous pouvons voir en bleu tous les termes qui sont entrés dans le modèle et en noir tous les termes qui n'ont pas été réellement inclus dans le modèle, car ils n'ajoutent pas vraiment à sa valeur prédictive. |
| |
Nous obtenons donc une liste de termes. Nous avons leurs valeurs de coefficient de modèle. Par exemple, pour « violer », j'ai obtenu la valeur 0,4, car c'est en fait la valeur |
| |
La valeur du coefficient lors de l'ajustement du modèle. Comme mentionné précédemment, nous obtenons également une mesure de la force des preuves statistiques. |
| |
cette valeur de logworth, 16,58 ici, où, si vous voulez une règle empirique, toute valeur supérieure à 2, vous savez, pourrait être considérée comme une preuve statistique solide, mais en réalité, logworth est un logarithme négatif en base 10 de la valeur p, donc la valeur de 2 correspond simplement à une valeur P de 0,01. |
| |
Nous avons donc les deux, en quelque sorte, dans ce cas avec le coefficient, dans quelle mesure cela augmente ou diminue la probabilité d'un litige ? Et puis, le logarithme nous indique la fiabilité de nos preuves. |
| |
Et avec ces informations, nous pouvons faire beaucoup de choses et nous sommes sur le point de voir comment nous allons passer à JMP et effectuer réellement cette analyse. |
| |
Je suis de retour sur mon autre bureau. Je vais consulter nos données de réclamations clients. |
| |
Et |
| |
au lieu d'aller dans l'explorateur de texte à partir de zéro, je vais simplement le lancer en utilisant un script de table ici. |
| |
Et comme nous le verrons, une fois que cela apparaît… désolé, c'est apparu sur le mauvais écran. Et voilà. |
| |
Nous commençons toujours par une liste de termes qui seront effectivement intégrés à l'analyse. Ensuite, nous disposons de notre liste d'expressions, dans laquelle nous pouvons déclarer que certaines expressions appartenant à la liste de termes doivent également être incluses. |
| |
J'ai inclus de nombreuses expressions, comme « Fair Credit Reporting Act », car si la mention de cette expression ou de ce concept est associée à un litige de consommation, je veux le trouver. |
| |
Et vous remarquerez aussi que si je vais dans notre… allons à la gestion des mots vides ici, j'ai déclaré beaucoup de mots vides. Donc, ce sont tous des mots qui |
| |
Je ne veux pas les inclure dans l'analyse, principalement parce qu'ils pourraient éclipser d'autres mots. |
| |
Ils peuvent être très fréquents, et si je demandais seulement d'analyser les 500 mots les plus fréquents, je ne voudrais pas gâcher tout ça. |
| |
Surtout parce que, même si « able » était renvoyé comme un terme associé à un litige, je ne sais même pas exactement ce que je ferais… ce que je ferais avec ça ou comment je pourrais interpréter un mot aussi générique que « able ». |
| |
Vous devez donc prendre votre temps pour créer vos mots et phrases vides, et lorsque vous êtes prêt, sous le triangle rouge, invoquez la sélection de termes. |
| |
Donc, lorsque nous le ferons, nous sélectionnerons d’abord notre |
| |
Variable de résultat : ce consommateur est en litige. Nous souhaitons aborder la question en termes de probabilité de litige. |
| |
Vous pouvez définir ici des variables de résultat continues et catégorielles. Les deux fonctionnent. Je tiens également à préciser qu'il s'agit d'un litige, qui… |
| |
vous savez, vous pourriez penser que cela pourrait en fait être une sorte de proxy pour le sentiment, c'est-à-dire que si quelqu'un conteste quelque chose, c'est probablement parce qu'il n'est pas content. |
| |
Mais il est possible que certaines personnes disposent de données, dans lesquelles vous avez une variable externe qui est une mesure plus directe du sentiment, par exemple une note en étoiles sur un produit, qui indique vraiment la satisfaction. |
| |
Et donc, si vous avez une bonne mesure du sentiment, avec vos données textuelles, vous pourriez utiliser un outil comme celui-ci pour faire ce que nous appellerions |
| |
analyse des sentiments dérivée des données, où vous utilisez cet outil pour rechercher des termes qui sont prédictifs d'une mesure de sentiment, sélectionnant ainsi essentiellement des termes de sentiment et automatiquement |
| |
Trouver leurs scores. Cela peut donc s'avérer très pratique. Ce n'est pas exactement ce que nous faisons ici. Nous l'utilisons de manière plus générale. |
| |
Bon, pour cette matrice de termes de document, je vais m'en tenir à la pondération binaire. Pour simplifier, examinons simplement les 200 termes les plus fréquents. |
| |
Au-delà de cela, à partir du trimestre 201, je ne l'inclurai plus dans l'analyse. En pratique, j'en inclurais probablement davantage, je veux juste que ce soit clair et percutant pour la démonstration. |
| |
Et si vous êtes un utilisateur GenReg, vous verrez que vous avez |
| |
Certaines options permettent de spécifier les méthodes d'estimation et de validation en amont. Je vais les laisser par défaut et cliquer sur « Exécuter ». |
| |
JMP fait appel à GenReg. Il construit un modèle de régression logistique et sélectionne des variables à l'aide de la méthode du réseau élastique. |
| |
Il semblerait que nous ayons rencontré un deuxième problème technique. J'en suis vraiment désolé. Nous allons le résoudre, car ce modèle est adapté. Voyons voir. Je réactiverai mon partage d'écran. |
| |
On va me ramener. On dirait qu'on est encore en train d'enregistrer, alors on continue. Voici le résultat. |
| |
Avant d'aborder le rapport en détail, examinons d'abord cette ligne du tableau récapitulatif. Elle résume le modèle unique que j'ai construit jusqu'à présent. |
| |
Par exemple, je vois que 145 termes ont été renvoyés. J'ai utilisé AICc comme validation et voici la valeur AICc. Nous pouvons voir d'autres statistiques d'ajustement. |
| |
Et, comme pour tout modèle, nous pourrions vouloir essayer plusieurs exécutions du modèle afin de créer le modèle le mieux adapté à nos données. |
| |
Donc, si je monte jusqu'à ce nœud de régression généralisée ici, vous verrez que nous avons GenReg réellement intégré dans l'explorateur de texte. |
| |
Je pourrais explorer plus en détail le modèle que nous avons ajusté, ou, dans mon cas, j'en adapterai un autre pour voir si je peux faire mieux. Créons un réseau élastique adaptatif. |
| |
Et nous allons plutôt adapter ce modèle et voir s'il fait mieux que le filet élastique ordinaire que nous avons déjà adapté. |
| |
D'accord, donc cela correspond également à ce modèle. |
| |
Si nous allons à notre résumé, nous pouvons voir que celui-ci a maintenant renvoyé 98 termes, a en fait un AICc inférieur, donc pourrait être un meilleur ajustement. |
| |
Je vais donc utiliser ce modèle. Si je souhaite conserver l'original, je peux simplement cliquer dessus. Comme vous pouvez le constater, le rapport ci-dessous est mis à jour en fonction du modèle sélectionné dans ce tableau. |
| |
J'ai ma liste de termes ici. Nous en avons déjà parlé, je pourrais donc l'examiner en termes de coefficients. Voici donc les termes qui ont le plus d'effet, augmentant ainsi le risque de litige de consommation. |
| |
Voici ceux qui ont le plus d'effet sur la réduction des risques de litiges de consommation. Dans chacun d'entre eux, par exemple, je pourrais examiner « raccroché » et constater qu'il s'agit bien sûr d'un raccrochage au nez de quelqu'un, ou d'un raccrochage de quelqu'un d'autre. Cela nous semble peut-être logique. |
| |
que cela serait prédictif d'une diminution des risques de conflit, car il semble qu'il s'agisse en réalité d'un problème de communication et que cela pourrait être un peu plus facile à résoudre. |
| |
Encore une fois, nous voulons prêter attention à nos valeurs de logworth ici, 2,883, donc c'est un peu au-dessus de cette règle empirique, 2, que j'ai indiquée auparavant, donc nous pourrions dire d'accord, je pense qu'il existe des preuves statistiques raisonnablement solides qu'il s'agit d'une véritable association. |
| |
Pour bien enfoncer le clou, si on descend ici, on voit le mot « police ». Et ma première impression, c'est que les gens disent : « J'ai fait un rapport de police ou j'ai appelé la police. » |
| |
Il est peu probable qu'ils disparaissent si nous réagissons, la probabilité est que quelqu'un aille jusqu'à appeler la police. |
| |
Mais si nous regardons le |
| |
Logworth, nous pouvons bien voir que les preuves statistiques ne sont pas vraiment solides, donc même si cela viole mon intuition, vous savez, peut-être, peut-être que ce n'est pas entièrement réel. |
| |
Ce n'est certainement pas au point de vouloir remonter l'information jusqu'à la direction et de dire : « Si les gens disent avoir appelé la police, c'est une bonne chose. » Ce n'est certainement pas ce que nous disons. Ce modèle a simplement été sélectionné pour être inclus ici parce qu'il a, en fin de compte,… |
| |
Cela aboutit à un modèle plus adapté, mais il nous appartient toujours d'appliquer nos propres connaissances et notre bon sens pour interpréter les résultats. |
| |
Donc ce tableau pourrait être, si ce que vous essayez vraiment de faire est simplement d'identifier les termes et de quantifier leurs effets dans une certaine mesure, |
| |
Cela pourrait être le type d'objectif de votre analyse. Je pourrais donc faire un clic droit et choisir « Transformer en tableau de données ». |
| |
et obtenir un tableau de données de ces termes et de leurs coefficients et logworths, puis l'utiliser pour peut-être guider une analyse de nos réponses précédentes, des efforts d'amélioration, ou même les signaler comme des termes qui devraient être inclus dans une sorte de modèle prédictif à l'avenir. |
| |
Mais, vous savez, nous avons construit un modèle ici, un modèle de régression, donc nous avons des informations, au niveau du document individuel, sur le |
| |
la somme totale des coefficients prédisant une augmentation des probabilités de litige, la somme totale prédisant une diminution, la valeur globale du modèle, la probabilité de |
| |
Un différend entre le modèle attribué et nos observations réelles. On peut donc s'attendre à tout ce qui se passe lors d'une évaluation au niveau d'un document individuel : quelle est la performance de ce modèle ? |
| |
En haut, nous avons également un résumé général, dans ce cas, des documents individuels et de leur... ce que nous appelons notre contribution, c'est donc le |
| |
Somme ou moyenne de ces coefficients. Il semble donc que, par exemple, 30 412 de nos documents présentent une somme… une somme totale positive de leurs coefficients, et que la contribution moyenne de ces coefficients soit d'environ 0,57. |
| |
Donc, encore une fois, juste un drapeau, vous savez, nous parlons ici de coefficients de régression, et donc ces valeurs de contribution, le tableau des coefficients, tout cela doit être interprété comme vous le feriez lorsque vous construisez |
| |
modèle de régression linéaire sinon, donc dans notre cas ici, la régression logistique, nous devrions interpréter ces |
| |
de manière appropriée, c'est-à-dire que si nous les exponentions, nous avons alors affaire au logarithme ou... excusez-moi... alors nous avons affaire au rapport de cotes, c'est donc le facteur par lequel les cotes augmenteraient ou diminueraient si ce mot apparaît dans le texte. |
| |
Même si vous n'êtes pas un grand amateur de régression, ces valeurs peuvent néanmoins vous être utiles de manière plus générale : vous pouvez ainsi déterminer quels termes ont l'effet le plus fort ou non. Il en va de même pour Logworth, qui présente les preuves les plus solides ou non. |
| |
Maintenant, enfin, comme vous pouvez l'imaginer, je veux dire que nous avons déjà vu comment sauvegarder la table de termes, mais si votre objectif n'est pas cette table de termes, mais vraiment le modèle |
| |
Vous pouvez également sauvegarder le fichier que vous avez créé. J'ai donc sélectionné le modèle que je souhaite utiliser, le réseau élastique adaptatif, et sous le triangle rouge, je peux enregistrer les formules de prédiction. |
| |
Et je pense que mon ordinateur va probablement tourner un instant. Il enregistre la matrice des termes du document, pour les 200 premiers termes spécifiés, ainsi que la formule. |
| |
qui opère sur ces colonnes ou sur cette matrice de termes du document pour calculer notre modèle. Voici donc la matrice de termes du document. |
| |
et puis les colonnes de formules à la fin ici, donc maintenant, je peux réellement utiliser |
| |
ce modèle directement si je le souhaite. |
| |
Il s'agit donc de sélection de termes. À un niveau plus général, nous cherchons à identifier les termes les plus fortement associés à une variable de résultat qui nous intéresse, soit pour mieux interpréter les facteurs qui déterminent ce résultat, soit pour orienter une pratique de modélisation visant à tenter de le prédire. |
| |
Et cela conclut la sélection de termes et l'analyse des sentiments, les deux nouvelles fonctionnalités d'exploration de texte de JMP Pro 16, introduites à nouveau au printemps dernier. |
| |
Je vais maintenant passer un peu de temps avec vous et répondre à toutes les questions que vous pourriez avoir à ce sujet. |
| |
Vous connaissez ces deux nouvelles fonctionnalités. Sachez également que vous pourrez poster ultérieurement un commentaire ou une question sur la page de la communauté des utilisateurs pour cette présentation. Je serai toujours attentif à leur évolution. |
| |
Je suis disponible pour répondre à toutes vos questions. Merci à tous pour votre temps. Prenez soin de vous. |
