Conférencier
|
Transcription
|
| Ross Metusalem |
Bonjour à tous et bienvenue dans cette présentation sur la façon dont JMP a étendu sa boîte à outils d'exploration de texte dans JMP Pro 16, qui vient de sortir au printemps dernier. |
| |
Je suis Ross Metusalem. Je suis un ambassadeur académique de JMP et je vais partager avec vous ces deux nouvelles fonctionnalités de text mining |
| |
analyse des sentiments et sélection des termes. Nous allons parler de ce qu'ils sont et de la façon de les utiliser et de JMP, puis nous verrons deux exemples d'exécution de ces analyses sur des données accessibles au public dans le monde réel. |
| |
Ainsi, l'analyse des sentiments et la sélection de termes sont deux nouveaux ajouts à l'explorateur de texte de JMP, qui est un outil d'exploration de texte à usage général. |
| |
Vous pouvez donc l'utiliser pour dériver des informations quantitatives à partir de ce que nous appelons communément des données textuelles libres ou non structurées. |
| |
à effectuer une analyse sémantique latente, afin que nous puissions regrouper des documents sémantiquement similaires. Ainsi, les deux fonctionnalités que nous allons voir aujourd'hui sont des fonctionnalités de l'outil d'exploration de texte. |
| |
Nous allons commencer par l'analyse des sentiments, une fonctionnalité populaire et souvent demandée que nous sommes heureux d'introduire dans JMP Pro 16. |
| |
Pour ceux qui ne sont pas familiers, l'analyse des sentiments consiste à quantifier l'émotion positive à négative dans les données textuelles non structurées. |
| |
Maintenant, l'exemple que nous allons examiner est tiré du Beige Book, qui est un rapport narratif publié par la Réserve fédérale. |
| |
Et comme nous pouvons le voir sur la carte, la Réserve fédérale est divisée en 12 districts différents et environ huit fois par an, chaque district publie un rapport narratif Beige Book |
| |
qui résume les conditions économiques actuelles et futures potentielles dans cette région géographique elle-même. Et ces rapports sont basés en grande partie sur des sources de données qualitatives, alors pensez |
| |
conversations avec des chefs d'entreprise, enquêtes sur des choses comme ça. Je pense donc que le Beige Book fournit un bon exemple pour l'analyse des sentiments, non seulement parce que |
| |
ce sont des données accessibles au public, et je peux les partager avec vous tous, mais aussi parce que ce serait assez intéressant si vous étiez, disons, un investisseur ou vous, |
| |
vous savez, j'ai dirigé une institution financière pour savoir à quel point les administrateurs de la Réserve fédérale ont des opinions positives ou négatives sur les conditions économiques dans différentes régions du pays. Vous pourriez en fait l'utiliser pour |
| |
peut-être guider la prise de décision, ou même si vous pouvez le quantifier, l'utiliser dans certaines analyses statistiques, peut-être même certains modèles prédictifs. |
| |
Jetons donc un coup d'œil à un exemple de texte du Livre Beige. |
| |
Ici, nous avons juste un extrait de l'un des rapports, et nous pouvons le voir, en commençant par le haut, que ce rapport indique que les ventes d'ordinateurs, en revanche, ont été gravement déprimées. |
| |
Alors que, si nous descendons vers le bas, un individu a également signalé qu'il y a un certain nombre de pailles favorables dans le vent, nous avons donc "sévèrement déprimé" et "favorable" et aussi "améliorer" mis en évidence ici, |
| |
parce que ce sont ce que nous appellerions des phrases de sentiment. C'est donc un ou plusieurs mots qui dénotent une sorte de contenu émotionnel positif ou négatif. |
| |
Donc, en haut, nous avons sévèrement déprimé, ce qui serait fortement négatif, puis nous avons en bas, favorable, ce qui serait généralement positif, et nous utilisons le codage de cette couleur pour que l'orange par rapport à ce bleu ou violet (selon la façon dont tu le vois) |
| |
pour indiquer respectivement un sentiment positif et négatif. |
| |
Et de nombreuses formes d'analyse des sentiments font exactement cela. Ils recherchent des phrases positives et des phrases négatives dans le texte. |
| |
La forme utilisée par JMP, et que vous pourriez rencontrer ailleurs, quantifie en fait les sentiments positifs et négatifs sur une échelle continue. |
| |
Prenez donc, par exemple, en bas de ce deuxième extrait de texte, où nous voyons que quelqu'un dit que les grands magasins de la région signalent de mauvaises ventes. |
| |
Donc, en haut, nous avons des ventes fortement déprimées et en bas, nous voyons que les ventes sont médiocres. Eh bien, je pense que nous sommes tous d'accord pour dire que la dépression sévère sonne pire |
| |
en ce qui concerne les ventes que les pauvres. Et donc nous pourrions vouloir, |
| |
alors qu'ils sont tous les deux négatifs, quantifiez les personnes gravement déprimées comme plus négatives que pauvres, et c'est donc ce que nous faisons dans l'analyse des sentiments dans JMP. Et nous allons parler |
| |
très brièvement ici sur la façon dont ces scores sont calculés, en particulier, mais d'abord je pense qu'il vaut la peine d'examiner |
| |
des démonstrations potentielles de la validité de la quantification du sentiment en examinant des termes et des phrases individuels, vous savez, comme celui-ci. |
| |
Et nous parlons essentiellement de la notation des documents, basée sur les mots qui y apparaissent |
| |
que nous pensons dénoter l'émotion et à quel degré. Et c'est une sorte de chose interne et subjective, mais cette approche, l'analyse des sentiments, |
| |
peut vraiment démontrer une certaine validité prédictive. Par exemple, si nous examinons la façon dont le sentiment de Beige Book suit au fil du temps, nous pouvons voir qu'il suit en fait de manière assez fiable les récessions. Donc ici nous avons le sentiment |
| |
sur l'axe y. Vous pouvez voir qu'il s'étend de moins 75 à 75, c'est juste la plage que nous avons tracée. La vraie échelle va de moins 100 |
| |
à 100, où zéro est neutre. Et vous pouvez voir, avec le plus lisse au fil du temps capturant la tendance générale du sentiment dans tous les rapports du Beige Book, |
| |
vous pouvez voir une tendance intéressante en ce qui concerne les récessions économiques, qui sont elles-mêmes surlignées en rouge. En particulier, nous pouvons voir que le sentiment semble chuter de manière fiable avant chaque récession. |
| |
Donc, même s'il s'agit d'une mesure relativement subjective de ce que nous pensons être l'état émotionnel des administrateurs de la Réserve fédérale américaine, je veux dire, cela suit les récessions économiques comme on pourrait s'y attendre. |
| |
Il suit également géographiquement, ce qui est assez intéressant. Prenons par exemple l'effondrement des dot-com vers 2000-2001 lorsqu'un groupe de startups Internet dans la région de la baie de San Francisco |
| |
passé sous. Nous pouvons voir, et j'ai mis en surbrillance les étiquettes de San Francisco, afin que nous puissions voir les scores de cette région. Nous avons un sentiment positif en orange, comme nous l'avons vu précédemment, et négatif en bleu. |
| |
Nous pouvons voir que jusqu'en 2000, le sentiment |
| |
était assez élevé dans la région de la baie, 38,65, puis il a chuté de plus de 60 points en 2001 en moyenne pour |
| |
négatif 24,7 environ. Et c'est un swing beaucoup plus important que ce que nous avons vu ailleurs dans le pays parce que c'est la région... vraisemblablement, parce que c'est la région qui a été la plus fortement touchée. |
| |
Et nous voyons quelque chose de similaire avec la grande récession. On voit donc le krach du marché immobilier en 2008 correspondre à une baisse du sentiment et pas de manière uniforme. |
| |
Il semble que les plus grosses baisses aient été observées sur la côte ouest, c'est donc à nouveau la région de San Francisco, la région de New York, ainsi que la région d'Atlanta, qui comprend |
| |
La Floride, où je vis, qui a été une région du pays particulièrement touchée. Et, en fait, si nous regardons dans la rangée du bas, nous pouvons voir que la Floride... |
| |
le sentiment ne semble pas se rétablir dans cette zone générale avant 2012 environ, derrière certaines des autres zones géographiques, et cela semble logique. Le marché du logement en Floride a été l'un des derniers à se redresser à l'échelle nationale. |
| |
Nous avons donc cette mesure subjective de l'émotion, mais elle suit, dans ce cas, les événements externes... les événements économiques d'une manière à laquelle nous nous attendrions. |
| |
Et vous savez encore une fois, nous examinons le livre beige parce que c'est un exemple particulièrement bon accessible au public. Si tu |
| |
parlent de domaines peut-être plus courants pour appliquer l'analyse des sentiments, comme les études de marché sur les consommateurs, où vous avez affaire à un |
| |
la voix du client sous forme de données textuelles, donc des critiques de produits, des réponses à des enquêtes, etc. |
| |
vous pourrez peut-être utiliser l'analyse des sentiments afin de mieux comprendre, peut-être même prédire, par exemple, les comportements des clients, tout comme nous pouvons utiliser le sentiment ici pour mieux comprendre ou prédire, peut-être, les récessions économiques. |
| |
Cela dit, je me rends compte que nous examinons les scores de sentiment depuis quelques minutes ici, et cela soulève vraiment une question sur leur origine. |
| |
JMP utilise donc une forme d'analyse des sentiments appelée analyse des sentiments lexicaux. Il utilise donc un lexique des sentiments ou |
| |
dictionnaire des sentiments |
| |
pour attribuer des scores à tous les mots individuels qui, selon nous, véhiculent un certain sentiment. Ainsi, un mot comme fantastique peut obtenir un score de 90, ce qui est très positif. C'est presque au max du positif, 100, alors qu'un couple en bas, redouté obtient un score négatif de 60. |
| |
Maintenant, nous pouvons attribuer des scores à ces termes et les compter ou prendre leur moyenne dans n'importe quel document individuel. |
| |
Mais nous voulons tenir compte de quelques autres choses. Si vous vous souvenez que la première phrase sentimentale que nous avons vue dans l'exemple du livre beige était gravement déprimée. |
| |
D'autres mots sévèrement comme exemple de quelque chose que nous appelons un intensificateur, qui est essentiellement un multiplicateur de sentiment. Donc, vous pouvez voir ici, nous pourrions déclarer incroyablement être un multiplicateur avec un score de sentiment de 1,4, où un peu en fait |
| |
le met à l'échelle de 0,3, donc diminue un peu l'ampleur du sentiment. |
| |
Donc, si un intensificateur apparaît avec le terme de sentiment, nous effectuons cette multiplication, puis également si un négateur se produit. Alors nous disons, |
| |
vous savez, quelque chose est non ou pas ou ne devrait pas ou n'était pas, nous multiplions par moins un, de sorte que nous renversons le signe ; positif devient négatif et inversement. |
| |
Et donc pour toute expression de sentiment, nous effectuons simplement cette simple multiplication, puis sur un document, |
| |
nous pouvons prendre le score moyen ou peut-être la différence entre les scores de sentiment minimum et maximum pour |
| |
calculer une valeur de sentiment pour ces documents. Et c'est ce que nous regardions dans ces graphiques, donc le graphique du sentiment à travers le temps dans ces cartes. |
| |
Il s'agit donc d'une analyse lexicale des sentiments. C'est une pratique très courante et c'est le type d'analyse des sentiments qui est mis en œuvre dans JMP. Et comme on va le voir, quand on a JMP |
| |
calculez tous les scores de sentiment, vous obtenez beaucoup d'informations pratiques. Voici donc un exemple de ce à quoi ressemble le rapport d'analyse des sentiments. |
| |
Pour prévisualiser un élément des résultats, en haut ici, nous avons un simple résumé du sentiment dans tous nos documents. |
| |
Nous avons donc un histogramme qui est facilement codé par couleur, nous montrant que la distribution des sentiments globaux semble pencher en faveur, que nous avons une queue de sentiment négatif assez forte. |
| |
Nous pouvons voir que, sur tous les documents, le score de sentiment moyen est de 4,1, donc légèrement au-dessus de la neutralité. |
| |
Pour l'ensemble des documents globalement positifs, au nombre de 3 900, leur note moyenne est de 22,9, alors que parmi les quelque 1 400 documents négatifs, le |
| |
le score moyen est négatif de 15,4, de sorte que les documents négatifs ne sont pas aussi fortement négatifs que les documents positifs sont fortement positifs. |
| |
Maintenant, bien sûr, vous savez, ici avec le Beige Book, je pourrais dire, eh bien, vous savez, dans ce cas de 1970 à aujourd'hui, en regardant simplement le score de sentiment moyen, peut-être, vous savez, je ne t soucier autant que peut-être de regarder les scores de documents individuels ou |
| |
peut-être en regardant la distribution de certains termes de sentiment. Mais encore une fois, si vous avez affaire à des données, |
| |
par exemple, une étude de marché auprès des consommateurs, quelque chose comme ça, n'importe quelle donnée textuelle où vous avez la voix du client, même juste le résumé de haut niveau comme celui-ci qui peut nous dire à quel point nos clients sont positifs ou négatifs, sur la base des données qui nous avons, |
| |
même un simple rapport peut être très utile. Mais nous sommes sur le point de passer à JMP et nous allons voir que le rapport d'analyse des sentiments contient de nombreuses façons supplémentaires d'explorer les données pour obtenir des informations. |
| |
Passons donc à JMP et voyons comment cela se passe. |
| |
Nous y sommes donc, je suis dans JMP Pro 16.1, et avant de nous plonger dans ces données du Beige Book, je tiens à remercier Xan Gregg. |
| |
Pour ceux d'entre vous qui ne le connaissent pas, Xan est directeur de notre équipe de développement. Il est le créateur de Graph Builder |
| |
et c'est aussi lui qui a initialement eu l'idée de regarder les données du Beige Book, et il a même eu la gentillesse de gratter les pages html dans les archives du Beige Book et de me fournir une belle table de données JMP. Alors merci beaucoup, Xan. |
| |
Très bien maintenant, jetons un coup d'œil à l'analyse des sentiments et je suis en fait, au lieu d'entrer dans les résultats, |
| |
vous savez, je veux vous montrer brièvement comment mettre en place l'analyse, car il y a des considérations importantes à prendre en compte, |
| |
en ce qui concerne non seulement, vous savez, comment JMP l'implémente, mais comment faire une analyse des sentiments ou une analyse des sentiments lexicaux en général. |
| |
Et pour démontrer cette configuration, je vais en fait examiner juste un sous-ensemble des données de 2010 à aujourd'hui, dans ce cas, juste pour que les choses restent vives, car nous allons demander |
| |
explorateur de texte pour mettre à jour automatiquement son analyse un certain nombre de fois, et nous voulons que ce soit, vous savez, aussi instantané que possible. |
| |
Donc ici, j'ai ce sous-ensemble de données, donc nous avons nos rapports Beige Book sur les 12 districts à partir de janvier 2010 jusqu'au rapport le plus récent du mois dernier. |
| |
Très bien, alors pour lancer notre analyse des sentiments, je vais aller analyser et choisir l'explorateur de texte. Prenez notre texte et placez-le dans le rôle des colonnes de texte. Quelques choses à noter. |
| |
La première est que si l'explorateur de texte prend généralement en charge un certain nombre de langues, |
| |
L'analyse des sentiments n'est actuellement disponible qu'en anglais. |
| |
Et l'autre est que si... du moins si vous êtes un utilisateur expérimenté de l'explorateur de texte, vous avez peut-être l'habitude d'activer le stemming, et vous remarquerez que je vais le laisser de côté pour le moment. |
| |
Pour ceux qui ne connaissent pas la radicalisation, c'est une façon de regrouper plusieurs formes du même mot ou en langage linguistique, le même lemme. Alors prenez fort, plus fort et plus fort. |
| |
Nous nous effondrerions sur chacun d'eux et nous dirons simplement, eh bien, ils sont tous forts pour nos besoins. |
| |
Et évidemment, nous ne voulons pas faire cela ici parce que le plus fort est plus positif que le plus fort, qui est plus positif que fort. |
| |
Et donc nous laissons la racine désactivée et, en fait, même si vous l'activez une fois que vous invoquez l'analyse des sentiments, elle ignorera cette racine, car, encore une fois, vous ne devriez vraiment pas l'utiliser. |
| |
Je vais donc cliquer sur OK. Non et il semble que lorsque j'ai fait cela, nous avons eu un léger problème technique. Je m'excuse, il s'est passé quelque chose de bizarre avec mon ordinateur ces derniers temps, mais ça va. Nous pouvons simplement redémarrer notre partage d'écran et ramener ma vidéo. Salut tout le monde. |
| |
Et nous partagerons cela. OK, donc on devrait continuer, on dirait que l'enregistrement est toujours en cours. Laissez-moi m'assurer que JMP est affecté au bon moniteur ici. On dirait que c'est le cas. Très bien désolé pour tout le monde. Quoi qu'il en soit, revenons-y. |
| |
Nous avons donc ici notre fenêtre d'exploration de texte. Encore une fois si vous avez l'habitude de faire |
| |
l'analyse de texte, vous sauriez que vous commencez généralement par déclarer des mots vides. Par exemple, les gens parlent de mes contacts dans l'industrie qui m'ont dit que... Et vous savez que je ne voudrais pas utiliser le mot contacts dans mon analyse, donc normalement je le ferais |
| |
ajoutez cela comme un mot vide, puis passez potentiellement pendant des heures |
| |
déclarer des mots vides avant que j'aie fait mon analyse, et vous n'avez pas à le faire avec l'analyse des sentiments. |
| |
Tout est basé sur ce dictionnaire de sentiments, et donc, pour un mot comme contacts, ce n'est pas dans le dictionnaire. Il est fonctionnellement exclu de toute façon, c'est donc un bon moyen de gagner du temps. |
| |
Cependant, vous voudrez probablement déclarer des phrases, par exemple, immobilier ou celle que nous allons examiner, qui est la demande de prêt, qui est assise ici. |
| |
Je clique donc sur la demande de prêt et l'ajoute en tant que phrase. Il est placé dans notre liste de termes, alors trouvons-le très rapidement. |
| |
Ça y est, 1 139 instances. Et c'est pour nous aider à explorer les sous-domaines dans ces analyses ou dans ce |
| |
dans cet ensemble de données. Imaginez donc que je veuille calculer le sentiment, non pas dans son ensemble, mais uniquement par rapport à la demande de prêt. |
| |
Pour ce faire, comme nous le verrons, je dois d'abord le déclarer en tant que phrase, il est donc raisonnable de passer en revue et de déclarer certaines phrases au moins pour les domaines vraiment importants qui pourraient vous intéresser. |
| |
Très bien, alors maintenant fermons cela et lançons réellement l'analyse des sentiments. |
| |
Et vous verrez quand je le ferai, je vais sortir un rapport complet, et donc il pourrait me sembler qu'il est temps de commencer à explorer mes résultats, parce que cela ressemble à une analyse terminée, mais je veux encouragez quiconque l'utilise à pomper les freins et à considérer votre dictionnaire de sentiments. |
| |
Différents, vous savez, des groupes de personnes générant des textes dans différents contextes sur différentes choses, avec différentes langues vernaculaires |
| |
peut utiliser le langage de différentes manières. Et il est important d'adapter votre sentiment et d'intensifier les listes de termes de négation |
| |
pour refléter cela. Donc c'est... j'hésite à utiliser le mot jamais, mais je vais... je vais dire jamais simplement utiliser le dictionnaire de sentiments par défaut. Vous obtiendrez toujours des résultats plus valables si vous le gérez vous-même. |
| |
Donc, si je vais aux termes de sentiment ici, vous pouvez voir que les scores sont basés sur ce dictionnaire intégré, qui est relativement clairsemé. |
| |
Mais je veux en fait lire une partie du texte et voir si je peux identifier peut-être d'autres mots qui devraient être inclus dans le dictionnaire. Je devrais mentionner que vous voudrez peut-être même passer par le |
| |
la liste intégrée et en exclure certains, bien que cette liste soit relativement clairsemée et donc idéalement, vous ne devriez pas avoir à en exclure trop ou peut-être aucun. |
| |
Donc, dans notre rapport, vous avez en fait quelques outils pour organiser votre dictionnaire, pas seulement pour explorer les résultats. Je peux sélectionner le document dans ce tableau de documents et afficher le texte |
| |
juste en dessous. Je vais donc quitter brièvement le bas de l'écran. Vous pouvez voir en surbrillance dans ce texte, les termes et expressions de sentiment ont déjà été trouvés, comme un peu mieux. |
| |
Mais si vous regardez, disons, nous avons ici le mot faible, les conditions actuelles sont restées faibles, et il s'avère, pour autant que je sache, qu'il s'agit d'un problème très courant |
| |
terme dans les rapports du Beige Book indiquant que quelque chose est essentiellement mauvais. Je ne sais pas, je ne suis pas économiste, mais c'est peut-être vrai qu'en économie, |
| |
vous savez, faible est synonyme de mauvais, fort est synonyme de bon, et c'est mon point de vue, après avoir examiné ces données un peu. |
| |
Maintenant, vous verrez, ce n'est pas mis en surbrillance. Cela signifie que faible n'est pas actuellement dans mon dictionnaire, mais je peux l'ajouter très facilement. Je survole juste ça |
| |
terme directement dans le texte, et je peux l'ajouter en tant que négateur. Je peux lui donner une valeur d'intensification ou une valeur de sentiment donc c'est modérément négatif, donc je vais cliquer sur moins 60. |
| |
Et ce qui se passe, c'est qu'il est maintenant ajouté à mon dictionnaire, et tous les scores de sentiment sont recalculés en temps réel ici. |
| |
Donc, ma liste de termes de sentiment maintenant, je peux même sélectionner faible et en voir toutes les instances. Il semble, si nous revenons à ce tableau dans la colonne de comptage, que cela se produise 1 012 fois dans ce sous-ensemble des données du Beige Book. |
| |
Alors certainement, parcourez et lisez, peut-être, un sous-ensemble aléatoire ou un sous-ensemble aléatoire stratifié de vos documents et essayez d'identifier certains termes de sentiment qui appartiennent à votre dictionnaire. |
| |
Maintenant, vous pouvez également compter sur une fonctionnalité pratique, cette liste de sentiments possibles, |
| |
qui sert en fait des termes de sentiment potentiels à votre considération. Je pourrais noter, disons, fort est ici, et je mets faible. Je veux certainement fort et donc je vais déclarer que c'est un |
| |
fort. |
| |
Et j'ai utilisé les boutons de raccourci, vous savez, plus 60, moins 60, mais vous pouvez entrer n'importe quel score entre moins 100 et 100, alors peut-être que je veux seulement un score de 50 pour fort. Je vais donc le faire, et si vous regardez en bas en ce moment, vous pouvez tout voir à nouveau les mises à jour automatiques. |
| |
Faites donc attention à votre liste de termes de sentiment. De plus, je n'aborderai pas la mécanique de l'élaboration de vos termes d'intensification de négation, mais les mêmes idées s'appliquent. |
| |
Assurez-vous que ceux-ci reflètent vraiment votre domaine, puis je vous recommande, sous le triangle rouge, vous pouvez toujours accéder à des outils de gestion de termes complets pour l'un ou l'autre que vous connaissez, entrez manuellement certains termes, alors peut-être que je sais que je veux le plus fort et je veux que ce soit un score de 90. |
| |
Je peux donc ajouter en quelque sorte un format de lot ici |
| |
sans mise à jour automatique à chaque fois, ou je peux également importer et exporter des listes de termes de sentiment, |
| |
ce qui est idéal pour les partager avec d'autres personnes, les rendre portables, aider à suivre notre travail et le rendre reproductible. |
| |
En raison de la mesure dans laquelle vos résultats dépendent de la liste des termes de sentiment, ainsi que des intensificateurs et des négateurs, je vous recommande fortement, lorsque vous avez une liste d'ensembles, de les exporter afin qu'elle soit entièrement documentée et également capable d'être importée dans un nouvelle analyse et reproduite. |
| |
Donc, c'est assez sur la mise en place de l'analyse, je veux vraiment juste souligner ce point que si vous invoquez l'analyse des sentiments, vous obtiendrez un rapport, mais ne plongez pas directement dans ce rapport. Organisez d'abord votre dictionnaire. |
| |
Alors, maintenant que j'ai |
| |
battu ce point sans pitié à la maison, jetons un coup d'œil à ce rapport. |
| |
Et ce que je vais faire maintenant, c'est rédiger, vous savez, un rapport entièrement préparé en utilisant, dans ce cas, les 5 300 plus |
| |
Beige Book rapporte ici. Donc, comme je l'ai mentionné précédemment, dans la section des résultats, vous avez ce résumé global. Nous ne reviendrons pas là-dessus. Nous avons vu que vous avez également |
| |
tous les documents individuels, de sorte que vous pouvez afficher n'importe quel document pour voir comment il a été noté, ce qui y apparaît. Explorez l'utilisation des termes et expressions de sentiment en contexte. |
| |
Vous pouvez également voir dans ce tableau un certain nombre de mesures pratiques, par exemple, la somme des scores positifs totaux pour un document, |
| |
le score moyen des phrases de sentiment positif dans le document. Il en va de même pour le négatif, puis le score global et vous le remarquerez, comme je |
| |
survolez ces valeurs, cela me montre en fait comment elles sont calculées. Donc, si je regarde la moyenne des scores négatifs, je peux voir qu'il y a sept termes au total, je peux voir quels étaient leurs scores, puis je peux voir quelle est la moyenne. |
| |
Je peux également voir que la moyenne, dans ce cas, de moins un, n'est que le score moyen sur tous les termes de sentiment, positifs et négatifs. |
| |
Il existe de nombreuses façons pratiques de survoler les éléments de ce rapport pour révéler des informations utiles. Je recommande fortement, vous savez, essayez-le. Survolez avec votre souris à différents endroits. Vous trouverez probablement quelque chose d'utile. |
| |
Maintenant, généralement, nous ne regardons pas trop attentivement les documents individuels lorsque nous faisons de l'exploration de texte comme celle-ci. Je veux dire, si nous pouvions tous les lire, |
| |
alors nous le ferions. Je veux dire, nous comprenons mieux le langage que les ordinateurs. Donc, vous savez, nous n'allons certainement pas simplement parcourir toute cette collection de 5 300 documents, mais vous pourriez dire, triez par score et jetez un œil aux plus négatifs |
| |
rapports, et lisez-les pour avoir une idée de, d'accord, eh bien, |
| |
quand les gens sont particulièrement négatifs, à propos de quoi sont-ils négatifs ? Que puis-je apprendre sur ce qui motive cette négativité, et encore une fois, en particulier dans, disons, les études de consommation, regarder, vous savez, les avis sur les produits, enquêter sur quelque chose comme ça peut être vraiment utile. |
| |
Nous avons également vu que vous avez votre liste de termes de sentiment, où nous pouvons voir tous les différents termes de sentiment qui apparaissent, leur fréquence d'apparition et leur |
| |
scores qui leur sont associés. Et si j'en saisis un, je peux également voir ces termes dans leur contexte. Donc, s'il y a un terme de sentiment particulier qui est utilisé |
| |
assez souvent dans vos données, vous souhaiterez peut-être mieux les comprendre dans leur contexte pour voir pourquoi les gens les utilisent ou ce qui les pousse à les utiliser. Et c'est assez facile de le faire en sélectionnant simplement le terme, puis en parcourant le texte ci-dessous. |
| |
Maintenant, enfin, ce que je pense être l'une des fonctionnalités les plus utiles dans l'analyse des sentiments se trouve sous cet onglet de fonctionnalités. |
| |
Donc, ce que cela fait lorsque je clique sur la recherche, il trouve des termes sans sentiment qui se produisent fréquemment avec des termes de sentiment et nous permet de faire une analyse approfondie, où nous évaluons le sentiment uniquement par rapport à cela |
| |
terme sélectionné, ou ce que nous appellerons fonctionnalité, ou vous pouvez également l'appeler sous-domaine. Alors peut-être que le sentiment uniquement pour les ventes et nous pouvons voir que les ventes ont été signalées faibles, affaiblissant les ventes. |
| |
Ou pour revenir à plus tôt quand j'ai dit que vous vouliez potentiellement faire du phrasé. Trouvons la demande de prêt dans cette liste, |
| |
et notons tous nos documents uniquement en ce qui concerne le sentiment concernant la demande de prêt. Et bien sûr, cela utilise certains |
| |
traitement du langage naturel afin d'essayer de déterminer quelles phrases de sentiment s'appliquent et ne s'appliquent pas à la demande de prêt, et avec n'importe quelle méthode NLP, cela ne sera pas précis à 100%, mais sa précision, en particulier dans un texte bien formé écrit en |
| |
à la manière des rapports du Beige Book, il semble que cela fonctionne assez bien. Et donc maintenant, je peux voir, par exemple, ce qu'ils pensent de la demande de prêt |
| |
dans tous ces rapports ? Et cela semble généralement positif, bien que nous ayons des rapports particulièrement négatifs là-dedans. |
| |
Dernière chose à dire ici, et juste pour nous ramener en quelque sorte à la boucle, remarquez probablement que je dois faire des pics quand j'ai fait ça, et c'est... ça ressemble à 60 positifs et 60 négatifs. |
| |
Et cela ne fait que souligner à nouveau à quel point il est important de conserver votre dictionnaire de sentiments lors de cette analyse et de tenir compte de la façon dont vous l'avez construit lorsque vous interprétez vos résultats. |
| |
Donc ici, ce pic à plus de 60 pourrait très bien être dû au fait que lorsque j'ai initialement entré beaucoup de termes de sentiment dans le dictionnaire, j'utilisais ces boutons de raccourci. |
| |
J'ai donc ces 30, 60, 90 boutons de raccourci et donc je suis en train de me construire presque pour voir des pics de scores à |
| |
positif 60 et négatif 60. Et si j'avais pris un peu plus soin de faire des partitions plus fines, alors peut-être que je ne verrais pas tout à fait cela, vous savez, intéressant, nous l'appellerons, la distribution. |
| |
J'appelle donc cela uniquement pour souligner à nouveau à quel point il est important d'obtenir votre dictionnaire de sentiments |
| |
ensemble à l'avance et ensuite, une fois que vous l'avez fait, vous avez toutes ces informations utiles sur le sentiment global, le sentiment par document, le sentiment par terme individuel ou même par sous-domaine, en utilisant ces fonctionnalités |
| |
rubrique ici. Et puis, bien sûr, comme vous en avez probablement l'habitude dans JMP, quand il est temps de prendre ce que vous avez fait et de l'enregistrer, afin que vous puissiez l'utiliser ailleurs sous le triangle rouge, vous trouverez ces options, donc Je pourrais enregistrer mes partitions de documents. |
| |
Si nous revenons à mon tableau de données, qui se trouve ici, vous pouvez voir que j'ai en fait enregistré, dans ce cas, ce sont les scores de ce sous-domaine de demande de prêt, dans mon tableau de données afin que je puisse les utiliser, disons , dans une analyse plus approfondie ou une représentation graphique, comme certains des graphiques que nous avons construits pour les diapositives. |
| |
Voilà donc l'analyse des sentiments, nouvelle dans JMP Pro 16 pour quantifier les émotions positives et négatives dans le texte. Et |
| |
sur ce, passons à la sélection de termes, l'autre nouvelle technique d'exploration de texte dont j'aimerais parler. Comme il est dit, la sélection de termes consiste à identifier les mots associés à un résultat, c'est-à-dire à une autre mesure. Par exemple ici, vous savez, nous avons, |
| |
les textes du rapport Beige Book, mais nous pourrions également intégrer |
| |
variables économiques, par exemple, le PIB, et voir comment certains termes dans les rapports du Beige Book suivent le PIB, ou peut-être avec une variable binaire, comme si l'économie est en récession ou non. |
| |
Il s'agit d'une... sélection de termes voici un outil à usage général pour trouver des mots qui sont associés à une autre variable, ce qui peut être utile |
| |
dans un contexte interprétatif, pour trouver peut-être les moteurs d'une autre variable, ou peut-être dans un exercice de modélisation prédictive, afin que nous puissions identifier les termes qui sont prédictifs de quelque chose afin qu'à l'avenir, nous puissions utiliser ces termes pour aider à le prédire. |
| |
Voyons donc comment fonctionne la sélection de termes, et nous allons en fait examiner ici un exemple différent de la plainte des consommateurs du Consumer Financial Protection Bureau |
| |
base de données. Ainsi, les consommateurs, s'ils ont une plainte concernant un produit ou un service financier, peuvent déposer cette plainte auprès du CFPB et le CFPB sert d'intermédiaire entre ce consommateur et le |
| |
fournisseur du produit ou du service financier. Voici un exemple de ce que vous pouvez trouver dans ces données. Voici donc quelqu'un qui dit qu'il surveillait son rapport de solvabilité et qu'il y avait un avis de recouvrement déposé pour 3 900 $ et qu'il prétend ne rien savoir à ce sujet. |
| |
Et vous pouvez également voir, dans le tableau de données, nous avons une colonne juste à côté qui indique que le consommateur l'a contesté, et ici le consommateur a contesté, et ce que cela signifie, c'est qu'il a reçu une réponse du |
| |
fournisseur de services financiers et qu'ils n'étaient pas satisfaits de cette réponse, ils l'ont donc contestée. |
| |
Vous pouvez voir dans la spécification du graphique d'en-tête dans le tableau de données, ce n'est pas si courant. C'est essentiellement environ un sur cinq dans cet ensemble de données que nous examinons, |
| |
entraîner le litige de consommation, mais si vous êtes la société financière qui traite avec ce client, vous ne voulez certainement pas émettre une réponse et ensuite la laisser continuer à contester cette réponse. Vous voudrez peut-être comprendre quels types de plaintes |
| |
arrivent et entraînent effectivement des litiges de consommation, de sorte que vous puissiez, par exemple, identifier à l'avance ceux qui sont susceptibles d'entraîner un litige, |
| |
ou tout simplement mieux comprendre vos pratiques de règlement des différends pour réduire le nombre de différends. Il y a beaucoup de raisons pour lesquelles vous voulez vous en soucier. |
| |
Les données narratives sur les plaintes des consommateurs pour voir ce qui pourrait être à l'origine de ces litiges, et ce que fait la sélection de termes, c'est qu'elle trouve les termes individuels dans les textes qui sont associés à ce résultat, cette variable de litige. |
| |
Donc ici, j'ai un graphique que j'ai fait des résultats d'une analyse de sélection de termes, où nous avons une collection de termes le long de l'axe Y. Sur le X, nous avons le logworth, qui est |
| |
une mesure de la force des preuves statistiques de l'association. Donc, c'est en fait ordonné par les valeurs logworth, donc en haut, nous avons |
| |
violer et vous pouvez voir le petit point là. Cela montre en fait que nous avons fait faire un radical ici, de sorte que violer signifie qui pourrait être violé, violé, violation, et ainsi de suite. |
| |
Nous avons donc des preuves statistiques solides que ce terme violer est associé à des litiges de consommation, et en fait dans le codage couleur, |
| |
J'ai la force de l'effet en termes de rapport de cotes ici. Alors quand les gens... quand quelqu'un mentionne ce mot, violer, |
| |
la probabilité d'un différend augmente d'un facteur d'environ 1,5. Donc si je suis |
| |
un fournisseur de services financiers, je souhaiterais peut-être être à l'affût de ce terme. Je souhaiterais peut-être enquêter sur la manière et le moment où les gens revendiquent certaines violations, et comme nous le verrons, il s'agit vraiment de violations de la loi fédérale. |
| |
Lorsqu'ils prétendent cela dans une plainte, comment se fait-il que nous les traitions, car il semble que nous ne les traitons peut-être pas de manière satisfaisante. |
| |
Peut-être souhaitez-vous utiliser la présence ou l'absence de ce terme dans une partie d'un modèle prédictif pour aider à signaler les plaintes potentiellement problématiques à l'avance, afin que nous puissions intensifier leur résolution. |
| |
Alors, comment tout cela fonctionne-t-il ? Eh bien, nous construisons un modèle qui commence par la matrice de termes du document, qui est une représentation du texte, où chaque |
| |
ligne est un document et chaque colonne est un terme qui pourrait apparaître. Et puis |
| |
dans ce cas, nous avons ce que nous appelons une pondération binaire, donc nous venons, si le terme apparaît, nous entrons un ; si le terme n'apparaît pas dans ce document, entrez un zéro. Il y a plus de pondérations mais nous allons nous en tenir au binaire, pour notre exemple. |
| |
Lorsque nous entrons dans ces colonnes binaires comme prédicteurs dans un modèle, et en particulier nous utilisons |
| |
La régression généralisée de JMP et nous verrons pourquoi dans un instant. Tout d'abord, je veux juste préciser que ce que nous faisons ici est une régression, en fait certains |
| |
certaines personnes, vous l'entendrez probablement, appellent la sélection de termes une régression de texte. |
| |
Ne vous souciez pas trop de la forme du modèle. J'essaie simplement de souligner que ce que nous faisons, c'est que nous prenons une variable de résultat. |
| |
Parce que nous avons une variable binaire, c'est la cote logarithmique de la régression logistique, et nous disons que c'est égal à, vous savez, une interception plus, |
| |
vous savez, un coefficient multiplié par une variable. Dans ce cas, c'est un un ou un zéro binaire ; a violé apparaître ou non. |
| |
Plus une autre valeur de coefficient, dans ce cas, moins 0,2 fois une autre variable binaire ; ici si quelqu'un a mentionné le terme raccroché ou non, et ainsi de suite. |
| |
Et donc nous entrons un tas de termes dans ce modèle et nous utilisons la régression généralisée pour sélectionner les termes qui appartiennent au modèle et ceux qui n'y appartiennent pas. Et |
| |
ce que nous voyons ici est un exemple de JMP calculant cette solution, quels termes appartiennent et lesquels ne nous conviennent pas. |
| |
Ici, dans le chemin de la solution, nous pouvons voir en bleu tous les termes qui sont entrés dans le modèle et en noir tous les termes qui n'étaient en fait pas inclus dans le modèle, car ils n'ajoutent pas vraiment à sa valeur prédictive. |
| |
Et donc, nous nous retrouvons avec une liste de termes. Nous avons leurs valeurs de coefficient de modèle, donc ici, par exemple, violer, j'ai obtenu cette valeur de 0,4 parce que c'est en fait le |
| |
valeur du coefficient lorsque nous ajustons le modèle. Et nous aussi, comme nous l'avons mentionné précédemment, nous obtenons une mesure de la preuve statistique ou de la force de la preuve, |
| |
cette valeur de logworth, 16,58 ici, où, si vous voulez une règle empirique, toute valeur supérieure à 2, vous savez, pourrait être considérée comme une preuve statistique solide, mais en réalité, logworth est une base logarithmique négative 10 de la valeur p, donc la valeur de 2 correspond juste à une valeur P de 0,01. |
| |
Nous avons donc les deux, en quelque sorte, dans ce cas avec le coefficient, dans quelle mesure cela augmente-t-il ou diminue-t-il les chances d'un différend ? Et puis le journal vaut la peine de nous le dire, vous savez, à quel point nos preuves sont-elles vraiment fiables ? |
| |
Et avec ces informations, nous pouvons faire beaucoup de choses et nous sommes sur le point de voir comment nous passons à JMP et effectuons réellement cette analyse. |
| |
Je suis donc de retour sur mon autre bureau ici. Je vais extraire nos données sur les plaintes des consommateurs. |
| |
Et |
| |
au lieu d'aller dans l'explorateur de texte à partir de zéro, je vais simplement le lancer en utilisant un script de table ici. |
| |
Et comme nous le verrons, une fois que cela s'affiche... désolé, il est apparu sur le mauvais écran. Nous y voilà. |
| |
Nous avons, vous savez, nous commençons toujours avec une liste de termes qui seront effectivement entrés dans l'analyse. Ensuite, nous avons notre liste de phrases, où nous pouvons déclarer certaines phrases qui appartiennent à la liste de termes, doivent également être incluses. |
| |
J'ai inclus beaucoup d'expressions, comme Fair Credit Reporting Act, parce que si la mention de cette expression ou de ce concept est associée à un litige de consommation, je veux le trouver. |
| |
Et vous remarquerez aussi si je vais à notre... allons gérer les mots vides ici, que j'ai déclaré beaucoup de mots vides. Ce sont donc tous des mots qui |
| |
Je ne veux pas inclure dans l'analyse, principalement parce qu'ils pourraient écraser d'autres mots. |
| |
Ils pourraient être très fréquents, et si je ne demandais qu'à analyser les, vous savez, les 500 mots les plus fréquents, je ne voudrais pas pouvoir gâcher ça. |
| |
Surtout parce que, même si capable était renvoyé comme un terme associé à un différend, je ne sais même pas exactement ce que je ferais... ce que je ferais avec ça ou comment je pourrais interpréter un mot aussi générique que capable. |
| |
Donc, vous voulez prendre votre temps pour faire vos mots vides et vos phrases, et lorsque vous êtes prêt, sous le triangle rouge, invoquez la sélection de termes. |
| |
Ainsi, lorsque nous le ferons, nous sélectionnerons d'abord notre |
| |
variable de résultat et c'est ce consommateur contesté. Et nous voulons parler des choses en termes de probabilité qu'un conflit se produise. |
| |
Vous pouvez définir ici des variables de résultat continues, ainsi que catégorielles. Ils travaillent tous les deux. Et je dois mentionner également que nous parlons d'un différend qui, |
| |
vous savez, vous pourriez penser que cela pourrait en fait être une sorte de proxy pour le sentiment, c'est-à-dire que si quelqu'un conteste quelque chose, c'est probablement parce qu'il n'est pas content. |
| |
Mais il peut être courant que certaines personnes aient des données, où vous avez une variable externe qui est une mesure plus directe du sentiment, disons, une note d'étoiles sur un produit, qui indique vraiment la satisfaction. |
| |
Et donc, si vous avez une bonne mesure du sentiment, avec vos données textuelles, vous pouvez utiliser un outil comme celui-ci pour faire ce que nous appellerions |
| |
analyse des sentiments dérivée des données, où vous utilisez cet outil pour rechercher des termes prédictifs d'une mesure de sentiment, sélectionnant ainsi essentiellement les termes de sentiment et automatiquement |
| |
trouver ce que leurs scores devraient être. Cela peut donc être très pratique. Ce n'est tout simplement pas tout à fait ce que nous faisons ici. Nous l'utilisons de manière plus générale. |
| |
D'accord, donc pour cette matrice de termes de document, je vais m'en tenir à la pondération binaire. Pour garder les choses vives, je vais dire, regardons seulement les 200 termes les plus fréquents. |
| |
Au-delà de cela, à partir de la clause 201, je ne vais pas l'inclure dans l'analyse. En pratique, j'en inclurais probablement plus, vous savez, c'est juste que je veux que ce soit agréable et accrocheur pour la démo. |
| |
Et si vous êtes un utilisateur GenReg, vous verrez que vous avez |
| |
Quelques options pour spécifier les méthodes d'estimation et de validation à l'avance. Je vais les laisser par défaut et cliquer sur Exécuter. |
| |
Et donc ce qui se passe, c'est que JMP appelle GenReg. Il construit un modèle de régression logistique et effectue une sélection de variables à l'aide de la méthode du filet élastique. |
| |
Il semble que nous venons d'avoir un deuxième problème technique. J'en suis terriblement désolé. Nous le traiterons au fur et à mesure que ce modèle s'adaptera. Alors voyons. Nous ramènerons mon partage d'écran. |
| |
Nous allons me ramener. On dirait que nous enregistrons toujours, alors nous allons continuer. Voici donc le résultat. |
| |
Avant d'entrer dans le détail du rapport, nous allons d'abord jeter un coup d'œil à cette seule ligne du tableau récapitulatif. Ceci résume le modèle unique que j'ai construit jusqu'à présent. |
| |
Ainsi, par exemple, je peux voir qu'il a renvoyé 145 termes. J'ai utilisé AICc comme validation et il y a la valeur AICc. Nous pouvons voir d'autres statistiques d'ajustement. |
| |
Et, comme tout modèle, nous pourrions essayer plusieurs, vous savez, exécutions sur le modèle afin de créer le modèle qui correspond le mieux à nos données. |
| |
Donc, si je monte ici à ce nœud de régression généralisée, vous verrez que GenReg est en fait intégré dans l'explorateur de texte. |
| |
Je pourrais explorer plus en détail le modèle que nous avons ajusté ou, dans mon cas, je vais en fait ajuster un autre modèle pour voir si je peux faire mieux. Faisons un filet élastique adaptatif. |
| |
Et s'adaptera à ce modèle à la place et verra s'il fait mieux que le filet élastique ordinaire que nous avons déjà installé. |
| |
D'accord, il convient également à ce modèle. |
| |
Si nous allons à notre résumé, nous pouvons voir que celui-ci a maintenant renvoyé 98 termes, a en fait un AICc inférieur, donc pourrait être un meilleur ajustement. |
| |
Et donc je vais aller avec ce modèle. Maintenant, je pourrais, si je voulais aller avec l'original, cliquer simplement dessus. Comme vous pouvez le voir, le rapport ci-dessous est mis à jour selon le modèle que j'ai sélectionné dans ce tableau. |
| |
J'ai ma liste de termes ici. Nous en avons déjà parlé, alors je pourrais regarder cela en termes de coefficients. Voici donc les termes qui ont le plus... le plus grand effet, augmentant les chances d'un litige de consommation. |
| |
Voici ceux qui ont le plus d'effet sur la diminution des chances d'un litige de consommation. Dans n'importe lequel d'entre eux, par exemple, je pourrais regarder raccroché et voir que, bien sûr, il s'agit de raccrocher au nez de quelqu'un ou de quelqu'un qui raccroche au nez, et peut-être que cela a du sens pour nous que |
| |
que cela serait prédictif d'une diminution des risques de litige, car il semble que ce soit vraiment un problème de communication et cela pourrait être un peu plus facile à résoudre. |
| |
Encore une fois, nous voulons prêter attention à nos valeurs de logworth ici, 2,883, donc c'est un peu au-dessus de cette règle empirique, 2, que j'ai énoncée auparavant, donc nous pourrions dire d'accord, je pense qu'il y a des preuves statistiques raisonnablement solides que c'est un vrai association. |
| |
Juste pour enfoncer le clou, si nous descendons ici, nous voyons le mot police. Et ma première impression est, eh bien, les gens disent, eh bien, j'ai fait un rapport de police, ou j'ai appelé la police. |
| |
Ils ne seront probablement pas aussi susceptibles de s'en aller si nous émettons une réponse, le conflit de probabilité, il doit augmenter si quelqu'un est déjà au niveau d'appeler les flics. |
| |
Mais si on regarde le |
| |
logworth, nous pouvons bien voir que les preuves statistiques de cela ne sont vraiment pas si solides, donc même si cela viole mon intuition, vous savez, peut-être que ce n'est peut-être pas tout à fait réel. |
| |
Ce n'est certainement pas au point que je veuille remonter la chaîne jusqu'à la direction et dire, hé si les gens disent qu'ils ont appelé les flics, c'est en fait une bonne chose. Nous ne disons certainement pas cela. Il vient d'être sélectionné pour être inclus dans le modèle ici parce qu'il a, en fin de compte, |
| |
aboutir à un modèle mieux ajusté, mais c'est toujours à nous d'appliquer nos propres connaissances et notre bon sens dans l'interprétation des résultats. |
| |
Donc, ce tableau pourrait être, si ce que vous essayez vraiment de faire est simplement d'identifier les termes et de quantifier leurs effets dans une certaine mesure, |
| |
cela pourrait être le genre d'objectif de votre analyse. Et donc je pourrais faire un clic droit et aller faire une table de données |
| |
et obtenir un tableau de données de ces termes et de leurs coefficients et logworths, puis l'utiliser pour peut-être guider une analyse de nos réponses précédentes, efforts d'amélioration, ou même les signaler comme termes qui devraient être inclus dans une sorte de modèle prédictif à l'avenir. |
| |
Mais, vous savez, nous avons construit un modèle ici, un modèle de régression, donc nous avons des informations pour, au niveau du document individuel, sur le |
| |
la somme totale des coefficients prédisant une augmentation des chances de dispute, la somme totale prédisant une diminution, la valeur globale du modèle, la probabilité de |
| |
un différend que le modèle attribué et ce que nous avons effectivement observé. Ainsi, toutes les choses auxquelles vous pouvez vous attendre lorsque vous évaluez réellement au niveau du document individuel, eh bien, la performance de ce modèle. |
| |
En haut, nous avons également un résumé général de, dans ce cas, les documents individuels et leur... ce que nous appelons notre contribution, c'est donc le |
| |
somme ou moyenne de ces valeurs de coefficient. Il semble donc, par exemple, que 30 412 de nos documents aient une somme... somme totale positive de leurs valeurs de coefficient et la valeur moyenne du coefficient, la contribution moyenne est d'environ 0,57. |
| |
Donc, encore une fois juste un drapeau, vous savez, nous parlons ici de coefficients de régression, et donc ces valeurs de contribution, le tableau des coefficients, tout cela doit être interprété comme vous le feriez lorsque vous construisez |
| |
modèle de régression linéaire sinon, donc dans notre cas ici, régression logistique, il faudrait interpréter ces |
| |
de manière appropriée, c'est-à-dire que si nous les augmentons, alors nous avons affaire au log ou... excusez-moi... alors nous avons affaire au rapport de cotes, c'est donc le facteur par lequel les cotes augmenteraient ou diminueraient si ce mot apparaît dans le texte. |
| |
Bien que si vous n'êtes pas énorme sur la régression, ces valeurs peuvent toujours être bonnes pour vous dans un sens plus général, en ce sens que vous pouvez chercher à voir, eh bien, d'accord, quels termes ont l'effet le plus fort ou non. Et même avec logworth, eh bien, qui ont les preuves les plus solides ou non. |
| |
Maintenant, enfin, comme vous pouvez l'imaginer, je veux dire que nous avons déjà vu comment enregistrer la table de termes, mais si votre objectif n'est pas cette table de termes, mais vraiment le modèle |
| |
que vous avez construit, vous avez également la possibilité de l'enregistrer. Et donc j'ai sélectionné le modèle que j'ai l'intention d'utiliser, ce filet élastique adaptatif, et sous le triangle rouge, je peux enregistrer les formules de prédiction. |
| |
Et je pense que mon ordinateur va probablement tourner ici juste une seconde. Donc, il enregistre la matrice de termes du document, donc c'était pour les 200 premiers termes comme nous l'avons spécifié, puis aussi la formule |
| |
qui opère sur ces colonnes ou cette matrice de termes de document pour calculer réellement notre modèle. Donc ici, j'ai la matrice de termes du document |
| |
puis les colonnes de formules à la fin ici, alors maintenant, je peux réellement utiliser |
| |
ce modèle directement si je veux. |
| |
C'est donc la sélection des termes. Encore une fois de haut niveau, nous trouvons quels termes sont les plus fortement associés à une variable de résultat qui nous intéresse, soit pour mieux interpréter ce qui motive ce résultat, soit peut-être même pour informer une pratique de modélisation pour essayer de prédire ce résultat. |
| |
Et voilà qui conclut la sélection de termes et l'analyse des sentiments, les deux nouvelles fonctionnalités d'exploration de texte de JMP Pro 16, qui viennent à nouveau d'être introduites au printemps dernier. |
| |
Je vais traîner un peu maintenant et répondre à toutes les questions que quelqu'un a à propos de, |
| |
vous savez, ces deux nouvelles fonctionnalités. Et sachez également que plus tard, vous pourrez toujours poster un commentaire ou une question supplémentaire sur la page de la communauté des utilisateurs pour cette présentation et je garderai toujours mes yeux |
| |
ouvert pour répondre à toutes les questions qui se présentent. Alors merci d'avoir pris le temps, tout le monde. Veuillez prendre soin. |
