| Conférencier |
Transcription |
| Scott Wise |
Exploration de textes d'investigation. Je m'appelle Scott Wise et je suis responsable principal de l'équipe pédagogique de JMP. |
| |
Et j'ai une présentation vraiment amusante à vous proposer aujourd'hui et les objectifs de cette présentation sont de vous donner un peu plus de familiarité |
| |
avec les capacités et la facilité avec laquelle il est possible d'effectuer une exploration de texte dans JMP et JMP Pro, ainsi que de vous montrer une manière différente de regarder l'exploration de texte, par exemple, puis-je enquêter sur quelque chose comme le ferait un détective ? |
| |
Bon, on va parler du chili de ma grand-mère et de son lien avec un concours de chili texan. Avant de commencer, |
| |
Démystifions une partie de la terminologie utilisée pour l'exploration de texte. Pour moi, il y a cinq étapes simples : il faut synthétiser les données, identifier les mots et même les combinaisons de mots les plus fréquents. |
| |
Donc, le « ??? » appelle cela une lecture de texte non structuré, puis ceci, cela pourrait être n'importe quoi. Cela pourrait être une phrase que votre client vous a donnée sur les performances de votre produit ou service. Cela pourrait être… |
| |
ça pourrait être les réseaux sociaux, n'est-ce pas, où vous savez que vous déterminez ce que les gens aiment ou n'aiment pas en fonction des commentaires, |
| |
quelque chose à propos de votre produit ou service ou cela pourrait être ce type, quelque chose comme une recette. |
| |
J'ai même vu cela se faire sur des brevets lorsque des gens recherchent des choses populaires pour lesquelles ils déposent des brevets et si nous devrions le faire. |
| |
En résumé, il s'agit de déterminer quels mots sont les plus importants. Il reste maintenant à préparer la liste des mots qui vous intéressent. |
| |
Bien sûr, nous ne serions pas JMP si nous ne pouvions pas le visualiser, l'analyser et le modéliser. Nous pouvons même faire de la modélisation avancée. J'utiliserai donc JMP Pro (version 15.1) pour cela. |
| |
et je ne manquerai pas de souligner ce que vous pouvez faire dans JMP et où j'ajoute un peu de Pro qui aide à répondre davantage à ma question. |
| |
Document, corpus et terme. Le document sera celui-ci… |
| |
Ce que vous analysez, c'est-à-dire le corps du texte, chaque ligne. Voici donc mes recettes pour mon exemple. |
| |
Il peut s'agir de différents clients qui ont commenté votre produit ou service. Le corpus est en fait le texte non structuré que vous essayez de traiter, le corps de ce texte que vous allez analyser. |
| |
Et puis, les termes seront les mots ou les combinaisons de mots qui vous intéressent et qui peuvent vous aider à répondre à une question. Alors, parlons de l'histoire. Vous savez, pourquoi ai-je eu l'idée de regarder des recettes de chili ? Eh bien, cela nous ramène à… |
| |
Il y a presque 25 ans, lorsque j'ai déménagé au Texas pour la première fois, je suis venu travailler pour une grande entreprise et, comme la plupart des grandes entreprises du Texas, ils organisaient un grand concours de chili texan. |
| |
Et on m'a demandé de participer. Tout le monde a participé. Mais on m'a aussi demandé de faire encore plus : d'être juge. |
| |
J'aurais donc dû refuser le juge. Je pensais que c'était un honneur pour le nouveau, mais je crois que j'étais le seul à qui ils pouvaient l'accorder. J'ai découvert pourquoi. |
| |
Mais parlons d'abord de la réaction au chili que j'ai apporté. J'avais une recette de chili que ma famille utilisait toujours et qui venait de ma grand-mère, Mamie Lillian. |
| |
Ce n'est pas du chili. Ce n'est pas ce que les Texans considéraient comme du chili. |
| |
La bonne nouvelle, c'est que je devrais en rapporter à la maison, car j'adore ça. Ils ont envisagé autre chose que du chili. Leur chili ne contenait pas de haricots. Il n'était pas consistant. Il était très épicé, très liquide. |
| |
Le mien était au bœuf. Le leur était surtout au porc. Ils étaient tout cuits. Voilà l'autre chose qui m'a attiré des ennuis. Non seulement ils n'ont pas aimé le chili de ma grand-mère, mais j'ai failli ne pas survivre au jugement. |
| |
Parce que le véritable honneur d'un vrai Texan, c'est de préparer le chili le plus piquant. Alors, on veut battre son voisin. On veut battre son collègue. Alors, ils jetaient toutes sortes de piments et d'épices piquants. |
| |
Et j'ai juste pensé, j'ai failli me percer l'estomac juste en essayant de le goûter et tu bois tout ce lait, en essayant d'évacuer la chaleur. Alors |
| |
C'était un baptême du feu. Donc, si vous n'aimez pas la chaleur, je vous conseille de ne pas participer comme juge. Ce n'est pas une bonne idée. Mais je voulais être classé ; ça m'a toujours dérangé. |
| |
Quoi, pourquoi le chili de ma grand-mère n'a-t-il pas bien marché ? Existe-t-il vraiment différents types de chili ? D'où viennent-ils ? |
| |
Et il s'avère que le chili a une histoire vraiment intéressante. On peut trouver des blogs et des articles historiques vraiment intéressants à son sujet, et il est fort probable qu'il soit issu de |
| |
Amérique centrale, principalement au Mexique. Il existe aussi des plats légers, mais à San Antonio, où on l'a vu pour la première fois, on sait maintenant qu'il s'agit de chili. |
| |
Sur la vieille place de San Antonio, près de l'Alamo. On l'utilisait pour les transports de bétail, et il a commencé à se populariser, puis s'est répandu dans tout le Midwest. |
| |
Et on m'a dit que, vous savez, de nombreuses innovations alimentaires ont été créées à l'Exposition universelle de Saint-Louis, vous savez, elles ont vraiment décollé lorsqu'elles ont été présentées, celle-ci en était une. Le chili a été introduit dans |
| |
L'Exposition universelle de Saint-Louis est devenue très populaire. |
| |
Il existe donc différentes variantes. L'idée était donc de… utiliser l'exploration textuelle sur les ingrédients et les recettes ? Il suffirait de prendre la recette entière, de l'insérer et de voir ce qui se passe. |
| |
Et à quoi est-ce que je veux comparer ça ? J'ai donc cherché quelles étaient les régions traditionnelles ; nous en avions plusieurs, du Texas jusqu'au Michigan. |
| |
Au Texas, nous avons différentes variétés. Le Texas Bowl Red est celui que j'ai goûté. C'est du chili con carne. |
| |
La frito pie est un plat que l'on mange souvent lors d'un match de football américain, mais elle est très populaire, à tel point que la Louisiane en a sa propre version. Le Nouveau-Mexique, avec des piments verts et du poulet, en a une autre. L'Oklahoma, Kansas City et Springfield… |
| |
L'Illinois, Cincinnati avec le chili Skyline, on le met sur les spaghettis. Le Michigan, Coney Island, les hot-dogs, vous savez, la sauce chili qu'ils mettent là-bas est vraiment du chili. |
| |
Chili blanc, dont on ignore l'origine. Chili végétarien. Mais il existe de nombreux styles maintenant. |
| |
Alors je me suis dit, si je prenais trois recettes de chacun de ces styles et que je les comparais pour contrôler le chili de ma grand-mère, est-ce que je pourrais trouver ce que je cherche ? |
| |
Nous allons donc faire cela et je vais vous montrer, au fur et à mesure que je parcours les étapes, je vais vous montrer un résumé des étapes, puis je vais aller juste derrière et vous montrer comment je le fais dans JMP. |
| |
La première étape consistera à synthétiser les données. Nous souhaitons identifier les mots qui nous intéressent. |
| |
Et maintenant, que se passe-t-il lorsque vous entrez |
| |
n'importe laquelle de ces analyses de texte, ces données de texte, comme mes ingrédients, dans un explorateur de texte, il va les exécuter via une bibliothèque |
| |
des expressions régulières, et pensez au mot comme régulier, juste des choses qui font partie du langage courant. |
| |
Et ils ne sont pas très utiles. Ce n'est pas utile d'avoir « the » et « and » dans ma liste. Du coup, ça essaie de faire ressortir les mots qui ne vous intéressent pas. Et oui, c'est personnalisable. |
| |
Et il y en a déjà un assez puissant intégré, et c'est ce que j'ai utilisé. Et puis, le stemming. Le stemming, c'est là où on va et |
| |
dites comment vous voulez traiter des mots similaires - donc « dés » est « dés », « couper en dés », vous avez des pluriels, différents... différents... |
| |
Différentes versions du radical. Souhaitez-vous simplement les compter toutes dans le radical ou les séparer ? C'est un élément à prendre en compte. |
| |
Et après avoir résumé, laissez-moi vous donner ces mots. Vous voyez, j'ai une petite liste de mots ici. Celui du fond est non édité, puis celui du début. |
| |
En fait, nous avons parcouru et réduit la liste de mots. On cherche donc les mots qui ne nous intéressent pas, on les appelle des mots vides, c'est-à-dire qu'on les supprime et on les ajoute à ma bibliothèque de mots qui ne m'intéressent pas. |
| |
Vous pouvez également ajouter des phrases importantes. Une fois que vous les aurez, nous pourrons en visualiser certaines. |
| |
Et nous allons pouvoir voir, dans mon cas, que je me suis vraiment intéressé aux ingrédients. Nous allons donc pouvoir voir quels ingrédients sont revenus le plus souvent. |
| |
Et vous voyez souvent des nuages de mots ici, et les nuages de mots, vous savez, plus le mot est gros, plus il est fréquent. |
| |
Et vous pouvez le voir dans un nuage, comme une simple disposition sporadique, ou vous pouvez regarder un ordre où, vous savez, la première chose en haut est le mot le plus grand. C'est comme |
| |
Le graphique qui se trouve devant votre diapositive. Ensuite, nous allons l'utiliser pour créer des modèles de base. |
| |
Et l’une des façons les plus simples d’y parvenir est, une fois que nous savons quels mots de notre liste nous intéressent, |
| |
Nous pouvons l'ajouter à notre table de données. C'est ce qu'on appelle enregistrer la matrice de termes du document. Dans ce cas, une méthode simple consiste à utiliser des binaires. J'ai donc une colonne séparée ici, à ma droite, où |
| |
« Onion » a un 1 lorsqu'il est dans ces lignes, par exemple, la recette. Il a un zéro s'il n'est pas dans ces lignes, donc on peut obtenir des zéros et des uns ici dans les colonnes. Et on peut voir ce qui est le plus important. |
| |
Et souvent, vous essayez de modéliser quelque chose comme, si j'étais coincé, |
| |
J'ai peut-être eu les notes d'évaluation et je peux dire : « Voici une note numérique associée à chaque recette. » Je veux voir quels ingrédients |
| |
Il est courant d'obtenir un score élevé. C'est peut-être ce que je fais, alors essayez d'être un peu plus prédictif. |
| |
Mais dans ce cas, je vais m'intéresser au regroupement. Je suis vraiment intéressé par le regroupement, un peu comme pour les recettes, et voir où se situe le chili de ma grand-mère. Je vais donc vous montrer comment procéder. Mais commençons par JMP et vous montrons comment réaliser ces étapes. |
| |
Voici donc mes données brutes. |
| |
Dans chaque document ici, chaque ligne contient mon texte non structuré et dans mon cas, ce ne sont que les ingrédients bruts. |
| |
Et si je clique sur l'une de ces cellules, vous verrez qu'il s'agit simplement des ingrédients copiés. Voici donc celui-ci… le premier pour le chili cajun de Louisiane. |
| |
Il y a des mots qui m'intéressent, comme « tomate », « poudre de chili » et « miel ». Il y a des mots qui m'intéressent moins, comme « boîte ». |
| |
Ce sont probablement les mesures d'ingrédients qui m'intéressent moins, comme « une », « deux livres », « cuillères à café ». Alors, comment allons-nous gérer ça ? Alors, que allons-nous faire ? |
| |
nous allons aller dans Analyser et dans l'Explorateur de texte et nous allons simplement mettre ces ingrédients dans la colonne de texte. |
| |
Je vais demander comment utiliser la racine pour tous les termes. Je trouve cela très utile. Ensuite, j'utiliserai l'expression régulière intégrée. |
| |
Je dis ok et maintenant voici ma liste initiale. |
| |
Je peux maintenant sélectionner les éléments qui ne m'intéressent pas. Les chiffres ne m'intéressent pas. Je peux donc les sélectionner, faire un clic droit et ajouter un mot vide, et le résultat sera ajouté à la liste des éléments qui ne m'intéressent pas. |
| |
Et « poudre de chili » ? Ça semble être quelque chose qui mérite d'être mentionné séparément. Je fais donc un clic droit sur cette expression, puis je sélectionne « Ajouter une expression » et elle est ajoutée. |
| |
Alors vous continuez ainsi jusqu'à obtenir une liste simplifiée et réduite. |
| |
Je vais juste courir mon |
| |
Ma liste complète. Voici tous les mots issus de l'expression régulière qui ont été trouvés, ainsi que |
| |
choses que j'ai ajoutées |
| |
Et les mots vides. Et maintenant, voici ma liste de termes et d'expressions terminée. J'ai donc ajouté ces expressions qui m'intéressent. « Oignon » est arrivé en tête, suivi de « sel », « cumin », puis « poudre de piment ». |
| |
Comme vous pouvez l'imaginer, ce serait vraiment intéressant à visualiser, et nous avons un nuage de mots. Voici donc le nuage de mots pour tout ce qui se trouve dans ce document. Et encore une fois, sous les options du triangle rouge, je peux modifier l'ordre pour un rendu plus clair. |
| |
Si je garde le tout centré, c'est amusant. Vous savez, vous pouvez ajouter des filtres à vos données et parfois trouver la réponse visuellement sans rien faire d'autre. Dans ce cas, je vais aborder ce sujet avec mon |
| |
Triangle rouge. Je vais obtenir un filtre de données local. Je vais simplement examiner le type et me dire : « Bon, regardons ça. » |
| |
À quoi ressemble le chili de grand-mère Lillian ? « Tomates », « haricots rouges » et « bœuf », ce genre de choses. Et comment le comparer au chili cajun ? |
| |
Ils ont partagé de la poudre de chili et du bœuf, mais il y avait peut-être des ingrédients différents. Comparé au chili verde, |
| |
Vous savez, c'est plutôt du piment vert. Et ils contiennent des piments crus, des jalapeños, du bouillon de poulet, tout ce genre de choses, du bouillon de poulet. |
| |
C'est vraiment intéressant, mais probablement pas suffisant pour que je comprenne ce qui se passe. J'y suis donc allé. |
| |
(et c'est un autre... vous avez toutes les options ici sous votre triangle rouge) Je suis allé m'assurer (et je dois probablement m'assurer ici) que je désactive mon filtre de données local, que je m'assure que tout est sélectionné, que je regarde tous mes termes. |
| |
J'en ai 299. Je fais un clic droit et je sélectionne « Enregistrer la matrice de termes du document ». |
| |
Et quand je fais ça, on me demande comment je veux l'enregistrer, avec des pondérations, quel type de pondération. C'est essentiellement binaire : il y a des fréquences que je peux utiliser, le nombre de termes, la fréquence minimale de terme pour obtenir une place dans la table de données. Et je l'ai déjà fait. |
| |
Donc si je glisse et regarde... |
| |
En fait |
| |
Je vais le faire et vous montrer à quoi ça ressemble. Je vais simplement dire « Enregistrer la matrice de termes du document » et confirmer. |
| |
Et maintenant, comme je vous l'ai montré sur la diapositive, je comprends tous les termes qui m'intéressent. Il y a le premier pour « oignon ». Voici celui pour « poudre de chili », et son lien avec leurs termes respectifs. |
| |
Recette, vous savez, des rangées. |
| |
Alors je sais où il y en a un, je sais que ce chili cajun contenait de la poudre de chili. |
| |
Quand il y a zéro, |
| |
Celui-ci ressemble à du chili d'Oklahoma, non ? Désolé, le chili du Nouveau-Mexique ne contenait pas de poudre de chili, donc c'est comme ça que ça fonctionne. Et cela peut être utilisé en modélisation. Vous pouvez donc aller dans Analyser l'ajustement du modèle dans JMP et appliquer cela à un type de modèle. |
| |
Mais ce que je vais faire, c'est que je n'essaie pas vraiment de prédire quels ingrédients me donneront un meilleur score. Je n'ai pas de… |
| |
Vous connaissez les données de sortie ici. Je veux vraiment les regrouper, et j'ai entendu dire que c'est possible avec JMP Pro. Je vais donc revenir à mes diapositives. |
| |
Je vais parler de l'analyse des données. Pour approfondir l'analyse, |
| |
dans JMP Pro, il vous permet d'effectuer de très bonnes techniques de regroupement et ce sont des méthodes multivariées et elles sont spécialisées dans la gestion des analyses de texte et le travail avec ces termes de document, la matrice concerne le texte. |
| |
Et il utilise ce qu'on appelle l'analyse des classes latentes. C'est l'un des termes utilisés. Et c'est similaire aux composantes principales, si vous êtes habitué à cette technique. Mais en gros, ça va… |
| |
Demandez-nous combien de groupes ou de clusters de données nous souhaitons examiner. L'analyse couvrira cet espace multidimensionnel. |
| |
entre tout ce qui se trouve dans ces colonnes et votre matrice de termes de document pour les termes importants dans votre modèle ici, les termes importants que nous avons sur le mot |
| |
Une liste de mots, n'est-ce pas ? Et ça va les regrouper. Et dans mon cas, j'ai réussi à la réduire à trois groupes. |
| |
Il y a donc un groupe qui semble contenir beaucoup de recettes de chili avec du bœuf haché, de la sauce tomate, de la poudre de chili et des haricots. |
| |
Il y a un groupe deux, qui avait beaucoup à voir avec le poulet et les piments verts, les piments crus ici. |
| |
Et puis il y a le groupe trois, qui contenait encore beaucoup de piments, mais il s'agissait davantage de piments rouges et ils étaient en quelque sorte à base de porc, ce qui avait beaucoup de sens. |
| |
D'accord, donc lorsque j'ai créé ces clusters, j'ai pu utiliser une probabilité de cluster par ligne, ce qui m'a donné une idée de la force de ces clusters individuels. |
| |
Recettes, mes lignes dans mon document, à droite, ces recettes originales… ma recette de contrôle, où se trouvaient-elles et quelle était leur force ? Pourquoi les ai-je assignées à tel ou tel groupe ? Et quand j'ai fait ça, |
| |
Le 22 était le groupe de ma grand-mère… c'était son témoin. Et j'ai découvert qu'elle avait regroupé dans le groupe un, avec d'autres recettes, notamment celles de Kansas City, dans le Missouri. |
| |
Il y en a une au numéro 24, qui était très proche. Les recettes texanes du groupe trois contenaient des piments forts, des épices… beaucoup d'épices, et souvent du porc, mais pas de haricots, n'est-ce pas ? Les haricots étaient présents dans le groupe un, mais pas dans le groupe trois, et puis… |
| |
Le groupe deux |
| |
c'était plus pour, vous savez, c'est plus pour le piment vert, |
| |
plus pour ces choses que vous voyez au Nouveau-Mexique, vous savez, le chili à base de poulet, les choses avec du piment vert. |
| |
Bon, j'ai réussi à faire la correspondance et j'ai trouvé une recette. Et l'une des trois recettes représentatives du Missouri. |
| |
en fait, on l'appelait le chili de Kansas City, et il correspondait presque exactement au chili de grand-mère Lillian. |
| |
Alors, quand j'ai interrogé ma mère à ce sujet, j'ai dit : « Mais pourquoi est-ce arrivé ? Je ne pensais pas que ça venait du Missouri. » Et elle a répondu : « Tout ça a du sens. » Elle a ajouté : « Grand-mère Lillian, |
| |
Elle a grandi dans une ferme à St. Joseph, dans le Missouri. Elle était la seule fille et avait 11 ou 12 frères. C'est donc elle qui faisait la cuisine. |
| |
D'ailleurs, elle était la seule à avoir fait des études supérieures, elle était donc très progressiste à l'époque où elle vivait et était l'une de mes proches préférées, mais sa recette en était très révélatrice. Voyons donc à quoi cela ressemble en vrai. |
| |
Donc si je vais à... |
| |
à ce point, |
| |
Je reviens aux données que j'avais créées et, sous ce point d'accès, je vais demander les modèles supplémentaires fournis par JMP Pro. Une analyse de classe latente regroupe les documents grâce à cette méthode. |
| |
Basé sur la méthode binaire pour documenter la matrice de termes. Il utilise donc un document… il utilise cette matrice de termes, donc vous n'avez même pas besoin de l'enregistrer ; elle est générée automatiquement. |
| |
Il existe également une analyse sémantique latente, qui fait un peu plus de mathématiques, une méthode un peu plus avancée, mais les deux font fondamentalement la même chose, et j'ai particulièrement apprécié cette analyse de classe latente. C'est donc celle que j'ai choisie. |
| |
J'ai demandé trois groupes, vous pouvez jouer avec pour voir si ça change quelque chose. J'ai essayé d'autres groupes et je suis revenu à trois. |
| |
Et dans son |
| |
options, vous pouvez regarder les probabilités de cluster par ligne. |
| |
Et de tous les résultats, c'est celui-ci qui était le plus logique. Souvenez-vous, pour revenir à ma diapositive, cela m'a aidé à voir où le chili de ma grand-mère était tombé. |
| |
Qui avait 22 ans, |
| |
Rangée 22. Et avec quoi d'autre cela se combinait-il bien ? C'est ainsi que j'ai pu réaliser cette analyse. |
| |
C'est aussi simple que ça. |
| |
Donc, |
| |
c'était un aperçu très rapide des capacités d'exploration de texte JMP dans JMP, puis de la façon dont j'ai pu utiliser JMP Pro et |
| |
Trouvez ces grappes, placez le chili de ma grand-mère et trouvez une recette assortie. Si vous en voulez plus, j'ai un lien vers le blog. |
| |
Dans la présentation, vous pouvez… cliquer dessus ou aller directement dans la Communauté et saisir « Chili de grand-mère » pour trouver ce blog. Je vous donnerai également… |
| |
La recette. Vous aussi, vous pouvez préparer le chili de grand-mère Lillian. |
| |
Nous sommes donc ravis de pouvoir vous montrer cela aujourd’hui. |
| |
N'hésitez pas à nous laisser vos questions dans la section questions-réponses. Et essayez ceci, essayez quelque chose ! |
| |
que vous avez autour de vous au travail, à la maison, partout où il y a des données textuelles non structurées, où vous aimeriez explorer et poser la question, et vous constaterez que c'est une méthode fantastique, très puissante et qui vous aide vraiment à attaquer cette troisième dimension des données. |
