|
Conférencier
|
Transcription
|
| Scott Wise |
Exploration de textes d'enquête. Je m'appelle Scott Wise et je suis directeur principal de l'équipe éducative de JMP. |
| |
Et j'ai une présentation vraiment amusante à voir aujourd'hui et les objectifs de cette présentation sont de vous donner un peu plus de familiarité. |
| |
avec les capacités et la facilité avec laquelle il est possible d'effectuer une exploration de texte dans JMP et JMP Pro, ainsi que de vous montrer une manière différente d'envisager l'exploration de texte, par exemple, puis-je faire avec pour enquêter sur quelque chose comme le ferait un détective ? |
| |
D'accord, nous allons donc parler du chili de ma grand-mère et de son lien avec une cuisine au chili du Texas. Avant que nous commencions, |
| |
démystifions simplement une partie de la terminologie relative à l'exploration de texte, et pour moi, il y a en réalité cinq étapes simples. Vous passez votre temps à résumer les données, littéralement, à découvrir quels mots dans le texte apparaissent le plus souvent, voire quelle combinaison de mots apparaît le plus souvent. |
| |
Alors le ??? appelez cela regarder à travers un texte non structuré, et puis ça, cela pourrait être n'importe quoi. Il peut s'agir d'une phrase que votre client vous a prononcée sur les performances de votre produit ou de votre service. Il pourrait être... |
| |
cela pourrait être les médias sociaux, n'est-ce pas, où vous savez que vous déterminez ce que les gens aiment ou n'aiment pas en fonction des commentaires, |
| |
quelque chose sur votre produit ou service ou cela pourrait être ce type, quelque chose comme une recette. |
| |
J'ai même vu cela sur les brevets lorsque les gens recherchaient les choses populaires pour lesquelles les gens déposent des brevets et devrions-nous le faire. |
| |
Donc vraiment, résumer et découvrir quels mots sont les plus importants. Maintenant, il y a une certaine préparation qui vient ensuite, qui consiste simplement à se résumer à la liste plus petite des mots qui vous intéressent. |
| |
Bien sûr, nous ne serions pas JMP si nous ne le visualisons pas, l'analysons et si nous ne pouvons pas le modéliser. Nous pouvons même faire de la modélisation avancée. Je vais donc utiliser JMP Pro pour ce faire, version 15.1, |
| |
et je ne manquerai pas de souligner ce que vous pouvez faire dans JMP et où j'ajoute un peu de Pro qui aide à mieux répondre à ma question. |
| |
document, corpus et terme. Le document sera celui-là... |
| |
les choses que vous analysez, essentiellement le corps individuel du texte, chaque ligne du texte. Ce sont donc mes recettes pour mon exemple. |
| |
Il peut s'agir de différents clients qui vous ont répondu sur votre produit ou service. Le corpus est en fait ce texte non structuré que vous essayez de gérer, le corps de ce texte que vous allez analyser. |
| |
Et puis les termes seront ces mots ou ces combinaisons de mots qui vous intéressent et qui peuvent vous aider à répondre à une question. Alors parlons de l'histoire. Vous savez, pourquoi ai-je pensé à regarder des recettes de chili ? Eh bien, cela revient à |
| |
il y a presque 25 ans, lorsque j'ai déménagé pour la première fois au Texas et que je suis venu travailler pour une grande entreprise et, comme la plupart des grandes entreprises du Texas, ils ont organisé une grande cuisine de chili texan. |
| |
Et on m'a demandé de participer. Tout le monde a participé. Mais on m’a aussi demandé de faire encore plus que cela, on m’a demandé d’être juge. |
| |
J'aurais donc dû refuser le juge. Je pensais que c'était un honneur pour le nouveau, mais je pense que j'étais le seul à qui ils pouvaient le donner, j'ai découvert pourquoi. |
| |
Mais parlons d'abord de la réaction au chili que j'ai apporté. J'avais donc une recette de chili que ma famille a toujours utilisée et elle venait de ma grand-mère, grand-mère Lillian. |
| |
Ce n'est pas du piment. Ce n’est pas ce que les Texans considéraient comme du chili. |
| |
Maintenant, la bonne nouvelle, c'est que je devrais en ramener à la maison parce que j'aime en manger. Ils envisageèrent autre chose que le chili. Leur chili ne contenait pas de haricots. Leur chili n'était pas copieux. Il faisait très chaud, très moelleux. |
| |
Le mien avait du bœuf. Le leur contenait principalement du porc. Ils étaient à tapis. Voici l’autre chose qui m’a causé des ennuis. Non seulement ils n'aimaient pas le chili de ma grand-mère, mais j'ai failli ne pas survivre au jugement. |
| |
parce que le véritable insigne d'honneur d'un vrai Texan est de préparer le bol de chili le plus piquant. Alors vous voulez battre votre voisin. Vous voulez battre votre collègue. Alors ils jetaient ici toutes sortes de piments et d’épices impies. |
| |
Et j'ai juste pensé, j'ai failli me percer l'estomac rien qu'en essayant de le goûter et tu bois tout ce lait, en essayant d'éteindre la chaleur. Donc |
| |
c'était un baptême du feu. Donc, ma recommandation est la suivante : à moins que vous n'aimiez la chaleur, n'entrez pas en tant que juge, n'est-ce pas. Pas une bonne idée. Mais je voulais placer; ça m'a toujours dérangé. |
| |
Quoi, pourquoi le chili de ma grand-mère n'a-t-il pas bien fonctionné ? Existe-t-il vraiment différents types de piment ? D'où viennent-ils? |
| |
Et il s'avère que le chili a une histoire vraiment cool. Vous pouvez voir des blogs et des articles sur l'histoire vraiment vraiment sympas et cela vient très probablement de |
| |
Amérique centrale, principalement Mexique. Et il y a quelques plats légers, mais à San Antonio, on a d'abord observé qu'il était vendu en quelque sorte dans l'État, nous saurions que maintenant c'est du chili, |
| |
sur la vieille place San Antonio, près de l'Alamo. Et il a été utilisé lors des collectes de bétail et il a commencé à devenir populaire, puis il s'est frayé un chemin jusqu'au centre du pays et dans tout le Midwest. |
| |
Et on m'a dit que, vous savez, de nombreuses innovations alimentaires ont été créées à l'Exposition universelle de Saint-Louis, vous savez, et ont vraiment décollé lorsqu'elles ont été présentées, celle-ci en faisait partie. Le chili est entré dans le |
| |
L'Exposition universelle de Saint-Louis est devenue vraiment populaire. |
| |
Il existe donc différentes variétés. Et donc l’idée était si je… pouvais-je utiliser l’exploration de texte sur les ingrédients et les recettes ? Prenez simplement toute la recette et jetez-la dedans, voyez ce qui se passe. |
| |
Et à quoi est-ce que je veux le comparer ? J'ai donc recherché quelles étaient les régions traditionnelles ; nous en avons eu plusieurs, du Texas jusqu'au Michigan. |
| |
Donc au Texas, nous avons différentes variétés. Le Texas Bowl Red est celui que je dégustais. C'est du chili con carne. UN |
| |
La tarte Frito est quelque chose que vous obtiendrez lors d'un match de football, mais très populaire, la Louisiane a sa propre version. Le Nouveau-Mexique, avec des piments verts et du poulet, a sa propre version. Oklahoma, Kansas City, Springfield, |
| |
Illinois, Cincinnati avec le chili skyline, hé, mettez-le sur des spaghettis. Michigan. Coney Island, les hot-dogs, vous savez, la sauce chili sur laquelle ils les mettent est du piment sérieux. |
| |
Piment blanc, on ne sait pas d'où il vient. Chili végétarien. Mais il existe actuellement de nombreux styles. |
| |
Alors je me suis dit, si je prenais trois recettes de chacun de ces styles et que je les comparais pour contrôler le chili de ma grand-mère, puis-je trouver ce que je cherche ? |
| |
Nous allons donc faire cela et je vais vous montrer, au fur et à mesure que je parcoure les étapes, je vais vous montrer un résumé des étapes, puis je vais aller juste derrière et vous montrer comment je le fais. dans JMP. |
| |
Les premières étapes vont consister à résumer les données. Nous voulons trouver les mots qui nous tiennent à cœur. |
| |
Maintenant, que se passe-t-il lorsque vous entrez |
| |
toutes ces analyses de texte, ces données textuelles, comme mes ingrédients, dans un explorateur de texte, elles seront exécutées via une bibliothèque |
| |
d'expressions régulières, et pensez au mot comme à des choses régulières, juste des choses qui font simplement partie du discours quotidien. |
| |
Et ils ne sont pas très utiles. Ce n'est pas utile si j'ai "le" et "et" dans ma liste. Il essaie donc d'aider à extraire les mots qui ne vous intéressent pas. Et oui, il peut être personnalisé. |
| |
Et il en a déjà un assez puissant, et c'est ce que j'ai utilisé. Et puis découler. La racine est l'endroit où vous allez et |
| |
dites comment vous voulez traiter comme des mots - donc "dés" c'est "dés", "dés", vous avez des pluriels, différents... différents... |
| |
différentes versions du mot racine. Voulez-vous simplement tout compter dans la racine du mot ou voulez-vous que ce soit séparé ? C'est donc une considération. |
| |
Et puis après, nous résumons. Laissez-moi comprendre ces mots. Vous pouvez voir que j'ai une petite liste de mots ici. Celui de derrière est inédit puis celui de devant |
| |
est en fait celui où nous avons parcouru et en quelque sorte réduit cette liste de mots. Donc, ce que vous faites, c'est chercher des mots qui ne vous intéressent pas, vous les appelez des mots vides, en gros, vous dites, supprimez-les. Ajoutez-les à ma bibliothèque de choses qui ne m'intéressent pas. |
| |
Vous pouvez également apporter des phrases qui comptent vraiment. Et une fois que vous les aurez, nous allons pouvoir en visualiser quelques-uns. |
| |
Et on va pouvoir voir, dans mon cas, je me suis vraiment intéressé aux ingrédients. Nous allons donc pouvoir voir quels sont les ingrédients qui ressortent le plus souvent. |
| |
Et vous voyez souvent des nuages de mots ici, et des nuages de mots, vous savez, plus le mot est gros, plus il est fréquent. |
| |
Et vous pouvez le regarder dans un nuage, juste comme... juste une mise en page sporadique ou vous pouvez regarder un ordre où, vous savez, la première chose là-haut est le plus grand mot. C'est comme le |
| |
graphique qui se trouve devant votre diapositive. Et après, nous allons en faire quelque chose. Et ainsi nous pouvons créer quelques modèles de base. |
| |
Et l'un des moyens les plus simples d'y parvenir est, une fois que nous savons quels mots de notre liste nous intéressent, |
| |
nous pouvons le rajouter à notre table de données. Cela s'appelle sauvegarder la matrice des termes du document. Dans ce cas, un moyen simple de procéder consiste simplement à utiliser des fichiers binaires. J'ai donc une colonne séparée ici, vous pouvez voir à ma droite, où |
| |
"oignon" en a un là où il se trouve dans ces rangées, vous savez, recette. Il a zéro si ce n'est pas le cas, vous pouvez donc obtenir des zéros et des uns ici dans les colonnes. Et vous pouvez voir ce qui est le plus important. |
| |
Et bien souvent, vous essayez de modéliser quelque chose comme, si j'étais coincé, |
| |
peut-être que j'ai eu les notes de jugement par ceci et je peux dire, eh bien, voici une note numérique liée à chaque recette. Je veux voir quels ingrédients |
| |
sont courants et donnent lieu à un score élevé. C'est peut-être quelque chose que je fais, alors essayez de le faire un peu plus prédictif. |
| |
Mais dans ce cas, je vais en quelque sorte examiner le regroupement. Je suis vraiment intéressé à regrouper, en quelque sorte, des recettes et à voir où tombe le piment de ma grand-mère. Je vais donc vous montrer comment nous allons procéder. Mais commençons par JMP et montrons comment nous effectuons ces étapes dans JMP. |
| |
Voici donc mes données brutes. |
| |
Dans chaque document ici, chaque ligne contient... mon texte non structuré et dans mon cas, ce ne sont que les ingrédients bruts. |
| |
Et si je clique sur l’une de ces cellules ici, vous pouvez voir qu’il s’agit littéralement des ingrédients copiés. Voilà donc celui... le premier pour le piment cajun de Louisiane. |
| |
Il y a des mots qui me tiennent à cœur, comme « tomate », « poudre de chili » et « miel ». Il y a des mots qui ne m'intéressent pas, comme "peut". |
| |
Ce sont probablement des mesures d'ingrédients qui ne m'intéressent pas tellement, comme « un », « deux livres », « cuillères à café ». Alors, comment allons-nous nous occuper de cela ? Alors ce que nous allons faire |
| |
c'est que nous allons aller dans Analyser et dans Explorateur de texte et nous allons simplement mettre ces ingrédients dans la colonne de texte. |
| |
Je vais demander la racine, comment dériver tous les termes. Je trouve cela très utile. Et puis je vais utiliser l'expression régulière intégrée. |
| |
Je dis d'accord et voici maintenant ma liste initiale. |
| |
Donc ce que je peux faire maintenant, c'est aller sélectionner les choses qui ne m'intéressent pas. Je me fiche des chiffres. Alors peut-être que je peux aller ici et les mettre en surbrillance, faire un clic droit et dire ajouter un mot vide, puis il sera ajouté à la liste des choses qui ne m'intéressent pas. |
| |
Et la « poudre de chili » ? Cela ressemble à quelque chose qui doit être autonome. Je vais donc faire un clic droit sur cette phrase. Et je vais dire ajouter une phrase et cela l'ajoute. |
| |
Alors vous y allez et vous faites cela jusqu'à ce que vous obteniez une liste rationalisée et réduite. |
| |
Je vais juste exécuter mon |
| |
Ma liste terminée par là. Et voici tous les mots issus de l'expression régulière qui ont été trouvés, ainsi que |
| |
choses que j'ai ajoutées |
| |
et arrêter les mots. Et maintenant, voici ma liste de termes et d’expressions terminée. Et donc j'ai ajouté ces phrases. Je me soucie de. Ainsi, « oignon » est arrivé en tête, puis « sel », puis « cumin », puis « poudre de chili ». |
| |
Comme vous pouvez le deviner, ce serait vraiment bien à visualiser et nous avons un nuage de mots. Voici donc le nuage de mots pour tout ce qui se trouve dans celui-ci. Et encore une fois, sous mes options de triangle rouge ici, je peux changer cela en un ordre pour rendre plus net ce qui sort. |
| |
Si je le garde centré, c'est quelque chose d'amusant à faire. Vous savez que vous pouvez ajouter des filtres à vos données et que vous pouvez parfois trouver votre réponse visuellement sans avoir à faire autre chose. Et donc dans ce cas, je vais en parler à mon |
| |
triangle rouge. Je vais obtenir un filtre de données local. Je vais juste regarder le type et je vais dire, eh bien, jetons un coup d'oeil à |
| |
à quoi ressemble le chili de grand-mère Lillian, vous connaissez les « tomates », les « haricots rouges » et le « bœuf », ce genre de choses. Et comment cela se comparerait-il au chili cajun ? |
| |
Eh bien, ils ont partagé de la poudre de chili et du bœuf, mais, vous savez, il peut y avoir des choses différentes là-dedans. Vous savez, en comparaison avec le chili verde, |
| |
vous savez, qui est plutôt du piment vert, vous savez. Et ils ont des piments crus là-dedans et des jalapenos, du bouillon de poulet, tout ce genre de choses, du bouillon de poulet. |
| |
C'est donc vraiment intéressant, mais probablement pas suffisant pour que je comprenne ce qui se passe. Alors je suis allé |
| |
(et en voici une autre... vous avez toutes les options ici sous votre triangle rouge) Je suis allé m'assurer (et je dois probablement m'en assurer ici) que je désactive mon filtre de données local, assurez-vous que tout est sélectionné, que je regarde toutes mes conditions. |
| |
J'en ai 299 ici. Je vais faire un clic droit et je vais dire "enregistrer la matrice des termes du document". |
| |
Et quand j'ai fait cela, il m'a demandé de quelle manière je voulais le sauvegarder, avec avec avec avec avec des poids, quel type de pondération. C'est fondamentalement binaire, il y a des fréquences que je peux utiliser, combien de termes, vous savez, la fréquence minimale des termes pour réellement obtenir une place dans votre tableau de données. Et je l'ai déjà fait. |
| |
Donc si je glisse et regarde... |
| |
En fait |
| |
Je vais continuer, faire ça et vous montrer à quoi ça ressemble. Je vais donc simplement dire « enregistrer la matrice des termes du document » et dire « d'accord ». |
| |
Et maintenant, comme je vous l'ai montré sur la diapositive, je comprends désormais tous les termes qui m'intéressent. Et il y a le premier pour "oignon". Voici celui pour la « poudre de chili », et en ce qui concerne leurs |
| |
Recette, vous savez, lignes. |
| |
Donc je sais où il y en a un, je sais que ce chili cajun contenait de la poudre de chili. |
| |
Quand il y a zéro, |
| |
celui-ci ressemble au chili de l'Oklahoma ou non, je suis désolé, le chili du Nouveau-Mexique n'avait pas de poudre de chili, alors c'est juste, c'est comme ça que ça marche. Et cela peut être utilisé en modélisation. Vous pouvez donc accéder à Analyser le modèle d'ajustement dans JMP et prendre... et l'appliquer réellement à un certain type de modèle. |
| |
Mais ce que je vais faire, puisque je n'essaie pas vraiment de prédire, vous savez, quels ingrédients me donneront un score plus élevé. Je n'en ai pas, tu sais, |
| |
vous connaissez les données de sortie ici. Je veux vraiment les regrouper et j'ai entendu dans JMP Pro, je peux réellement le faire. Je vais donc revenir directement à mes diapositives ici. |
| |
Et je vais parler de l'analyse des données. Donc pour faire une analyse plus approfondie |
| |
dans JMP Pro, il vous permet d'appliquer de très bonnes techniques de regroupement. Ce sont des méthodes multivariées spécialisées dans la gestion de l'analyse de texte et l'utilisation de la matrice de termes de document concernant le texte. |
| |
Et il utilise quelque chose appelé analyse de classe latente. C'est l'un des termes. Et c'est similaire aux composants principaux, si vous avez l'habitude de faire cette technique. Mais en gros, ça va |
| |
demandez-nous combien de regroupements ou de grappes de données souhaitons-nous examiner. Il va regarder à travers cet espace multidimensionnel |
| |
entre tout ce qui se trouve dans ces colonnes et la matrice de termes de votre document pour les termes importants dans votre modèle ici, les termes importants que nous avons sur le mot |
| |
liste de mots, n'est-ce pas ? Et ça va les regrouper. Et dans mon cas, j’ai pu le réduire à trois groupes. |
| |
Il y en a donc un en cluster, qui semble contenir de nombreuses recettes de chili avec du bœuf haché, de la sauce tomate, de la poudre de chili et des haricots. |
| |
Il y en a un groupe deux, qui a beaucoup à voir avec le poulet et les piments verts, les piments crus ici. |
| |
Et puis il y a le groupe trois, qui contenait encore beaucoup de piments, mais il s'agissait davantage de piments rouges et ils étaient en quelque sorte à base de porc et cela avait beaucoup de sens. |
| |
D'accord, donc lorsque j'ai créé ces clusters, j'ai pu utiliser une probabilité de cluster par ligne, ce qui m'a donné une idée de la force de ces individus. |
| |
recettes, mes lignes dans mon document, c'est vrai, ces originaux... ma recette de contrôle, où sont-ils tombés et quelle était leur force. Pourquoi les ai-je assignés à n'importe quel cluster ? Et quand j'ai fait ça, |
| |
22 était le cluster de ma grand-mère... était le contrôle de ma grand-mère. Et j'ai découvert qu'elle se regroupait dans le premier groupe avec quelques autres recettes, y compris celles provenant de Kansas City, Missouri. |
| |
Il y en a un au numéro 24 qui était très proche. Maintenant, les recettes texanes du groupe trois contenaient des piments forts, des épices... beaucoup d'épices, et souvent du porc et pas de haricots, n'est-ce pas ? Les haricots étaient quelque chose qui apparaissait dans le cluster un, mais pas dans le cluster trois et ensuite... |
| |
Le cluster deux |
| |
c'était plus pour, tu sais, c'est plus pour le piment vert, |
| |
plus pour ces choses que vous voyez au Nouveau-Mexique, vous savez, le chili à base de poulet, les choses au piment vert. |
| |
Très bien, alors ce qui s'est passé, c'est que j'ai réussi à faire le match et j'ai trouvé une recette. Et l'un des trois représentants du Missouri |
| |
cela s'appelait en fait le chili de Kansas City, et il correspondait presque exactement au chili de grand-mère Lillian. |
| |
Alors, quand j'ai interrogé ma mère à ce sujet, j'ai répondu : « Eh bien, pourquoi cela a-t-il pu arriver ? Je ne pensais pas que cela venait du Missouri. Et elle a dit : « Tout cela a du sens. » Elle a dit : "Grand-mère Lillian, |
| |
elle a grandi dans une ferme à St. Joseph, dans le Missouri, et elle était la seule fille et elle avait environ 11 à 12 frères. Alors elle faisait une grande partie de la cuisine. » |
| |
À propos, elle était la seule à avoir fait des études universitaires et elle était donc plutôt progressiste à l'époque où elle vivait et était l'une de mes proches préférées, mais sa recette en était très révélatrice. Alors montrons à quoi cela ressemble en direct. |
| |
Alors si je vais à... |
| |
à ce point, |
| |
Je reviens aux données que j'avais créées et sous ce hotspot, je vais demander ces modèles supplémentaires que JMP Pro peut fournir. Il existe une analyse de classe latente qui regroupe les documents utilisant cette méthode, |
| |
basé sur la manière binaire de documenter la matrice de termes. Donc, il utilise un document... utilise cette matrice de termes de document, oui, donc vous n'avez même pas besoin de l'enregistrer, il le génère automatiquement. |
| |
Il y a aussi une analyse sémantique latente, qui fait... qui fait un peu plus de mathématiques, une méthode un peu plus avancée, mais les deux font fondamentalement la même chose, et j'ai particulièrement aimé cette analyse de classe latente. C'est donc celui que j'ai sélectionné. |
| |
Et j'ai demandé trois clusters, vous pouvez jouer avec pour voir si cela fait une différence. Et j'ai essayé plus de clusters et je suis revenu à trois. |
| |
Et au sein de son |
| |
options, vous pouvez consulter les probabilités de cluster par ligne. |
| |
Et de tous les résultats, c’est celui qui avait le plus de sens. Alors rappelez-vous, revenons à ma diapositive, cela m'a aidé à voir où est tombé le piment de ma grand-mère, |
| |
Il était 22 ans, |
| |
rangée 22. Et puis avec quoi d'autre cela se combine bien. Et c’est ainsi que j’ai pu faire cette analyse. |
| |
C'est si simple. |
| |
Donc, |
| |
c'était un aperçu très rapide des capacités d'exploration de texte JMP dans JMP, puis de la façon dont j'ai pu utiliser JMP Pro et |
| |
trouvez ces grappes, placez le piment de ma grand-mère et trouvez une recette correspondante. Alors si vous en voulez plus, j'ai un lien vers le blog |
| |
dans la présentation, vous pouvez... vous pouvez cliquer sur ou vous pouvez simplement accéder directement à la Communauté et vous pouvez simplement taper "le piment de grand-mère" et vous pouvez trouver ce blog. Et je vous donnerai aussi avec ça, nous vous donnerons aussi |
| |
la recette. Ainsi, vous aussi, vous pourrez préparer le chili de grand-mère Lillian. |
| |
Nous sommes donc heureux de pouvoir vous le montrer aujourd'hui. |
| |
Assurez-vous de laisser toutes les questions dans la section questions-réponses auxquelles nous pouvons répondre. Et essaye ça, essaye quelque chose |
| |
que vous avez autour de vous au travail, à la maison, partout où il y a des données textuelles non structurées, où vous aimeriez explorer et poser la question, et vous découvrirez que c'est une méthode fantastique, fantastique, très puissante et qui vous aide vraiment à attaquer cela troisième dimension des données. |
