Orateur
|
Transcription
|
| Scott Wise |
Exploration de texte d'investigation. Je m'appelle Scott Wise et je suis Senior Manager de l'équipe JMP Education. |
| |
Et j'ai une présentation vraiment amusante à voir aujourd'hui et les objectifs de cette présentation sont de vous donner un peu plus de familiarité |
| |
avec les capacités et la facilité avec laquelle il est d'explorer du texte dans JMP et JMP Pro, ainsi que de vous montrer une manière différente de regarder l'exploration de texte, comme, puis-je faire avec pour enquêter sur quelque chose comme le ferait un détective? |
| |
D'accord, nous allons donc parler du piment de ma grand-mère et de son lien avec un chili du Texas cuisiné. Avant que nous commencions, |
| |
démystifions simplement une partie de la terminologie qui entoure l'exploration de texte, et pour moi, il y a vraiment cinq étapes simples. Vous passez votre temps à résumer les données, littéralement, à découvrir quels mots dans le texte se produisent le plus souvent, même quelle combinaison de mots se produit le plus souvent. |
| |
Alors le ??? appelez cela en regardant à travers un texte non structuré à droite et puis ceci, cela pourrait être n'importe quoi. Cela peut être une phrase que votre client vous a donnée sur les performances de votre produit ou de votre service. Il pourrait être... |
| |
il peut s'agir des réseaux sociaux, non, où vous savez que vous découvrez ce que les gens aiment ou n'aiment pas en fonction des commentaires, |
| |
quelque chose sur votre produit ou service ou cela pourrait être ce type, quelque chose comme une recette. |
| |
Je l'ai même vu sur les brevets lorsque les gens recherchent ce pour quoi les gens demandent des brevets et devrions-nous le faire. |
| |
Donc, vraiment, résumer pour découvrir quels mots sont les plus importants. Maintenant, il y a une préparation qui vient ensuite, qui consiste simplement à réduire la liste des mots qui vous intéressent. |
| |
Alors bien sûr, nous ne serions pas JMP si nous n'allions pas le visualiser et l'analyser et ainsi nous pouvons le modéliser. Nous pouvons même faire de la modélisation avancée. Je vais donc utiliser JMP Pro pour ce faire, version 15.1, |
| |
et je ne manquerai pas de vous indiquer ce que vous pouvez faire dans JMP et où je jette en fait un peu de Pro qui aide à répondre à ma question. |
| |
document, corpus et terme. Le document sera ceux ... |
| |
ces choses que vous analysez, essentiellement le corps individuel du texte, chaque ligne du texte. C'est donc mes recettes pour mon exemple. |
| |
Il peut s'agir de différents clients qui vous ont commenté votre produit ou service. Corpus est en fait ce texte non structuré que vous essayez de gérer, le corps de ce texte que vous allez analyser. |
| |
Et puis les termes seront ces mots ou ces combinaisons de mots qui vous intéressent et qui peuvent vous aider à répondre à une question. Alors parlons de l'histoire. Vous savez, pourquoi ai-je cherché des recettes de chili? Eh bien, cela revient à |
| |
Il y a près de 25 ans, lorsque j'ai déménagé pour la première fois au Texas et que je suis venu travailler pour une grande entreprise et comme la plupart des grandes entreprises du Texas, ils ont cuisiné un gros chili du Texas. |
| |
Et on m'a demandé de participer. Tout le monde a participé. Mais on m'a aussi demandé de faire encore plus que cela, on m'a demandé d'être juge. |
| |
J'aurais donc dû refuser le juge. Je pensais que c'était un honneur pour le nouveau gars, mais je pense que j'étais le seul à qui ils pouvaient le donner, j'ai découvert pourquoi. |
| |
Mais parlons d'abord de la réaction au piment que j'ai apporté. J'ai donc eu une recette de chili que ma famille a toujours utilisée et elle vient de ma grand-mère, grand-mère Lillian. |
| |
Ce n'est pas du piment. Ce n'est pas ce que les Texans considéraient comme du piment. |
| |
Maintenant, la bonne nouvelle est que je devrais en ramener à la maison parce que j'aime bien le manger. Ils ont envisagé autre chose que le piment. Leur chili ne contenait pas de haricots. Leur chili n'était pas copieux. Il faisait très chaud, très soupy. |
| |
Le mien avait du boeuf. Ils avaient principalement du porc. Ils avaient tout. Voici l'autre chose qui m'a causé des ennuis. Non seulement ils n'aimaient pas le piment de ma grand-mère, mais je n'ai presque pas survécu au jugement |
| |
car le véritable badge d'honneur d'un vrai Texan est de faire le bol de piment le plus chaud. Alors tu veux battre ton voisin. Vous voulez battre votre collègue. Alors ils jetaient toutes sortes de piments et d'épices impies ici. |
| |
Et j'ai juste pensé, presque troué mon estomac en essayant juste de le goûter et tu bois tout ce lait, essayant d'éteindre la chaleur. Alors |
| |
c'était un baptême du feu. Donc, ma recommandation est à moins que vous n'aimiez la chaleur, n'entrez pas en tant que juge, d'accord. Pas une bonne idée. Mais je voulais placer; cela m'a toujours dérangé. |
| |
Quoi, pourquoi le chili de ma grand-mère n'a-t-il pas bien marché? Existe-t-il vraiment différents types de piments? D'où viennent-ils? |
| |
Et il s'avère que le chili a une histoire vraiment cool. Vous pouvez voir des blogs et des articles d'histoire vraiment cool à ce sujet et cela est probablement venu de |
| |
Amérique centrale, principalement le Mexique. Et il y a des plats légers, mais à San Antonio, il a été observé pour la première fois en quelque sorte vendu dans l'état, nous saurions qu'il s'agit maintenant de piment, |
| |
sur la vieille place San Antonio, près de l'Alamo. Et il a été utilisé pour les rassemblements de bétail et il a commencé à devenir populaire, puis il a remonté le centre du pays tout au long du Midwest. |
| |
Et on m'a dit que, vous savez, de nombreuses innovations alimentaires ont été créées à l'Exposition universelle de Saint-Louis, vous savez, ont vraiment décollé lorsqu'elles ont été présentées, c'était l'une d'entre elles. Le chili est devenu le |
| |
Exposition universelle de St. Louis et elle est devenue très populaire. |
| |
Il existe donc différentes variétés. Et donc l'idée était si je ... pourrais-je utiliser l'exploration de texte sur les ingrédients et les recettes? Prenez simplement la recette entière et jetez-la dedans, voyez ce qui se passe. |
| |
Et à quoi est-ce que je veux le comparer? J'ai donc cherché ce qu'étaient les régions traditionnelles; nous en avons eu plusieurs, du Texas au Michigan. |
| |
Donc au Texas, nous avons différentes variétés. Le Texas bowl red est celui que je goûtais. C'est chili con carne. UNE |
| |
Frito pie est quelque chose que vous obtiendrez lors d'un match de football, mais très populaire, que la Louisiane a sa propre version. Le Nouveau-Mexique, avec des piments verts et du poulet, a sa propre version. Oklahoma, Kansas City, Springfield, |
| |
Illinois, Cincinnati avec le chili skyline hey mettez-le sur des spaghettis. Michigan. Coney Island, les hot dogs, vous savez, la sauce chili qu'ils y mettent est du chili sérieux. |
| |
Chili blanc, inconnu d'où il vient. Chili végétarien. Mais il y a beaucoup de styles qui existent maintenant. |
| |
Alors j'ai dit, si je prenais trois recettes de chacun de ces styles et que je les comparais pour contrôler le chili de ma grand-mère, puis-je trouver ce que je cherchais? |
| |
Alors on va faire ça et je vais vous montrer, en marchant à travers les étapes, je vais vous montrer un résumé des étapes puis je vais aller juste derrière et vous montrer comment je le fais dans JMP. |
| |
Les premières étapes seront de résumer les données. Nous voulons trouver ces mots qui nous tiennent à cœur. |
| |
Maintenant que se passe-t-il lorsque vous entrez |
| |
n'importe laquelle de ces analyses de texte, ces données de texte, comme mes ingrédients, dans un explorateur de texte, elles vont les exécuter dans une bibliothèque |
| |
d'expressions régulières, et pensez au mot comme régulier, juste des choses qui font juste partie du discours quotidien. |
| |
Et ils ne sont pas si utiles. Ce n'est pas utile si j'ai "le" et "et" dans ma liste. Il essaie donc de vous aider à extraire des mots dont vous ne vous souciez pas. Et oui, il peut être personnalisé. |
| |
Et il en a déjà un assez fort intégré, et c'est ce que j'ai utilisé. Et puis en sortant. La tige est là où vous allez et |
| |
dites comment vous voulez traiter comme des mots - donc "dés" c'est "dés", "dés", vous avez des pluriels, différents ... différents ... |
| |
différentes versions du mot racine. Voulez-vous simplement tout compter dans le mot racine ou voulez-vous qu'il soit séparé? C'est donc une considération. |
| |
Et puis après nous résumons. Laissez-moi comprendre ces mots. Vous pouvez voir que j'ai ici une petite liste de mots. Celui derrière est inédit puis celui à l'avant |
| |
est en fait celui où nous avons parcouru et réduit en quelque sorte cette liste de mots. Donc, ce que vous faites, c'est de chercher des mots qui ne vous intéressent pas, vous les appelez des mots vides, disons essentiellement, supprimez-les. Ajoutez-les à ma bibliothèque de choses qui ne me préoccupent pas. |
| |
Vous pouvez également apporter des phrases qui comptent vraiment. Et une fois que vous les aurez, nous pourrons en visualiser quelques-uns. |
| |
Et nous allons pouvoir voir, dans mon cas, que je me suis vraiment intéressé aux ingrédients. Nous allons donc pouvoir voir quels ingrédients sont sortis le plus souvent. |
| |
Et vous voyez souvent des nuages de mots ici, et des nuages de mots, vous savez, plus le mot est gros, plus il est fréquent. |
| |
Et vous pouvez le regarder dans un nuage, tout comme juste une ... juste une mise en page sporadique ou vous pouvez regarder un ordre où, vous savez, la première chose là-haut est le mot le plus important. C'est comme le |
| |
graphique qui se trouve devant votre diapositive. Et après cela, nous allons faire quelque chose avec. Et ainsi nous pouvons créer quelques modèles de base. |
| |
Et l'un des moyens les plus simples de le faire est, une fois que nous savons quels mots de notre liste nous tiennent à cœur, |
| |
nous pouvons l'ajouter à notre tableau de données. Cela s'appelle la sauvegarde de la matrice des termes du document. Dans ce cas, un moyen simple de le faire est juste des binaires. Donc j'ai une colonne séparée ici, vous pouvez voir à ma droite, où |
| |
"oignon" en a un où il est dans cette recette, vous savez. Il a zéro si ce n'est pas le cas, vous pouvez donc obtenir des zéros et des uns ici dans les colonnes. Et vous pouvez voir ce qui est le plus important. |
| |
Et souvent, vous essayez de modéliser quelque chose comme, si j'étais coincé, |
| |
peut-être que j'ai eu les scores de jugement par ceci et je peux dire, eh bien, voici un score numérique lié à chaque recette. Je veux voir quels ingrédients |
| |
sont courants et donnent un score élevé. C'est peut-être quelque chose que je fais, alors essayez de le faire un peu plus de manière prédictive. |
| |
Mais dans ce cas, je vais en quelque sorte me pencher sur le regroupement. Je suis vraiment intéressé à regrouper, en quelque sorte, comme les recettes ensemble et à voir où tombe le piment de ma grand-mère. Je vais donc vous montrer comment nous allons procéder. Mais passons d'abord à JMP et montrons comment nous procédons à ces étapes dans JMP. |
| |
Voici donc mes données brutes. |
| |
Dans chaque document ici, chaque ligne est ... j'ai mon texte non structuré et dans mon cas, ce ne sont que les ingrédients bruts. |
| |
Et si je clique sur l'une de ces cellules ici, vous pouvez voir que c'est littéralement les ingrédients copiés. Il y a donc celui ... le premier pour le piment cajun de Louisiane. |
| |
Il y a des mots qui me tiennent à cœur, comme «tomate», «poudre de chili» et «miel». Il y a des mots qui ne me préoccupent pas, comme «peut». |
| |
Ce sont probablement des mesures d'ingrédients qui ne me préoccupent pas tellement, comme «un», «deux livres», «cuillères à café». Alors, comment allons-nous nous en occuper? Alors qu'est-ce que nous allons faire |
| |
allons-nous aller à Analyser et nous allons aller à l'Explorateur de texte et nous allons simplement mettre ces ingrédients dans la colonne de texte. |
| |
Je vais demander pour la tige, comment la tige pour tous les termes. Je trouve cela très utile. Et puis je vais utiliser l'expression régulière intégrée. |
| |
Je dis d'accord et voici ma liste initiale. |
| |
Donc ce que je peux faire maintenant, c'est que je peux choisir les choses qui ne me préoccupent pas. Je me fiche des chiffres. Alors peut-être que je peux aller ici et les mettre en évidence, faire un clic droit et dire ajouter un mot d'arrêt, puis il sera ajouté à la liste des choses qui ne me préoccupent pas. |
| |
Et la "poudre de chili"? Cela ressemble à quelque chose qui doit être autonome. Je vais donc faire un clic droit sur cette phrase. Et je vais dire ajouter une phrase et cela l'ajoute. |
| |
Alors vous allez et vous faites cela jusqu'à ce que vous obteniez une liste simplifiée. |
| |
Je vais juste courir mon |
| |
Ma liste finie par elle. Et voici tous les mots provenant de l'expression régulière qui ont été trouvés, ainsi que |
| |
choses que j'ai ajoutées |
| |
et arrêter les mots. Et maintenant, voici ma liste de termes et de phrases finies. Et j'ai donc ajouté ces phrases. Je me soucie de. Donc "l'oignon" est sorti le plus élevé, puis "sel", puis "cumin", puis "poudre de chili". |
| |
Comme vous pouvez le deviner, ce serait vraiment bien à visualiser et nous avons un nuage de mots. Voici donc le nuage de mots pour tout dans celui-ci. Et encore une fois sous mes options de triangle rouge ici, je peux changer cela en un ordre pour le rendre plus net sur ce qui sort. |
| |
Si je reste centré, c'est amusant à faire. Vous savez que vous pouvez ajouter des filtres à vos données et quelque chose que vous pouvez faire est que parfois vous pouvez trouver votre réponse visuellement sans avoir à faire autre chose. Et donc dans ce cas, je vais entrer dans ceci à mon |
| |
triangle rouge. Je vais obtenir un filtre de données local. Je vais juste regarder le type et je vais dire, eh bien, jetons un coup d'œil à |
| |
à quoi ressemble le chili de grand-mère Lillian, vous savez «tomates» et «haricots rouges» et «bœuf», ce genre de chose. Et comment cela se compare-t-il au piment cajun? |
| |
Eh bien, ils ont partagé de la poudre de chili et du bœuf, mais, vous savez, il peut y avoir des choses différentes là-dedans. Vous savez, comment cela par rapport au chili verde, |
| |
vous savez, qui est plus du piment vert, vous savez. Et il y a des piments crus et des piments jalapenos, du bouillon de poulet, tout ce genre de choses, du bouillon de poulet. |
| |
C'est donc vraiment intéressant, mais probablement pas suffisant pour que je sache ce qui se passe. Alors je suis allé |
| |
(et ceci en est une autre ... vous avez toutes les options ici sous votre triangle rouge) Je suis allé m'assurer (et je dois probablement m'assurer ici) que je désactive mon filtre de données local, assurez-vous que tout est sélectionné, que je regarde tous mes termes. |
| |
J'en ai 299 ici. Je vais faire un clic droit et je vais dire "enregistrer la matrice des termes du document". |
| |
Et quand je fais cela, il m'a demandé de quelle manière je voulais l'enregistrer, avec avec avec avec avec des poids, quel type de pondération. C'est fondamentalement binaire, il y a des fréquences que je peux utiliser, combien de termes, vous savez, la fréquence minimale des termes pour avoir une place dans votre tableau de données. Et je l'ai déjà fait. |
| |
Donc, si je glisse et regarde ... |
| |
En fait |
| |
Je vais aller de l'avant et faire cela et vous montrer à quoi cela ressemble. Je vais donc simplement dire «enregistrer la matrice des termes du document» et dire «d'accord». |
| |
Et maintenant, comme je vous l'ai montré sur la diapositive, maintenant j'obtiens tous les termes qui me tiennent à cœur. Et il y a le premier pour «l'oignon». Voici celui pour «poudre de chili», et en ce qui concerne leurs |
| |
Recette, vous savez, des lignes. |
| |
Donc je sais où il y en a un, je sais que ce piment cajun avait de la poudre de piment. |
| |
Quand il y a zéro, |
| |
celui-ci ressemble à du piment d'Oklahoman ou non, je suis désolé, le piment du Nouveau-Mexique n'avait pas de poudre de piment, donc c'est juste, c'est comme ça que ça marche. Et cela peut être utilisé dans la modélisation. Vous pouvez donc accéder à Analyser le modèle d'ajustement dans JMP et prendre ... et l'appliquer à un type de modèle. |
| |
Mais ce que je vais faire, c'est que puisque je n'essaie pas vraiment de prédire, vous savez, quels ingrédients me donneront un score plus élevé. Je n'en ai pas, tu sais, |
| |
vous connaissez les données de sortie ici. Je veux vraiment les regrouper et j'ai entendu dans JMP Pro, je peux réellement le faire. Je vais donc revenir directement à mes diapositives ici. |
| |
Et je vais parler de l'analyse des données. Alors pour faire une analyse plus approfondie |
| |
dans JMP Pro, il vous permet de faire de très bonnes techniques de regroupement et ce sont des méthodes multivariées et leur spécialité pour la gestion de l'analyse de texte et le travail avec ces termes de document matrice concerne le texte. |
| |
Et il utilise quelque chose appelé analyse de classe latente. C'est l'un des termes. Et c'est similaire aux principaux composants, si vous avez l'habitude de faire cette technique. Mais en gros, ça va |
| |
demandez-nous combien de regroupements ou de grappes de données voulons-nous examiner. Il va regarder à travers cet espace multidimensionnel |
| |
entre tout ce qui se trouve dans ces colonnes et la matrice de termes de votre document pour les termes importants de votre modèle ici, les termes importants que nous avons sur le mot |
| |
liste de mots, non? Et ça va les regrouper. Et dans mon cas, j'ai pu le réduire à trois groupes. |
| |
Il y en a donc un groupe, qui semblait contenir beaucoup de recettes de chili avec du bœuf haché, de la sauce tomate, de la poudre de chili et des haricots. |
| |
Il y a un groupe deux, qui avait beaucoup à voir avec le poulet et les piments verts, les piments crus ici. |
| |
Et puis il y a le groupe trois, qui avait encore beaucoup de piments, mais ils étaient plus des piments rouges et ils étaient en quelque sorte à base de porc et cela avait beaucoup de sens. |
| |
D'accord, donc quand j'ai créé ces clusters, j'ai pu utiliser une probabilité de cluster par ligne, ce genre de m'a donné la force de ces individus |
| |
recettes, mes lignes dans mon document, à droite, ces originaux ... ma recette de contrôle, où sont-ils tombés et à quel point ils appartenaient. Pourquoi les ai-je attribués à n'importe quel cluster? Et quand j'ai fait ça, |
| |
22 était la grappe de ma grand-mère ... était le contrôle de ma grand-mère. Et j'ai trouvé qu'elle se regroupait dans le premier groupe avec d'autres recettes, y compris celles qui venaient de Kansas City, Missouri. |
| |
Il y en a un sur le numéro 24 qui était très proche. Maintenant, les recettes du Texas pour le groupe trois, elles contenaient des piments chauds, des épices ... beaucoup d'épices, et souvent du porc et pas de haricots, non? Les haricots étaient quelque chose qui apparaissait dans le cluster un, mais pas dans le cluster trois et ensuite ... |
| |
Le cluster deux |
| |
c'était plus pour, tu sais, c'est plus pour le piment vert, |
| |
plus pour ces choses que vous voyez au Nouveau-Mexique, vous savez, le chili à base de poulet, les choses avec du piment vert. |
| |
D'accord, alors ce qui s'est passé, c'est que j'ai pu faire le match et j'ai trouvé une recette. Et l'un des trois représentants du Missouri |
| |
cela s'appelait en fait le piment de Kansas City, et il correspondait presque exactement au piment de grand-mère Lillian. |
| |
Alors, quand j'ai interrogé ma mère à ce sujet, j'ai dit: «Eh bien, pourquoi cela pourrait-il arriver. Je ne pensais pas que ça venait du Missouri. " Et elle a dit: "Tout cela a du sens." Elle a dit: "Grand-mère Lillian, |
| |
elle a grandi dans une ferme à St. Joseph, Missouri, et elle était la seule fille et elle avait 11 à 12 frères. Alors elle a fait une grande partie de la cuisine. " |
| |
À propos, elle était la seule à avoir fait des études collégiales et elle était donc assez progressiste pendant la période où elle a vécu et était l'un de mes parents préférés, mais sa recette en était très révélatrice. Alors, montrons à quoi cela ressemble en direct. |
| |
Donc si je vais à ... |
| |
À ce point, |
| |
Je reviens aux données que j'avais faites et sous ce hotspot, je vais demander ces modèles supplémentaires que JMP Pro peut donner. Il existe une analyse de classe latente qui regroupe des documents utilisant cette méthode, |
| |
basé sur la manière binaire de documenter la matrice des termes. Donc, il utilise un document ... utilise cette matrice de termes de document, oui donc vous n'avez même pas à l'enregistrer, il le génère automatiquement. |
| |
Il y a aussi une analyse sémantique latente, qui fait ... qui fait un peu plus de maths, une méthode un peu plus avancée, mais les deux font fondamentalement la même chose, et j'ai particulièrement aimé cette analyse de classe latente. C'est donc celui que j'ai choisi. |
| |
Et j'ai demandé trois clusters, vous pouvez jouer avec pour voir si cela fait une différence. Et j'ai essayé plus de grappes et je suis revenue à trois. |
| |
Et dans son |
| |
options, vous pouvez consulter les probabilités de cluster par ligne. |
| |
Et de tous les résultats, c'est celui qui a le plus de sens. Alors rappelez-vous, de retour à ma diapositive, cela m'a aidé à regarder où le piment de ma grand-mère est tombé |
| |
C'était 22, |
| |
rangée 22. Et puis avec quoi d'autre il se combinait bien. Et c'est ainsi que j'ai pu faire cette analyse. |
| |
C'est si simple. |
| |
Alors, |
| |
c'était un tour très rapide des capacités d'exploration de texte JMP dans JMP et ensuite comment j'ai pu utiliser JMP Pro et |
| |
trouvez ces grappes et placez le piment de ma grand-mère et trouvez une recette correspondante. Donc si vous avez envie de plus, j'ai un lien vers le blog |
| |
dans la présentation que vous pouvez ... vous pouvez cliquer sur ou vous pouvez simplement aller directement à la Communauté et vous pouvez simplement taper "le piment de grand-mère" et vous pouvez trouver ce blog. Et je vous donnerai aussi avec cela, nous vous donnerons aussi |
| |
la recette. Alors vous aussi, vous pouvez préparer le chili de grand-mère Lillian. |
| |
Nous apprécions donc de pouvoir vous le montrer aujourd'hui. |
| |
Assurez-vous de laisser toutes les questions dans les questions et réponses auxquelles nous pouvons répondre. Et essayez ceci, essayez quelque chose |
| |
que vous avez autour de vous au travail, à la maison, partout où il y a des données textuelles non structurées, où vous souhaitez explorer et poser la question, et vous trouverez que c'est une méthode fantastique et fantastique, très puissante et qui vous aide vraiment à attaquer cela troisième dimension des données. |
