Conférencier | Transcription |
| Kira Alhorn | D'accord, alors bienvenue dans mon exposé, Une promenade dans l'explorateur de texte pour comprendre les besoins des clients. je suis très heureux de |
| présent à ce JMP Discovery Summit en format virtuel. Je m'appelle Kira Alhorn et je suis statisticienne chez WL Gore and Associates. |
| Et, avant de commencer par la présentation proprement dite, je voudrais rapidement vous présenter notre entreprise. WL Gore and Associates est une société mondiale de science des matériaux, nous produisons |
| des solutions très différentes pour des industries très différentes, à partir de l'aérospatiale jusqu'aux produits médicaux et ce que la plupart d'entre vous connaissent peut-être |
| est notre marque Gore-tex. C'est donc sur cela que nous allons nous concentrer aujourd'hui et la marque Gore-tex produit des laminés de tissus imperméables et respirants durables. |
| Et ces stratifiés sont vendus à nos clients ou à nos marques partenaires qui en font des produits. Plus spécifiquement, nous nous concentrerons aujourd'hui sur les chaussures. |
| Voici donc un bref aperçu de mon exposé. Je vais commencer par le contexte et la motivation. Donc que regardons-nous? Nous examinons les descriptions de chaussures et pourquoi cela nous intéresse. |
| Ensuite, le reste de l'exposé se fera dans JMP. J'utiliserai JMP 15 Pro, et je vous y montrerai comment utiliser l'explorateur de texte |
| pour analyser nos descriptions de chaussures. Comment trouver des sujets dans ces textes ou dans les descriptions de chaussures, afin que ces sujets puissent être utilisés pour trouver des descriptions de chaussures courantes ou des sujets communs dans les descriptions de chaussures et les comparer aux différentes catégories de chaussures que nous avons. |
| Et enfin, ce ne sera qu'une très brève introduction, nous utilisons des modèles prédictifs pour valider nos résultats et pour en savoir plus... cela permettra d'approfondir la façon dont les différentes descriptions de chaussures catégorisent les chaussures. |
| Alors imaginez votre propre placard et les chaussures que vous avez dans votre placard |
| Et chacun d'entre vous aura au moins une petite ou une assez grande collection de chaussures différentes dans son placard, et la question est, pourquoi avez-vous tant de chaussures ? |
| Et que vos chaussures doivent s'adapter à votre style et que vous avez peut-être besoin de couleurs différentes, etc., ce n'est pas la seule raison pour laquelle vous avez des chaussures différentes. |
| L'autre raison est que vous avez besoin de chaussures différentes. Alors imaginez, vous avez une paire de chaussures de course, vous avez plusieurs paires de chaussures pour une utilisation finale décontractée et vous pourriez avoir des chaussures de randonnée. |
| Et vous les avez parce que chacune des chaussures a des caractéristiques différentes ou légèrement différentes qui rendent cette chaussure utilisable pour cette utilisation finale et vous avez besoin de ces caractéristiques pour cette utilisation finale. |
| Donc, ce que nous nous demandions, c'est que si nous regardons les descriptions de chaussures de nos partenaires de marque, pouvons-nous trouver d'une manière ou d'une autre ce qui rend différentes chaussures uniques ? Vous verrez donc ici une collection |
| de différentes catégories de chaussures qui nous correspondent maintenant pour différentes utilisations finales des chaussures. |
| Et la question est maintenant, si un client veut produire une nouvelle chaussure de randonnée, par exemple, quelle configuration de fonctionnalités devrions-nous offrir dans notre stratifié que nous vendons pour une chaussure destinée à être utilisée pour la randonnée ? |
| Alors ces descriptions de chaussures peuvent-elles nous donner un prototype que nous pourrions proposer à nos clients ? |
| Et, bien sûr, quel est l'autre aspect intéressant ici, comment les autres chaussures se différencient-elles ? Alors, quelle est la différence entre cette chaussure de randonnée et la chaussure de ville ? pourquoi avons-nous besoin de ces différences? |
| Et c'était notre intention lorsque nous avons commencé à analyser les données. |
| Donc avec ça, j'aimerais aller chez JMP. |
| Et dans JMP, je veux d'abord vous montrer à quoi ressemblent les données que nous avons collectées. |
| Nous avons donc simplement visité les pages Web de nos partenaires de marque et nous avons collecté des descriptions de chaussures à partir de ces packages. |
| Pour chaque catégorie de chaussures nous avons un certain nombre de descriptions de chaussures et vous verrez, nous avons simplement recopié toute la description dans notre tableau de données. |
| Donc c'est peut-être assez long, c'est peut-être assez court mais nous n'avons pas fait plus que simplement copier. |
| Mais d'un autre côté, vous pouvez imaginer qu'avec ce champ de texte, nous ne pouvons pas faire grand-chose. |
| Ou du moins semble-t-il impossible, car JMP offre de grandes possibilités pour faire quelque chose. Et quel moyen de faire ? Nous voulons extraire des informations de ce long texte et en faire des morceaux plus digestes. |
| Et ces morceaux digestes |
| peut être extrait à l'aide de l'explorateur de texte. Je veux donc aller dans l'explorateur de texte et mettre la description de la chaussure dans les colonnes de texte ici. |
| Et voici beaucoup d'options. Ces options alimentent les algorithmes qui coupent nos descriptions de chaussures ou nous appelons les documents de descriptions dans le langage d'analyse de texte. |
| Et cela découpe les documents en plus petits éléments d'information, comme je l'ai mentionné, ces morceaux digestibles. |
| Et ce que vous verrez, ce sont des morceaux digestibles, à savoir, nous avons ces termes, qui sont la plus petite unité d'information, et nous avons ces expressions qui sont des termes qui apparaissent souvent ensemble et qui pourraient avoir un sens si vous les combinez. |
| Vous pouvez donc voir ici le terme le plus couramment utilisé |
| dans tous les documents, donc dans toutes les descriptions de chaussures, se trouve le terme confort. |
| Donc, tout d'abord, nous avons parcouru toutes les phrases ici et jeté un coup d'œil. Y en a-t-il qui ont du sens? |
| Et le premier a déjà du sens. Vous voyez donc ici que les termes Gore et tex apparaissent comme des termes uniques, mais bien sûr, il est logique que le terme Gore-tex soit analysé et non Gore et tex. |
| Ainsi, vous pouvez ajouter toutes les phrases qui ont un sens à la liste des termes. Nous ajoutons donc la phrase, et vous verrez ici maintenant, nous avons le terme Gore-tex au lieu du terme unique Gore. |
| C'était donc la première étape de notre traitement des données. La deuxième étape consistait à vérifier la liste de termes s'il y avait des doublons ou |
| s'il y a des termes qui n'ont pas de sens. Et JMP a déjà un très bon traitement, car JMP exclut déjà beaucoup de mots qui n'ont pas de sens, comme et, a, |
| ou, qui ne vous donnent aucune information. Cependant, il y aura toujours des termes qui n'ont plus de sens, comme ce S, par exemple. |
| Que feriez-vous avec un S ? Qu'est-ce que cela vous dit sur une chaussure? Nous avons donc dû passer en revue tous les termes, et s'il y a un terme qui n'a pas de sens, nous l'appelons un mot vide, et nous le modifions dans la liste des mots vides pour les exclure de l'analyse. |
| C'était la seule chose. L'autre chose que j'ai mentionnée était que nous devons vérifier s'il y a des doublons et vous verrez ici, par exemple, nous avons le terme Gore tex |
| et le terme GTX. Et GTX n'est qu'une abréviation du terme Gore-tex, nous ne devons donc pas les analyser séparément, nous devons les combiner. |
| Vous avez donc la fonction Recode, qui est à peu près la même que pour les colonnes, et c'est un excellent outil pour combiner ces |
| ??? données. Vous voyez donc ici la fonction Recode, et je regroupe les deux. |
| Et vous verrez maintenant qu'il ne s'agit plus que d'un seul terme (Gore-tex), et c'est en fait le terme le plus fréquent dans nos données. |
| Donc. |
| Nous avons commencé avec 4 000 termes et ce que nous avons obtenu après tout le nettoyage n'était que de 100 termes. Vous voyez, il nous reste 100 termes et avec ceux-ci, nous pouvons faire beaucoup d'analyses. Ceux-ci nous sont très utiles pour avoir une idée de ce qu'est une description de chaussure. |
| Vous pouvez donc utiliser cette liste pour voir quels sont les termes les plus fréquents, mais JMP propose également un outil de visualisation très simple. |
| En cliquant sur le triangle rouge, vous pouvez ajouter un nuage de mots. Et ce nuage de mots vous donne, par la taille du mot, sa fréquence dans tous les documents, donc dans toutes les descriptions de chaussures. Gore-tex, confort et légèreté sont donc les termes les plus couramment utilisés dans les descriptions de chaussures que nous avons recueillies. |
| Mais vous vous souvenez peut-être que ce n'est pas exactement ce que nous nous demandions, n'est-ce pas ? Nous nous demandions donc, qu'en est-il des chaussures pour différents utilisateurs finaux ? |
| Et pour cela, nous pouvons facilement ajouter le filtre de données locales ici et utiliser l'utilisation finale de la chaussure comme filtre. Ainsi, je pourrais être, par exemple, intéressé par quels sont les termes les plus fréquents dans toutes les descriptions de chaussures d'hiver de rue. |
| Et vous ne verrez pas étonnant, les termes hiver et chaud apparaissent fréquemment dans les descriptions des chaussures d'hiver de rue. |
| D'autre part, en prenant, par exemple, les chaussures de course sur sentier, vous voyez ici un accent différent. Vous verrez que ceux-ci n'ont pas besoin d'être chauds, mais ils doivent être respirants, légers et bien ajustés. |
| Donc, ces nuages de mots sont très, très utiles pour avoir une première idée de notre question initiale, alors qu'est-ce qui décrit la configuration des fonctionnalités des différents types de chaussures. |
| Et nous ne nous sommes pas arrêtés là. Nous voulions aller plus loin. |
| L'étape suivante, c'est que si vous avez déjà préparé toutes vos données, pouvez-vous en quelque sorte faire de la modélisation pour trouver ce prototype de configurations de chaussures ? Et pour cette modélisation, il existe différentes options dans JMP et nous avons décidé de prendre le SVD. |
| SVD effectue une analyse en composantes principales de notre matrice de termes de document. |
| Et qu'est ce que ca veut dire? Les matrices de termes de document incluent pour chaque document, donc, pour chaque description de chaussure, |
| la fréquence de chaque terme. Ainsi, cela compterait, par exemple, pour la première description de chaussure, combien de fois avons-nous le terme Gore-tex, combien de fois avons-nous le terme confort, et ainsi de suite. Vous pouvez donc imaginer qu'il s'agit d'une très grande matrice. |
| Et l'idée est maintenant, grâce à l'analyse en composantes principales, qui réduit la dimension de la matrice des termes du document, d'avoir une meilleure emprise sur vos données. |
| Et, pour être plus en mesure de visualiser les données. |
| Et sur la base de cette réduction des dimensions, nous pouvons maintenant faire de la modélisation. Et quel type de modélisation est intéressant pour nous ? Nous nous sommes donc intéressés à ce qui décrit une chaussure pour une certaine utilisation finale. |
| Et pour arriver à ce point, nous avons analysé, y a-t-il des sujets dans les descriptions de chaussures ? Et s'il y a des sujets, ces sujets correspondent-ils à certaines utilisations finales ? |
| Ainsi, dans un monde idéal, nous trouverions neuf sujets dans nos données et ces neuf sujets représenteraient exactement une catégorie de chaussures. Nous aurions donc une configuration de chaussures prototype ou une configuration de fonctionnalités pour chaque chaussure. |
| Voyons donc ce qui se passe si je... vous recherchez neuf sujets. Je vais cliquer ici sur l'analyse du sujet et entrer un 9, car je suis intéressé par neuf catégories de chaussures différentes. |
| Et ce que j'obtiens alors, c'est une liste de sujets avec les termes qui se produisent fréquemment dans ces sujets. Ainsi, le premier sujet, par exemple, comprend les chaussures |
| qui ont dans leurs descriptions de chaussures les termes superfit, textile, chaud et ainsi de suite. Donc, ma première sensation ici serait que ce doivent être des chaussures d'hiver de rue ou de rue. |
| Le deuxième sujet, par exemple, consiste en des descriptions de chaussures qui incluent les termes hutte, trekking, plusieurs jours, etc., cela ressemble donc à des chaussures de trekking. |
| Mais bien sûr, en tant que statisticien, je ne me contente pas de donner une intuition. Je veux vraiment savoir quelle catégorie de chaussures appartient à quel sujet. Et pour cela, je fais une répartition simple des catégories de chaussures et j'ajouterai ici le filtre de données locales pour n'afficher que |
| catégories |
| qui sont... |
| pour afficher uniquement les chaussures sélectionnées. |
| Qu'est-ce que cela signifie? Comment puis-je l'utiliser ? JMP propose ici les diagrammes de scores thématiques et ces diagrammes de scores thématiques |
| avoir un point pour chaque description de chaussure pour chaque sujet. |
| Ainsi, plus le score pour la description de la chaussure est élevé, plus cette chaussure est représentative de ce sujet particulier. |
| Donc, ce que je fais, je sélectionne simplement toutes ces chaussures qui ont des scores élevés pour le sujet un et je verrai dans cela |
| histogramme ici que ce sont des chaussures d'hiver de rue et de rue. Donc, fondamentalement, mon intuition était bonne. Ces chaussures en textile, qui ont un super fit, ce sont les chaussures de rue et d'hiver de rue. |
| Et le deuxième sujet, rappelez-vous, nous nous attendions à ce que ce soit des chaussures de trekking. Vous verrez dans cet histogramme ici, ce sont des chaussures de trekking. |
| Et vous pouvez le faire maintenant pour tous les sujets, et je l'ai mis dans le journal. |
| Et vous verrez quelques difficultés à faire tout cela. Donc, en attribuant une ou plusieurs catégories de chaussures à chaque sujet, vous verrez deux problèmes. |
| Problème numéro un, représenté ici, vous verriez qu'il y a certaines catégories de chaussures, comme l'alpinisme, qui ne sont pas représentées par un sujet, mais par plusieurs. |
| Et vous verrez également que ces sujets se chevauchent, de sorte que le mot crampon, par exemple, apparaît dans les deux sujets. |
| Ce qui signifie qu'il semble que nous ayons trop de sujets ici. |
| Donc, ces sujets, idéalement, vous voulez avoir un sujet par catégorie de chaussures, et si nous voyons qu'il y a des sujets qui se chevauchent et qui correspondent à plusieurs catégories, il semble que neuf, c'est trop. |
| Mais cela doit bien sûr avoir un autre ???, donc si les chaussures d'alpinisme correspondent à plus d'un sujet, il doit y avoir des sujets qui ne sont pas clairement identifiables. |
| Alors regardez, par exemple, ce sujet numéro cinq. Et donc, comme les chaussures les plus représentatives. Vous verrez cela comme une énorme collection. |
| Il existe des chaussures progressives, des chaussures de course sur route, des chaussures de rue, etc. Ce sont donc principalement des catégories qui se chevauchent et ne se différencient pas les unes des autres. Alors imaginez où est la différence entre la chaussure de course sur sentier et la chaussure de course sur route ? |
| Ou alors passez à l'étape suivante, quelle est la différence entre le trail running et la randonnée ? |
| Il y a certains chevauchements dans ces chaussures et s'il y a ces chevauchements, vous ne pouvez pas identifier clairement la configuration de fonctionnalité pour cette catégorie de chaussures. |
| C'est donc aussi un apprentissage très précieux. Il s'agit bien sûr de gérer votre portefeuille de différents stratifiés. Vous voulez savoir, ai-je besoin d'un stratifié spécifique pour cette utilisation finale spécifique ou est-ce plutôt similaire aux autres stratifiés que j'ai déjà ? |
| Donc, ce que nous avons fini par faire, nous voulions avoir une collection finale de sujets où nous n'avons aucun sujet correspondant à plus d'une catégorie, et nous l'avons fait à la main. Nous avons donc analysé différents nombres de sujets et nous avons fini par en avoir cinq. |
| Ces cinq thèmes, vous le verrez, correspondent à un certain nombre de catégories, mais nous verrons que toutes les catégories de chaussures ne peuvent pas y être représentées. |
| Nous avons donc eu deux apprentissages. Le premier apprentissage était que nous avons des prototypes de descriptions de chaussures pour ceux |
| catégories de chaussures. Et d'autre part, toutes les catégories de chaussures non nommées ici peuvent ne pas être très différenciées ou ne pas avoir cette configuration unique. |
| dans leur description de chaussures. |
| Et ce n'était qu'une option offerte par l'explorateur de texte. Il existe également d'autres options, mais nous nous sommes concentrés là-dessus et cela a plutôt bien fonctionné. |
| Et avec cela, je voudrais quitter Text Explorer et vous donner seulement un bref aperçu de ce que vous pourriez faire avec la matrice de termes de document de sujet. |
| Donc ici, j'ai le même ensemble de données qu'avant, mais j'ai exporté la matrice de termes du document. Vous voyez donc beaucoup de nouvelles colonnes qui s'affichent pour chaque terme |
| la fréquence de ce terme dans une certaine description de chaussure. |
| Et nous avons essayé avec différentes versions de cela, nous avions donc une matrice de termes de document indiquant les fréquences ; nous en avions un qui indiquait seulement qu'il est contenu, qu'il n'est pas contenu ; et ainsi de suite. Et nous nous sommes retrouvés avec cette version. |
| Et en utilisant les possibilités de JMP Pro, nous avons créé une colonne de validation pour diviser notre ensemble de données en données de formation, de validation et de test. Les données de formation et de validation sont utilisées pour former notre modèle prédictif et les données de test sont utilisées pour les tests. |
| Et quand on parle de modélisation prédictive, quel est notre objectif ici ? Donc, ce que nous faisions avant était une sorte de technique non supervisée parce que |
| nous avons juste cherché des sujets et comparé ensuite aux catégories de chaussures. Et maintenant, nous voulons être un peu plus proactifs, nous avons donc la description de la chaussure, pouvons-nous prédire explicitement une catégorie ? |
| Et nous avons essayé différentes techniques de modélisation prédictive proposées par JMP 15 Pro et nous nous sommes retrouvés avec une forêt d'amorçage. Et ici, je voudrais vous donner seulement une idée de ce à quoi les résultats pourraient ressembler et à quoi nous pourrions utiliser les résultats. |
| Vous verrez donc les résultats dans la matrice de confusion dans l'ensemble de données de test, quelle était la catégorie, certaines descriptions de chaussures et qu'est-ce que j'ai prédit en utilisant ma forêt d'amorçage ? |
| Et, fait intéressant, vous verrez à peu près les mêmes résultats que nous avons vus auparavant. Il y a donc certaines catégories qui peuvent être clairement différenciées des autres, |
| qui ont déjà une configuration de fonctionnalités unique, et il y en a d'autres qui n'en ont pas. Alors jetez un œil, par exemple, aux chaussures de course sur route. |
| Nous avons déjà découvert dans notre première analyse que ceux-ci ne sont en quelque sorte pas définis de manière unique. Et nous verrons ici aussi, je prédis que beaucoup de chaussures seront des chaussures de course sur route qui sont en fait d'autres chaussures. |
| Cela signifie donc que cela confirme les conclusions que nous avions auparavant. Nous voyons exactement les catégories de chaussures qui ont été bien décrites en utilisant cette technique non supervisée sont également bien décrites ici et celles qui ne sont pas bien différenciées ne le sont pas non plus ici. |
| C'était donc assez intéressant à voir, et il y a beaucoup d'autres choses que vous pourriez faire maintenant en utilisant cette analyse. Vous pourriez faire, par exemple, |
| une analyse, qu'est-ce que... quels sont les problèmes les plus importants lorsque je veux différencier certaines chaussures ? C'est donc la contribution de la colonne, quels termes contribuent le plus à différencier les catégories de chaussures ? |
| Ou vous pouvez explorer plus avant quelles catégories de chaussures peuvent être très différenciées, lesquelles ne le peuvent pas, en utilisant les courbes ROC. |
| Et enfin, vous pouvez utiliser ce modèle pour la prédiction. Ainsi, vous pouvez entrer ici certaines configurations de fonctionnalités ou la description de la chaussure |
| et prédire ensuite la probabilité que cette description appartienne à une certaine catégorie de chaussures. Dans ce cas, par exemple, nous prédirions que cette chaussure pourrait être une chaussure de course sur route. |
| En raison du temps, je n'entrerai pas dans les détails, mais je voudrais résumer rapidement. Alors, quelles ont été nos principales conclusions ? Les principales conclusions étaient que |
| l'explorateur de texte est un très bon outil qui est absolument intuitif, et vous pouvez l'utiliser pour extraire rapidement des informations à partir de données textuelles non structurées. |
| où se différencient-ils, où ne se différencient-ils pas ? Qu'est-ce que... quelles caractéristiques sont recherchées dans ces chaussures ? Mais ceux d'une manière ou d'une autre, les résultats ont confirmé ce à quoi nous nous attendions. |
| Et cette confirmation, nous pourrions le faire en utilisant des techniques non supervisées ou une technique supervisée, alors il a comparé l'analyse de sujet, en utilisant le SVD et le modèle prédictif ici avec une forêt bootstrap, et d'autres pourraient bien fonctionner de la même manière. |
| Enfin, je voudrais remercier le groupe ??? qui est venu avec ce problème. Ils ont collecté toutes les données et nettoyé toutes les données ont de grandes discussions sur |
| le sens ou le non-sens des différentes techniques. Donc, sans eux, vous n'auriez pas écouté ce discours maintenant. Et en plus, |
| Je tiens à remercier Jonas, un ancien collègue de l'Université TU de Dortmund, qui m'a consulté sur l'analyse de texte. |
| Et enfin, je tiens à vous remercier pour votre attention et je suis heureux de répondre à toutes vos questions, que ce soit par e-mail ou dans la communauté des utilisateurs JMP. Envoyez-moi juste un mot. |
