756660_fr-FR

liliconcom

Un outil d'exploration de texte pour comprendre les besoins des clients (2021-EU-30MP-748)

Dr Kira Alhorn, statisticienne, WL Gore & Associates GmbH

Comment mieux comprendre nos utilisateurs finaux et concevoir de meilleurs produits ? Sur leurs pages web, les vendeurs proposent aux utilisateurs finaux des descriptions de nos produits. Ces descriptions pourraient-elles nous fournir des informations précieuses sur les fonctionnalités les plus recherchées ?

Dans cette présentation, nous expliquons comment nous avons utilisé les descriptions de chaussures sur les sites de vente en ligne pour analyser les propriétés attendues et recherchées par les utilisateurs finaux. Plus précisément, nous avons utilisé la plateforme JMP Text Explorer pour traiter les données et visualiser les caractéristiques les plus importantes des chaussures sous forme de nuages ​​de mots. Grâce aux fonctionnalités avancées de JMP Text Explorer, nous avons pu analyser les descriptions de chaussures afin d'identifier les thèmes récurrents. Nous avons ensuite comparé ces thèmes aux catégories de chaussures sur le marché. Cela nous a permis de déterminer un nombre significatif de thèmes servant de « prototypes » pour les descriptions de chaussures dans certaines catégories. Afin de compléter cette analyse thématique, qui peut être considérée comme une technique non supervisée, nous avons exploré et appliqué des techniques de modélisation prédictive supervisée pour prédire la catégorie de marché à partir des résultats de Text Explorer. Plus précisément, nous avons utilisé une forêt bootstrap pour extraire les termes les plus importants et prédire la catégorie de marché à partir de la description d'une chaussure.

Transcription générée automatiquement...

Conférencier	Transcription
Kira Alhorn	Bienvenue à ma présentation, « Exploration de l'outil Text Explorer pour comprendre les besoins des clients ». Je suis ravi de vous la présenter.
	Je participe à ce JMP Discovery Summit en format virtuel. Je m'appelle Kira Alhorn et je suis statisticienne chez WL Gore and Associates.
	Avant de commencer la présentation proprement dite, j'aimerais vous présenter brièvement notre entreprise. WL Gore and Associates est une entreprise internationale spécialisée dans les sciences des matériaux ; nous produisons
	Des solutions très différentes pour des secteurs d'activité très différents, allant de l'aérospatiale aux produits médicaux, en passant par des produits que la plupart d'entre vous connaissent sans doute.
	Gore-Tex est notre marque phare. C'est donc sur elle que nous allons nous concentrer aujourd'hui. Gore-Tex fabrique des tissus laminés imperméables et respirants, à la fois résistants et durables.
	Ces stratifiés sont vendus à nos clients ou à nos marques partenaires qui les utilisent pour fabriquer des produits. Aujourd'hui, nous nous concentrerons plus précisément sur les chaussures.
	Voici donc un bref aperçu de mon exposé. Je commencerai par le contexte et les motivations. Que portons-nous sur ce sujet ? Nous allons examiner les descriptions de chaussures et comprendre pourquoi cela nous intéresse.
	La suite de la présentation se déroulera dans JMP. J'utiliserai JMP 15 Pro et je vous montrerai comment utiliser l'explorateur de texte.
	pour analyser nos descriptions de chaussures. Comment identifier les thèmes récurrents dans ces textes, ou dans les descriptions de chaussures, afin de repérer les descriptions ou les thèmes communs et de les comparer aux différentes catégories de chaussures que nous possédons ?
	Enfin, et ce ne sera qu'une très brève introduction, nous utilisons des modèles prédictifs pour valider nos résultats et obtenir une analyse plus approfondie de la manière dont les différentes descriptions de chaussures catégorisent ces dernières.
	Imaginez donc votre propre armoire et les chaussures que vous y avez rangées.
	Et chacun d'entre vous possède au moins une petite ou une assez grande collection de chaussures différentes dans son armoire, et la question est : pourquoi avez-vous autant de chaussures ?
	Et vos chaussures doivent correspondre à votre style, et vous avez peut-être besoin de couleurs différentes, etc. Ce n'est pas la seule raison pour laquelle vous avez des chaussures différentes.
	L'autre raison est que vous avez besoin de chaussures différentes. Imaginez : vous avez une paire de chaussures de course, plusieurs paires de chaussures pour un usage quotidien et peut-être aussi des chaussures de randonnée.
	Et vous les avez parce que chaque chaussure possède des caractéristiques différentes ou légèrement différentes qui la rendent utilisable pour cet usage final, et vous avez besoin de ces caractéristiques pour cet usage final.
	Nous nous sommes donc demandé si, en consultant les descriptions de chaussures de nos marques partenaires, nous pouvions identifier ce qui rend chaque modèle unique. Vous trouverez donc ici une collection.
	de différentes catégories de chaussures qui nous correspondent maintenant à différentes utilisations finales des chaussures.
	La question qui se pose maintenant est la suivante : si un client souhaite produire une nouvelle chaussure de randonnée, par exemple, quelle configuration de caractéristiques devons-nous proposer dans notre stratifié destiné à la randonnée ?
	Ces descriptions de chaussures peuvent-elles nous fournir un prototype que nous pourrions proposer à nos clients ?
	Et, bien sûr, un autre aspect intéressant est la manière dont les chaussures se différencient. Quelle est la différence entre une chaussure de randonnée et une chaussure de ville ? Pourquoi ces différences sont-elles nécessaires ?
	Et c'était notre intention lorsque nous avons commencé à analyser les données.
	Sur ce, je voudrais aller chez JMP.
	Et dans JMP, je veux d'abord vous montrer à quoi ressemblent les données que nous avons collectées.
	Nous avons donc tout simplement visité les pages web de nos marques partenaires et recueilli les descriptions des chaussures figurant sur ces emballages.
	Pour chaque catégorie de chaussures, nous avons un certain nombre de descriptions et, comme vous le verrez, nous avons simplement copié l'intégralité de la description dans notre tableau de données.
	Ce texte sera peut-être assez long, ou assez court, mais nous n'avons rien fait de plus que de simplement copier.
	Mais d'un autre côté, vous pouvez imaginer qu'avec ce champ de texte, nous ne pouvons pas faire grand-chose.
	Du moins, c'est ce qu'il semble, car JMP offre de nombreuses possibilités. Comment procéder ? Nous souhaitons extraire des informations de ce long texte et les découper en segments plus digestes.
	Et ces morceaux digestes
	Ces informations peuvent être extraites à l'aide de l'Explorateur de texte. Je souhaite donc utiliser l'Explorateur de texte et insérer la description de la chaussure dans les colonnes de texte ci-dessous.
	Et voici de nombreuses options. Ces options alimentent les algorithmes qui découpent nos descriptions de chaussures, ou ce que nous appelons documents descriptifs dans le langage de l'analyse textuelle.
	Et cela consiste à découper les documents en informations plus petites, comme je l'ai mentionné, en morceaux plus faciles à assimiler.
	Vous verrez alors des éléments faciles à assimiler, à savoir des termes, qui constituent la plus petite unité d'information, et des expressions, c'est-à-dire des termes qui apparaissent souvent ensemble et qui peuvent avoir une signification si on les combine.
	Vous pouvez donc voir ici le terme le plus couramment utilisé
	Dans tous les documents, donc dans toutes les descriptions de chaussures, on retrouve le terme confort.
	Nous avons donc commencé par examiner toutes les expressions et voir si certaines sont cohérentes.
	Et la première affirmation est déjà logique. Vous voyez donc que les termes Gore et tex apparaissent ici comme des termes uniques, mais il est bien sûr logique d'analyser le terme Gore-tex et non Gore et tex séparément.
	Vous pouvez donc ajouter à la liste des termes toutes les expressions pertinentes. Nous ajoutons donc l'expression, et vous constaterez que nous avons maintenant le terme « Gore-Tex » au lieu du terme simple « Gore ».
	Voilà donc la première étape du traitement des données. La deuxième étape consistait à vérifier si la liste des termes contenait des doublons ou
	s'il y a des termes qui n'ont pas de sens. Et JMP dispose déjà d'un excellent système de traitement, car JMP exclut déjà de nombreux mots qui n'ont pas de sens, tels que « et », « un », etc.
	ou qui ne vous donnent aucune information. Cependant, il restera toujours des termes qui n'ont aucun sens, comme ce S, par exemple.
	Que feriez-vous avec un S ? Qu’est-ce que cela vous apprend sur une chaussure ? Nous avons donc dû passer en revue tous les termes, et si un terme n’avait pas de sens, nous l’avons qualifié de mot vide, et nous l’avons ajouté à la liste des mots vides pour l’exclure de l’analyse.
	C'était le premier point. L'autre point que j'ai mentionné, c'est que nous devons vérifier s'il y a des doublons et vous verrez ici, par exemple, le terme « Gore-Tex ».
	et le terme GTX. Or, GTX n'est qu'une abréviation de Gore-Tex ; il ne faut donc pas les analyser séparément, mais les combiner.
	Vous disposez donc de la fonction Recode, qui est pratiquement identique à celle utilisée pour les colonnes, et c'est un excellent outil pour combiner ces éléments.
	Données ???. Vous voyez donc ici la fonction Recode, et je les ai regroupées toutes les deux.
	Et vous constaterez maintenant qu'il ne s'agit plus que d'un seul terme (Gore-tex), et que c'est en fait le terme le plus fréquent dans nos données.
	Donc.
	Nous sommes partis de 4 000 termes et, après le nettoyage, il ne nous en reste que 100. Il nous reste donc 100 termes, ce qui nous permet d'effectuer une analyse approfondie. Ils nous sont très utiles pour comprendre ce qu'est une description de chaussure.
	Vous pouvez donc utiliser cette liste pour voir quels sont les termes les plus fréquents, mais JMP propose également un outil de visualisation très simple.
	En cliquant sur le triangle rouge, vous pouvez ajouter un nuage de mots. Ce nuage vous indique, par la taille du mot, sa fréquence d'utilisation dans tous les documents, y compris dans toutes les descriptions de chaussures. Ainsi, Gore-Tex, confort et légèreté sont les termes les plus fréquemment utilisés dans les descriptions de chaussures que nous avons collectées.
	Mais vous vous souvenez peut-être que ce n'est pas exactement ce qui nous intéressait, n'est-ce pas ? Nous nous demandions donc : qu'en est-il des chaussures pour différents utilisateurs finaux ?
	Pour cela, il suffit d'ajouter un filtre de données locales et d'utiliser l'usage final de la chaussure comme critère. Je pourrais ainsi, par exemple, m'intéresser aux termes les plus fréquents dans toutes les descriptions de chaussures d'hiver de ville.
	Et vous ne serez pas surpris, les termes hiver et chaud apparaissent fréquemment dans les descriptions de chaussures d'hiver de ville.
	En revanche, si l'on prend l'exemple des chaussures de trail, l'accent est mis différemment. Elles n'ont pas besoin d'être chaudes, mais elles doivent être respirantes, légères et bien ajustées.
	Ces nuages ​​de mots sont donc très utiles pour appréhender notre question initiale : qu’est-ce qui décrit la configuration des caractéristiques des différents types de chaussures ?
	Et nous ne nous sommes pas arrêtés là. Nous voulions aller plus loin.
	L'étape suivante consiste, si vous avez déjà préparé toutes vos données, à effectuer une modélisation pour trouver ce prototype de configurations de chaussures. Pour cette modélisation, JMP offre différentes options et nous avons opté pour la SVD.
	SVD effectue une analyse en composantes principales de notre matrice document-terme.
	Et qu'est-ce que cela signifie ? Les matrices de termes de documents incluent, pour chaque document, donc pour chaque description de chaussure,
	La fréquence de chaque terme. Par exemple, pour la description de la première chaussure, on compte la fréquence d'apparition du terme « Gore-tex », du terme « confort », etc. On imagine donc la taille considérable de cette matrice.
	L'idée est désormais, grâce à l'analyse en composantes principales, qui consiste à réduire la dimension de la matrice document-terme, de mieux maîtriser vos données.
	Et, pour mieux visualiser les données.
	Grâce à cette réduction des dimensions, nous pouvons maintenant procéder à une modélisation. Quel type de modélisation nous intéresse ? Nous nous sommes intéressés aux caractéristiques d'une chaussure pour un usage final précis.
	Pour en arriver là, nous avons analysé les descriptions de chaussures : y a-t-il des thèmes récurrents ? Et si oui, correspondent-ils à des usages finaux spécifiques ?
	Dans un monde idéal, nous trouverions neuf thèmes dans nos données, et chacun de ces neuf thèmes représenterait exactement une catégorie de chaussures. Nous aurions ainsi une configuration de chaussure prototype, ou une configuration de caractéristiques, pour chaque chaussure.
	Voyons voir ce qui se passe si je… vous recherchez neuf sujets. Je vais cliquer ici sur l’analyse des sujets et saisir 9, car je m’intéresse à neuf catégories de chaussures différentes.
	J'obtiens alors une liste de sujets avec les termes qui y reviennent fréquemment. Le premier sujet, par exemple, inclut les chaussures.
	Ces chaussures comportent dans leur description des termes comme « superfit », « textile », « chaud », etc. À première vue, je dirais donc qu'il s'agit de chaussures de ville ou de chaussures d'hiver pour la ville.
	Le deuxième thème, par exemple, comprend des descriptions de chaussures qui incluent les termes refuge, randonnée, randonnée de plusieurs jours, etc., il semble donc s'agir de chaussures de randonnée.
	Bien sûr, en tant que statisticien, je ne me contente pas d'une simple intuition. Je veux vraiment savoir à quel thème appartient chaque catégorie de chaussure. Pour cela, je réalise une distribution simple des catégories de chaussures et j'ajouterai ici un filtre de données local pour n'afficher que celles-ci.
	catégories
	qui sont...
	Afficher uniquement les chaussures sélectionnées.
	Qu'est-ce que cela signifie ? Comment puis-je l'utiliser ? JMP propose ici les graphiques des scores thématiques et ces graphiques des scores thématiques.
	Attribuez un point pour chaque description de chaussure dans chaque sujet.
	Ainsi, plus la note attribuée à la description de la chaussure est élevée, plus cette chaussure est représentative du sujet traité.
	Donc, ce que je fais, c'est que je sélectionne simplement toutes les chaussures qui ont obtenu des scores élevés pour le premier thème et je vais voir dans ce
	L'histogramme montre qu'il s'agit de chaussures de ville et de chaussures d'hiver. Mon intuition était donc juste. Les chaussures en textile, dotées d'une technologie Superfit, sont bien des chaussures de ville et des chaussures d'hiver.
	Et pour le deuxième point, souvenez-vous, nous nous attendions à ce qu'il s'agisse de chaussures de randonnée. Vous pouvez le constater sur cet histogramme : ce sont bien des chaussures de randonnée.
	Et vous pouvez maintenant le faire pour tous les sujets, et je l'ai consigné dans le journal.
	Vous constaterez certaines difficultés à mettre en œuvre tout cela. Ainsi, en attribuant une ou plusieurs catégories de chaussures à chaque sujet, vous rencontrerez deux problèmes.
	Le premier problème, illustré ici, est que certaines catégories de chaussures, comme les chaussures d'alpinisme, ne sont pas représentées par un seul sujet, mais par plusieurs.
	Vous constaterez également que ces sujets se recoupent, de sorte que le mot crampon, par exemple, apparaît dans les deux sujets.
	Ce qui signifie qu'il semble que nous ayons trop de sujets à aborder.
	Idéalement, il faudrait un sujet par catégorie de chaussures, et si l'on constate des chevauchements de sujets correspondant à plusieurs catégories, neuf sujets semblent excessifs.
	Mais cela implique forcément autre chose ? Si les chaussures d’alpinisme correspondent à plusieurs thèmes, il faut qu’il y ait des thèmes qui ne soient pas si clairement identifiables.
	Prenons par exemple le sujet numéro cinq. Il s'agit des chaussures les plus représentatives. Vous constaterez qu'il s'agit d'une vaste collection.
	Il existe des chaussures progressives, des chaussures de course sur route, des chaussures de ville, etc. Ce sont des catégories qui se chevauchent et ne se différencient pas vraiment. Alors, quelle est la différence entre une chaussure de trail et une chaussure de course sur route ?
	Ou alors, passez à l'étape suivante : quelle est la différence entre le trail et la randonnée ?
	Il existe certains chevauchements entre ces chaussures et, en cas de chevauchements, il est impossible d'identifier clairement la configuration de caractéristiques unique pour chaque catégorie de chaussures.
	C'est donc un apprentissage très précieux. Il s'agit, bien sûr, de gérer son parc de stratifiés. On se demande : ai-je besoin d'un stratifié spécifique pour cet usage précis ou est-il assez similaire à d'autres stratifiés que je possède déjà ?
	Nous avons donc procédé manuellement à la sélection des sujets afin d'obtenir une liste finale ne comportant aucun sujet appartenant à plusieurs catégories. Après avoir analysé différents nombres de sujets, nous en avons finalement retenu cinq.
	Ces cinq thèmes, vous le verrez, correspondent à un certain nombre de catégories, mais nous verrons que toutes les catégories de chaussures ne peuvent pas être représentées par eux.
	Nous avons donc tiré deux enseignements. Le premier est que nous disposons de prototypes de descriptions de chaussures pour ces modèles.
	catégories de chaussures. En revanche, toutes les catégories de chaussures non mentionnées ici peuvent ne pas être très différenciées ou ne pas présenter cette configuration unique.
	dans la description de leurs chaussures.
	Et ce n'était qu'une des options proposées par l'Explorateur de texte. Il en existe d'autres, mais nous nous sommes concentrés sur celle-ci et elle a donné de très bons résultats.
	Sur ce, je vais quitter Text Explorer et vous donner seulement un bref aperçu de ce que vous pourriez faire d'autre avec la matrice sujet-document-terme.
	J'ai donc ici le même jeu de données qu'auparavant, mais j'ai exporté la matrice document-terme. Vous voyez donc de nombreuses nouvelles colonnes qui affichent, pour chaque terme, les données correspondantes.
	la fréquence de ce terme dans la description d'une certaine chaussure.
	Nous avons donc essayé différentes versions : une matrice document-terme indiquant les fréquences, une autre indiquant seulement la présence ou l’absence du terme, etc. Finalement, nous avons opté pour cette version.
	Grâce aux fonctionnalités de JMP Pro, nous avons créé une colonne de validation afin de diviser notre ensemble de données en données d'entraînement, de validation et de test. Les données d'entraînement et de validation servent à entraîner notre modèle prédictif, tandis que les données de test sont utilisées pour le tester.
	Et lorsqu'on parle de modélisation prédictive, quel est notre objectif ? Ce que nous avons fait auparavant était une technique non supervisée, car
	Nous avons simplement recherché des sujets et les avons comparés ensuite aux catégories de chaussures. Maintenant, nous voulons être un peu plus proactifs : à partir de la description de la chaussure, pouvons-nous prédire explicitement sa catégorie ?
	Nous avons testé différentes techniques de modélisation prédictive proposées par JMP 15 Pro et avons finalement opté pour une forêt bootstrap. Je souhaite ici vous donner un aperçu des résultats obtenus et de leurs applications possibles.
	Vous verrez donc les résultats dans la matrice de confusion de l'ensemble de données de test : quelle était la catégorie, la description de la chaussure et qu'ai-je prédit en utilisant ma forêt bootstrap ?
	Et, chose intéressante, vous constaterez sensiblement les mêmes résultats qu'auparavant. Il existe donc certaines catégories qui se distinguent clairement des autres.
	Certaines possèdent déjà une configuration de caractéristiques unique, tandis que d'autres n'en ont pas. Prenons l'exemple des chaussures de course sur route.
	Notre première analyse a déjà révélé que ces définitions ne sont pas univoques. Et nous le verrons ici aussi ; je prévois que beaucoup de chaussures classées comme chaussures de course sur route seront en réalité d'autres types de chaussures.
	Cela confirme donc nos résultats précédents. On constate que les catégories de chaussures bien décrites par la technique non supervisée le sont également ici, et que celles qui sont mal différenciées le sont tout autant.
	C'était donc assez intéressant à voir, et il y a beaucoup d'autres choses que vous pourriez faire maintenant en utilisant cette analyse. Vous pourriez faire, par exemple,
	Une analyse, quels sont… quels sont les problèmes les plus importants lorsque je veux différencier certaines chaussures ? Autrement dit, quels termes contribuent le plus à différencier les catégories de chaussures ?
	Ou vous pourriez explorer plus en détail quelles catégories de chaussures peuvent être très différenciées, et lesquelles ne le peuvent pas, en utilisant les courbes ROC.
	Enfin, et surtout, vous pouvez utiliser ce modèle pour la prédiction. Vous pouvez donc y saisir certaines configurations de caractéristiques ou une description de la chaussure.
	On prédit ensuite la probabilité que cette description corresponde à une certaine catégorie de chaussures. Dans ce cas précis, par exemple, on prédit qu'il pourrait s'agir d'une chaussure de course sur route.
	Par manque de temps, je ne m'étendrai pas davantage sur les détails, mais je vais brièvement résumer. Quels ont donc été nos principaux constats ? Les principaux constats sont les suivants :
	L'explorateur de texte est un outil formidable et parfaitement intuitif, qui permet d'extraire rapidement des informations à partir de données textuelles non structurées.
	En quoi diffèrent-elles, en quoi ne diffèrent-elles pas ? Quelles sont les caractéristiques recherchées dans ces chaussures ? Mais d’une certaine manière, les résultats ont confirmé nos attentes.
	Et cette confirmation, nous pourrions le faire en utilisant soit des techniques non supervisées, soit une technique supervisée, nous avons donc comparé l'analyse thématique, en utilisant le SVD et le modèle prédictif ici avec une forêt bootstrap, et d'autres pourraient fonctionner de manière tout aussi efficace.
	Enfin, je tiens à remercier le groupe ??? qui a soulevé ce problème. Ils ont collecté et nettoyé toutes les données et ont mené des discussions très intéressantes à ce sujet.
	le sens ou l'absurdité des différentes techniques. Sans elles, vous n'auriez pas pu écouter cette conférence. Et de plus,
	Je tiens à remercier Jonas, un ancien collègue de l'Université technique de Dortmund, qui m'a conseillé en matière d'analyse de texte.
	Enfin, je vous remercie de votre attention et je suis à votre disposition pour toute question, que ce soit par courriel ou sur le forum des utilisateurs de JMP. N'hésitez pas à me contacter.

Modélisation statistique avancéeAnalyse et modélisation de données de baseÉtudes de marché et de consommationFusion et nettoyage des donnéesExploration et visualisation des donnéesPersonnalisation de masseModélisation prédictive et apprentissage automatiqueIngénierie de la qualité et des procédés