Conférencier | Transcription |
| Aboyeur d'argile | Merci, je m'appelle Clay Barker. Je suis développeur statistique au sein du groupe JMP et aujourd'hui je vais vous parler d'une nouvelle fonctionnalité de JMP pro pour 16. C'est ce qu'on appelle la sélection de termes et j'y ai travaillé avec mes collègues Paris Faison et Ernest Pasour. |
| Les données textuelles deviennent donc de plus en plus courantes dans la pratique. Nous pouvons avoir des avis de clients sur un produit que nous fabriquons, nous pouvons avoir des descriptions de certains événements ou des journaux de maintenance pour certains de nos équipements. |
| Et dans cet exemple ici sur mes diapositives, cela vient du |
| incidents aériens... ensemble de données sur les incidents que nous avons dans les exemples de données. |
| Et chaque ligne de données est une description d’un incident aérien, d’un crash ou d’un autre type de dysfonctionnement. |
| Ainsi, si vous n'avez jamais utilisé la plateforme Text Explorer, sachez qu'elle a été introduite dans JMP 13 et que nous l'utilisons principalement pour résumer et analyser des données textuelles. |
| Cela facilite donc l'exécution de tâches courantes telles que la recherche des mots et des expressions les plus fréquents ou les plus courants, ainsi que la réalisation de tâches telles que regrouper les documents ou rechercher des thèmes, comme l'analyse de sujets. Et tout est piloté par ce qu'on appelle la matrice des termes du document. |
| Alors, quelle est la matrice des termes du document ? Il est plus simple de le considérer simplement comme une matrice de variables indicatrices indiquant si chaque document comprend ou non un mot ou une expression particulière. |
| Et nous pouvons pondérer cela en fonction de la fréquence à laquelle le mot apparaît dans chaque document. Ainsi, chaque document est une ligne dans notre matrice de termes de document et chaque colonne est un mot. |
| Donc, pour un exemple très simple ici, cette première ligne est "l'emballage de la pizza était frustrant". Nous avons donc un 1 pour l'emballage, |
| un 1 pour pizza et un 1 pour frustrant et 0 pour tous les autres mots. Et de même, pour la deuxième ligne, nous avons un 1 pour l'odeur, le bon, le goût et la pizza et des 0 ailleurs. Il s'agit simplement d'un simple résumé des mots qui apparaissent dans chaque document. |
| J'ai également mentionné qu'il existe quelques variantes de la matrice des termes du document. Le plus simple est le binaire ; c'est juste des uns et des zéros. |
| Mais nous souhaiterons peut-être inclure des informations sur la fréquence à laquelle chaque mot apparaît. Voici donc une autre phrase légèrement plus longue dans laquelle pizza apparaît plusieurs fois. |
| Dans la matrice de termes du document binaire, cette colonne de pizza est toujours à 1 car nous ne nous soucions pas de la fréquence à laquelle elle apparaît. Pour le ternaire, c'est 2, car le ternaire est composé de zéros, d'un et de deux. C'est 0 si le mot n'apparaît pas, c'est 1 s'il apparaît une fois et c'est 2 s'il apparaît plus d'une fois. |
| Même si cela se produit quatre fois ici, nous avons toujours codé 2. Et puis la fréquence est vraiment simple. Il s'agit simplement du nombre de fois où chaque mot apparaît dans ce document. |
| Ce sont donc trois très simples, nous proposons également une pondération TF-IDF, qui est un peu comme une fréquence relative, mais vous pouvez en apprendre davantage sur ces schémas de pondération dans |
| Plateforme Explorateur de texte. |
| Alors quelle est la prochaine étape ? Quelle est la prochaine chose que vous pourriez vouloir utiliser ensuite ? |
| Vous souhaiterez peut-être utiliser le texte pour vous aider à obtenir un résultat. J'ai donc rédigé ici quelques critiques de meubles, et il y a une note par étoiles associée à chaque critique, n'est-ce pas. |
| Nous pourrions donc penser que ces avis nous donnent des indices sur les raisons pour lesquelles quelqu'un évaluerait un produit plus ou moins bien. Ainsi, dans cette toute première ligne, "les instructions étaient frustrantes" et l'utilisateur ne nous a attribué qu'une note de 3. Si cela... si ce schéma se produit souvent et que beaucoup de gens évaluent... |
| La plupart des notes inférieures sont associées à des instructions, qui pourraient nous indiquer que nous devons améliorer les instructions que nous expédions avec nos meubles. |
| L’idée simple est donc de les utiliser comme modèle de régression. Nous allons... nous allons prendre notre matrice de termes de document, |
| nous allons le combiner avec nos informations de réponse, et nous allons simplement faire une régression. |
| Et cela nous aidera à comprendre pourquoi les clients aiment ou n'aiment pas nos meubles, ou quel que soit le produit que nous fabriquons. |
| Cela peut nous aider à classer les objets, en fonction des descriptions, nous en verrons certaines plus tard, ou peut-être voulons-nous comprendre pourquoi certaines machines tombent en panne ou non en fonction de certains de leurs enregistrements de maintenance. |
| Et la façon dont nous procédons est vraiment simple. |
| Nous créons simplement un modèle de régression, dans lequel chacun de nos X, ou nos variables prédictives, est l'une des colonnes de la matrice de termes. Donc, si nous modélisons les évaluations de produits, il s'agit d'une simple régression linéaire et si nous |
| si nous modélisons un résultat binaire, comme si un client recommanderait ou non notre produit |
| représente peut-être des centaines de mots et il serait logique de ne pas tous les utiliser. Toutes les données ne seront pas utiles, nous allons donc appliquer une technique de sélection de variables à notre modèle de régression et nous obtiendrons un modèle plus simple, facile à interpréter et bien adapté. |
| Et ici, en bas, il est facile de visualiser la combinaison de ces variables indicatrices avec notre note de réponse, notre note par étoiles. |
| Notre solution qui sera donc dans JMP 16 consiste à introduire des modèles de régression dans la plateforme Text Explorer. Si vous avez déjà utilisé la plate-forme de régression généralisée pour effectuer une sélection de variables, nous intégrons essentiellement cette plate-forme dans Text Explorer. |
| Ainsi, si vous disposez de JMP Pro, vous verrez l'élément de sélection de terme dans le menu triangulaire rouge de Text Explorer. |
| C’est ce qui nous passionne vraiment. Cela permet de créer et d’affiner facilement et rapidement ce type de modèles de régression. |
| Ainsi, lorsque vous lancerez cette plateforme, et nous passerons en revue quelques démos dans une minute, mais rapidement, |
| au tout début du lancement, il s'agit simplement de demander des informations sur notre réponse et le type de modèle que nous voulions adapter. |
| Ainsi, il peut gérer à la fois les réponses continues, comme une note par étoiles, et lorsque vous spécifiez une réponse continue, il fournit un filtre afin que vous puissiez filtrer certaines lignes, en fonction de la réponse. |
| Et lorsque nous avons une colonne de réponse nominale, nous sélectionnons le niveau cible. Alors dans ce cas, recommanderiez-vous notre produit, oui ou non. Nous allons modéliser le... |
| nous allons modéliser la recommandation égale non. |
| Et si nous avons une réponse à plusieurs niveaux comme bleu, vert, jaune, nous choisirons le niveau que nous voulons modéliser et nous en verrons un exemple dans une minute seulement. |
| Ensuite, après avoir spécifié la réponse, nous allons donner à la plate-forme des informations sur le type de modèle que nous souhaitons adapter. |
| Alors quand on fait de la sélection variable, va-t-on utiliser le filet élastique ou le lasso ? Ce sont deux techniques de sélection de variables intégrées à la régression généralisée. Et comment allons-nous faire la validation ? Voulons-nous utiliser l’AIC ou le BIC ? |
| De plus, nous pouvons spécifier des détails sur notre matrice de termes de document. Nous pouvons sélectionner la pondération et également sélectionner le nombre maximum de termes que nous souhaitons prendre en compte. Donc, si nous voulons considérer les 200 mots les plus fréquents, c'est ce qui est actuellement fixé à 200. |
| Alors, que se passe-t-il lorsque vous le lancez et que vous appuyez sur le bouton Exécuter ? En gros ça fait tout |
| Tu as besoin de faire. Il configure correctement les données en coulisse afin que vous n'ayez pas à vous en soucier. Il effectue une sélection de variables, nous disposons donc désormais d'un petit sous-ensemble de mots que nous pensons utiles pour prédire notre réponse, et il présente les résultats de manière simple. |
| pour interpréter le rapport, et c'est assez interactif, comme nous le verrons dans un instant. Donc, avant, vous pouviez faire cela en |
| enregistrer la matrice des termes du document dans votre ensemble de données, lancer vous-même une plateforme de régression généralisée, |
| mais vous n'êtes plus obligé de faire ça. C'est tout ce qui est en termes de sélection maintenant. |
| Alors cette spécification du modèle, comment savoir quoi, comment savoir quoi sélectionner ? |
| Les méthodes d'estimation disponibles sont le filet élastique et le lasso. Le moyen simple de se souvenir de la différence entre ceux-ci |
| est que le réseau élastique tend à sélectionner des groupes de prédicteurs corrélés. Donc dans ce contexte, quand nos prédicteurs ne sont que des mots, |
| cela signifie qu'il aura tendance à sélectionner des groupes de mots qui ont tendance à apparaître ensemble. Donc si vous pensez aux instructions et au manuel, |
| ces mots apparaissent fréquemment ensemble à cause des manuels d’instructions. Ainsi, ces deux prédicteurs seraient fortement corrélés et le filet élastique les sélectionnerait probablement tous les deux, tandis que le lasso sélectionnerait probablement l'instruction ou le manuel, mais pas nécessairement les deux. |
| Méthodes de validation, nous avons l'AIC et le BIC. |
| La règle générale est donc que l’AIC a tendance à sursélectionner les modèles et que le BIC a tendance à sous-sélectionner. Ainsi dans notre cahier des charges, |
| c'est juste que l'AIC aura tendance à sélectionner un plus grand ensemble de mots, tandis que le BIC sélectionnera un plus petit ensemble de mots. |
| Et personnellement, j'ai tendance à beaucoup utiliser l'AIC dans le cadre parce que je préfère avoir plus de mots que nécessaire plutôt que moins, mais c'est vraiment une question de préférence. |
| Et la pondération des termes du document... |
| la pondération matricielle des termes du document, je veux dire. |
| Cela dépend vraiment de votre problème. Donc dans cet exemple, |
| le mot peinture apparaît plusieurs fois dans la revue. Cela pourrait signifier que le critique était très... |
| a pris... la peinture était très importante pour cet évaluateur et cela peut être significatif dans notre modèle de régression, nous voudrions donc utiliser une pondération comme la fréquence au lieu du binaire. |
| Alors, une fois que vous aurez lancé la sélection des termes, vous vous retrouverez dans un endroit comme celui-ci, où nous avons |
| un résumé de tous les documents à gauche et de tous les mots que nous avons sélectionnés à droite. Et je vais juste sauter ça pour l'instant ; c'est plus facile à voir quand on commence à faire une démo. |
| Une autre chose que nous pensons très utile est que nous avons un résumé, vous pouvez donc utiliser la sélection de termes pour adapter une séquence de modèles, puis ils sont tous résumés en haut, et vous pouvez basculer entre eux. Et encore une fois, nous verrons cela dans un instant. |
| Jetons donc un coup d'œil à la plateforme. |
| Alors d'abord, nous allons jeter un oeil à ceci |
| ensemble de données sur les incidents d'avion qui se trouve dans le dossier de données d'exemple JMP. |
| Chaque ligne de notre tableau est donc un incident. Et nous savons combien de dégâts ont été causés à l'avion, quels types de blessures il y a eu, et nous en avons une description. Cette dernière colonne est donc une description exacte de ce qui s’est passé lors de l’incident. |
| Nous allons donc lancer Text Explorer, et si vous n'avez jamais utilisé Text Explorer auparavant, à gauche nous avons les termes les plus fréquents, et à droite nous avons les expressions les plus fréquentes, donc des groupes de mots. |
| Nous voulons donc utiliser ces mots pour peut-être comprendre |
| ce qui... ce qui fait qu'un accident cause davantage, vous savez, subit plus de dégâts ou peut-être des blessures plus graves. Nous allons donc accéder au menu du triangle rouge et demander la sélection des termes. |
| Alors maintenant, nous voyons ce lancement que nous regardions il y a juste un instant, et je veux en savoir plus sur les dégâts, n'est-ce pas. Et en particulier, je veux... Je pourrais vouloir faire la distinction entre les incidents où l'avion a été détruit et ceux où les dégâts ont été moindres, nous allons donc sélectionner le niveau cible à détruire. |
| Je mentionnerai que cet arrêt anticipé, ce genre de fonctionnalité, permet de gagner du temps. Donc |
| lorsque nous effectuons une sélection de variables, cela peut prendre beaucoup de temps pour des problèmes beaucoup plus importants. Et si vous laissez cette case cochée, cela dira en quelque sorte |
| nous pensons avoir un modèle assez bon ; nous allons continuer et nous arrêter tôt. J'ai tendance à décocher cette case à moins que je sache que j'ai un problème beaucoup plus grave. |
| Je vais donc le laisser avec un filet élastique, AIC et nous allons courir. |
| Alors maintenant, ce qui se passe en arrière-plan, c'est que cela a créé les données dont j'avais besoin pour ajuster ce modèle de régression, et cela s'adapte au modèle de régression en coulisses, et maintenant j'ai mon résumé. Donc chaque |
| chaque document est résumé sur ce panneau de gauche, donc c'est le premier incident d'avion, c'est le deuxième, qui est vide. |
| Donc, la première, c'est que l'avion a heurté un banc de neige sur le côté de la piste. |
| Et nous avons tous les mots importants mis en évidence, donc les mots bleus ont des coefficients négatifs, les mots oranges ont un coefficient positif. |
| Et si les mots nous intéressent, nous pouvons regarder ce panneau à droite. J'ai tendance à aimer trier par coefficient afin que vous puissiez simplement cliquer en haut. |
| Ainsi, dans ce cas, les mots avec des coefficients négatifs ont moins de chances d’avoir été détruits. Donc si |
| le document contient le mot atterrissage, si l'avion est arrivé au point d'atterrissage, ce n'est probablement pas un incident très grave. Il est donc moins probable qu'ils soient |
| détruit. D’un autre côté, nous pouvons examiner les termes les plus positifs, et ce sont les mots les plus associés à la destruction de l’avion. |
| Et ce sont des mots comme feu, témoins. S'ils interrogent des témoins pour décrire l'incident, cela signifie probablement que la personne qui se trouvait dans l'avion n'a pas pu procéder à un entretien. |
| Alors feu, radar, filature, nuit, ce sont tous des mots fortement associés à |
| avec être détruit. |
| Maintenant, peut-être que nous nous intéressons également au niveau de blessures, et plus particulièrement, nous allons examiner les pires niveaux de blessures. |
| Et nous referons la sélection des termes. |
| Et je vais simplement accepter cela pour rester rapide. |
| Alors maintenant, nous pouvons faire le même genre de choses, mais en regardant plutôt le niveau des blessures. |
| Donc, si l'entretien inclut le capitaine ou l'atterrissage, ceux-ci ne sont probablement pas très graves en termes de niveau de blessure. |
| Mais si encore une fois il évoque le radar, la nuit, les montagnes, ce sont des mots bien plus sérieux. Nous pouvons donc en quelque sorte faire rapidement des allers-retours entre ces deux... ces deux réponses et voir quels mots sont prédictifs de ces deux |
| niveau de blessure et niveau de dégâts. |
| Jetons donc un œil à un autre exemple. |
| C’est donc celui-là que j’apprécie vraiment. Plus tôt, je parlais de pizza dans mes exemples. Maintenant, nous allons parler de bière. Ce sont donc évidemment des choses qui me tiennent à cœur. |
| Donc, ce que j'ai ici, c'est que j'ai... J'ai téléchargé une description de chaque style de bière, selon une critique de bière. |
| corps. |
| Ainsi, chaque bière a une description. |
| Et il est dit d'où vient la bière. Donc nous avons... |
| les États-Unis, l’Allemagne, l’Irlande. |
| Utilisez la sélection de termes pour voir |
