Nous étions ravis d'accueillir Manya Mayes, experte en traitement automatique du langage naturel (TALN) et responsable de la science des données chez 1440 Consulting, en tant que conférencière plénière de notre premier événement « Statistically Speaking » consacré à l'analyse de texte . Nous étions également enchantés de la compter parmi les intervenants, aux côtés de deux autres spécialistes reconnus de l'analyse de texte : Weida Tong, directrice de la bioinformatique et de la biostatistique à la Food and Drug Administration (FDA), et Jeff Swartzel, scientifique chez Procter & Gamble.
L'expertise pratique de ces spécialistes en statistiques et les exemples pertinents qu'ils partagent sont une véritable source d'inspiration. Nous avons reçu tellement de questions pour les intervenants pendant la diffusion en direct que nous n'avons pas pu toutes les traiter. Nos invités ont aimablement accepté d'y répondre dans cet article de blog.
Comment mesurer et démontrer le retour sur investissement de l'analyse de texte ?
Manya : Comme vous l’aviez anticipé, mesurer le retour sur investissement (ROI) de l’analyse de texte n’est pas toujours chose aisée. Lorsqu’on identifie les premiers signes d’un problème produit, il est parfois impossible de déterminer le véritable ROI d’un problème résolu avant qu’il ne devienne un problème comme celui des pneus Firestone/Ford Explorer (dont le coût a été estimé à 7,5 milliards de dollars ) ou celui des accélérations soudaines chez Toyota (qui a entraîné 1,2 milliard de dollars d’amendes du ministère de la Justice et 2 milliards de dollars de coûts de rappel ). Si ces deux entreprises avaient exploité les résultats de l’analyse de texte (facilement accessibles grâce aux données de la NHTSA et à de bons outils d’analyse de texte), elles n’auraient peut-être jamais su l’ampleur des économies réalisées. L’utilisation de l’analyse de texte dans un modèle de prédiction étiqueté et supervisé permet de valider le ROI, mais cela n’est pas toujours possible. Par ailleurs, pour l’analyse des données qui éclairent les décisions et la stratégie futures de l’entreprise, il est possible de mesurer le retour sur investissement par dollar investi grâce à une analyse de sensibilité.
Jeff : C'est une question délicate, et j'ai souvent du mal à y répondre car l'impact peut être variable. Parfois, un travail rapide et facile apporte des informations précieuses, tandis que d'autres fois, une analyse approfondie peut donner des résultats moins pertinents. En général, je considère que l'analyse de texte présente plusieurs avantages : 1) un gain de temps, 2) la possibilité d'anticiper les problèmes, 3) la pertinence des informations obtenues, qui seraient autrement inaccessibles, et 4) une meilleure capacité à se concentrer sur les sujets importants.
Comment le graphique affiché à l'écran (roue de Whompy en fonction du temps) a-t-il été généré à partir de la fenêtre Explorateur de texte ?
Adultes : À l’aide de l’Explorateur de texte appliqué à un échantillon de plaintes concernant des véhicules électriques, j’ai supprimé les termes peu informatifs en les ajoutant à une liste d’exclusion, puis les termes apparaissant une ou deux fois, avant de procéder à une analyse de classes latentes. Les résultats de cette analyse (dans JMP Pro ) incluent une fenêtre « Probabilités de regroupement par ligne ». Cette fenêtre affiche le groupe le plus probable pour chaque document. Un clic droit permet de sélectionner « Convertir en tableau de données ». La fenêtre suivante contient les résultats sous forme de tableau de données, qui peut ensuite être réintégré à l’échantillon original de plaintes en sélectionnant « Tableaux » > « Joindre », puis en effectuant la jointure avec les données originales par numéro de ligne. J’ai sélectionné uniquement les lignes correspondant au groupe « roue défectueuse ». Les données originales comportent un champ « date de panne » qui peut être représenté graphiquement à l’aide de « Graphique » > « Créateur de graphiques ». Dans le Créateur de graphiques, j’ai utilisé un histogramme, avec la date de panne comme variable X et l’échelle de réponse définie sur « Nombre ». Le reste du travail consistait principalement en des ajustements esthétiques : j’ai modifié la couleur en cliquant sur la variable « date de panne » dans la légende (voir l’image jointe pour plus de détails). Pour obtenir les informations par modèle, j'ai glissé-déposé la variable du modèle de véhicule sur la partie Groupe X du graphique et j'ai utilisé le modèle de véhicule comme variable de couleur.
Pourquoi les scores des sentiments négatifs sont-ils inférieurs à ceux des sentiments positifs (98 contre 100) ?
Adultes : Les scores de sentiment varient entre -100 et 100. J’ai choisi par hasard des termes négatifs avec un score de -98 et des termes positifs avec un score de 100.
Ces images montrent que, globalement, les documents positifs étaient plus nombreux que les documents négatifs. Les scores reflètent le sentiment général calculé sur l'ensemble du document (avis), ce qui explique qu'un document puisse obtenir un score global positif même s'il comporte des passages positifs et négatifs.
L'analyse textuelle dans le cadre du processus d'examen de la FDA est-elle davantage utilisée pour cibler les efforts d'examen, ou est-elle complémentaire à la lecture des documents ?
Weida : L’analyse textuelle est largement utilisée à la FDA, tant pour la recherche que pour l’évaluation. Parmi les techniques employées, la recherche d’informations et la classification de documents jouent un rôle prépondérant dans le processus d’évaluation. Nous avons également étudié la synthèse de texte, la reconnaissance d’entités nommées et l’analyse des sentiments, autant d’outils relevant principalement des sciences réglementaires.
Quelles synergies obtenez-vous en combinant l'analyse de texte et d'autres méthodes d'analyse ?
Adultes : L’intégration d’informations textuelles à d’autres méthodes d’analyse est courante. Le texte est ainsi structuré. Cette intégration contribue à améliorer la précision des modèles d’apprentissage automatique supervisés, notamment pour de nombreux cas d’usage (acquisition et fidélisation de la clientèle, fraude, gestion des risques, etc.). Elle facilite également l’explication des modèles et permet de définir le langage approprié pour la stratégie de marque, la communication, etc. Enfin, elle s’avère utile pour la classification/le regroupement non supervisé : les termes, associés à des données structurées telles que les informations transactionnelles et démographiques, contribuent à la description des groupes.
Jeff : JMP est idéal pour relier directement les résultats de l'analyse textuelle à d'autres variables pertinentes (temps, évaluation client, catégories significatives, etc.) en vue de la modélisation (sélection des termes et analyse discriminante). Les mots-clés et les thèmes pertinents peuvent également alimenter des analyses plus qualitatives menées ultérieurement.
Que pensez-vous de l'approche du sac de mots par rapport aux techniques de traitement automatique du langage naturel (TALN) plus avancées ?
Pour les adultes : L’approche du sac de mots ne tient pas compte du contexte ni de la directionnalité, même si des phrases peuvent y être incluses, ce qui simplifie et accélère l’analyse tout en conservant son utilité. Le traitement automatique du langage naturel (TALN) plus avancé fournit davantage de contexte, bien qu’il nécessite toujours des modèles pré-entraînés et que ce contexte soit beaucoup plus localisé (plus souvent au sein d’une phrase, par exemple). Le TALN plus avancé offre une plus grande automatisation, mais risque de passer à côté des nuances qui apparaissent lorsqu’un data scientist connaît les données en détail. En résumé, chaque technique présente ses avantages et ses inconvénients.
Jeff : Je me répète, mais je dis toujours : « Il faut adapter la technique d'analyse à la question. » Souvent, j'obtiens rapidement des informations pertinentes grâce à des méthodes simples (surtout quand la question est bien définie). On me demande souvent : « On ne sait pas ce qu'on cherche, mais on veut tout savoir sur tout. Est-ce qu'on peut atteindre l'omniscience grâce au traitement automatique du langage naturel ? » :grinning_face_with_sweat: Je les aide soit à préciser leur question, soit à explorer le texte avec l'analyse de classes latentes, l'analyse sémantique latente ou l'analyse des sentiments. L'approche du sac de mots a l'avantage d'être très facile à conceptualiser et à interpréter, et c'est un excellent point de départ. D'après ma modeste expérience, les méthodes comme BERT sont très performantes pour les questions de classification avec des modèles d'apprentissage automatique bien entraînés.
Que signifie évoluer vers une « science réglementaire avancée » ?
Weida : La FDA définit la science réglementaire comme « la science du développement de nouveaux outils, normes et approches pour évaluer la sécurité, l’efficacité, la qualité et la performance des produits réglementés par la FDA ». En un sens, la science réglementaire avancée consiste à utiliser les technologies et méthodologies émergentes pour améliorer le fonctionnement de la FDA.
Comment JMP facilite-t-il votre collaboration avec les autres et avec l'analyse de texte en particulier ?
Adultes : La communauté JMP est une excellente plateforme pour collaborer. L’analyse de texte en fait partie, tout comme le SKP ( portail de connaissances statistiques JMP), qui va bientôt devenir plus actif en matière de contenu et de collaboration autour de l’analyse de texte.
Jeff : Chez P&G, nous avons une très large base d'utilisateurs de JMP, et beaucoup en maîtrisent les bases. Il est facile de partager les résultats d'une analyse JMP et de collaborer avec quelqu'un utilisant Text Explorer. Le partage de scripts et de journaux facilite grandement les choses.
Pensez-vous que nous n'avons fait qu'effleurer le potentiel de toutes les données textuelles que nous collectons ?
Adultes : Récemment, l’analyse de texte et le traitement automatique du langage naturel (TALN) ont fait des progrès considérables, mais le potentiel est loin d’être épuisé. On commence à peine à explorer ces technologies, mais avec des capacités accrues, le texte sera considéré comme une donnée structurée au même titre que les autres. Pour l’instant, l’intervention humaine reste essentielle.
Jeff : Oui, et je pense que la meilleure façon de commencer à comprendre l'analyse des données textuelles est de constituer une culture de personnes familiarisées avec les fondamentaux de ce type de travail.
Que partagez-vous d'autre avec les personnes avec lesquelles vous analysez des données textuelles ?
Jeff : Parfois, j'insiste sur le fait que les techniques d'analyse ne sont pas plus intelligentes que nous. Autrement dit, elles ne peuvent pas interpréter une phrase comme « J'ai arrêté d'utiliser votre produit parce qu'il avait une odeur bizarre » comme un humain. Cette odeur bizarre peut révéler un problème important, être une remarque courante sur ce produit, ou même faire partie d'un changement intentionnel conçu pour être perçu ainsi, voire être une remarque sarcastique et ironique. L'analyse de texte et le TALN doivent toujours être associés à une connaissance du domaine et à une curiosité intellectuelle quant aux questions auxquelles nous cherchons à répondre. On ne peut pas (encore) appuyer sur un bouton et obtenir toutes les réponses (ni même ce que l'on ignore et que l'on pourrait vouloir savoir).
Si vous avez manqué l'événement en direct, vous pouvez le visionner à la demande pour en savoir plus. Outre les questions mentionnées ci-dessus, nous avons reçu de nombreuses autres excellentes questions de la part de notre public. Découvrez-en davantage sur les roues « défectueuses », les odeurs insolites et d'autres informations que vous pourriez tirer des données textuelles que vous avez collectées.
