Nous étions très heureux de présenter Manya Mayes, experte en traitement du langage naturel (NLP) et responsable de la science des données chez 1440 Consulting, en tant qu'oratrice plénière de notre premier Statistiquement parlant sur l'analyse de texte . Nous avons également été ravis de l'accueillir en tant que panéliste avec deux autres praticiens avertis de l'analyse de texte : Weida Tong, directrice de la bioinformatique et de la biostatistique à la Food and Drug Administration ; et Jeff Swartzel, scientifique chez Procter & Gamble.
L'expertise pratique que ces experts à l'esprit statistique transmettent et les exemples intéressants qu'ils partagent sont inspirants. Nous avions tellement de questions pour le panel pendant la diffusion en direct que nous ne pouvions pas toutes les répondre. Nos invités vedettes ont gentiment accepté d'y répondre via cet article de blog.
Comment mesurer et démontrer le retour sur investissement de l'analyse de texte ?
Manya : Comme vous l'aviez prévu, mesurer le retour sur investissement pour l'analyse de texte n'est pas toujours facile. Lors de l'identification d'un avertissement précoce d'un problème de produit, il peut ne jamais être possible d'identifier le véritable retour sur investissement d'un problème qui est résolu avant qu'il ne devienne un problème de pneu Ford Explorer/Firestone (qui a eu un coût estimé de 7,5 G$ ) ou le problème d'accélération soudaine de Toyota (qui a entraîné 1,2 milliard de dollars de pénalités du ministère de la Justice et 2 milliards de dollars en frais de rappel ). Si les deux entreprises avaient pris des mesures sur les résultats d'analyse de texte (qui étaient faciles à trouver en utilisant les données de la National Highway Traffic Safety Administration [NHTSA] et de bonnes capacités d'analyse de texte), elles n'auraient peut-être jamais vraiment su combien elles avaient économisé. L'utilisation de l'analyse de texte dans un modèle de prédiction étiqueté et supervisé permet de valider le retour sur investissement, mais ce n'est pas toujours possible. De plus, pour l'analyse des données qui éclairent les futures décisions et stratégies commerciales de l'entreprise, il est possible de mesurer le rendement par dollar investi via une analyse de motivation/sensibilité.
Jeff : C'est délicat, et j'ai souvent du mal avec cette question parce que l'impact peut être incohérent. Parfois, un travail très rapide et facile donne des informations précieuses, tandis que d'autres fois, une analyse très exigeante peut donner des résultats qui ont moins d'impact. Les éléments sur lesquels je me concentre généralement en tant que valeur de l'analyse de texte sont : 1) le temps gagné, 2) la capacité d'intervenir avant les problèmes, 3) le caractère unique d'informations qui n'auraient peut-être pas été possibles sans la technique, et 4) une capacité accrue se concentrer sur des sujets importants.
Comment le tracé à l'écran (Whumpy wheel vs. time) a-t-il été généré à partir de la fenêtre Text Explorer ?
Manya : En utilisant Text Explorer sur l'échantillon de plaintes concernant les véhicules électriques, j'ai supprimé un ensemble de termes à faible information en les ajoutant à la liste d'arrêt, puis j'ai supprimé les termes qui apparaissaient une ou deux fois, et j'ai suivi cela d'une analyse de classe latente. Les résultats de l'analyse des classes latentes (en JMP Pro ) incluent une fenêtre Probabilités de cluster par ligne. Dans cette fenêtre, il affiche le cluster le plus probable pour chaque document. Il est possible de faire un clic droit sur Make Into Data Table. La fenêtre suivante contient les résultats sous la forme d'un tableau de données qui peut ensuite être réintégré dans l'échantillon d'origine des réclamations relatives aux véhicules en sélectionnant Tableaux > Rejoindre, puis en joignant ces résultats aux données d'origine, en les comparant par numéro de ligne. J'ai sélectionné uniquement les lignes pour le cluster de roues whopy. Les données d'origine ont un champ de date d'échec qui peut ensuite être tracé à l'aide de Graph > Graph Builder. Dans Graph Builder, j'ai utilisé un histogramme, avec faildate comme variable X et l'échelle de réponse définie sur Count. Le reste était principalement des cosmétiques, où j'ai changé la couleur en cliquant sur la variable faildate dans la légende (voir l'image ci-jointe pour plus de détails). Pour obtenir les informations par modèle, j'ai fait glisser et déposé la variable de modèle de véhicule sur la partie Groupe X du graphique et j'ai utilisé le modèle de véhicule comme variable de couleur.
Pourquoi les scores des sentiments négatifs sont-ils inférieurs aux sentiments positifs (98 v. 100) ?
Manya : Les scores de sentiment varient entre -100 et 100. Il m'est arrivé de choisir des termes négatifs avec des scores de -98 et des termes positifs avec des scores de 100.
Ces images montrent que, dans l'ensemble, il y avait plus de documents positifs que négatifs. Les scores montrent le sentiment calculé sur l'ensemble du document (examen), de sorte qu'un document peut avoir un score global positif, même s'il comporte des parties négatives et des parties positives.
L'analyse de texte pour le processus d'examen de la FDA est-elle davantage utilisée pour cibler les efforts d'examen, ou est-elle complémentaire à la lecture de documents ?
Weida : L'analyse de texte a été largement utilisée par la FDA, y compris la recherche et l'examen. Parmi eux, la recherche d'informations et la classification des documents ont une forte présence dans le processus de révision. En outre, nous avons également étudié la synthèse de texte, la reconnaissance d'entités nommées et l'analyse des sentiments, dont la plupart est une entreprise réglementaire centrée sur la science.
Quelles synergies obtenez-vous avec l'analyse de texte et d'autres méthodes d'analyse ?
Manya : La combinaison d'informations textuelles dans d'autres méthodes d'analyse est courante. Le texte est essentiellement donné une représentation structurée. L'incorporation du texte désormais structuré peut aider à augmenter la précision du modèle pour les modèles supervisés par apprentissage automatique lorsqu'elle est appliquée à une multitude de cas d'utilisation (acquisition de clients, rétention, fraude, risque, etc.). Cela peut également aider à expliquer le modèle et peut indiquer le bon langage à utiliser pour l'image de marque, la messagerie, etc. Cela peut également aider avec la classification/le regroupement non supervisé, où les termes, en conjonction avec des données structurées telles que les informations transactionnelles et démographiques, peuvent aider à décrire les clusters.
Jeff : JMP est idéal pour connecter directement la sortie de l'analyse de texte à d'autres variables pertinentes (temps, évaluation du client, catégories significatives, etc.) pour la modélisation (sélection de termes et analyse discriminante). Des mots-clés et des sujets pertinents peuvent également éclairer des analyses plus qualitatives ailleurs.
Que pensez-vous de l'approche du sac de mots par rapport à la PNL plus avancée ?
Manya : L'approche du sac de mots ne prend pas en compte le contexte ou la directionnalité, bien que des phrases puissent être incluses, ce qui rend l'analyse plus simple et plus rapide, tout en apportant de la valeur. La PNL plus avancée fournit plus de contexte, bien qu'elle nécessite toujours des modèles pré-entraînés et que le contexte puisse être beaucoup plus localisé (plus susceptible d'être dans une phrase, par exemple). La PNL plus avancée offre une plus grande automatisation, mais manque potentiellement les nuances impliquées lorsqu'un data scientist apprend à connaître les données en détail. Essentiellement, les deux techniques ont leurs avantages et leurs inconvénients.
Jeff : J'ai l'air d'un disque rayé, mais je dis toujours : « Connectez la technique d'analyse à la question ». Souvent, je suis en mesure d'obtenir des informations rapides et utiles avec des méthodes de base (surtout lorsque la question est clairement définie). Les gens viendront me voir et me demanderont quelque chose du genre : « Nous ne savons pas ce que nous recherchons, mais nous voulons tout savoir sur tout. Pouvons-nous la PNL notre chemin vers l'omniscience ? » :grinning_face_with_sweat: Je vais soit les aider à se concentrer sur la définition des questions, soit commencer à explorer le texte avec une analyse de classe latente, une analyse sémantique latente ou une analyse des sentiments. De plus, l'approche du sac de mots a l'avantage d'être très facilement conceptualisée et interprétable, et c'est un excellent point de départ. D'après mon expérience limitée, des méthodes telles que BERT sont idéales pour les questions de classification avec des modèles d'apprentissage automatique bien entraînés.
Que signifie s'orienter vers une « science réglementaire avancée » ?
Weida : La FDA définit la science réglementaire comme « la science du développement de nouveaux outils, normes et approches pour évaluer la sécurité, l'efficacité, la qualité et la performance des produits réglementés par la FDA ». Dans un sens, la science réglementaire avancée signifie utiliser des technologies et des méthodologies émergentes pour améliorer le fonctionnement de la FDA.
Comment JMP facilite-t-il votre collaboration avec les autres et avec l'analyse de texte en particulier ?
Manya : La communauté JMP est une excellente plate-forme pour collaborer avec d'autres. L'analyse de texte fait partie de la communauté JMP, ainsi que de SKP (le JMP Portail de connaissances statistiques ), qui est sur le point de devenir plus actif avec le contenu d'analyse de texte et la collaboration.
Jeff : Chez P&G, nous avons une très large base d'utilisateurs JMP, et de nombreuses personnes connaissent les bases. Il est facile de partager le résultat d'une analyse JMP et d'avoir une session de travail avec quelqu'un utilisant Text Explorer. Le partage de scripts et de journaux le rend très facile.
Pensez-vous que nous venons de gratter la surface de ce qui peut être fait avec toutes les données textuelles que nous collectons ?
Manya : Récemment, l'analyse de texte et la PNL ont fait d'énormes progrès dans les capacités, mais il reste encore beaucoup à venir. Il y a une bonne rayure dans la surface, mais avec des capacités supplémentaires, le texte ne sera pas considéré différemment des données structurées. Pour l'instant, l'élément humain est toujours très précieux.
Jeff : Oui, et je pense que construire une culture de personnes familiarisées avec les principes fondamentaux de ce type de travail est le meilleur point de départ pour comprendre l'analyse des données textuelles.
Que partagez-vous d'autre avec les personnes avec lesquelles vous analysez des données textuelles ?
Jeff : Parfois, je me ferai un devoir de leur rappeler que ce n'est pas plus intelligent que nous, ce qui signifie que les techniques d'analyse ne pourront pas regarder une phrase comme "J'ai arrêté d'utiliser votre produit parce qu'il sentait drôle" et le comprendre sur un niveau humain. L'odeur amusante peut être une indication d'un gros problème, ou quelque chose que les gens disent généralement à propos de ce produit, ou même une partie d'un changement intentionnel qui a été perçu de cette façon, ou même quelque chose de sarcastique et d'ironique. L'analyse de texte et la PNL doivent toujours être associées à une connaissance du domaine et à une curiosité autour des questions auxquelles nous voulons répondre. Nous ne pouvons pas (encore) appuyer sur un bouton et savoir tout ce que nous voulons savoir (et même ce que nous ne savons pas que nous pourrions vouloir savoir).
Si vous avez manqué l'événement en direct, vous pouvez le regarder à la demande pour plus d'idées. En plus des questions ci-dessus, nous avons eu beaucoup d'autres excellentes questions de notre auditoire. Apprenez-en plus sur les roues « grossières », les odeurs amusantes et d'autres informations que vous pourriez tirer de certaines des données textuelles que vous avez collectées.
