CONFIDENTIEL DE L'ENTREPRISE. NE PAS DIVULGUER.
Supprimer le risque des données textuelles
Sandia National Laboratories demande à JMP Text Explorer de traiter et d'évaluer les données de gestion des risques non structurées
_______________________________________________________________________________________________
Défi: Après huit ans d'utilisation d'un outil de gestion des risques et des problèmes qui capturait les enregistrements sous forme de texte libre, la direction de Sandia s'est rendu compte qu'en raison de la lourdeur du format des données, peu d'analyses avaient été effectuées. Le groupe d'assurance des entrepreneurs de l'organisation a été chargé de développer un outil plus efficace.
Solution: Les analystes se sont fortement appuyés sur JMP Text Explorer pour traiter les données textuelles historiques à l'aide d'une analyse sémantique latente avec décomposition en valeurs singulières.
Résultats: En trois mois, les résultats de cette analyse de texte ont fourni une voie claire pour configurer un nouvel outil de gestion des risques plus précis.
_______________________________________________________________________________________________
Peu d'organisations abordent l'analyse de données avec plus de rigueur que Sandia National Laboratories. L'un des trois organismes de recherche et développement de la National Nuclear Security Administration (NNSA) des États-Unis, le mandat de Sandia est de maintenir la fiabilité des systèmes d'armes nucléaires, de développer des technologies de non-prolifération et d'explorer des méthodes d'élimination des déchets nucléaires.
Avec une mission à enjeux élevés et un budget correspondant, il n'est pas surprenant que l'atténuation des risques soit un principe fondamental. À cette fin, Sandia a développé un outil de gestion des risques et des problèmes qui, sur une période de huit ans, a permis aux utilisateurs de toute l'organisation de créer des enregistrements détaillés des événements. Le format de ces enregistrements était du texte non structuré; un média qui, bien que complet en théorie, entraînait des problèmes.
Par exemple, tout le contenu saisi dans la zone de commentaires de l'outil n'a pas atteint le seuil de gravité pour être classé comme un risque ou un problème. Certains champs sont restés vides. Les fautes d'orthographe et de grammaire interféraient avec une interprétation correcte du sens des utilisateurs. Et il y avait tout simplement trop de commentaires à distiller en modèles ou tendances qui pourraient pointer vers un aperçu significatif.
En 2019, il était clair que malgré la richesse des archives de données, peu de son contenu était analysé – et encore moins était mis en œuvre. La direction de Sandia a donc annoncé une refonte du système.
Cette tâche colossale a été confiée au groupe d'assurance des entrepreneurs de Sandia, où l'analyste de la conformité Yvonne Petrova et l'informaticienne Scarlett Marklin se sont occupées à temps plein. Les enjeux étaient élevés ; l'outil existant n'étant plus conforme à un nouveau mandat organisationnel, Sandia risquait de perdre le financement du projet. " Le ministère de l'Énergie a introduit de nouvelles exigences en matière de données », explique Marklin. « Si nous ne révisions pas l'outil immédiatement, nous finirions par perdre du budget.
Le problème avec le texte
Le binôme s'est d'abord attaché à comprendre les failles de l'outil existant afin d'identifier un ensemble de clarifications et de lignes directrices qui pourraient être utilisées pour configurer une nouvelle approche. "[Nous voyions que] les utilisateurs pouvaient écrire cinq mots, ou ils pouvaient écrire Guerre et Paix [dans le champ de commentaire de l'outil] ! » plaisante Petrova. «Ils pourraient faire référence à des documents, sans aucune indication de l'endroit où ces documents résidaient. Ce n'était pas bon.
"Personne n'a jamais analysé la partie textuelle des données parce qu'elle était si variée et désordonnée", ajoute Marklin. « Les gens ne vont pas parcourir 100 000 lignes de texte dans Excel. Nous capturions les informations, mais nous n'en faisions rien. Pour découvrir des informations exploitables dans ce bourbier, ils auraient besoin de trouver un logiciel qui leur permettrait d'appliquer un ensemble de principes analytiques systématiques à des données non structurées.
C'est alors qu'un de leurs collègues leur a montré JMP. « J'étais comme une vache sacrée ! Je pouvais faire tellement de choses avec grâce à la visualisation et à l'interactivité », se souvient Marklin. « Je n'avais jamais utilisé JMP auparavant, mais je me disais mieux maintenant que jamais. » Le duo a donc commencé à prétraiter les rames de texte archivés par l'outil de gestion des risques, en utilisant JMP pour aider à structurer les données non structurées.
« Le prétraitement du texte est [généralement] désordonné, laid et difficile », explique Marklin. « Vous devez savoir ce que vous recherchez dès le début. Et sans pouvoir voir les données, il est vraiment, vraiment difficile d'anticiper les questions qui peuvent en découler. Mais avec JMP, le prétraitement était simple.
Cette simplification est intentionnelle ; la plate-forme JMP Text Explorer permet aux utilisateurs de combiner des mots similaires, de recoder des termes mal spécifiés, d'effectuer une analyse sémantique latente et d'utiliser la décomposition en valeurs singulières (SVD) pour regrouper des documents similaires en rubriques ou en groupes. Dans un ensemble de données textuel massif et varié, ces outils étaient cruciaux. Dit Marklin : « JMP dispose de nombreux outils différents intégrés à la plate-forme Text Explorer qui vous permettent d'approfondir les données d'une manière que même R ne peut pas.
Un face-à-face JMP vs R est une preuve de concept
Petrova et Marklin sont tous deux des utilisateurs de longue date des langages de programmation open source R et Python. Malgré leur maîtrise de ces plates-formes, le duo a toutefois jugé utile d'évaluer un nouvel outil tel que JMP, qui pourrait réduire le temps d'analyse grâce à des fonctionnalités intégrées. « JMP nous a permis d'en savoir plus sur les données beaucoup plus rapidement », explique Marklin, citant la capacité de passer au crible 8 000 lignes de données pour identifier trois indicateurs clés qu'il était essentiel pour l'équipe d'intégrer dans un nouvel outil de gestion des risques et des problèmes. Cette découverte, que le couple a faite avec JMP, aurait été ignorée s'ils n'avaient utilisé que R. Maintenant, dit-elle, ces indicateurs ont un grand impact.
En fait, les deux estiment que l'accent mis sur l'utilisation d'expressions régulières dans JMP a réduit de moitié le temps de prétraitement des données et amélioré la qualité des résultats dans l'ensemble. En utilisant des expressions régulières dans le cadre de l'analyse des sentiments, ils pouvaient voir où aucune action corrective n'avait été prise, où des mesures avaient été prises mais n'avaient fait aucune différence et où les actions conduisaient à des améliorations.
Avec la contribution d'experts en la matière, Petrova et Marklin ont pu juger de l'exactitude de leurs catégorisations, montrant les lacunes et les incohérences avec les données capturées par l'outil d'origine. De plus, les résultats de leur étude – qui a duré moins de trois mois du début à la fin – ont fourni un modèle essentiel pour un meilleur système de capture de données à l'avenir. En fin de compte, la direction de Sandia a non seulement intégré toutes les recommandations de Petrova et Marklin, mais a utilisé les problèmes révélés par l'analyse de texte de l'équipe pour configurer un nouveau système.
Un bonus supplémentaire, explique Marklin, était que l'ensemble du projet est devenu une preuve de concept en évaluant le besoin de licences JMP chez Sandia, où beaucoup ont traditionnellement utilisé des alternatives open source. Mais ils ont découvert que JMP réduisait le temps d'analyse et apportait une réelle valeur ajoutée, notamment dans sa capacité à traiter rapidement des données non structurées. Cela étant dit, explique Petrova, il sera toujours utile de maintenir une expertise en R et Python en tant que mesure de vérification de la qualité au sein du département. « Lorsque nous faisons quelque chose dans JMP, nous avons aussi un chèque. Mon collègue peut-il le faire en R ? Ensuite, assurons-nous d'obtenir la même réponse.
En attendant, cependant, les deux continueront à utiliser JMP. Petrova ajoute, « puisque nous avons des licences JMP, nous les utilisons pour presque tous nos projets. JMP les touche tous d'une manière ou d'une autre.
« Un continuum fluide en temps réel et à la volée »
Au-delà de leur rôle d'évaluation des systèmes internes, Petrova et Marklin, fournissent un soutien analytique aux collègues de Sandia - dont certains ne sont pas aussi versés dans les méthodes statistiques. Mais, dit Marklin, « JMP nous permet de montrer aux gens à quel point l'analyse peut être cohérente et précieuse, et comment ils peuvent visualiser les résultats. Lorsque vous voyez les données dans JMP, elles sont en temps réel, à la volée, c'est un continuum fluide. Et c'est super efficace. De plus, les visualisations dans JMP, ajoute Petrova, sont « vraiment puissantes et permettent aux utilisateurs de comprendre facilement ce qu'ils regardent ».
Petrova et Marklin eux-mêmes n'ont pas à chercher trop loin pour trouver des raisons de déployer une approche statistique. Dans un cas, Marklin explique que le projet d'analyse de texte d'un collègue a duré trois ans sans résultats significatifs. L'équipe était arrivée au terme de son financement mais, ajoute-t-elle, "ils nous l'ont donné, et avec JMP, en moins de trois mois nous avons eu les résultats dont nous avions besoin".
