COMPAÑIA CONFIDENCIAL. NO DIVULGAR.
Eliminar el riesgo de los datos de texto
Sandia National Laboratories organiza JMP Text Explorer para procesar y evaluar datos de gestión de riesgos no estructurados
_____________________________________________________________________________________________
Desafío: Después de ocho años usando una herramienta de gestión de riesgos y problemas que capturaba registros como texto de forma libre, el liderazgo de Sandia se dio cuenta de que debido al formato engorroso de los datos, en realidad se había hecho poco análisis. Al Contractor Assurance Group de la organización se le asignó la tarea de desarrollar una herramienta más eficaz.
Solución: Los analistas confiaron en gran medida en JMP Text Explorer para procesar datos de texto históricos utilizando análisis semántico latente con descomposición de valores singulares.
Resultados: En tres meses, los resultados de este análisis de texto proporcionaron un camino claro a seguir para configurar una nueva herramienta de gestión de riesgos más precisa.
_____________________________________________________________________________________________
Pocas organizaciones abordan el análisis de datos con más rigor que Sandia National Laboratories. Sandia, uno de los tres organismos de investigación y desarrollo de la Administración Nacional de Seguridad Nuclear (NNSA) de EE. UU., Es mantener la confiabilidad de los sistemas de armas nucleares, desarrollar tecnologías de no proliferación y explorar métodos para la eliminación de desechos nucleares.
Con una misión de alto riesgo y un presupuesto acorde, no sorprende que la mitigación de riesgos sea un principio fundamental. Con ese fin, Sandia desarrolló una herramienta de gestión de riesgos y problemas que, en el transcurso de ocho años, permitió a los usuarios de toda la organización crear registros detallados de los casos. El formato de estos registros era texto no estructurado; un medio que, aunque completo en teoría, estaba dando lugar a problemas.
Por ejemplo, no todo el contenido ingresado en el cuadro de comentarios de la herramienta alcanzó el umbral de gravedad para ser clasificado como riesgo o problema. Algunos campos se dejaron en blanco. Los errores ortográficos y gramaticales interfirieron con una interpretación correcta del significado de los usuarios. Y había demasiados comentarios para destilar patrones o tendencias que pudieran apuntar a una percepción significativa.
Para 2019, estaba claro que a pesar de la riqueza del archivo de datos, se estaba analizando poco de su contenido, y aún menos se estaba actuando en consecuencia. Entonces, el liderazgo de Sandia anunció una revisión del sistema.
Esta gigantesca tarea fue asignada al Contractor Assurance Group de Sandia, donde la analista de cumplimiento Yvonne Petrova y la científica informática Scarlett Marklin la asumieron a tiempo completo. Había mucho en juego; dado que la herramienta existente ya no cumplía con un nuevo mandato organizacional, Sandia corría el riesgo de perder la financiación del proyecto. " El Departamento de Energía introdujo nuevos requisitos de datos ”, explica Marklin. "Si no revisamos la herramienta de inmediato, terminaríamos perdiendo presupuesto".
El problema con el texto
Primero, la pareja se propuso comprender las fallas de la herramienta existente para identificar un conjunto de aclaraciones y pautas que podrían usarse para configurar un nuevo enfoque. "[Observamos que] los usuarios pueden escribir cinco palabras o pueden escribir Guerra y paz [en el campo de comentarios de la herramienta]! " bromea Petrova. “Pueden referirse a documentos, sin indicación de dónde residían esos documentos. No fue bueno ".
“Nadie analizó la parte de texto de los datos porque era muy variada y desordenada”, agrega Marklin. “La gente no va a ver 100.000 filas de texto en Excel. Estábamos capturando la información, pero no estábamos haciendo nada con ella ". Para descubrir información procesable de este pantano, necesitarían encontrar un software que les permitiera aplicar un conjunto de principios analíticos sistemáticos a los datos no estructurados.
Fue entonces cuando uno de sus colegas les mostró JMP. “¡Yo era como una vaca sagrada! Podría hacer mucho con él debido a la visualización y la interactividad ”, recuerda Marklin. "No había usado JMP antes, pero pensé que era mejor ahora que nunca". Y así, la pareja comenzó a preprocesar las resmas de texto archivadas por la herramienta de gestión de riesgos, utilizando JMP para ayudar a estructurar los datos no estructurados.
“El preprocesamiento del texto es [normalmente] desordenado, feo y difícil”, explica Marklin. “Tienes que saber lo que estás buscando desde el principio. Y sin poder ver los datos, es muy, muy difícil anticipar las preguntas que puedan surgir. Pero con JMP, el preprocesamiento fue fácil ".
Esa simplificación es por diseño; la plataforma JMP Text Explorer permite a los usuarios combinar palabras similares, recodificar términos mal especificados, realizar análisis semánticos latentes y utilizar la descomposición de valores singulares (SVD) para agrupar documentos similares en temas o grupos. En un conjunto de datos masivo y variado basado en texto, estas herramientas fueron cruciales. Dice Marklin: "JMP tiene muchas herramientas diferentes integradas en la plataforma Text Explorer que le permiten profundizar con los datos de formas que ni siquiera R puede".
Un enfrentamiento entre JMP y R es una prueba de concepto
Tanto Petrova como Marklin son usuarios desde hace mucho tiempo de los lenguajes de programación de código abierto R y Python. Sin embargo, a pesar de su competencia con estas plataformas, la pareja vio el valor de evaluar una nueva herramienta como JMP que podría reducir el tiempo de análisis a través de funcionalidades integradas. "JMP nos permitió aprender más sobre los datos mucho más rápido", explica Marklin, citando la capacidad de examinar 8.000 filas de datos para identificar tres indicadores clave que fueron fundamentales para que el equipo los incorpore en una nueva herramienta de riesgos y problemas. Este descubrimiento, que la pareja hizo usando JMP, se habría pasado por alto si solo hubieran usado R. Ahora, dice, estos indicadores están teniendo un gran impacto.
De hecho, los dos estiman que un gran énfasis en el uso de expresiones regulares en JMP redujo el tiempo de preprocesamiento de datos a la mitad y mejoró la calidad de los resultados en general. Al usar expresiones regulares como parte del análisis de sentimientos, pudieron ver dónde no se tomaron acciones correctivas, dónde se tomaron medidas pero no hubo diferencia y dónde las acciones generaron mejoras.
Con el aporte de expertos en la materia, Petrova y Marklin pudieron juzgar la precisión de sus categorizaciones, mostrando brechas e inconsistencias con los datos capturados por la herramienta original. Además, los resultados de su estudio, que de principio a fin tomaron menos de tres meses, proporcionaron un plan esencial para un mejor sistema de captura de datos en el futuro. Al final, el liderazgo de Sandia no solo incorporó todas las recomendaciones de Petrova y Marklin, sino que utilizaron los problemas revelados por el análisis de texto del equipo para configurar un nuevo sistema.
Una ventaja adicional, explica Marklin, fue que todo el proyecto se convirtió en una prueba de concepto al evaluar la necesidad de licencias JMP en Sandia, donde muchos han utilizado tradicionalmente alternativas de código abierto. Pero descubrieron que JMP reducía el tiempo de análisis y agregaba valor real, particularmente en su capacidad para procesar rápidamente datos no estructurados. Dicho esto, explica Petrova, siempre será valioso mantener la experiencia en R y Python como una medida de verificación de calidad dentro del departamento. “Cuando estamos haciendo algo en JMP, también tenemos un cheque. ¿Puede mi colega hacer esto en R? Entonces asegurémonos de obtener la misma respuesta ".
Mientras tanto, sin embargo, los dos continuarán usando JMP. Petrova agrega, “dado que tenemos licencias JMP, las usamos para casi todos nuestros proyectos. JMP los está tocando a todos de una forma u otra ".
'Un continuo de fluidos sobre la marcha en tiempo real'
Más allá de su función de evaluar los sistemas internos, Petrova y Marklin brindan apoyo analítico a los colegas de Sandia, algunos de los cuales no están tan versados en métodos estadísticos. Pero, dice Marklin, “JMP nos permite mostrar a las personas lo coherente y valioso que puede ser el análisis y cómo pueden visualizar los resultados. Cuando ve los datos en JMP, es en tiempo real, es sobre la marcha, es un continuo fluido. Y es súper eficiente ". Además, las visualizaciones en JMP, agrega Petrova, son "realmente sólidas y facilitan que las personas comprendan lo que están viendo".
Los propios Petrova y Marklin no tienen que buscar demasiado para encontrar razones para implementar un enfoque estadístico. En un caso, Marklin explica que el proyecto de análisis de texto de un colega se había ejecutado durante tres años sin resultados significativos. El equipo había llegado al final de su financiamiento pero, agrega, “nos lo dieron, y con JMP, en menos de tres meses obtuvimos los resultados que necesitábamos”.
