RISERVATO AZIENDALE. NON DIVULGARE.
Rimozione del rischio dai dati di testo
I Sandia National Laboratories schierano JMP Text Explorer per elaborare e valutare i dati di gestione del rischio non strutturati
_______________________________________________________________________________________________________________
Sfida: Dopo otto anni di utilizzo di uno strumento di gestione dei rischi e dei problemi che catturava i record come testo in formato libero, la dirigenza di Sandia si rese conto che, a causa del formato ingombrante dei dati, era stata effettivamente eseguita poca analisi. Il Contractor Assurance Group dell'organizzazione è stato incaricato di sviluppare uno strumento più efficace.
Soluzione: Gli analisti si sono affidati molto a JMP Text Explorer per elaborare i dati di testo cronologici utilizzando l'analisi semantica latente con scomposizione del valore singolare.
Risultati: Entro tre mesi, i risultati di questa analisi del testo hanno fornito un chiaro percorso per configurare un nuovo strumento di gestione del rischio più accurato.
_______________________________________________________________________________________________________________
Poche organizzazioni affrontano l'analisi dei dati con più rigore dei Sandia National Laboratories. Sandia, uno dei tre organismi di ricerca e sviluppo della National Nuclear Security Administration (NNSA) degli Stati Uniti, ha il compito di mantenere l'affidabilità dei sistemi di armi nucleari, sviluppare tecnologie di non proliferazione ed esplorare metodi per lo smaltimento delle scorie nucleari.
Con una missione ad alto rischio e un budget da abbinare, non sorprende che la mitigazione del rischio sia un principio fondamentale. A tal fine, Sandia ha sviluppato uno strumento di gestione dei rischi e dei problemi che, nel corso di otto anni, ha consentito agli utenti di tutta l'organizzazione di creare registrazioni dettagliate degli eventi. Il formato di questi record era testo non strutturato; un mezzo che, anche se in teoria completo, portava a problemi.
Ad esempio, non tutti i contenuti inseriti nella casella dei commenti dello strumento hanno soddisfatto la soglia di gravità per essere classificati come un rischio o un problema. Alcuni campi sono stati lasciati vuoti. Errori ortografici e grammaticali hanno interferito con una corretta interpretazione del significato degli utenti. E c'erano troppi commenti da distillare in modelli o tendenze che potrebbero indicare intuizioni significative.
Entro il 2019, era chiaro che, nonostante la ricchezza dell'archivio dati, poco del suo contenuto veniva analizzato e ancor meno si agiva. Quindi la leadership di Sandia ha annunciato una revisione del sistema.
Questo enorme compito è stato assegnato al Contractor Assurance Group di Sandia, dove l'analista di conformità Yvonne Petrova e l'informatica Scarlett Marklin lo hanno assunto a tempo pieno. La posta in gioco era alta; poiché lo strumento esistente non rispettava più un nuovo mandato organizzativo, Sandia rischiava di perdere il finanziamento del progetto. “ Il Dipartimento dell'Energia ha introdotto nuovi requisiti per i dati", spiega Marklin. "Se non revisionassimo immediatamente lo strumento, finiremmo per perdere budget."
Il problema con il testo
La coppia ha iniziato a comprendere i difetti dello strumento esistente in modo da identificare una serie di chiarimenti e linee guida che potrebbero essere utilizzati per configurare un nuovo approccio. "[Stavamo vedendo che] gli utenti potrebbero scrivere cinque parole o potrebbero scrivere Guerra e Pace [nel campo dei commenti dello strumento]!” scherza Petrova. “Potrebbero fare riferimento a documenti, senza alcuna indicazione di dove risiedessero quei documenti. Non andava bene".
"Nessuno ha mai analizzato la parte testuale dei dati perché era così varia e disordinata", aggiunge Marklin. “Le persone non esamineranno 100.000 righe di testo in Excel. Stavamo catturando le informazioni, ma non ci stavamo facendo nulla". Per scoprire informazioni fruibili da questa palude, avrebbero bisogno di trovare un software che possa consentire loro di applicare una serie di principi sistematici e analitici a dati non strutturati.
Fu allora che uno dei loro colleghi mostrò loro JMP. “Ero come una vacca sacra! Potrei fare così tanto grazie alla visualizzazione e all'interattività", ricorda Marklin. "Non avevo mai usato JMP prima, ma ho pensato che fosse meglio ora che mai." E così la coppia ha iniziato a pre-elaborare le risme di testo archiviate dallo strumento di gestione del rischio, utilizzando JMP per contribuire a dare struttura ai dati non strutturati.
"La pre-elaborazione del testo è [di solito] disordinata, brutta e difficile", spiega Marklin. “Devi sapere cosa stai cercando all'inizio. E senza essere in grado di vedere i dati, è davvero, davvero difficile anticipare le domande che potrebbero emergere. Ma con JMP, la pre-elaborazione è stata facile".
Tale semplificazione è di progettazione; la piattaforma JMP Text Explorer consente agli utenti di combinare parole simili, ricodificare termini errati, eseguire analisi semantiche latenti e utilizzare la decomposizione del valore singolare (SVD) per raggruppare documenti simili in argomenti o cluster. In un vasto e variegato set di dati basato su testo, questi strumenti erano cruciali. Dice Marklin: "JMP ha molti strumenti diversi integrati nella piattaforma Text Explorer che ti consentono di approfondire i dati in modi che nemmeno R può fare."
Un confronto tra JMP e R è una prova del concetto
Sia Petrova che Marklin sono utenti di lunga data dei linguaggi di programmazione open source R e Python. Nonostante la loro competenza con queste piattaforme, tuttavia, la coppia ha visto il valore nella valutazione di un nuovo strumento come JMP che potrebbe ridurre i tempi di analisi attraverso funzionalità integrate. "JMP ci ha permesso di apprendere di più sui dati molto più velocemente", spiega Marklin, citando la capacità di setacciare 8.000 righe di dati per identificare tre indicatori chiave che erano fondamentali per il team da incorporare in un nuovo strumento di rischio e problemi. Questa scoperta, che la coppia ha fatto usando JMP, sarebbe stata trascurata se avessero usato solo R. Ora, dice, questi indicatori stanno avendo un grande impatto.
In effetti, i due stimano che una forte enfasi sull'uso delle espressioni regolari in JMP ha dimezzato il tempo di pre-elaborazione dei dati e ha migliorato la qualità dei risultati complessivi. Utilizzando le espressioni regolari come parte dell'analisi del sentiment, hanno potuto vedere dove non sono state intraprese azioni correttive, dove sono state prese misure ma non hanno fatto alcuna differenza e dove le azioni hanno portato miglioramenti.
Con il contributo di esperti in materia, Petrova e Marklin sono stati in grado di giudicare l'accuratezza delle loro categorizzazioni, mostrando lacune e incongruenze con i dati acquisiti dallo strumento originale. Inoltre, i risultati del loro studio, che hanno richiesto meno di tre mesi dall'inizio alla fine, hanno fornito un modello essenziale per un migliore sistema di acquisizione dati in futuro. Alla fine, la leadership di Sandia non solo ha incorporato tutte le raccomandazioni di Petrova e Marklin, ma ha utilizzato i problemi rivelati dall'analisi del testo del team per configurare un nuovo sistema.
Un ulteriore vantaggio, spiega Marklin, è stato che l'intero progetto è diventato una prova di concetto nel valutare la necessità di licenze JMP a Sandia, dove molti hanno tradizionalmente utilizzato alternative open source. Ma hanno scoperto che JMP ha ridotto i tempi di analisi e ha aggiunto valore reale, in particolare nella sua capacità di elaborare rapidamente dati non strutturati. Detto questo, spiega Petrova, sarà sempre utile mantenere le competenze in R e Python come misura di verifica della qualità all'interno del dipartimento. “Quando facciamo qualcosa in JMP, abbiamo anche un assegno. Il mio collega può farlo in R? Allora assicuriamoci di ottenere la stessa risposta".
Nel frattempo, però, i due continueranno a utilizzare JMP. Aggiunge Petrova, “poiché abbiamo licenze JMP, le utilizziamo per quasi tutti i nostri progetti. JMP li sta toccando tutti in un modo o nell'altro".
"Un continuum fluido in tempo reale e al volo"
Oltre al loro ruolo di valutazione dei sistemi interni, Petrova e Marklin, forniscono supporto analitico ai colleghi di Sandia, alcuni dei quali non sono esperti in metodi statistici. Ma, dice Marklin, “JMP ci consente di mostrare alle persone quanto può essere coerente e preziosa l'analisi e come possono visualizzare i risultati. Quando vedi i dati in JMP, sono in tempo reale, al volo, sono un continuum fluido. Ed è super efficiente". Inoltre, le visualizzazioni in JMP, aggiunge Petrova, sono "davvero potenti e rendono facile per le persone capire cosa stanno guardando".
Petrova e Marklin stessi non devono cercare troppo a lungo per trovare ragioni per implementare un approccio statistico. In un caso, Marklin spiega che il progetto di analisi del testo di un collega è andato avanti per tre anni senza risultati significativi. Il team aveva raggiunto la fine del suo finanziamento ma, aggiunge, "ce lo hanno dato e con JMP, in meno di tre mesi abbiamo avuto i risultati di cui avevamo bisogno".
