FIRMENVERTRAULICH. NICHT OFFENBAREN.
Das Risiko von Textdaten entfernen
Sandia National Laboratories beauftragt JMP Text Explorer, um unstrukturierte Risikomanagementdaten zu verarbeiten und auszuwerten
________________________________________________________________________________________________
Herausforderung: Nach acht Jahren mit einem Risiko-und-Problem-Management-Tool, das Datensätze als Freiform-Text erfasste, erkannte die Führung von Sandia, dass aufgrund des umständlichen Formats der Daten tatsächlich nur wenige Analysen durchgeführt worden waren. Die Contractor Assurance Group der Organisation wurde mit der Entwicklung eines effektiveren Tools beauftragt.
Lösung: Analysten verließen sich stark auf JMP Text Explorer, um historische Textdaten mithilfe latenter semantischer Analyse mit Singulärwertzerlegung zu verarbeiten.
Ergebnisse: Innerhalb von drei Monaten lieferten die Ergebnisse dieser Textanalyse einen klaren Weg nach vorne, um ein neues, genaueres Risikomanagement-Tool zu konfigurieren.
________________________________________________________________________________________________
Nur wenige Unternehmen gehen Datenanalysen strenger an als die Sandia National Laboratories. Als eine von drei Forschungs- und Entwicklungseinrichtungen der US-amerikanischen National Nuclear Security Administration (NNSA) hat Sandia den Auftrag, die Zuverlässigkeit von Nuklearwaffensystemen aufrechtzuerhalten, Nichtverbreitungstechnologien zu entwickeln und Methoden zur Entsorgung nuklearen Abfalls zu erforschen.
Bei einer Mission mit hohem Einsatz und entsprechendem Budget ist es keine Überraschung, dass die Risikominderung ein zentraler Grundsatz ist. Zu diesem Zweck hat Sandia ein Tool zum Management von Risiken und Problemen entwickelt, das es Benutzern im gesamten Unternehmen über einen Zeitraum von acht Jahren ermöglichte, detaillierte Aufzeichnungen über Ereignisse zu erstellen. Das Format dieser Datensätze war unstrukturierter Text; ein Medium, das zwar theoretisch umfassend war, aber zu Problemen führte.
Beispielsweise erfüllten nicht alle Inhalte, die in das Kommentarfeld des Tools eingegeben wurden, den Schweregrad, um überhaupt als Risiko oder Problem eingestuft zu werden. Einige Felder wurden leer gelassen. Rechtschreib- und Grammatikfehler beeinträchtigten eine korrekte Interpretation der Bedeutung der Benutzer. Und es gab einfach zu viele Kommentare, um sie in Muster oder Trends zu destillieren, die auf sinnvolle Erkenntnisse hinweisen könnten.
2019 war klar, dass trotz des Reichtums des Datenarchivs nur wenige Inhalte analysiert und noch weniger bearbeitet wurden. Also kündigte Sandias Führung eine Überarbeitung des Systems an.
Diese Mammutaufgabe wurde Sandias Contractor Assurance Group übertragen, wo Compliance-Analystin Yvonne Petrova und Informatikerin Scarlett Märklin sie in Vollzeit übernahmen. Es stand viel auf dem Spiel; Da das bestehende Tool einem neuen organisatorischen Auftrag nicht mehr entsprach, drohte Sandia der Verlust der Projektfinanzierung. “ Das Energieministerium hat neue Datenanforderungen eingeführt“, erklärt Märklin. „Wenn wir das Tool nicht sofort überarbeiten würden, würden wir am Ende Budget verlieren.“
Das Problem mit dem Text
Das Paar machte sich zunächst daran, die Mängel des bestehenden Tools zu verstehen, um eine Reihe von Klarstellungen und Richtlinien zu ermitteln, die zur Konfiguration eines neuen Ansatzes verwendet werden könnten. „[Wir haben gesehen, dass] Benutzer möglicherweise fünf Wörter schreiben, oder sie könnten schreiben Krieg und Frieden [im Kommentarfeld des Tools]!” scherzt Petrowa. „Sie könnten sich auf Dokumente beziehen, ohne dass darauf hingewiesen wird, wo sich diese Dokumente befinden. Es war nicht gut.“
„Niemand hat den Textteil der Daten analysiert, weil er so vielfältig und unübersichtlich war“, fügt Märklin hinzu. „Die Leute werden nicht 100.000 Textzeilen in Excel durchsuchen. Wir haben die Informationen erfasst, aber wir haben nichts damit gemacht.“ Um verwertbare Informationen aus diesem Morast aufzudecken, müssten sie eine Software finden, die es ihnen ermöglicht, eine Reihe systematischer, analytischer Prinzipien auf unstrukturierte Daten anzuwenden.
Da zeigte ihnen einer ihrer Kollegen JMP. „Ich war wie eine heilige Kuh! Durch die Visualisierung und Interaktivität konnte ich so viel damit anfangen“, erinnert sich Märklin. „Ich hatte JMP noch nie benutzt, aber ich dachte mir jetzt besser als nie.“ Und so begann das Paar, die vom Risikomanagement-Tool archivierten Textriesen vorzuverarbeiten, wobei JMP verwendet wurde, um die unstrukturierten Daten zu strukturieren.
„Die Vorverarbeitung von Text ist [normalerweise] chaotisch, hässlich und schwierig“, erklärt Märklin. „Man muss früh wissen, wonach man sucht. Und ohne die Daten sehen zu können, ist es wirklich, wirklich schwer, die Fragen vorherzusehen, die sich daraus ergeben könnten. Aber mit JMP war die Vorverarbeitung einfach.“
Diese Vereinfachung ist beabsichtigt; Die JMP Text Explorer-Plattform ermöglicht es Benutzern, ähnliche Wörter zu kombinieren, falsch spezifizierte Begriffe neu zu codieren, latente semantische Analysen durchzuführen und die Singulärwertzerlegung (SVD) zu verwenden, um ähnliche Dokumente in Themen oder Cluster zu gruppieren. In einem riesigen und vielfältigen textbasierten Datensatz waren diese Tools von entscheidender Bedeutung. Sagt Märklin: „JMP hat viele verschiedene Tools in die Text Explorer-Plattform integriert, die es Ihnen ermöglichen, die Daten auf eine Weise zu bearbeiten, die selbst R nicht kann.“
Ein Match zwischen JMP und R ist Proof of Concept
Sowohl Petrova als auch Märklin sind langjährige Anwender der Open-Source-Programmiersprachen R und Python. Trotz ihrer Erfahrung mit diesen Plattformen sah das Paar jedoch den Wert darin, ein neues Tool wie JMP zu evaluieren, das die Analysezeit durch integrierte Funktionen reduzieren könnte. „Mit JMP konnten wir viel schneller mehr über die Daten erfahren“, erklärt Märklin die Fähigkeit, 8.000 Datenzeilen zu sichten, um drei Schlüsselindikatoren zu identifizieren, die für das Team entscheidend waren, um sie in ein neues Risiko-und-Problem-Tool zu integrieren. Diese Entdeckung, die das Paar mit JMP machte, wäre übersehen worden, wenn sie nur R verwendet hätten. Jetzt, sagt sie, haben diese Indikatoren eine große Wirkung.
Tatsächlich schätzen die beiden, dass die Verwendung von regulären Ausdrücken in JMP stark betont wird, um die Datenvorverarbeitungszeit um die Hälfte zu reduzieren – und die Qualität der Ergebnisse insgesamt zu verbessern. Durch die Verwendung regulärer Ausdrücke als Teil der Stimmungsanalyse konnten sie erkennen, wo keine Korrekturmaßnahmen ergriffen wurden, wo Schritte unternommen wurden, die jedoch keinen Unterschied machten und wo Maßnahmen zu Verbesserungen führten.
Mit Hilfe von Fachexperten konnten Petrova und Märklin die Genauigkeit ihrer Kategorisierungen beurteilen und Lücken und Inkonsistenzen mit den vom Originaltool erfassten Daten aufzeigen. Darüber hinaus lieferten die Ergebnisse ihrer Studie – deren Abschluss weniger als drei Monate dauerte – eine wesentliche Blaupause für ein besseres Datenerfassungssystem in der Zukunft. Am Ende hat die Führung von Sandia nicht nur alle Empfehlungen von Petrova und Märklin übernommen, sondern die durch die Textanalyse des Teams aufgedeckten Probleme genutzt, um ein neues System zu konfigurieren.
Ein zusätzlicher Bonus, erklärt Märklin, war, dass das gesamte Projekt zu einem Machbarkeitsnachweis bei der Bewertung des Bedarfs an JMP-Lizenzen bei Sandia wurde, wo viele traditionell Open-Source-Alternativen verwendet haben. Sie fanden jedoch heraus, dass JMP die Analysezeit verkürzt und einen echten Mehrwert bietet, insbesondere durch die Fähigkeit, unstrukturierte Daten schnell zu verarbeiten. Davon abgesehen, erklärt Petrova, wird es immer von Wert sein, Fachwissen in R und Python als Qualitätsverifikationsmaßnahme innerhalb der Abteilung aufrechtzuerhalten. „Wenn wir etwas in JMP machen, haben wir auch einen Scheck. Kann mein Kollege das in R tun? Dann stellen wir sicher, dass wir die gleiche Antwort erhalten.“
In der Zwischenzeit werden die beiden jedoch weiterhin JMP verwenden. Petrova fügt hinzu: „Da wir über JMP-Lizenzen verfügen, verwenden wir sie für fast alle unsere Projekte. JMP berührt sie alle so oder so.“
„Ein flüssiges Kontinuum in Echtzeit“
Über ihre Rolle bei der Bewertung interner Systeme hinaus bieten Petrova und Märklin den Kollegen bei Sandia analytische Unterstützung – von denen einige mit statistischen Methoden nicht so vertraut sind. Aber, sagt Märklin, „Mit JMP können wir den Leuten zeigen, wie konsistent und wertvoll die Analyse sein kann und wie sie die Ergebnisse visualisieren können. Wenn Sie die Daten in JMP sehen, sind es Echtzeit, es sind on-the-fly, es ist ein fließendes Kontinuum. Und es ist supereffizient.“ Außerdem sind die Visualisierungen in JMP, so Petrova, „wirklich stark und machen es den Leuten leicht, zu verstehen, was sie sehen“.
Petrova und Märklin selbst müssen nicht lange suchen, um Gründe für einen statistischen Ansatz zu finden. In einem Fall erklärt Märklin, dass das Textanalyseprojekt eines Kollegen drei Jahre lang ohne aussagekräftige Ergebnisse gelaufen sei. Das Team hatte das Ende seiner Finanzierung erreicht, aber sie fügt hinzu: „Sie haben es uns gegeben, und mit JMP hatten wir in weniger als drei Monaten die Ergebnisse, die wir brauchten.“
