社外秘。 開示しないでください。
テキストデータからリスクを取り除く
サンディア国立研究所は、非構造化リスク管理データを処理および評価するためにJMPテキストエクスプローラーをマーシャリングします
_____________________________________________________________________________________________
チャレンジ：レコードを自由形式のテキストとしてキャプチャするリスクと問題の管理ツールを8年間使用した後、Sandiaのリーダーシップは、データの形式が煩雑であるため、実際にはほとんど分析が行われていないことに気付きました。 組織の請負業者保証グループは、より効果的なツールの開発を任されていました。
解決：アナリストは、特異値分解を伴う潜在意味解析を使用して履歴テキストデータを処理するために、JMPテキストエクスプローラーに大きく依存していました。
結果： 3か月以内に、このテキスト分析の結果は、新しい、より正確なリスク管理ツールを構成するための明確な道筋を提供しました。
_____________________________________________________________________________________________
サンディア国立研究所よりも厳密にデータ分析に取り組む組織はほとんどありません。 米国国家核安全保障局（NNSA）の3つの研究開発機関の1つであるサンディアの使命は、核兵器システムの信頼性を維持し、不拡散技術を開発し、核廃棄物の処分方法を模索することです。
一致するハイステークスの使命と予算があるので、リスク軽減が中心的な信条であることは当然のことです。 そのために、Sandiaは、8年間にわたって、組織全体のユーザーが発生の詳細な記録を作成できるようにするリスクと問題の管理ツールを開発しました。 これらのレコードの形式は非構造化テキストでした。理論的には包括的であるが、問題を引き起こしていた媒体。
たとえば、ツールのコメントボックスに入力されたすべてのコンテンツが、リスクまたは問題として分類される重大度のしきい値をまったく満たしていない場合があります。 一部のフィールドは空白のままになりました。 スペルと文法の誤りが、ユーザーの意味の正しい解釈を妨げました。 また、コメントが多すぎて、意味のある洞察を示す可能性のあるパターンや傾向を抽出することはできませんでした。
2019年までに、データアーカイブの豊富さにもかかわらず、そのコンテンツのほとんどが分析されておらず、さらに少ないものが実行されていることは明らかでした。 そのため、サンディアのリーダーシップはシステムのオーバーホールを発表しました。
この巨大なタスクは、コンプライアンスアナリストのイボンヌペトロワとコンピューター科学者のスカーレットマークリンがフルタイムで担当したサンディアの請負業者保証グループに割り当てられました。 賭け金は高かった。既存のツールが新しい組織の義務に準拠しなくなったため、Sandiaはプロジェクトの資金を失うリスクがありました。 「「エネルギー省は新しいデータ要件を導入しました」とMarklinは説明します。 「ツールをすぐに改訂しなかった場合、予算を失うことになります。」
テキストのトラブル
ペアは最初に、既存のツールの欠陥を理解して、新しいアプローチを構成するために使用できる一連の説明とガイドラインを特定することに着手しました。 「[私たちはそれを見ていました]ユーザーは5つの単語を書くかもしれません、または彼らは書くかもしれません戦争と平和[ツールのコメントフィールドに]！」ペトロワは冗談を言う。 「彼らは文書を参照している可能性があり、それらの文書がどこにあるかは示されていません。 良くありませんでした。」
「データのテキスト部分は非常に多様で乱雑だったため、誰も分析しませんでした」とMarklin氏は付け加えます。 「人々はExcelで100,000行のテキストを調べるつもりはありません。 情報を収集していましたが、何もしていませんでした。」このモラスから実用的な情報を明らかにするには、非構造化データに一連の体系的で分析的な原則を適用できるソフトウェアを見つける必要があります。
その時、同僚の1人がJMPを見せました。 「私は聖なる牛のようでした！ 視覚化と双方向性のおかげで、私はそれで多くのことができました」とマークリンは回想します。 「これまでJMPを使用したことはありませんでしたが、今では今まで以上によく理解できました。」そのため、ペアは、リスク管理ツールによってアーカイブされた一連のテキストの前処理を開始し、JMPを使用して非構造化データに構造化をもたらしました。
「テキストの前処理は[通常]厄介で、醜く、難しいものです」とMarklin氏は説明します。 「あなたは早い段階であなたが探しているものを知らなければなりません。 そして、データを見ることができなければ、そこから出てくるかもしれない質問を予測することは本当に、本当に難しいです。 しかし、JMPを使用すると、前処理は簡単でした。」
その単純化は設計によるものです。 JMP Text Explorerプラットフォームを使用すると、ユーザーは類似した単語を組み合わせたり、誤って指定された用語を再コーディングしたり、潜在意味解析を実行したり、特異値分解（SVD）を使用して同様のドキュメントをトピックやクラスターにグループ化したりできます。 大規模で多様なテキストベースのデータセットでは、これらのツールが重要でした。 マークリンは言います： 「JMPには、テキストエクスプローラープラットフォームに組み込まれているさまざまなツールがあり、Rでさえできない方法でデータを詳細に調べることができます。」
JMP対Rの対決は概念実証です
PetrovaとMarklinはどちらも、オープンソースプログラミング言語RとPythonの長年のユーザーです。 ただし、これらのプラットフォームに習熟しているにもかかわらず、このペアは、組み込みの機能によって分析時間を短縮できるJMPなどの新しいツールを評価することに価値を見出しました。 「JMPにより、データについてより早く学ぶことができました」とMarklinは説明します。 8,000行のデータをふるいにかけて、チームが新しいリスクと問題のツールに組み込むために重要な3つの主要な指標を特定する機能。 ペアがJMPを使用して行ったこの発見は、Rのみを使用した場合は見落とされていたでしょう。 今、彼女は、これらの指標が大きな影響を及ぼしていると言います。
実際、この2つは、JMPで正規表現を使用することに重点を置いているため、データの前処理時間が半分になり、全体的な結果の品質が向上したと推定しています。 感情分析の一部として正規表現を使用することにより、是正措置が講じられなかった場所、措置が講じられたが違いがなかった場所、および措置が改善をもたらした場所を確認できました。
対象分野の専門家からの意見により、PetrovaとMarklinは分類の正確さを判断することができ、元のツールでキャプチャされたデータとのギャップと矛盾を示しました。 さらに、彼らの研究の結果（開始から終了まで3か月もかかりませんでした）は、将来のより良いデータキャプチャシステムに不可欠な青写真を提供しました。 最終的に、Sandiaのリーダーシップは、PetrovaとMarklinの推奨事項をすべて組み込んだだけでなく、チームのテキスト分析によって明らかになった問題を使用して、新しいシステムを構成しました。
追加のボーナスは、プロジェクト全体が、多くの人が伝統的にオープンソースの代替手段を使用してきたサンディアでのJMPライセンスの必要性を評価する際の概念実証になったということでした。 しかし彼らは、JMPが分析時間を短縮し、特に非構造化データを迅速に処理する能力において真の価値を付加することを発見しました。 そうは言っても、Petrova氏は、部門内の品質検証手段としてRとPythonの専門知識を維持することには常に価値があると説明しています。 「JMPで何かをしているときは、チェックもあります。 私の同僚はRでこれを行うことができますか？ 次に、同じ答えが得られることを確認しましょう。」
それまでの間、2人は引き続きJMPを使用します。 Petrova氏は、次のように付け加えています。「JMPライセンスを持っているため、ほとんどすべてのプロジェクトでJMPライセンスを使用しています。 JMPは何らかの形でそれらに触れています。」
「リアルタイムのオンザフライ流体連続体」
内部システムを評価する役割を超えて、PetrovaとMarklinは、Sandiaの同僚に分析サポートを提供します。その中には、統計的手法に精通していない人もいます。 しかし、マークリンは言います、 「JMPを使用すると、分析の一貫性と価値、および結果を視覚化する方法を人々に示すことができます。 JMPでデータを見ると、それはリアルタイムであり、オンザフライであり、流動的な連続体です。 そして、それは非常に効率的です。」さらに、JMPの視覚化は「非常に強力であり、人々が見ているものを簡単に理解できるようにします」とペトロバ氏は付け加えます。
PetrovaとMarklin自体は、統計的アプローチを展開する理由を見つけるのにそれほど難しく見える必要はありません。 あるケースでは、Marklinは、同僚のテキスト分析プロジェクトが3年間実行され、意味のある結果が得られなかったと説明しています。 チームは資金提供の終わりに達しましたが、「彼らは私たちにそれを与えました、そしてJMPで、私たちは3ヶ月以内に私たちが必要な結果を得ました。」と彼女は付け加えます。
