公司機密。 不要透露。
從文本數據中消除風險
桑迪亞國家實驗室利用 JMP Text Explorer 處理和評估非結構化風險管理數據
_________________________________________________________________________________________
挑戰：在使用風險和問題管理工具將記錄捕獲為自由格式文本八年後，Sandia 的領導層意識到，由於數據格式繁瑣，實際上幾乎沒有進行過分析。 該組織的承包商保證小組的任務是開發一種更有效的工具。
解決方案：分析人員嚴重依賴 JMP 文本資源管理器，使用具有奇異值分解的潛在語義分析來處理歷史文本數據。
結果：在三個月內，本文分析的結果為配置新的、更準確的風險管理工具提供了明確的路徑。
_________________________________________________________________________________________
很少有組織比桑迪亞國家實驗室更嚴格地進行數據分析。 作為美國國家核安全管理局 (NNSA) 的三個研發機構之一，桑迪亞的任務是保持核武器系統的可靠性、開發防擴散技術並探索處理核廢料的方法。
由於高風險的任務和預算相匹配，風險緩解是核心原則也就不足為奇了。 為此，Sandia 開發了一個風險和問題管理工具，在八年的時間裡，該工具使整個組織的用戶能夠創建詳細的事故記錄。 這些記錄的格式是非結構化文本；一種雖然在理論上很全面，但會導致問題的媒介。
例如，並非在工具評論框中輸入的所有內容都完全符合被歸類為風險或問題的嚴重性閾值。 一些字段留空。 拼寫和語法錯誤會干擾對用戶意思的正確解釋。 而且有太多的評論無法提煉成可以指向有意義的洞察力的模式或趨勢。
到 2019 年，很明顯，儘管數據存檔很豐富，但很少有人對其內容進行分析，甚至很少有人對其採取行動。 所以桑迪亞的領導層宣布對系統進行徹底改革。
這項艱鉅的任務被分配給桑迪亞的承包商保證小組，合規分析師 Yvonne Petrova 和計算機科學家 Scarlett Marklin 全職承擔。 賭注很高。由於現有工具不再符合新的組織授權，桑迪亞面臨失去項目資金的風險。 “能源部引入了新的數據要求，”Marklin 解釋道。 “如果我們不立即修改工具，我們最終會損失預算。”
文字的煩惱
兩人首先著手了解現有工具的缺陷，以確定一組可用於配置新方法的說明和指南。 “[我們看到] 用戶可能會寫五個字，或者他們可能會寫戰爭與和平[在工具的評論字段中]！”開玩笑的彼得羅娃。 “他們可能會參考文件，但沒有說明這些文件的存放位置。 這並不好。”
“沒有人分析過數據的文本部分，因為它是如此多樣和凌亂，”馬克林補充道。 “人們不會在 Excel 中瀏覽 100,000 行文本。 我們正在捕獲信息，但我們沒有對它做任何事情。”為了從這個泥潭中發現可操作的信息，他們需要找到一種軟件，使他們能夠將一組系統的分析原則應用於非結構化數據。
就在那時，他們的一位同事向他們展示了 JMP。 “我就像聖牛！ 由於可視化和交互性，我可以用它做很多事情，”馬克林回憶道。 “我以前沒有使用過 JMP，但我現在覺得總比以前好。”於是兩人開始對風險管理工具存檔的大量文本進行預處理，使用 JMP 幫助將結構化到非結構化數據中。
“預處理文本 [通常] 是凌亂、醜陋和困難的，”馬克林解釋道。 “你必須儘早知道你在尋找什麼。 在無法看到數據的情況下，真的很難預測可能會出現的問題。 但是使用 JMP，預處理很容易。”
這種簡化是設計使然； JMP 文本瀏覽器平台允許用戶組合相似的詞、重新編碼錯誤指定的術語、執行潛在語義分析並使用奇異值分解 (SVD) 將類似的文檔分組到主題或集群中。 在大量多樣的基於文本的數據集中，這些工具至關重要。 馬克林說： “JMP 在 Text Explorer 平台中內置了許多不同的工具，讓您能夠以 R 無法實現的方式深入處理數據。”
JMP 與 R 的對峙是概念的證明
Petrova 和 Marklin 都是開源編程語言 R 和 Python 的長期用戶。 然而，儘管他們精通這些平台，但他們看到了評估像 JMP 這樣的新工具的價值，該工具可以通過內置功能減少分析時間。 “JMP 使我們能夠更快地了解有關數據的更多信息，”Marklin 解釋說，引用能夠篩選 8,000 行數據以確定三個關鍵指標，這些指標對於團隊將其納入新的風險和問題工具至關重要。 這一發現是兩人使用 JMP 進行的，如果他們只使用 R，就會被忽略。 現在，她說，這些指標正在產生巨大影響。
事實上，兩人估計非常重視在 JMP 中使用正則表達式將數據預處理時間縮短了一半——並提高了整體結果的質量。 通過使用正則表達式作為情緒分析的一部分，他們可以看到哪些地方沒有採取糾正措施，哪些地方採取了措施但沒有產生任何影響，以及哪些地方的行動推動了改進。
根據主題專家的意見，Petrova 和 Marklin 能夠判斷他們分類的準確性，顯示與原始工具捕獲的數據存在差距和不一致之處。 此外，他們的研究結果——從開始到結束，用了不到三個月的時間——為未來更好的數據採集系統提供了一個重要的藍圖。 最終，Sandia 的領導層不僅採納了 Petrova 和 Marklin 的所有建議，還利用團隊文本分析揭示的問題來配置新系統。
Marklin 解釋說，一個額外的好處是整個項目成為評估桑迪亞 JMP 許可證需求的概念證明，其中許多傳統上使用開源替代方案。 但他們發現 JMP 減少了分析時間並增加了實際價值，特別是在其快速處理非結構化數據的能力方面。 話雖如此，Petrova 解釋說，保持 R 和 Python 方面的專業知識作為部門內的質量驗證措施總是有價值的。 “當我們在 JMP 中做某事時，我們也會進行檢查。 我的同事可以在 R 中做到這一點嗎？ 那麼讓我們確保我們得到相同的答案。”
不過，與此同時，兩人將繼續使用 JMP。 Petrova 補充道，“由於我們擁有 JMP 許可證，我們幾乎在所有項目中都使用它。 JMP 正在以一種或另一種方式接觸它們。”
“實時、動態的流體連續體”
除了評估內部系統的角色外，Petrova 和 Marklin 還為 Sandia 的同事提供分析支持——其中一些人並不精通統計方法。 但是，馬克林說， “JMP 讓我們向人們展示分析的一致性和價值，以及他們如何將結果可視化。 當您在 JMP 中查看數據時，它是實時的、動態的、連續的。 而且效率超高。”此外，Petrova 補充說，JMP 中的可視化“非常強大，讓人們可以輕鬆理解他們正在查看的內容。”
Petrova 和 Marklin 自己不必費力尋找部署統計方法的理由。 在一個案例中，Marklin 解釋說，一位同事的文本分析項目已經運行了三年，但沒有取得有意義的結果。 該團隊的資金已經用完，但她補充說，“他們把資金給了我們，通過 JMP，我們在不到三個月的時間裡就得到了我們需要的結果。”
