公司机密。 不要透露。
从文本数据中消除风险
桑迪亚国家实验室利用 JMP Text Explorer 处理和评估非结构化风险管理数据
_________________________________________________________________________________________
挑战：在使用风险和问题管理工具将记录捕获为自由格式文本八年后，Sandia 的领导层意识到，由于数据格式繁琐，实际上几乎没有进行过分析。 该组织的承包商保证小组的任务是开发一种更有效的工具。
解决方案：分析师严重依赖 JMP 文本浏览器，使用具有奇异值分解的潜在语义分析来处理历史文本数据。
结果：在三个月内，本文分析的结果为配置新的、更准确的风险管理工具提供了明确的路径。
_________________________________________________________________________________________
很少有组织比桑迪亚国家实验室更严格地进行数据分析。 作为美国国家核安全管理局 (NNSA) 的三个研发机构之一，桑迪亚的任务是保持核武器系统的可靠性、开发防扩散技术并探索处理核废料的方法。
由于高风险的任务和预算相匹配，风险缓解是核心原则也就不足为奇了。 为此，Sandia 开发了一个风险和问题管理工具，在八年的时间里，该工具使整个组织的用户能够创建详细的事故记录。 这些记录的格式是非结构化文本；一种虽然在理论上很全面，但会导致问题的媒介。
例如，并非在工具评论框中输入的所有内容都完全符合被归类为风险或问题的严重性阈值。 一些字段留空。 拼写和语法错误会干扰对用户意思的正确解释。 而且有太多的评论无法提炼成可以指向有意义的洞察力的模式或趋势。
到 2019 年，很明显，尽管数据存档很丰富，但很少有人对其内容进行分析，甚至很少有人对其采取行动。 所以桑迪亚的领导层宣布对系统进行彻底改革。
这项艰巨的任务被分配给桑迪亚的承包商保证小组，合规分析师 Yvonne Petrova 和计算机科学家 Scarlett Marklin 全职承担。 赌注很高。由于现有工具不再符合新的组织授权，桑迪亚面临失去项目资金的风险。 “能源部引入了新的数据要求，”Marklin 解释道。 “如果我们不立即修改工具，我们最终会损失预算。”
文字的烦恼
两人首先着手了解现有工具的缺陷，以确定一组可用于配置新方法的说明和指南。 “[我们看到] 用户可能会写五个字，或者他们可能会写战争与和平[在工具的评论字段中]！”开玩笑的彼得罗娃。 “他们可能会参考文件，但没有说明这些文件的存放位置。 这并不好。”
“没有人分析过数据的文本部分，因为它是如此多样和凌乱，”马克林补充道。 “人们不会在 Excel 中浏览 100,000 行文本。 我们正在捕获信息，但我们没有对它做任何事情。”为了从这个泥潭中发现可操作的信息，他们需要找到一种软件，使他们能够将一组系统的分析原则应用于非结构化数据。
就在那时，他们的一位同事向他们展示了 JMP。 “我就像圣牛！ 由于可视化和交互性，我可以用它做很多事情，”马克林回忆道。 “我以前没有使用过 JMP，但我现在觉得总比以前好。”于是两人开始对风险管理工具存档的大量文本进行预处理，使用 JMP 帮助将结构化到非结构化数据中。
“预处理文本 [通常] 是凌乱、丑陋和困难的，”马克林解释道。 “你必须尽早知道你在寻找什么。 在无法看到数据的情况下，真的很难预测可能会出现的问题。 但是使用 JMP，预处理很容易。”
这种简化是设计使然； JMP 文本浏览器平台允许用户组合相似的词、重新编码错误指定的术语、执行潜在语义分析并使用奇异值分解 (SVD) 将类似的文档分组到主题或集群中。 在大量多样的基于文本的数据集中，这些工具至关重要。 马克林说： “JMP 在 Text Explorer 平台中内置了许多不同的工具，让您能够以 R 无法实现的方式深入处理数据。”
JMP 与 R 的对峙是概念的证明
Petrova 和 Marklin 都是开源编程语言 R 和 Python 的长期用户。 然而，尽管他们精通这些平台，但他们看到了评估像 JMP 这样的新工具的价值，该工具可以通过内置功能减少分析时间。 “JMP 使我们能够更快地了解有关数据的更多信息，”Marklin 解释说，引用能够筛选 8,000 行数据以确定三个关键指标，这些指标对于团队将其纳入新的风险和问题工具至关重要。 这一发现是两人使用 JMP 进行的，如果他们只使用 R，就会被忽略。 现在，她说，这些指标正在产生巨大影响。
事实上，两人估计非常重视在 JMP 中使用正则表达式将数据预处理时间缩短了一半——并提高了整体结果的质量。 通过使用正则表达式作为情绪分析的一部分，他们可以看到哪些地方没有采取纠正措施，哪些地方采取了措施但没有产生任何影响，以及哪些地方的行动推动了改进。
根据主题专家的意见，Petrova 和 Marklin 能够判断他们分类的准确性，显示与原始工具捕获的数据存在差距和不一致之处。 此外，他们的研究结果——从开始到结束，用了不到三个月的时间——为未来更好的数据采集系统提供了一个重要的蓝图。 最终，Sandia 的领导层不仅采纳了 Petrova 和 Marklin 的所有建议，还利用团队文本分析揭示的问题来配置新系统。
Marklin 解释说，一个额外的好处是整个项目成为评估桑迪亚 JMP 许可证需求的概念证明，其中许多传统上使用开源替代方案。 但他们发现 JMP 减少了分析时间并增加了实际价值，特别是在其快速处理非结构化数据的能力方面。 话虽如此，Petrova 解释说，保持 R 和 Python 方面的专业知识作为部门内的质量验证措施总是有价值的。 “当我们在 JMP 中做某事时，我们也会进行检查。 我的同事可以在 R 中做到这一点吗？ 那么让我们确保我们得到相同的答案。”
不过，与此同时，两人将继续使用 JMP。 Petrova 补充道，“由于我们拥有 JMP 许可证，我们几乎在所有项目中都使用它。 JMP 正在以一种或另一种方式接触它们。”
“实时、动态的流体连续体”
除了评估内部系统的角色外，Petrova 和 Marklin 还为 Sandia 的同事提供分析支持——其中一些人并不精通统计方法。 但是，马克林说， “JMP 让我们向人们展示分析的一致性和价值，以及他们如何将结果可视化。 当您在 JMP 中查看数据时，它是实时的、动态的、连续的。 而且效率超高。”此外，Petrova 补充说，JMP 中的可视化“非常强大，让人们可以轻松理解他们正在查看的内容。”
Petrova 和 Marklin 自己不必费力寻找部署统计方法的理由。 在一个案例中，Marklin 解释说，一位同事的文本分析项目已经运行了三年，但没有取得有意义的结果。 该团队的资金已经用完，但她补充说，“他们把资金给了我们，通过 JMP，我们在不到三个月的时间里就得到了我们需要的结果。”
