我们很高兴邀请自然语言处理 (NLP) 专家兼 1440 咨询公司数据科学主管 Manya Mayes 作为我们第一次会议的全体发言人以统计方式谈论文本分析. 我们也很高兴邀请她与另外两位精明的文本分析从业者一起担任小组成员：Weida Tong，食品和药物管理局生物信息学和生物统计学主任；以及宝洁公司的科学家 Jeff Swartzel。
这些具有统计学头脑的专家所传达的实用专业知识以及他们分享的有趣例子令人鼓舞。 在直播期间，我们向小组提出了太多问题，以至于我们无法一一解答。 我们的特邀嘉宾已同意通过这篇博文回答他们。
您如何衡量和展示文本分析的投资回报率？
曼雅：正如您所料，衡量文本分析的投资回报率并不总是那么容易。 在识别产品问题的早期预警时，可能永远无法识别在成为福特探索者/凡世通轮胎问题之前解决的问题的真正投资回报率估计成本 $7.5B ）或丰田突然加速问题（导致$1.2B 罚款来自司法部和$2B在召回成本）。 如果两家公司都对文本分析结果（使用美国国家公路交通安全管理局 [NHTSA] 数据和良好的文本分析功能很容易找到）采取行动，他们可能永远不会真正知道他们节省了多少。 在标记和监督预测模型中使用文本分析提供了一种验证 ROI 的方法，但这并不总是可行的。 此外，对于为未来公司业务决策和战略提供信息的数据分析，可以通过驱动因素/敏感性分析来衡量每美元投资的回报。
杰夫：这很棘手，我经常在这个问题上挣扎，因为影响可能不一致。 有时，非常快速和轻松的工作会提供有价值的见解，而有时，高强度的分析可能会产生影响较小的结果。 作为文本分析的价值，我通常关注的事情是：1) 节省时间，2) 在问题之前进行干预的能力，3) 如果没有技术，可能无法获得的独特见解，以及 4) 提高能力专注于重要的话题。
屏幕上的图（滚轮与时间）是如何从文本资源管理器窗口生成的？
曼雅：在有关电动汽车的投诉样本上使用文本资源管理器，我通过将它们添加到停止列表中删除了一组低信息术语，然后我删除了出现一两次的术语，然后进行了潜在类分析。 潜在类别分析的结果（在JMP专业版) 包括一个 Cluster Probabilities by Row 窗口。 在该窗口中，它显示了每个文档最可能的集群。 可以右键单击 Make Into Data Table。 下一个窗口包含作为数据表的结果，然后可以通过选择表 > 连接，然后将这些结果与原始数据连接，按行号匹配，将其连接回原始车辆投诉样本。 我只选择了 whopy 轮组的行。 原始数据有一个 faildate 字段，然后可以使用 Graph > Graph Builder 绘制该字段。 在 Graph Builder 中，我使用了直方图，将失败日期作为我的 X 变量，并将响应比例设置为计数。 其余部分主要是化妆品，我通过单击图例中的故障日期变量来更改颜色（有关更多详细信息，请参见附图）。 为了按模型获取信息，我将车辆模型变量拖放到图表的 X 组部分，并将车辆模型用作颜色变量。
为什么负面情绪的分数低于正面情绪 (98 v. 100）？
曼雅：情绪分数介于 -100 到 100 之间。 我只是碰巧选择了分数为 -98 的否定词和分数为 100 的正面词。
这些图像表明，总体而言，正面文档多于负面文档。 分数显示在整个文档（评论）中计算的情绪，因此文档可能具有总体正分，即使它包含负面部分和正面部分。
FDA 审查过程的文本分析更多地用于有针对性的审查工作，还是对阅读文件的补充？
伟达：文本分析已在 FDA 中以广泛的方式使用，包括研究和审查。 其中，信息检索和文档分类在审查过程中占有重要地位。 此外，我们还研究了文本摘要、命名实体识别和情感分析，其中大部分是以监管科学为中心的努力。
您通过文本分析和其他分析方法获得了哪些协同效应？
曼雅：将基于文本的信息结合到其他分析方法中是很常见的。 文本本质上被赋予了结构化的表示。 当应用于大量用例（客户获取、保留、欺诈、风险等）时，合并现在结构化的文本可以帮助提高机器学习监督模型的模型准确性。 它还可以帮助进行模型解释，并且可以告知用于品牌、消息传递等的正确语言。 它还可以帮助进行无监督分类/聚类，其中术语与结构化数据（例如交易和人口统计信息）一起可以帮助描述聚类。
杰夫： JMP非常适合将文本分析的输出直接连接到其他相关变量（时间、客户评级、有意义的类别等）以进行建模（术语选择和判别分析）。 相关的关键词和主题也可以为其他地方的更多定性分析提供信息。
你如何看待词袋方法与更高级的 NLP 方法？
曼雅：词袋方法不考虑上下文或方向性，尽管可以包含短语，使分析更简单快捷，同时仍然提供价值。 更高级的 NLP 确实提供了更多的上下文，尽管它仍然需要预训练的模型，并且上下文可以更加本地化（例如，更有可能在一个句子中）。 更先进的 NLP 提供了更大的自动化，但可能会错过数据科学家详细了解数据时所涉及的细微差别。 本质上，这两种技术各有优缺点。
杰夫：我听起来像是破唱片，但我总是说，“将分析技术与问题联系起来。”通常，我能够通过基本方法快速获得有用的见解（尤其是在问题明确定义的情况下）。 人们会来找我问一些类似“我们不知道我们在寻找什么，但我们想知道一切的一切。 我们可以通过 NLP 通往无所不知的道路吗？” :grinning_face_with_sweat:我要么帮助他们专注于问题定义，要么开始通过潜在类分析、潜在语义分析或情感分析来探索文本。 此外，词袋方法的优点是非常容易概念化和解释，这是一个很好的起点。 以我有限的经验，像 BERT 这样的方法非常适合使用训练有素的机器学习模型进行分类问题。
走向“高级监管科学”意味着什么？
伟达： FDA 将监管科学定义为“开发新工具、标准和方法以评估 FDA 监管产品的安全性、有效性、质量和性能的科学。”从某种意义上说，先进的监管科学意味着采用新兴技术和方法来改善 FDA 的运作。
JMP 如何促进您与他人的协作，尤其是与文本分析的协作？
曼雅： JMP 社区是与他人协作的绝佳平台。 文本分析是 JMP 社区以及 SKP（JMP统计知识门户)，它将通过文本分析内容和协作变得更加活跃。
杰夫：在宝洁，我们拥有非常庞大的 JMP 用户群，而且很多人都熟悉基础知识。 共享 JMP 分析的输出并与使用文本资源管理器的人进行工作会话很容易。 共享脚本和期刊使它变得非常容易。
您是否认为我们只是触及了我们收集的所有文本数据可以做什么的表面？
曼雅：最近，文本分析和 NLP 在功能上取得了一些巨大的飞跃，但还有更多。 表面上有一个很好的划痕，但通过附加功能，文本将与结构化数据没有任何不同。 就目前而言，人的因素仍然非常宝贵。
杰夫：是的，我认为建立一种由熟悉此类工作的基础知识的人组成的文化是建立对分析文本数据的理解的最佳起点
您还与与您一起分析文本数据的人分享了什么？
杰夫：有时我会提醒他们它并不比我们更聪明，这意味着分析技术将无法看到“我停止使用你的产品，因为它闻起来很有趣”这样的句子并理解它一个人的水平。 奇怪的气味可能是一个大问题的迹象，或者人们通常对这个产品说的话，或者甚至是被理解为以这种方式接受的有意改变的一部分，或者甚至是讽刺和讽刺的东西。 文本分析和 NLP 总是需要与领域知识和对我们想要回答的问题的好奇心相结合。 我们不能（还）按下按钮就知道我们想知道的所有事情（甚至我们不知道我们可能想知道的）。
如果你错过了直播活动，你可以观看一经请求了解更多信息。 除了上述问题，我们的观众还提出了许多其他很好的问题。 了解更多关于“笨拙”的轮子、有趣的气味以及您可以从您收集的一些文本数据中获得的其他见解。
