我们非常荣幸地邀请到自然语言处理 (NLP) 专家、1440 Consulting 数据科学主管 Manya Mayes 作为我们首届“统计学视角下的文本分析”主题研讨会的主旨演讲嘉宾。同时，我们也十分高兴地邀请她与另外两位资深的文本分析专家共同参与小组讨论：一位是美国食品药品监督管理局 (FDA) 生物信息学与生物统计学主任 Weida Tong，另一位是宝洁公司科学家 Jeff Swartzel。
这些精通统计学的专家们所展现的实践经验和分享的精彩案例令人深受启发。直播期间，我们收到了太多问题，无法一一解答。我们的嘉宾们欣然同意通过这篇博文来回答这些问题。
如何衡量和展示文本分析的投资回报率？
曼雅：正如您所预料的，衡量文本分析的投资回报率并非易事。例如，在识别产品问题的早期预警时，如果问题在演变成福特探险者/凡士通轮胎事件（ 估计损失高达75亿美元）或丰田突然加速事件（导致司法部罚款12亿美元，召回成本高达20亿美元）之前得到解决，那么可能永远无法确定真正的投资回报率。即使这两家公司都根据文本分析结果采取了行动（利用美国国家公路交通安全管理局[NHTSA]的数据和优秀的文本分析能力很容易找到这些结果），它们也可能永远无法真正了解自己节省了多少成本。在标记和监督预测模型中使用文本分析提供了一种验证投资回报率的方法，但这并非总是可行。此外，对于用于指导公司未来业务决策和战略的数据分析，可以通过驱动因素/敏感性分析来衡量每投资一美元的回报。
杰夫：这个问题很棘手，我经常为此纠结，因为文本分析的影响并不稳定。有时，快速简便的工作就能带来宝贵的洞见，而有时，耗费大量精力的分析却可能收效甚微。我通常认为文本分析的价值体现在以下几个方面：1）节省时间；2）能够提前干预问题；3）获得一些如果没有这项技术可能无法获得的独特见解；4）能够更专注于重要议题。
屏幕上的图表（旋转轮与时间的关系图）是如何从文本浏览器窗口生成的？
成年人：我使用文本浏览器分析了电动汽车投诉样本，首先将一些低信息量词汇添加到停用词列表中，然后删除了出现一次或两次的词汇，最后进行了潜在类别分析。潜在类别分析的结果（在JMP Pro中）包含一个“按行聚类概率”窗口。该窗口显示了每个文档最可能的聚类。您可以右键单击并选择“转换为数据表”。下一个窗口包含以数据表形式呈现的结果，然后可以通过选择“表”>“连接”并将这些结果与原始数据连接起来，按行号匹配，从而将这些数据表重新连接到原始车辆投诉样本中。我只选择了“whompy wheel”聚类的行。原始数据有一个 faildate 字段，可以使用“图形”>“图形生成器”绘制该字段。在图形生成器中，我使用了一个直方图，以 faildate 作为 X 变量，并将响应尺度设置为“计数”。其余部分主要是外观上的调整，我通过点击图例中的故障日期变量来更改颜色（详见附图）。为了获取按车型划分的信息，我将车辆型号变量拖放到图表的“X组”部分，并将其用作颜色变量。
为什么负面情绪的得分低于正面情绪的得分（98 分对 100 分）？
成年人：情感得分范围在-100到100之间。我碰巧选择了得分为-98的负面词汇和得分为100的正面词汇。
这些图片显示，总体而言，正面文档的数量多于负面文档。得分反映的是整个文档（评论）的情感倾向，因此即使文档中包含正面和负面的部分，其整体得分也可能是正面的。
FDA审查过程中的文本分析更多地用于有针对性地开展审查工作，还是作为阅读文件的补充？
魏达：文本分析在FDA得到了广泛应用，包括研究和审查两个方面。其中，信息检索和文档分类在审查过程中发挥着重要作用。此外，我们也研究了文本摘要、命名实体识别和情感分析，这些研究大多以监管科学为中心。
文本分析与其他分析方法相比，能带来哪些协同效应？
将文本信息与其他分析方法相结合是一种常见的做法。文本本质上是被赋予了结构化的表示形式。这种结构化的文本有助于提高机器学习监督模型的准确率，并可应用于各种用例（例如客户获取、客户留存、欺诈、风险等）。它还有助于模型解释，并为品牌推广、信息传递等提供合适的语言。此外，它还有助于无监督分类/聚类，其中文本术语与交易和人口统计信息等结构化数据结合使用，可以帮助描述聚类结果。
杰夫： JMP非常适合将文本分析的输出结果与其他相关变量（时间、客户评分、有意义的类别等）直接关联起来，用于建模（词项选择和判别分析）。相关的关键词和主题还可以为其他方面的定性分析提供信息。
您如何看待词袋模型方法与更高级的自然语言处理方法？
词袋模型虽然可以包含短语，但并未考虑上下文或方向性，这使得分析更简单快捷，同时也能提供一定的价值。更高级的自然语言处理（ NLP）技术能够提供更多上下文信息，但它仍然需要预训练模型，并且上下文可能更加局部化（例如，更可能存在于句子内部）。更高级的NLP技术提供了更高的自动化程度，但当数据科学家深入了解数据时，它可能会忽略一些细微差别。总而言之，这两种技术各有优缺点。
杰夫：我感觉自己像个复读机，但我总是说：“把分析方法和问题联系起来。” 通常情况下，我可以用一些基本方法快速获得有用的见解（尤其是在问题定义清晰的情况下）。人们会来问我类似这样的问题：“我们不知道自己在寻找什么，但我们想知道关于一切的一切。我们能用自然语言处理（NLP）来实现全知全能吗？” :grinning_face_with_sweat: 我会帮助他们明确问题定义，或者开始用潜在类别分析、潜在语义分析或情感分析来探索文本。此外，词袋模型方法的优点在于它非常容易理解和解释，而且是一个很好的起点。以我有限的经验来看，像 BERT 这样的方法非常适合使用训练有素的机器学习模型来解决分类问题。
迈向“先进监管科学”意味着什么？
魏达： FDA将监管科学定义为“开发新的工具、标准和方法，以评估FDA监管产品的安全性、有效性、质量和性能的科学”。从某种意义上说，先进的监管科学意味着运用新兴技术和方法来改进FDA的运作。
JMP 如何促进您与他人以及在文本分析方面的协作？
成年人： JMP社区是一个与他人协作的绝佳平台。文本分析是JMP社区的一部分，SKP（JMP 统计知识门户）也是如此，SKP即将更加活跃地开展文本分析内容和协作。
杰夫：在宝洁，我们拥有非常庞大的JMP用户群，很多人都熟悉它的基本操作。使用文本浏览器（Text Explorer）可以轻松地共享JMP分析的输出结果，并与他人进行协作。共享脚本和日志也让这一切变得非常简单。
你认为我们对所收集的所有文本数据的利用还只是冰山一角吗？
成年人：最近，文本分析和自然语言处理（NLP）的能力取得了巨大进步，但仍有很大的发展空间。目前只是冰山一角，随着功能的进一步完善，文本将与结构化数据一样受到重视。就目前而言，人的因素仍然非常重要。
杰夫：是的，我认为培养一批熟悉这类工作基本原理的人才，是理解文本数据分析的最佳起点。
除了以上内容，你还会与那些和你一起分析文本数据的人分享哪些信息？
杰夫：有时候我会特意提醒他们，分析技术并不比我们聪明，也就是说，它们无法理解像“我停止使用你们的产品是因为它味道怪怪的”这样的句子，也无法从人类的角度去理解它。这种怪味可能预示着一个大问题，也可能是人们对这款产品的常见评价，甚至可能是故意做出的改变，只是被理解为会引起这种反应，或者带有讽刺或挖苦的意味。文本分析和自然语言处理始终需要结合领域知识和对我们想要解答的问题的好奇心。我们（目前）还无法一键获取所有我们想知道的信息（甚至包括我们可能想知道但自己却不知道的信息）。
如果您错过了直播，可以点播观看，获取更多精彩内容。除了以上问题，我们还收到了观众提出的许多其他优秀问题。了解更多关于“砰砰作响”的轮子、奇怪的气味以及您可以从收集到的文本数据中获得的其他见解。
