在我们的免费在线课程中了解更多信息:
解决工业问题的统计思维
在本视频中,您将了解如何使用文件 Pet Owner.jmp 处理非结构化文本数据。 此示例基于 JMP 示例数据库中的 Pet Survey.jmp 文件。
在这种情况下,150 名狗和猫的主人被问到:“想想你的猫或狗。 你脑子里第一个想到的是什么?”
答复位于“调查答复”列中。 由于这些数据是非结构化文本,因此应用了建模类型非结构化文本。
为了分析这些数据,我们从 JMP 的分析菜单中选择文本浏览器。
我们选择调查响应作为文本列。
默认语言为英语,但也可以使用其他语言。
有多种用于标记、术语和措辞的选项。
您可以使用短语选项指定每个短语的最大单词数以及要显示的最大短语数。
您可以使用单词选项来指定最小单词大小和每个单词的最大字符数。
您可以使用词干选项自动组合具有相同词干的术语。
标记化下有两个选项:正则表达式和基本单词。 默认值为 Regex,或正则表达式。 使用正则表达式时,将使用内置表达式和符号(包括常见标点符号、空格和制表符)来解析文档。 您可以使用“自定义正则表达式”选项来添加您自己的自定义表达式。
我们将使用默认选项并单击“确定”。
JMP 在幕后对数据进行了代币化。 标点符号、空格和符号以及“a”、“an”和“the”等基本单词都已被删除。
顶部的摘要报告了唯一术语的数量、文档(或案例)的数量、标记总数以及每个案例的平均标记数量。
还提供术语列表和短语列表。
有几个有趣的短语。 例如,短语“鸭子狩猎”比单独的单词“鸭子”和“狩猎”具有更多含义。
要将最上面的短语添加到术语列表中,我们将选择短语,右键单击,然后选择添加短语。
让我们仔细看看术语列表。 我们将单击术语列表中的“术语”一词以按字母顺序排序。
当我们滚动列表时,您可以看到一些印刷错误。 例如,术语“doggs”应拼写为“dogs”。
如果您想要修复拼写错误,或者将具有相同含义的术语合并为一个术语,您可以选择术语,右键单击,然后选择重新编码。 例如,假设我们要将这两个术语分组为一个术语“狗”。 我们将选择这两个值,单击“组”,将组重命名为“dogs”,然后单击“重新编码”。
那么术语“狗”和“狗”,或者“鸭子”和“鸭子”呢?这些词有相同的词根或词干。 如果您想组合具有相同词干的术语,可以使用词干提取。
为此,我们单击顶部的红色三角形,然后选择术语选项、词干,然后选择词干进行组合。
术语末尾的点表示词干术语已合并。 当我们将光标放在这些词干术语上时,我们会看到已组合的术语列表。
我们将单击“计数”列两次以按降序排序。 请注意,最上面的术语是“猫”和“狗”。 因为我们知道这些数据来自对猫和狗的调查,所以这些术语并不是特别有用。
要删除这些术语,我们可以将它们添加为停用词。 为此,我们选择条款,
单击鼠标右键,然后选择添加停用词。
现在您可以看到最热门的术语与吠叫、行走、跳跃和视频相关。
我们将此分析的脚本保存到数据表中,以便稍后可以重复相同的分析。