已经有一段时间了，但这是这个由三部分组成的系列的最后一个。第1部分现在对“披头士乐队”的歌词进行情感分析，第2部分因此，我尝试对“Queen”的歌词进行情感分析。在本次的 Part 3 中，我们使用了一个名为 Term Selection 的函数来创建一个模型，该模型可以根据两个乐队的歌词中包含的词来预测哪个乐队的歌曲，并为每个乐队特征化地查找词（keywords）。
什么是术语选择？
在 JMP 中，可通过“文本资源管理器”平台进行文本分析，但在 JMP Pro 中，您可以选择“术语选择”作为该平台的一个选项。
在“选词分析”中，当存在响应变量（Y）时，可以对文本分析提取的词与响应变量之间的关系进行建模，哪些词描述了响应变量你可以检查像
在此示例中，我们将创建一个数据表，汇总“The Beatles”和“Queen”的歌曲名称和歌词，如下所示。
此时，响应变量（Y）和预测变量（X）如下。
响应变量（Y）：“Band”（区分这首歌是披头士乐队还是皇后乐队的变量）
预测变量（X）：从“歌词”中提取的单词
应该考虑克制吗？
让我们更详细地讨论预测变量 (X)。
从文本中提取单词时，文档 - 术语矩阵 (DTM)单词可以以矩阵形式放在一起。
例如，方法 A。 披头士乐队歌曲“You Like Me Too Much”第 166 行的歌词包含（至少其中之一）单词“know”、“time”、“just”，因此变量“know Binary”、“time Binary” , 而“just Binary”不包含值“1”和单词“love”、“oh”、“yeah”，所以“love Binary”、“oh Binary”、“yeah Binary”被赋予“0”作为一个值。
方法A。 二进制（1/0）文档字矩阵
以这种方式提取单词会产生一个“数据行数乘以单词数”矩阵（本例中值为 1 或 0），而实际预测变量是该文档单词矩阵中的单词。
上面构造了值为1/0的文档词矩阵，但是下面的方法B。 也可以想象用“频率”来配置它，比如某个特定的词在文档中出现了多少次。
方法 B。 词频文档词矩阵
在之前的文章中，我已经提到歌词在文本分析中受副歌（一遍又一遍地使用相同的词）的影响很大。因此，如果我们像上面的方法B那样考虑词频，它会受到副歌的很大影响。
因此，在建模时，可以尝试用方法A和方法B建模，比较哪种模型更好。
方法A。 二进制（1/0）文档词矩阵 ⇒ 不受副歌影响
方法 B。 词频文档词矩阵 ⇒ 受副歌影响
选词分析报告
基于以上几点，我们来使用“选词分析”。当您选择选项 Term Selection 时，您将看到类似于以下的配置大纲。
每个设置的详细信息
“选择响应列” ：指定响应变量（Y）。在此示例中，它是“Band”（甲壳虫乐队/皇后乐队）。
“目标水平” ：指定响应变量中的事件级别。这里我们指定“Queen”，以Queen为标准。由于 Y 仅取两个值，Beatles 和 Queen，我们拟合逻辑回归模型，假设 Y 服从二项分布。
“模型设置” ：指定建模方法和验证方法。默认情况下，估计方法是 Elastic Net，验证方法是 AICc，因此我们将在本示例中使用默认设置。
“术语设置” : 指定对上一节中显示的文档词矩阵使用哪种方法。默认情况下它是二进制 (1/0)。您还可以指定要在文档词矩阵中使用的最大词数，默认情况下为 400。换句话说，只有提取的单词中出现频率最高的前 400 个单词用作预测变量。
单击右上角的“运行”按钮可查看指定设置的建模报告。
您可以在下面的报告 1 中看到结果。
报告 1 “A Hard Days Night”（甲壳虫乐队）：预测正确
显示使用 Elastic Net 为逻辑回归模型选择变量的结果。在这个例子中，在 400 个预测变量中，选择了 49 个对预测有用的变量，所选变量 (Term) 的回归系数 (Coefficient) 显示在报告的右上角。
正系数用橙色条表示，负系数用蓝色条表示。 是对预测贡献大的词，负值越大，对预测披头士水平贡献越大的词。
在报告的左下角，“A Hard Days Night”（甲壳虫乐队的歌曲）的歌词为橙色表示有助于预测甲壳虫乐队的词，蓝色表示有助于预测皇后乐队的词。在歌词中，你可以看到使用了很多对披头士有贡献的词，比如“just”、“give”、“days”。所以，即使你不知道这句歌词出自哪个乐队的歌曲，你也可以通过使用“just”、“give”和“days”猜出这是一首披头士乐队的歌曲。
更准确地说，从这些歌词中，可以确定预测它是皇后乐队的概率和预测它是甲壳虫乐队的概率。使用 Logist 函数 ( Logist(x) = 1/(1 + Exp(x)) ) 从上面获得的逻辑回归系数获得 Queen 的预测概率，如下所示。
转发建模报告，下面的“皇后概率”一栏显示，对于每首歌，预测这首歌为皇后的概率，对于“A Hard Days Night”来说是32.7%。
因此，从 100% 减去后，被预测为甲壳虫乐队的概率为 67.3%。比这个，
从A Hard Days Night的歌词里的话，
预测出皇后歌曲的概率：32.7%
预测甲壳虫乐队歌曲的概率：67.3%
所以，我预测大概率是披头士的歌曲。
成为。即实际值（actual value）和预测值（predicted value）相符。
我将查看其他两首歌曲的报告（报告 2、报告 3）。
报告二《波西米亚狂想曲》（女王）：预测正确
Queen代表歌曲《波西米亚狂想曲》可以预测为88.9%的高概率是Queen歌曲。
报告 3 “Hey Jude”（甲壳虫乐队）：错误预测“Queen”
甲壳虫乐队的代表歌曲《Hey Jude》被预测为 Queen 的概率为 56.3%，因此预测错误。
有些歌曲是这样可以预测的，有些则不是。在创建预测模型时，误分类率，即实际测量值与预测值之间差异的比率，被用作预测能力的指标，该值越小，预测能力越高。
型号比较
在上一节中，我们使用二进制（1/0）作为文档词矩阵进行建模，但是当我们将其与以相同方式使用词频建模进行比较时会发生什么？
在选词分析中，当应用多个模型时，以下报告比较模型的预测能力显示为“摘要”报告。模型 1 是二进制的，模型 2 是词频的。
AICc作为验证指标，Generalized RSquare（广义R-square，值越大越好），AUC（曲面下面积，值越大越好），Misclassification Rate（误分类率，值越小越好）看 ，可以看到模型1的2个值对任何指标都好。
从这个结果可以看出，以单词出现（=1）/不出现（=0）为解释变量的模型比以单词出现频率为解释变量的模型具有更高的预测能力. .
概括
我们总结了迄今为止描述的“单词选择分析”的结果。
・我们创建了一个模型，可以根据歌曲歌词中包含的词来预测歌曲是关于披头士乐队还是关于皇后乐队。
・将以下两种方法建模为用作解释变量的文档词矩阵，并比较了模型的预测能力。
方法A。 表示歌词中是否包含对应的词：Binary
方法 B。表示对应词在歌词中出现的次数：Frequency
⇒ 我们发现不考虑副歌的方法 A（二元）具有很高的预测能力。因此，以下使用方法 A 建模的结果。
・提取了 49 个对预测有较大影响的词。根据对这些词估计的回归系数，计算每首歌曲的预测概率，计算预测歌曲（预测值）和实际歌曲（实际值），误分类率为8.4%。考虑到作为预测能力的其他指标的 R 平方和 AUC 值，我们认为创建了一个良好的预测模型。
⇒ 仅凭49个选词的信息，我们就能以91.6%的准确率猜出是哪首歌。
最后，我们展示了 49 个选定的词（Term）和用 graph builder 绘制的回归系数（Coefficient）。橙色的词有助于女王的预测，浅蓝色的词有助于披头士的预测。
具有最高正值的词“blow”是皇后乐队歌词的定义词。其实在分析的歌曲中，blow在各种Queen歌曲中都有使用，但在Beatles歌曲中并没有使用，这就解释了为什么这个词的系数大。可以附上。
我们希望本文能启发您尝试使用单词选择分析。
