已经有一段时间了，但它是第三系列的结尾。第1部分让我们来分析一下《披头士》歌词的情绪第2部分然后，我试图分析《女王》歌词的情绪。在本期的第 3 部分中，我们将使用一个名为 Term Selection 的函数来创建一个模型，该模型从两个乐队的歌词中包含的词中预测出哪个乐队的歌曲，并表征每个乐队。让我们查找一个词（关键字） .
什么是术语选择？
在 JMP 中，“文本资源管理器”平台允许进行文本分析，但在 JMP Pro 中，您可以选择“术语选择”作为该平台的选项。
在“词选择分析”中，当存在响应变量（Y）时，可以对文本分析提取的词与响应变量之间的关系进行建模。描述响应变量的词是什么你可以找到这样的事情。
在本例中，我们将创建一个数据表，将“The Beatles”和“Queen”的歌曲标题和歌词组合在一起，如下所示。
此时，响应变量（Y）和预测变量（X）如下。
响应变量 (Y)：“Band”（区分歌曲是披头士乐队还是皇后乐队的变量）
预测变量（X）：从“歌词”中提取的词
是否应考虑克制
让我们仔细看看预测变量 (X)。
从文本中提取单词时文档--术语矩阵 (DTM)您可以将单词以矩阵格式放在一起。
例如，方法 A。 歌曲第166行的披头士歌曲《You Like Me Too Much》的歌词中包含了“know”、“time”、“just”（至少一个）这三个词，所以变量“know Binary”、“Time Binary” ", "just Binary" 的值为 "1" 并且不包含诸如 "love", "oh", "yeah" 之类的词，所以 "love Binary", "oh Binary", "Yeah Binary" 被赋予一个“0”的值。
方法 A。 二进制 (1/0) 文档词矩阵
以这种方式提取单词会创建一个“数据行 x 单词数”矩阵（在此示例中，值为 1 或 0），实际预测变量是该文档单词矩阵中的单词组。
上面构造了一个值为 1/0 的文档词矩阵，但是下面的方法 B. 也可以通过“频率”来配置它，例如特定单词在文档中出现的次数。
方法 B。 词出现频率的文档词矩阵
在之前的文章中，我提到歌词受文本分析中的 refrain（一遍又一遍地使用同一个词）的影响很大。因此，考虑到上述方法 B 中的单词出现频率，它受 refrain 的影响很大。
因此，在建模时，请尝试使用方法 A 或方法 B 进行建模，并比较哪种模型更好。
方法 A。 二进制 (1/0) 文档词矩阵 ⇒ 不受副词影响
方法 B。 词出现频率的文档词序列 ⇒ 受 refrain 影响
选词分析报告
基于以上几点，我们来使用“选词分析”。如果您选择 Term Selection 选项，您将看到类似于以下内容的配置大纲：
每个设置的详细信息
“选择响应列” : 指定响应变量 (Y)。在这个例子中，它是“Band”（披头士/皇后乐队）。
“目标水平” ：指定响应变量中的事件级别。在这里，指定“Queen”并将Queen 视为标准。由于 Y 只取两个值，Beatles 和 Queen，我们应用逻辑回归模型假设 Y 是二项分布。
“模型设置” ：指定建模方法和验证方法。默认情况下，Elastic Net 被指定为估计方法，AICc 被指定为验证方法，所以本例使用默认设置。
“术语设置” ：指定对上一节中显示的文档词矩阵使用哪种方法。默认值为二进制 (1/0)。您还可以指定要在文档词矩阵中使用的最大词数，默认为 400。也就是说，只有前 400 个最常提取的词被用作预测变量。
单击右上角的运行按钮以查看指定设置的建模报告。
我们将在下面的报告 1 中看到结果。
报告 1 “A Hard Days Night”（披头士）：可以正确预测
显示了使用 Elastic Net 对逻辑回归模型进行变量选择的结果。在此示例中，选择了 400 个预测变量中的 49 个来帮助预测，报告的右上角显示了所选变量（项）的系数。
如果系数为正，则显示橙色条，如果为负，则显示蓝色条，但由于此处指定了事件级别，因此正值越大，皇后级别越高。对预测甲壳虫乐队的水平贡献很大，负值越大，对预测甲壳虫乐队的水平贡献越大。
在报告的左下方，“A Hard Days Night”（甲壳虫乐队的歌曲）的歌词用橙色表示有助于预测披头士的单词，而蓝色表示有助于预测女王的单词。你可以看到歌词中经常使用对披头士有贡献的词，比如“just”、“give”和“days”。因此，即使你不知道歌词是哪个乐队的歌曲，你也可以预测这是一首披头士的歌曲，因为只使用了“、给”、“天”等。
更准确的说，就是从这句歌词中，计算出预测Queen的概率和预测Beatles的概率。 Queen的预测概率是根据上面得到的逻辑回归的回归系数，使用Logist函数(Logist (x) = 1 / (1 + Exp (x)))通过以下公式计算的。
当我转发建模报告时，下面的“女王概率”一栏显示了每首歌曲预计歌曲成为女王的概率，即“A Hard Days Night”的概率为 32.7%。
因此，相反，从 100% 中减去被预测为披头士的概率为 67.3%。比这个，
从 A Hard Days Night 的歌词中
预测女王歌曲的概率：32.7%
预测披头士歌曲的概率：67.3%
因此，我预测它很有可能是披头士的歌曲。
这将是。换言之，实际值（测量值）和预测值（预测值）匹配。
我们来看看另外两首歌曲的报道（Report 2, Report 3）。
报告2《波西米亚狂想曲》（女王）：正确预测
女王的代表曲《波西米亚狂想曲》以88.9%的高概率被预测为女王的歌曲。
报告 3 “Hey Jude”（披头士）：错误预测“Queen”
披头士的代表曲《Hey Jude》被预测为Queen的概率为56.3%，所以预测是错误的。
有些歌曲是这样可以预测的，而另一些则不是。在创建预测模型时，以表示实际测量值与预测值不同的比率的 Misclassification Rate 作为预测能力的指标，该值越小，预测能力越高。
型号比较
在上一节中，我们使用二进制值（1/0）作为文档词矩阵进行建模，但是与以相同方式使用词频建模的情况相比如何呢？
在选词分析中，作为“摘要”报告，当拟合多个模型时，将显示比较模型预测能力的报告，如下所示。模型 1 用于二进制，模型 2 用于词频。
AICc用作验证指标，Generalized Rsquared（广义R-squared，数值越大越好），AUC（曲面下面积，数值越大越好），Misclassification Rate（误判率，数值越小越好）如果看，可以看到Model 1的2个值对任何指标都有好处。
从这个结果可以看出，以词的出现（=1）/不出现（=0）为解释变量的模型比词的出现频率为解释变量的模型具有更高的预测能力。..
概括
我将总结到目前为止解释的“单词选择分析”的结果。
-根据歌曲歌词中包含的单词，我们创建了一个模型来预测这首歌是披头士乐队还是皇后乐队。
-作为用于解释变量的文档词矩阵，我们对以下两种类型的方法进行了建模，并比较了模型的预测能力。
方法 A。 表示是否包含歌词对应的词：二进制值
方法 B。表示歌词对应的单词出现了多少次：频率
⇒ 发现不考虑副歌的方法A（二进制值）的预测能力很高。因此，之后使用由方法 A 建模的结果。
・ 提取了对预测影响很大的 49 个单词。当根据这些词估计的回归系数得到每首歌曲的预测概率，得到预测歌曲（预测值）和实际歌曲（实际测量值）时，误判率为8.4%。考虑到作为其他预测能力的指标的 R 平方和 AUC 值，认为可以创建良好的预测模型。
⇒ 仅凭选择的 49 个词的信息，就可以以 91.6% 的准确率猜出是哪首歌。
最后，这是在 Graph Builder 中绘制的 49 个选定单词（Terms）及其回归系数（Coefficient）的图表。橙色是有助于皇后乐队预测的词，浅蓝色是有助于披头士乐队预测的词。
正值最高的“Blow”是代表Queen歌词的词。其实在分析的歌曲中，在各种Queen歌曲中都用到了blow，但是由于Beatles的歌曲中没有用到，说明这个词的系数很大，可以附上。
希望这篇文章能给你一个使用“选词分析”的机会。
