QUEEN歌曲歌词JMP中的文本挖掘。
乐队'女王 （皇后） 如果你尝试文本挖掘“”的音乐
Naohiro Masukawa，JMP日本系统工程师
JMP系统工程师Naohiro Masukawa
你有没有看到去年年底发行的电影“波希米亚狂想曲”？这部电影的好处在发布后立即成为一大热门，它成为了一个大热门，似乎从正在聆听女王活跃时代的那一代看到了广大一代，而对于女王本身并不太了解的年轻人。
我也很钦佩，但除了这个故事之外，即使我现在听了，我还是被一首我没有褪色的歌所震惊。在那之后，这是一个专业吗？ “ 突然（??）从渴望更多地了解女王的诗歌。我尝试过文本挖掘。
在我分析之前，我只知道女王的典型歌曲， “自行车” 就像歌曲“波希米亚狂想曲” “杀死了一个男人” 随着歌词（杀死了男人）和歌剧部分的特色歌词，我想知道是否可以获得一些有趣的东西。
在文本挖掘中，如下 3 我将介绍一个结果。
- 经常使用什么词？
- 当我按照他们使用的单词对歌曲进行分类时？
- 你能用歌词中包含的词来识别词作者吗？
分析目标是 1973年从这一年开始 1991年它针对的是今年专辑中录制的音乐，不包括没有歌词的乐器。1991年这是一年，因为主唱Freddie Mercury想要报道他一生中发行的歌曲。
■经常使用什么样的词？
经常用什么词来分析歌曲？答案词云它显示了。词云是一种常用于文本挖掘的可视化方法，单词出现的频率越大，字符显示的越大。
词云
https://public.jmp.com/packages/What-kind-of-words-are-used-a-lot/js-p/5c3d904633868300a4314b06-1
以下是关于Word Cloud的结果 3 请注意。
- 干预，频率是 10 以上单词是针对显示的。
词干是一种消除单词结尾变化并将具有共同词干的单词组合在一起的方法。词干出现在这个词的最后 “ - “ 它标有。例如，在词云中 “知道 - “ 虽然它被显示，但这是 “知道” ， “知” ， “我知道。” 的 3 包含一个词。
- 文章，辅助动词，代词，是似乎是动词或介词的词语被排除在分析之外。
- 这些词从蓝色（平均发行年初）到红色（平均发布年末）评分。换句话说，蓝色单词在早期歌曲中更常用，而红色单词则更晚 （1991 随着年末 ） 表示该单词经常用于
■如果按照他们使用的单词对歌曲进行分类？
让我们将目标歌曲分类（分组）为使用相似单词的歌曲。首先，文档字矩阵我们将介绍这个概念
文档 - 字矩阵是每个单词是否出现的矩阵表示。一行是一首歌，一列是每个单词，但对于某个单词串，单词出现的歌曲（行） 1 对于尚未出现的歌曲的值 0 分配值。像这样 1 或 0 有一种简单的方法来创建一个文档单词矩阵，它取值，但在这里 “TD IDF” 考虑单词重要性，创建加权文档单词矩阵。
虽然省略了详细的定义，但是重量是为了降低许多歌曲中出现的单词的重要性，并提高仅出现在某些歌曲中的单词的重要性。
我提取了茎作为例子， “生活 - “（生活，生活） ， “Bicycl - “（自行车，骑自行车） 的 2 我们考虑一个。下表是加权文档字矩阵的一部分。
如果包含0以外的值，则相应的单词（列名称的单词）将包含在音乐中，如果单词被多次使用，则值会增加。
例如 “生活 - “ 是一个小值，因为它被用在很多歌曲中。在另一方面， “Bicycl - “ 这是， “自行车赛” 而且“ 更多的爵士乐的“ 2 这是一个很大的价值，因为它只用于歌曲。此外， “自行车赛” 很多次 “自行车” 因为它是一首精炼的歌曲，所以只有一次 “自行车” 这个词没有出现“ 更多的爵士乐 “更大的价值 （46.557） 我正在服用
将奇异值分解为此文档的单词矩阵 （SVD; 称为奇异值分解的方法可以用于将矩阵信息减少到较低维度，并且可以通过映射使用相似单词或单词本身的歌曲来可视地分组。。
下图左侧显示音乐相似度，右图显示单词相似度。
在左上图中，它表示近处位置的音乐相似，距离中的音乐不相似。起源 （0,0） 许多点位于附近，但我们标记了比其收藏更远的点（歌曲）。带有这些标签的音乐在整个女王音乐中都会有独特的单词，但在这里 “波希米亚狂想曲” 和 “伟大的国王鼠” 的 2 我将专注于这首歌。
两者都远离原点，但从右图看相似的单词， 2 距离一首歌的距离相同 “妈妈 - “ ， “告诉 - “ ， “死 - “ 位于。（* 1）
由于这些单词距离原点稍远，因此它们在某些意义上是独特的单词，因为它们在其他歌曲中并不经常使用， “波希米亚狂想曲” 和 “伟大的国王鼠” 这些词语在某种程度上得到了使用。与这些事情有关， 2 一首歌就在这样的地方。（* 2）
顺便说一句，Freddie Mercury正在为这两首歌写歌词。
* 1;虽然左图和右图中每个坐标的最小值和最大值不同，但您可以忽略它。
* 2;事实上，我们也考虑使用其他词语。
此外，作为相关分析，使用奇异值分解信息（奇异向量），（分层） 聚类分析我会试试。在聚类分析中，使用相似单词（具有最近距离的歌曲）的歌曲被分组以创建树形图。
从此结果中，您可以决定将歌曲分组的组（群集）数量，但在此处 7 显示每个组着色的结果。
通过文档单词矩阵的奇异值分解进行映射，进行聚类分析
https://public.jmp.com/packages/Classifying-songs-with-SVD-and-clusterin/js-p/5c3d904633868300a4314b06-2
■你能用歌词中包含的词来确定词作者吗？
在分析时 1973年 〜 1991年女王的成员是Freddie Mercury，Brian May，Roger Taylor和John Deacon 4 至于名字，他们都参与了歌曲创作和作曲，他们向世界发出了热门歌曲。与句子的情况一样，词作者可能经常使用词语，而词汇很少被其他人使用，但对词作者来说是特定的。女王怎么样？
这里的词作者是具体的 1 缩小到只有名字的歌曲，判别分析让我们看看我们是否可以使用上面描述的文档字矩阵来识别词作者。
最高使用频率 100 Word文档字矩阵（重量 TD IDF 使用）查看预期的歌词是否与实际的歌词匹配。
判别分析
https://public.jmp.com/packages/Can-we-distinguish-the-author-by-the-lyr/js-p/5c3d904633868300a4314b06-3
此处显示的结果如下：
结果下面是下表，这些是真正的lyricians （实际） 并且通过判别分析预测了词作者 （预测） 交叉表。
实际
|
预测计数
|
作者
|
水星
|
五月
|
泰勒
|
执事
|
水星
|
42
|
1
|
0
|
0
|
五月
|
0
|
36
|
0
|
0
|
泰勒
|
0
|
0
|
17
|
0
|
执事
|
1
|
0
|
0
|
11
|
第一线是Freddie Mercury，但排名第一 100 当您使用单词信息预测词作者时， 42 有一首歌， 1 只有这首歌实际上是由Freddie Mercury写的，但它预测了Brian May，也就是预测出错了。
它显示在表格上方 “百分比分类” 是错误分类率的指标，这是错误预测的速率。（ 错误预测的歌曲数量要分析的歌曲数量 ） 它的计算方法是
“Canonic Plot”被称为规范情节， 2 尺寸坐标中判别情形的直观表示。在图上 4 人们定位，但罗杰泰勒 3 它的位置远离人。因此，罗杰泰勒诗歌中使用的词语倾向 3 可以说它与名称有很大不同。事实上，如果你看一下上面提到的交叉制表，罗杰泰勒写的那首歌 （17 调 ） 都是预测和其他人 3 可以从这样一个事实看出，这个名字写成罗杰泰勒的歌曲没有任何问题。顺便说一句，图表上的标记点是错误识别的歌曲。
我的分析报告存储在以下位置，包括此次介绍的分析。
https://public.jmp.com/users/259
如果我感觉好些，我会继续发布有趣的分析结果，所以期待它。
报告共享网站 JMP公众指导
在JMP中，分析报告卷筒纸在网站上分享 JMP公众有一个名为的网站。
JMP公众
http://public.jmp.com/
去年年底发布 JMP 是最新版本的 JMP 14.2 在报告窗口中 [ 文件 ]> [ 问题 ] 通过选择菜单 JMP公众在您的网站上互动 HTML 现在可以上传格式分析报告。可以查看上传的报告，以便只有上传者可以查看它或每个人都可以查看它。但是，要上传， SAS 使用档案（注册电子邮件地址和密码信息） JMP公众您需要登录该网站。
JMP Public上发布了很多分析报告，但我们公司（日本）的工程师发布了报告。请详细阅读报告内容。
