QUEEN歌曲歌詞JMP中的文本挖掘。
日文標題：樂隊“女王 （皇后） 如果你嘗試文本挖掘“”的音樂
撰稿：JMP日本系統工程師Naohiro Masukawa
作者姓名用日語：JMP系統工程師Naohiro Masukawa
你有沒有看到去年年底發行的電影“波希米亞狂想曲”？這部電影的好處在發布後立即成為一大熱門，它成為了一個大熱門，似乎從正在聆聽女王活躍時代的那一代看到了廣大一代，而對於女王本身並不太了解的年輕人。
我也很欽佩，但除了這個故事之外，即使我現在聽了，我還是被一首我沒有褪色的歌所震驚。在那之後，這是一個專業嗎？ “ 突然（？想要更多地了解女王的詩歌？我試著做文本挖掘。
在我分析之前，我只知道女王的典型歌曲， “自行車” 就像歌曲“波希米亞狂想曲” “殺死了一個男人” 我以為我可以從歌詞（殺死男人）和歌劇部分的特色歌詞中得到一些有趣的結果。
在文本挖掘中，如下 3 我將介紹一個結果。
- 用了多少字？
- 當我按照他們使用的單詞對歌曲進行分類時？
- 你能用歌詞中包含的詞來識別詞作者嗎？
分析目標是 1973年從這一年開始 1991年對於年度專輯中包含的歌曲，除了沒有歌詞的樂器。1991年這一年是因為主唱Freddie Mercury想要瞄准他一生中發行的歌曲。
■經常使用什麼樣的詞？
經常用什麼詞來分析歌曲？答案詞云它顯示了。詞云是一種常用於文本挖掘的可視化方法，單詞出現的頻率越大，字符顯示的越大。
詞云
https://public.jmp.com/packages/What-kind-of-words-are-used-a-lot/js-p/5c3d904633868300a4314b06-1
以下是關於詞云的結果 3 請注意。
- 干預，頻率是 10 以上單詞是針對顯示的。
詞幹是一種消除單詞結尾變化並將具有共同詞幹的單詞組合在一起的方法。
詞幹出現在這個詞的最後 “ - “ 它標有。
例如，在詞云中 “知道 - “ 雖然它被顯示，但這是 “知道” ， “知” ， “我知道。” 的 3 包含一個詞。
- 文章，輔助動詞，代詞，是似乎是動詞或介詞的詞語被排除在分析之外。
- 單詞從藍色（早期平均發布年份）到紅色（平均發布年份晚期）評分。換句話說，藍色單詞在早期歌曲中更常用，而紅色單詞則更晚 （1991 隨著年末 ） 表示該單詞經常用於
■如果按照他們使用的單詞對歌曲進行分類？
讓我們將目標歌曲分類（分組）為使用相似單詞的歌曲。首先，文檔字矩陣我們將介紹這個概念
文檔 - 字矩陣是每個單詞是否出現的矩陣表示。一行是一首歌，一列是每個單詞，但對於單詞列，單詞出現的歌曲（行） 1 對於尚未出現的歌曲的值 0 分配值。像這樣 1 或 0 有一種簡單的方法來創建一個文檔單詞矩陣，它取值，但在這裡 “TD IDF” 考慮單詞重要性，創建加權文檔單詞矩陣。
雖然省略了詳細的定義，但是重量是為了降低許多歌曲中出現的單詞的重要性，並提高僅出現在某些歌曲中的單詞的重要性。
我提取了莖作為例子， “生活 - “（生活，生活） ， “Bicycl - “（自行車，騎自行車） 的 2 我們考慮一個。下表是加權文檔字矩陣的一部分。
如果包含0以外的值，則相應的單詞（列名稱的單詞）將包含在音樂中，如果該單詞被多次使用，則值會增加。
例如 “生活 - “ 是一個小值，因為它被用在很多歌曲中。在另一方面， “Bicycl - “ 這是， “自行車賽” 而且“ 更多的爵士樂的“ 2 這是一個很大的價值，因為它只用於歌曲。此外， “自行車賽” 很多次 “自行車” 因為它是一首精煉的歌曲，所以只有一次 “自行車” 這個詞沒有出現“ 更多的爵士樂 “更大的價值 （46.557） 我正在服用
將奇異值分解為此文檔的單詞矩陣 （SVD; 稱為奇異值分解（Singular Value Decomposition）的方法允許將矩陣信息縮小到較低維度，並且可以通過使用相似的單詞和單詞本身來映射歌曲來可視地分組。。
下圖左側顯示音樂相似度，右圖顯示單詞相似度。
在左上圖中，它表示近處位置的音樂相似，距離中的音樂不相似。起源 （0,0） 許多點位於附近，但我們標記了比他們的收藏更遠的點（音樂）。帶有這些標籤的音樂在整個女王的音樂中會有獨特的單詞，但在這裡 “波希米亞狂想曲” 和 “偉大的國王鼠” 的 2 我將專注於這首歌。
兩者都遠離原點，但從右圖看相似的單詞， 2 與一首歌大約相同的距離 “媽媽 - “ ， “告訴 - “ ， “死 - “ 位於。（* 1）
因為這些單詞位於離原點稍遠的地方，所以它們在某種意義上是有些獨特的單詞，因為它們在其他歌曲中並不常用， “波希米亞狂想曲” 和 “偉大的國王鼠” 這些詞語在某種程度上得到了使用。與這些事情有關， 2 一首歌就在這樣的地方。（* 2）
順便說一句，Freddie Mercury正在為這兩首歌寫歌詞。
* 1;雖然左圖和右圖中每個坐標的最小值和最大值不同，但您可以忽略它。
* 2;事實上，我們也考慮使用其他詞語。
此外，作為相關分析，使用奇異值分解信息（奇異向量），（分層） 聚類分析我會試試。在聚類分析中，使用相似單詞（具有最近距離的歌曲）的歌曲被分組以創建樹形圖。
從此結果中，您可以決定將歌曲分組的組（群集）數量，但在此處 7 顯示每個組著色的結果。
通過文檔單詞矩陣的奇異值分解進行映射，進行聚類分析
https://public.jmp.com/packages/Classifying-songs-with-SVD-and-clusterin/js-p/5c3d904633868300a4314b06-2
■你能用歌詞中包含的詞來確定詞作者嗎？
在分析時 1973年 〜 1991年女王的成員是Freddie Mercury，Brian May，Roger Taylor和John Deacon 4 至於名字，每個人都參與歌曲創作和作曲，每個人都向世界發送一首熱門歌曲。與句子的情況一樣，抒情者可能經常使用詞語，而其他詞語很少被其他人使用，但對詞作者來說是特定的。女王怎麼樣？
這裡的詞作者是具體的 1 專注於只有名字的歌曲，判別分析讓我們看看我們是否可以使用上面描述的文檔字矩陣來識別詞作者。
最高使用頻率 100 Word文檔字矩陣（重量 TD IDF 使用）查看預期的歌詞是否與實際的歌詞匹配。
判別分析
https://public.jmp.com/packages/Can-we-distinguish-the-author-by-the-lyr/js-p/5c3d904633868300a4314b06-3
此處顯示的結果如下：
結果下面是下表，這些是真正的lyricians （實際） 並且通過判別分析預測了詞作者 （預測） 交叉表。
實際
|
預測計數
|
作者
|
水星
|
五月
|
泰勒
|
執事
|
水星
|
42
|
1
|
0
|
0
|
五月
|
0
|
36
|
0
|
0
|
泰勒
|
0
|
0
|
17
|
0
|
執事
|
1
|
0
|
0
|
11
|
第一線是Freddie Mercury，但排名第一 100 當您使用單詞信息來預測詞作者時， 42 有一首歌， 1 只有這首歌實際上是由Freddie Mercury寫的，但它預測了Brian May，也就是說，錯過了預測。
它顯示在表格上方 “百分比分類” 是錯誤分類率的指標，這是錯誤預測的速率。（ 錯誤預測的歌曲數量要分析的歌曲數量 ） 它的計算方法是
“Canonic Plot”被稱為規範情節， 2 尺寸坐標中判別情形的直觀表示。在圖上 4 人們定位，但羅傑泰勒 3 它的位置遠離人。因此，羅傑泰勒詩歌中使用的詞語傾向 3 可以說它與名稱有很大不同。事實上，如果你查看上面提到的交叉製表表，羅傑泰勒寫的那首歌 （17 調 ） 都是預測和其他人 3 你可以從這樣一個事實看出，他用Roger Taylor寫這首歌的名字所寫的歌是沒有錯的。順便說一句，圖表上的標記點是錯誤識別的歌曲。
我的分析報告存儲在以下位置，包括此次介紹的分析。
https://public.jmp.com/users/259
如果我感覺好些，我會繼續發布有趣的分析結果，所以期待它。
報告共享網站 JMP公眾指導
在JMP中，分析報告捲筒紙在網站上分享 JMP公眾有一個名為的網站。
JMP公眾
http://public.jmp.com/
去年年底發布 JMP 是最新版本的 JMP 14.2 在報告窗口中 [ 文件 ]> [ 問題 ] 通過選擇菜單 JMP公眾在您的網站上互動 HTML 現在可以上傳格式分析報告。可以查看上載的報告，以便只有上傳的人可以查看它，或者每個人都可以查看它。但是，要上傳， SAS 使用檔案（註冊電子郵件地址和密碼信息） JMP公眾您需要登錄該網站。
JMP Public上發布了很多分析報告，但我們公司（日本）的工程師發布了報告。請詳細閱讀報告內容。
