指南共享網站“JMP Public”
在JMP中，可以在網站上共享分析報告 JMP公眾我們提供一個名為的網站。
最新版本的JMP在2018年底發佈在JMP 14.2中，您可以通過從報告窗口中選擇[文件]→[發布]，將交互式HTML分析報告上傳到此JMP公共。
您可以設置報告的範圍，以便只有上載的主體或所有人都可以查看它（您需要使用SAS配置文件登錄JMP公共站點進行上載）。
許多分析報告都上傳到JMP Public。
由於JMP日本分部的工程師提交了一份報告，請與詳細介紹該報告內容的文章一起享受。
|
當文本挖掘樂隊“女王”的音樂
電影於去年年底發布 “波西米亞風情歌” 你看到了嗎？
看來，在女王活躍期間聽到的那一代人，以及對女王本身不太了解的年輕人，正在觀看各種各樣的世代，因為電影的樂趣在發布後立即成為熱門話題。
雖然我也很欣賞它，但我聽到的歌曲讓我感到震驚，即使現在聽也不能褪色，同時也會聽故事。在此之後，從想要更多地了解女王的詩歌的想法，突然（？我嘗試過文本挖掘。
在分析之前，我只知道女王的代表性歌曲，但我稱之為“自行車”並稱之為“殺死一個男人”，就像一首歌“波希米亞狂想曲”因為有歌劇部分的歌詞和特色歌詞，我認為可以獲得一些有趣的結果。
我們將從文本挖掘中引入以下三個結果。
- 使用了什麼樣的詞？
- 如果我嘗試用我使用的單詞對歌曲進行排序怎麼辦？
- 你能區分歌詞和歌詞中包含的詞嗎？
分析對像是1973年至1991年專輯中錄製的歌曲，不包括歌詞的歌曲（樂器）被排除在外。直到1991年才開始，因為我希望主唱Freddie Mercury能夠定位他們一生中發行的歌曲。
使用了什麼樣的詞？
什麼樣的單詞更頻繁地用於分析歌曲？答案顯示在雲詞中。詞云是一種常用於文本挖掘的可視化方法，隨著詞的出現頻率的增加，它會以更大的字母顯示。
詞云（單詞出現頻率）
請注意通過單擊上面顯示的關於單詞云的以下三點。
我們進行詞幹提取並顯示頻率為10或更高的詞。
提取詞幹是一種消除單詞結尾變化並將單詞與常用詞彙組合在一起的方法。“詞幹”一詞在單詞的末尾標有“·”。例如，“know·”顯示在單詞云中，但它包含三個單詞“know”，“knows”，“knows”。
- 我們排除被認為是文章，輔助動詞，代詞，動詞，介詞的詞。
- 換句話說，我們有一個藍色漸變（早期平均發行年份）到紅色（平均發行年末）。換句話說，藍色字是早期歌曲中更常用的詞，而紅色字表示它是後來歌曲中使用的詞（截至1991年底）。
如果我嘗試用我使用的單詞對歌曲進行排序怎麼辦？
讓我們將目標歌曲分類（分組）為使用相似單詞的歌曲。為此，首先，文檔字矩陣我將介紹這個概念。
文檔字矩陣是每個單詞是否出現的矩陣表示。一行顯示音樂，每列顯示每個單詞。對於單詞字符串，為出現單詞的歌曲（行）指定值1，並為未出現的樂曲指定值0我會的。雖然創建一個像這樣取值為1或0的文檔字矩陣很簡單，但在這裡我們創建一個文檔字矩陣，加上考慮到“TF IDF”這個詞的重要性。
儘管省略了詳細的定義，但我們將降低出現在許多歌曲中的單詞的重要性，並權衡它們以增加僅出現在某些歌曲中的單詞的重要性。
考慮兩個“生命·”（生命，生命），“騎自行車”（自行車，騎自行車）作為詞幹提取的例子。
下表是加權文檔字矩陣的一部分。
如果包含0以外的值，則表示包含與該歌曲對應的單詞（列名稱的單詞），如果該單詞已多次使用，則該值將很大。
例如，“life·”在許多歌曲中使用，因此它變得很小。
另一方面，“bicycl·”是一個很大的價值，因為它僅用於兩首歌曲“Bicycle Race”和“More Of That Jazz”。此外，“自行車比賽”是一首多次禁止“自行車”的歌曲，所以“自行車”這個詞的價值（46.557）比“僅僅出現一次”的“More Of That Jazz”更大。
對於該文檔字矩陣使用稱為SVD（奇異值分解）的技術，可以將矩陣的信息減少到低維度，並且通過使用相似的詞來映射歌曲和單詞本身，視覺你可以將它們分組。
在下圖的左側，可視化音樂的相似性，在右側，可視化單詞相似性。
在上圖的左側，附近的歌曲是相似的，遠處的歌曲是不相似的。
許多點位於原點（0,0）附近，但標籤附加到這些聚集的點（歌曲）。帶有這些標籤的歌曲將在女王的整首歌曲中帶有獨特的單詞，但在這裡我們將專注於兩首歌曲“波希米亞狂想曲”和“偉大的國王鼠” 。
兩者都遠離原點，但看著右圖中單詞的相似性，“mama·”，“tell·”，“die·”與兩首歌的距離相同它位於* 1。
這些詞語在某些意義上是有些特殊的詞語，因為它們位於離原點有點遠的地方，但它們並沒有在其他歌曲中使用，而是“波希米亞狂想曲”和“大王鼠”它在某種程度上被使用。
關於這些問題，兩首歌就位於這樣的地方* 2。
就像Freddie Mercury寫的兩首歌一樣。
* 1左圖和右圖中每個坐標的最小值和最大值不同，但您可以忽略它。
* 2實際上，我也在考慮使用其他詞語。
作為相關分析，我們將嘗試使用奇異值分解信息（奇異向量）進行（分層）聚類分析。在聚類分析中，使用相似單詞（恰好是距離最近的歌曲）的歌曲逐個分組，並且可以創建樹形圖。
從這個結果中，您可以通過決定組（群集）的數量來分組歌曲，但在這裡我們將向您展示每個組的著色結果。
通過文檔單詞矩陣的奇異值分解進行映射，進行聚類分析
你能區分歌詞和歌詞中包含的詞嗎？
在當時（1973年至1991年）有四位女王成員受此分析影響，Freddie Mercury，Brian May，Roger Taylor和John Deacon，但所有人都參與了歌詞和作曲，每首熱門歌曲都會發送給全世界。
正如在文本中一樣，歌詞經常使用歌詞，而其他歌詞不會使用它們，而是使用特定於詞作者的詞語。
女王的情況怎麼樣？
在這裡，我們將檢查是否可以通過使用僅關註一個特定歌手的歌曲的判別分析來區分歌曲作者，並使用上述文檔詞矩陣。
我們使用文檔字矩陣（權重TF IDF）和前100個單詞的使用頻率來檢查預測的歌詞是否與實際歌詞匹配。
判別分析
通過單擊上面的鏈接讀取顯示的結果，如下所示。
在結果下面，有如下表格，它是通過判別分析預測的實際作曲者（實際）和詞作者（預測）的交叉表。
| 實際 |
預測計數 |
|---|
| 作者 |
水星 |
五月 |
泰勒 |
執事 |
|---|
| 水星 |
42 |
1 |
0 |
0 |
|---|
| 五月 |
0 |
36 |
0 |
0 |
|---|
| 泰勒 |
0 |
0 |
17 |
0 |
|---|
| 執事 |
1 |
0 |
0 |
11 |
|---|
第一行是Freddy Mercury，但是當使用前100個單詞的信息預測歌詞時，有42首歌可預測地預測。另一方面，雖然Freddie Mercury實際上只寫了一首歌，但他預測是Brian May，也就是說，預計它會被淘汰。
在表格上方顯示的“百分比錯誤分類”是錯誤分類率的索引，其是錯誤預測的比例（通過錯誤預測的歌曲數量/要分析的歌曲數量計算）。
“Canonic Plot”被稱為規範圖，是具有二維坐標的辨別情境的直觀表示。
圖中有四個人，但羅傑泰勒遠離其他三個人。因此，可以說羅傑泰勒詩歌中使用的詞語傾向與其他三種語言截然不同。
事實上，當我們查看上面提到的交叉表時，Roger Taylor寫的所有歌曲（17首歌曲）都是預測性的，其他三首歌詞的歌曲被羅傑·泰勒誤認為是歌曲創作我也明白什麼都沒有。順便說一句，圖上標註的點是錯誤識別的歌曲。
我的分析報告（包括此次介紹的分析）保存在以下位置。
https://public.jmp.com/users/259
從現在開始，如果我願意，我會發布有趣的分析結果，敬請期待。
