已經有一段時間了，但它是第三系列的結尾。第1部分讓我們來分析一下《披頭士》歌詞的情緒第2部分然後，我試圖分析《女王》歌詞的情緒。在本期的第 3 部分中，我們將使用一個名為 Term Selection 的函數來創建一個模型，該模型從兩個樂隊的歌詞中包含的詞中預測出哪個樂隊的歌曲，並表徵每個樂隊。讓我們查找一個詞（關鍵字） .
什麼是術語選擇？
在 JMP 中，“文本資源管理器”平台允許進行文本分析，但在 JMP Pro 中，您可以選擇“術語選擇”作為該平台的選項。
在“詞選擇分析”中，當存在響應變量（Y）時，可以對文本分析提取的詞與響應變量之間的關係進行建模。描述響應變量的詞是什麼你可以找到這樣的事情。
在本例中，我們將創建一個數據表，將“The Beatles”和“Queen”的歌曲標題和歌詞組合在一起，如下所示。
此時，響應變量（Y）和預測變量（X）如下。
響應變量 (Y)：“Band”（區分歌曲是披頭士樂隊還是皇后樂隊的變量）
預測變量（X）：從“歌詞”中提取的詞
是否應考慮克制
讓我們仔細看看預測變量 (X)。
從文本中提取單詞時文檔--術語矩陣 (DTM)您可以將單詞以矩陣格式放在一起。
例如，方法 A。 歌曲第166行的披頭士歌曲《You Like Me Too Much》的歌詞中包含了“know”、“time”、“just”（至少一個）這三個詞，所以變量“know Binary”、“Time Binary” ", "just Binary" 的值為 "1" 並且不包含諸如 "love", "oh", "yeah" 之類的詞，所以 "love Binary", "oh Binary", "Yeah Binary" 被賦予一個“0”的值。
方法 A。 二進制 (1/0) 文檔詞矩陣
以這種方式提取單詞會創建一個“數據行 x 單詞數”矩陣（在此示例中，值為 1 或 0），實際預測變量是該文檔單詞矩陣中的單詞組。
上面構造了一個值為 1/0 的文檔詞矩陣，但是下面的方法 B. 也可以通過“頻率”來配置它，例如特定單詞在文檔中出現的次數。
方法 B。 詞出現頻率的文檔詞矩陣
在之前的文章中，我提到歌詞受文本分析中的 refrain（一遍又一遍地使用同一個詞）的影響很大。因此，考慮到上述方法 B 中的單詞出現頻率，它受 refrain 的影響很大。
因此，在建模時，請嘗試使用方法 A 或方法 B 進行建模，並比較哪種模型更好。
方法 A。 二進制（1/0）文檔詞矩陣⇒不受副詞影響
方法 B。 詞出現頻率的文檔詞序列 ⇒ 受 refrain 影響
選詞分析報告
基於以上幾點，我們來使用“選詞分析”。如果您選擇 Term Selection 選項，您將看到類似於以下內容的配置大綱：
每個設置的詳細信息
“選擇響應列” : 指定響應變量 (Y)。在此示例中，它是“Band”（披頭士/皇后樂隊）。
“目標水平” ：指定響應變量中的事件級別。在這裡，指定“Queen”並將Queen 視為標準。由於 Y 只取兩個值，Beatles 和 Queen，我們應用邏輯回歸模型假設 Y 是二項分佈。
“模型設置” ：指定建模方法和驗證方法。默認情況下，Elastic Net 被指定為估計方法，AICc 被指定為驗證方法，所以本例使用默認設置。
“術語設置” ：指定對上一節中顯示的文檔詞矩陣使用哪種方法。默認值為二進制 (1/0)。您還可以指定要在文檔詞矩陣中使用的最大詞數，默認為 400。也就是說，只有前 400 個最常提取的詞被用作預測變量。
單擊右上角的運行按鈕以查看指定設置的建模報告。
我們將在下面的報告 1 中看到結果。
報告 1 “A Hard Days Night”（披頭士樂隊）：可以正確預測
顯示了使用 Elastic Net 對邏輯回歸模型進行變量選擇的結果。在此示例中，選擇了 400 個預測變量中的 49 個來幫助預測，報告的右上角顯示了所選變量（項）的係數。
如果係數為正，則顯示橙色條，如果為負，則顯示藍色條，但由於此處指定了事件級別，因此正值越大，皇后級別越高。對預測甲殼蟲樂隊的水平貢獻很大，負值越大，對預測甲殼蟲樂隊的水平貢獻越大。
在報告的左下方，“A Hard Days Night”（甲殼蟲樂隊的歌曲）的歌詞用橙色表示有助於預測披頭士的單詞，而藍色表示有助於預測女王的單詞。你可以看到歌詞中經常使用對披頭士有貢獻的詞，比如“just”、“give”和“days”。因此，即使你不知道歌詞是哪個樂隊的歌曲，你也可以預測這是一首披頭士的歌曲，因為只使用了“、給”、“天”等。
更準確的說，就是從這句歌詞中，計算出預測Queen的概率和預測Beatles的概率。 Queen的預測概率是根據上面得到的邏輯回歸的回歸係數，使用Logist函數(Logist (x) = 1 / (1 + Exp (x)))通過以下公式計算的。
當我重新發佈建模報告時，下面的“女王概率”一欄顯示了每首歌曲預計歌曲成為女王的概率，即“艱難的日子之夜”為 32.7%。
因此，相反，從 100% 中減去被預測為披頭士的概率為 67.3%。比這個，
從 A Hard Days Night 的歌詞中
預測女王歌曲的概率：32.7%
預測披頭士歌曲的概率：67.3%
因此，我預測它很有可能是披頭士樂隊的歌曲。
這將是。換言之，實際值（測量值）和預測值（預測值）匹配。
我們來看看另外兩首歌曲的報導（Report 2, Report 3）。
報告2《波西米亞狂想曲》（女王）：正確預測
女王的代表曲《波西米亞狂想曲》以88.9%的高概率被預測為女王的歌曲。
報告 3 “Hey Jude”（披頭士）：錯誤預測“Queen”
披頭士的代表曲《Hey Jude》被預測為Queen的概率為56.3%，所以預測是錯誤的。
有些歌曲是這樣可以預測的，而另一些則不是。在創建預測模型時，以表示實際測量值與預測值不同的比率的 Misclassification Rate 作為預測能力的指標，該值越小，預測能力越高。
型號比較
在上一節中，我們使用二進制值（1/0）作為文檔詞矩陣進行建模，但是與以相同方式使用詞頻建模的情況相比如何呢？
在選詞分析中，作為“摘要”報告，當擬合多個模型時，將顯示比較模型預測能力的報告，如下所示。模型 1 用於二進制，模型 2 用於詞頻。
AICc用作驗證指標，Generalized Rsquared（廣義R-squared，數值越大越好），AUC（曲面下面積，數值越大越好），Misclassification Rate（誤判率，數值越小越好）如果看，可以看到Model 1的2個值對任何指標都有好處。
從這個結果可以看出，以詞的出現（=1）/不出現（=0）為解釋變量的模型比詞的出現頻率為解釋變量的模型具有更高的預測能力。..
概括
我將總結到目前為止解釋的“單詞選擇分析”的結果。
- 根據歌曲歌詞中包含的單詞，我們創建了一個模型來預測這首歌是披頭士樂隊還是皇后樂隊。
-作為用於解釋變量的文檔詞矩陣，我們對以下兩種類型的方法進行了建模，並比較了模型的預測能力。
方法 A。 表示是否包含歌詞對應的詞：二進制值
方法 B。表示歌詞對應的單詞出現了多少次：頻率
⇒ 發現不考慮副歌的方法A（二進制值）的預測能力很高。因此，之後使用由方法 A 建模的結果。
・ 提取了對預測影響很大的 49 個單詞。當根據這些詞估計的回歸係數得到每首歌曲的預測概率，得到預測歌曲（預測值）和實際歌曲（實際測量值）時，誤判率為8.4%。考慮到作為其他預測能力的指標的 R 平方和 AUC 值，認為可以創建良好的預測模型。
⇒ 僅通過選擇的 49 個單詞的信息，就可以以 91.6% 的準確率猜出是哪首歌。
最後，這是在 Graph Builder 中繪製的 49 個選定詞（Terms）及其回歸係數（Coefficient）的圖表。橙色是有助於皇后樂隊預測的詞，淺藍色是有助於披頭士預測的詞。
正值最高的“Blow”是代表Queen歌詞的詞。其實在分析的歌曲中，在各種Queen歌曲中都用到了blow，但是由於Beatles的歌曲中沒有用到，說明這個詞的係數很大，可以附上。
希望這篇文章能給你一個使用“選詞分析”的機會。
