398687_zh-TW

liliconcom

擴展我們的文本挖掘工具包：JMP Pro 16 中的情感分析和術語選擇 (2021-US-45MP-851)

級別：中級

 

Ross Metusalem，JMP 系統工程師

 

文本挖掘技術可以從非結構化文本數據中提取定量信息。 JMP Pro 16 擴展了它可以從文本中提取的信息，這要歸功於文本瀏覽器功能的兩項新增功能：情緒分析和術語選擇。 情感分析通過將文本的單詞映射到可定制的情感承載術語字典和相關分數（例如，“很棒”，+90；“糟糕”，-90）來量化文本中表達的積極或消極情緒的程度。 由此產生的情感分數可用於大規模評估人們的主觀感受，探索與客觀概念相關的主觀感受，並豐富進一步的分析。 術語選擇通過應用 JMP Pro 廣義回歸平台（從文本瀏覽器內部調用）的正則化回歸功能，自動查找最能預測響應變量的術語。 術語選擇對於輕鬆識別重要結果度量與相關非結構化文本中特定術語的出現之間的關係非常有用。

 

本演示文稿概述了情感分析和術語選擇技術，演示了它們在現實世界數據中的應用，並分享了有效使用每種技術的一些最佳實踐。

 

 

自動生成的成績單...

 

揚聲器	成績單
羅斯·梅圖薩勒姆	大家好，歡迎觀看本次演示，介紹 JMP 如何在去年春天剛剛推出的 JMP Pro 16 中擴展其文本挖掘工具包。
	我是羅斯·梅圖薩勒姆。 我是 JMP 的學術大使，我將與您分享這兩個新的文本挖掘功能
	情感分析和術語選擇。 我們將討論它們是什麼以及如何使用它們和 JMP，然後我們將看到對現實世界公開數據執行這些分析的兩個示例。
	因此，情感分析和術語選擇是 JMP 文本瀏覽器（一種通用文本挖掘工具）的兩個新增功能。
	因此，您可以使用它從我們通常所說的自由或非結構化文本數據中獲取定量信息，因此這可能是從詞頻中獲取的任何內容，以便我們可以製作詞云，
	執行潛在語義分析，以便我們可以對語義相似的文檔進行聚類。 因此，我們今天要看到的兩個功能是文本瀏覽器工具中的功能。
	我們將從情緒分析開始，這是一項受歡迎且經常被要求的功能，我們很高興在 JMP Pro 16 中引入該功能。
	對於那些不熟悉的人來說，情感分析就是量化非結構化文本數據中的積極到消極情緒。
	現在我們要看的例子來自褐皮書，這是美聯儲發布的一份敘述性報告。
	正如我們在地圖中看到的，美聯儲分為 12 個不同的區，每年大約發布 8 次，每個區都會發布一份敘述性褐皮書報告
	它總結了該地理區域本身當前和未來潛在的經濟狀況。 這些報告主要基於定性數據源，因此請考慮
	與商界領袖的對話，調查之類的事情。 所以我認為褐皮書為情感分析提供了一個很好的例子，不僅因為
	這是公開的數據，我可以與大家分享，但也因為如果你是，比方說，投資者或者你，它會非常有趣，
	你知道，管理一家金融機構可以了解美聯儲董事對美國不同地區經濟狀況的積極或消極看法。 你實際上可以用它來
	也許可以指導決策，或者即使你可以量化它，也可以在一些統計分析中使用它，甚至可以在一些預測模型中使用它。
	讓我們看一下褐皮書中的一些文本示例。
	這裡我們只是其中一份報告的一個片段，我們可以從頂部開始看到，該報告表示，另一方面，計算機銷售嚴重低迷。
	然而，如果我們深入到底部，也有人報告說，有很多有利的稻草在風中，所以我們這裡突出了“嚴重沮喪”和“有利”，也有“改善”，
	因為這些就是我們所說的情感短語。 所以它是一個或多個詞來表示某種積極或消極的情感內容。
	因此，在頂部，我們有嚴重的抑鬱，這將是強烈的負面影響，然後我們在下面有有利的，這通常是積極的，我們使用這種顏色編碼，以便橙色與藍色或紫色（取決於如何你看到了）
	分別表示積極和消極的情緒。
	許多形式的情感分析就是這樣做的。 他們在文本中尋找積極的短語和消極的短語。
	JMP 使用的形式以及您在其他地方可能遇到的形式實際上連續量化了積極和消極情緒。
	例如，在第二段文本的底部，我們看到有人說該地區的大型百貨商店銷售不佳。
	因此，在頂部，我們看到銷售嚴重低迷，在下面，我們看到銷售很差。 嗯，我想我們都同意嚴重抑鬱聽起來更糟
	就銷售額而言，比窮人還差。 所以我們可能想要，
	雖然它們都是負面的，但將嚴重抑鬱量化為比貧困更負面，這就是我們在 JMP 中進行情緒分析的方法。 我們要談談
	很快就會特別介紹這些分數的計算方式，但首先我認為值得實際看看
	通過查看像這樣的個人術語和短語，可以證明量化情緒的有效性。
	我們討論的本質上是根據文檔中出現的單詞對文檔進行評分
	我們認為表示情感以及情感程度。 這是一種內部和主觀的事情，但是這種方法，情感分析，
	確實可以證明一些預測的有效性。 例如，如果我們觀察褐皮書情緒隨時間的變化情況，我們可以看到它實際上與經濟衰退相當可靠地跟踪。 所以這裡我們有感情
	在 y 軸上。 您可以看到它從負 75 延伸到 75，這正是我們繪製的範圍。 真實比例從負 100 開始
	到 100，其中零是中性的。 你可以看到，隨著時間的推移，所有褐皮書報告中的情緒總體趨勢變得更加平滑，
	你可以看到一個關於經濟衰退的有趣模式，經濟衰退本身以紅色突出顯示。 特別是，我們可以看到，每次經濟衰退之前，情緒似乎都會明顯下降。
	因此，儘管這是對我們認為的美聯儲董事情緒狀態的相對主觀衡量，但我的意思是，正如人們所預期的那樣，這與經濟衰退是一致的。
	它實際上還可以追踪地理，這很有趣。 以 2000 年至 2001 年左右的互聯網泡沫破滅為例，當時舊金山灣區出現了一批互聯網初創公司
	被淹沒了。 我們可以看到，我在這裡突出顯示了舊金山的懸停標籤，這樣我們就可以看到該地區的分數。 正如我們之前看到的，橙色是積極情緒，藍色是消極情緒。
	我們可以看到，到 2000 年，情緒
	灣區的得分很高，為 38.65，然後在 2001 年平均下降了 60 多點，
	大約為負24.7。 這比我們在該國其他地方看到的波動要大得多，因為那是該地區……大概是因為那是受影響最嚴重的地區。
	我們在大衰退中也看到了類似的情況。 因此，我們看到 2008 年房地產市場的崩潰與情緒的下降相對應，但情況並不統一。
	看起來跌幅最大的是西海岸，所以又是舊金山地區、紐約地區以及亞特蘭大地區，其中包括
	我居住的佛羅里達州是該國受災最嚴重的地區。 事實上，如果我們往下看最後一排，我們可以看到佛羅里達州......
	直到 2012 年左右，該地區的情緒似乎才恢復，落後於其他一些地區，這似乎是有道理的。 佛羅里達州的房地產市場是全國最後恢復的市場之一。
	因此，我們有這種主觀的情緒衡量標準，但在這種情況下，它確實以我們期望的方式跟踪外部事件……經濟事件。
	你又知道了，我們正在研究褐皮書，因為它是一個特別好的公開示例。 如果你
	正在談論可能更常見的應用情感分析的領域，例如消費者市場研究，您正在處理一個
	客戶的聲音以文本數據的形式出現，例如產品評論、調查回復等，
	您也許可以使用情緒分析來更好地理解、甚至預測客戶行為，就像我們可以在這裡使用情緒來更好地理解或預測經濟衰退一樣。
	話雖如此，我意識到過去幾分鐘我們一直在研究情緒分數，這確實引出了一個問題：它們來自哪裡。
	因此，JMP 使用一種稱為詞彙情感分析的情感分析形式。 所以它使用情感詞典或
	情感詞典
	為我們認為帶有某種情感的所有單詞打分。 因此，像“棒極了”這樣的詞可能會得到 90 分，這是非常積極的。 正數幾乎達到最大值，即 100 分，而少數人則擔心得分為負數 60 分。
	現在我們可以為這些術語分配分數，並基本上對它們進行計數或在任何單獨的文檔中取平均值。
	但我們確實想考慮其他一些事情。 如果你還記得我們在褐皮書示例中看到的第一個情感短語是“嚴重抑鬱”。
	換句話說，嚴重就是我們所說的增強器的一個例子，它基本上是一個情緒乘數。 所以你可以在這裡看到，我們可以令人難以置信地宣稱這是一個情緒分數為 1.4 的乘數，實際上有一點
	將其縮放 0.3，因此稍微降低了情緒的強度。
	因此，如果增強器與情感項一起出現，我們將執行該乘法，如果出現否定器，我們也會執行該乘法。 所以我們說，
	你知道，某件事是不存在或不存在、不應該或不存在的，我們乘以負數，這樣我們基本上就翻轉了符號；正值變為負值，反之亦然。
	因此，對於任何情感短語，我們只需執行這個簡單的乘法，然後在整個文檔中，
	我們可以取平均分數或者最小和最大情緒分數之間的差值
	計算這些文檔的情感值。 這就是我們在這些圖表中看到的內容，即這些地圖中隨時間變化的情緒圖表。
	這就是詞彙情感分析。 這是一種非常常見的做法，也是 JMP 中實施的情緒分析類型。 正如我們將看到的，當您擁有 JMP 時
	計算所有的情緒分數，你會得到很多有用的信息。 這是情緒分析報告的示例。
	為了預覽結果的一個元素，在頂部，我們對所有文檔的情緒進行了簡單的總結。
	因此，我們有一個直方圖，可以輕鬆地用顏色編碼，向我們顯示整體情緒的分佈似乎傾向於積極，我們有一個相當強烈的負面情緒尾部。
	我們可以看到，在所有文檔中，平均情緒得分為 4.1，略高於中性。
	對於總體正面的文件（其中有 3,900 份），其平均得分為 22.9，而在大約 1,400 份負面文件中，平均分
	平均得分為負 15.4，因此負面文檔的負面程度不如正面文檔的強烈正面程度。
	現在，當然，你知道，有了褐皮書，我可能會說，好吧，你知道，從 1970 年的情況到現在，只要看看平均情緒得分，也許，你知道，我不知道不必關心查看單個文檔的分數或
	也許看看某些情緒術語的分佈。 但同樣，如果你正在處理數據，
	比如說，消費者市場研究，類似的東西，任何有客戶聲音的文本數據，甚至只是像這樣的高級摘要，可以根據以下數據很好地告訴我們客戶的感受有多麼積極或消極我們有，
	即使只是簡單的報告也可能非常有價值。 但我們即將切換到 JMP，我們將看到情緒分析報告附帶了很多探索數據以獲得洞察力的其他方法。
	那麼讓我們轉到 JMP 看看它是如何完成的。
	所以我們現在使用的是 JMP Pro 16.1，在我們深入研究這些褐皮書數據之前，我確實想向 Xan Gregg 大聲喊叫。
	對於那些不認識他的人來說，Xan 是我們開發團隊的總監。 他是Graph Builder的創建者
	他也是最初提出查看褐皮書數據的人，甚至還好心地抓取了褐皮書檔案中的html頁面，並為我提供了一個不錯的JMP數據表。 非常感謝你，Xan。
	好吧，現在讓我們看一下情緒分析，實際上我不討論結果，
	你知道，我確實想向你展示如何簡單地設置分析，因為有一些重要的考慮因素需要注意，
	您知道，這不僅涉及 JMP 如何實現它，還涉及如何進行一般情感分析或詞彙情感分析。
	為了演示該設置，我實際上只會查看 2010 年至今的數據子集，在本例中，只是為了讓事情變得簡單，因為我們要問
	文本瀏覽器可以多次自動更新其分析，我們希望它盡可能接近瞬時。
	在這裡，我有數據的子集，所以我們有從 2010 年 1 月開始直到上個月最新報告的所有 12 個地區的褐皮書報告。
	好吧，為了啟動我們的情感分析，我將去分析並選擇文本瀏覽器。 將我們的文本放入文本列角色中。 有幾點需要注意。
	一是雖然文本瀏覽器通常支持多種語言，
	情緒分析目前僅提供英文版本。
	另一個是，如果......至少如果您是一位經驗豐富的文本瀏覽器用戶，您可能習慣於打開詞幹提取，並且您會注意到我現在將把它關閉。
	對於那些不知道詞幹提取的人來說，這是一種折疊同一單詞的多種形式的方式，或者用語言學的話說，就是同一個 lemme。 所以，要堅強，更強，再堅強。
	我們會崩潰於所有這些，然後說，好吧，它們對於我們的目的來說都很強大。
	顯然我們不想在這裡這樣做，因為最強比更強更積極，而更強比更強更積極。
	因此，我們將詞幹保留為關閉狀態，事實上，即使您在調用情緒分析後將其打開，它也會忽略該詞幹提取，因為您真的不應該使用它。
	所以我要單擊“確定”。 不，看起來當我這樣做時，我們遇到了輕微的技術問題。 我很抱歉我的電腦最近發生了一些奇怪的事情，導致了這種情況，但沒關係。 我們只需重新啟動屏幕共享即可恢復我的視頻。 大家好。
	我們將分享這一點。 好吧，所以我們應該繼續，看起來錄音還在繼續。 讓我確保 JMP 已分配給此處的正確監視器。 看起來確實如此。 好吧，對此大家感到抱歉。 無論如何，讓我們回到正題。
	所以這裡有我們的文本瀏覽器窗口。 現在，如果你習慣這樣做的話
	在文本分析中，您會知道通常是從聲明停用詞開始的。 例如，人們在談論我在行業中的聯繫時告訴我...... 你知道我不想在分析中使用聯繫人這個詞，所以通常我會
	將其添加為停用詞，然後可能要花費幾個小時
	在我實際進行分析之前聲明停用詞，而您不必在情感分析中這樣做。
	這一切都基於情感詞典，因此，對於像聯繫人這樣的詞，它不在詞典中。 無論如何，它在功能上已被排除，因此這是節省時間的好方法。
	然而，您可能確實想聲明一些短語，例如房地產或我們要考慮的一個短語，即貸款需求，就在這裡。
	因此，我單擊貸款需求並將其添加為短語。 它被放置在我們的術語列表中，所以讓我們快速找到它。
	共有 1,139 個實例。 這是為了幫助我們真正深入到這些分析或這個中的子領域
	在這個數據集中。 因此，想像一下，我想計算情緒，不是整體計算，而是僅計算貸款需求方面的情緒。
	正如我們將看到的，要做到這一點，我需要首先將其聲明為一個短語，因此至少對於您可能感興趣的真正突出的領域來說，瀏覽並聲明一些短語是合理的。
	好吧，現在讓我們結束這個問題並實際啟動情緒分析。
	你會看到，當我這樣做時，我將得到一份完整的報告，所以在我看來，是時候開始探索我的結果了，因為這看起來像是一個完整的分析，但我確實想鼓勵任何使用此功能的人踩剎車並考慮您的情緒字典。
	你知道，不同的人群在不同的背景下用不同的方言生成關於不同事物的文本
	可以以多種不同的方式使用語言。 定制你的情緒和強化否定術語列表很重要
	反映這一點。 所以這就是...我猶豫是否使用“從不”這個詞，但我要...我要說“從不”只是使用默認的情感詞典。 如果您自己策劃，您總是會得到更有效的結果。
	因此，如果我轉到此處的情感術語，您可以看到分數基於此內置字典，該字典相對稀疏。
	但我想實際閱讀一些文本，看看我是否可以識別出更多應該包含在字典中的單詞。 我應該提到你甚至可能想經歷
	內置列表並排除一些，儘管該列表相對稀疏，因此理想情況下您不必排除太多或可能任何。
	因此，在我們的報告中，您實際上擁有一些用於整理詞典的工具，而不僅僅是探索結果。 我可以選擇此文檔表中的文檔並顯示文本
	就在下面。 所以我將暫時離開屏幕底部。 您可以看到該文本中突出顯示的內容，已經找到了情感術語和短語，例如稍微好一些。
	但如果你看一下，這裡有“弱”這個詞，當前的狀況仍然很弱，據我所知，這是一個非常常見的情況。
	褐皮書報告中的術語表明某些事物本質上是壞的。 我不知道，我不是經濟學家，但也許在經濟學中，
	你知道，弱是壞的同義詞，強是好的同義詞，這是我在仔細查看這些數據後的看法。
	現在你會看到，它沒有突出顯示。 這意味著我的字典中目前沒有“weak”，但我可以很容易地添加它。 我只是將鼠標懸停在上面
	術語就在文本中，我可以將其添加為否定詞。 我可以給它一個增強值或情緒值，因此它是適度的負值，因此我將單擊負值 60。
	所發生的情況是，它現在已添加到我的字典中，並且所有情緒分數都在這裡實時重新計算。
	所以我的情緒術語列表現在我什至可以選擇弱並查看它的所有實例。 如果我們返回計數列中的該表，看起來它在褐皮書數據的這個子集中出現了 1,012 次。
	因此，當然，瀏覽並閱讀文檔的隨機子集或分層隨機子集，並嘗試識別屬於您字典中的一些情感術語。
	現在，您還可以依賴一個方便的功能，這個可能的情緒列表，
	這實際上提供了潛在的情感術語供您考慮。 我可以注意到，這裡有強項，而我把弱項放進去。 我當然想要堅強，所以我要宣布這是一個
	強的。
	我一直在使用快捷按鈕，你知道，正 60，負 60，但是你可以輸入負 100 到 100 之間的任何你喜歡的分數，所以也許我實際上只想要 50 分作為強分數。 所以我會這樣做，如果你現在往下看，你可以再次看到自動更新的所有內容。
	因此，請注意您的情緒術語列表。 另外，我不會詳細介紹否定增強項的機制，但同樣的想法也適用。
	確保您獲得這些權利來真正反映您的領域，然後我建議，在紅色三角形下，您可以隨時進入完整術語管理工具，手動輸入一些術語，所以也許我知道我想要最強的，並且我希望分數為90。
	所以我可以在這裡添加一種批處理格式
	無需每次自動更新，或者我也可以導入和導出情緒術語列表，
	這非常適合與其他人分享，使它們便於攜帶，幫助跟踪我們的工作並使其可複制。
	由於您的結果在很大程度上取決於情緒術語列表以及增強詞和否定詞，因此我強烈建議您在擁有一組列表時導出它們，以便將其完整記錄下來並能夠導入到新的分析和復制。
	因此，設置分析就足夠了，我真的只是想強調這一點，如果您調用情緒分析，您將獲得一份報告，但不要直接深入該報告。 首先整理你的字典。
	所以，現在我已經
	毫不留情地打敗了這一點，讓我們實際看看該報告。
	我現在要做的是拉入一份完整的報告，在本例中使用了所有 5,300 多個
	褐皮書報導在這裡。 因此，正如我之前提到的，在結果部分中，您可以得到總體摘要。 我們不會再經歷這個了。 我們看到您也有
	所有單獨的文檔，因此您可以查看任何文檔以了解其評分方式以及其中顯示的內容。 探索情感術語和短語在上下文中的使用。
	您還可以在此表中看到許多方便的度量，例如文檔的總積極分數，
	文檔中積極情緒短語的平均得分。 同樣的情況也適用於負數，然後是總分，你會注意到，正如我所見
	將鼠標懸停在這些值上，這實際上向我展示了它們的計算方式。 因此，如果我查看負分數平均值，我可以看到總共有七個術語，我可以看到它們的分數是多少，然後我可以看到平均值是多少。
	我還可以看到，在這種情況下，負面情緒的平均值只是所有情緒術語（正面和負面）的平均分數。
	有很多方便的方法可以將鼠標懸停在本報告中的元素上以顯示有用的信息。 我強烈推薦，你知道的，試試吧。 將鼠標懸停在不同的地方。 您可能會發現一些有用的東西。
	現在，當我們進行這樣的文本挖掘時，通常我們不會太仔細地查看單個文檔。 我的意思是，如果我們能把它們全部讀完的話
	那麼我們會的。 我的意思是，我們比計算機更擅長理解語言。 所以，您知道，我們當然不會僅僅瀏覽 5,300 份文檔的整個集合，但您可以說，按分數排序並僅查看最負面的文檔
	報告，並實際閱讀這些報告以了解，好吧，好吧，
	當人們特別消極時，他們消極的是什麼？ 我能了解到什麼是造成這種消極情緒的原因，尤其是在消費者研究方面，比如產品評論、調查之類的東西可能非常有價值。
	我們還看到您有情緒術語列表，我們可以在其中看到出現的所有不同情緒術語、它們出現的頻率以及它們的含義
	與他們相關的分數。 如果我抓住其中任何一個，我也可以在上下文中看到這些術語。 因此，如果使用了特定的情感術語
	在您的數據中很常見，您可能希望在上下文中更好地理解它，以了解人們為什麼使用它或是什麼驅使他們使用它。 只需選擇術語然後瀏覽下面的文本即可輕鬆完成此操作。
	現在，最後，我認為情感分析中最有用的功能之一就在這個功能選項卡下。
	因此，當我單擊搜索時，它會找到經常與情緒術語一起出現的非情緒術語，並允許我們進行深入分析，我們僅評估與該情緒術語相關的情緒
	選定的術語，或者我們所說的功能，或者您也可以將其稱為子域。 因此，也許只是針對銷售的情緒，我們可以看到銷售報告疲弱，銷售疲軟。
	或者回到之前我說你確實想做一些潛在的措辭。 讓我們在這個列表中找到貸款需求，
	讓我們僅根據貸款需求的情緒對所有文件進行評分。 當然這是使用一些
	自然語言處理，以便嘗試確定哪些情感短語適用於貸款需求，哪些不適用於貸款需求，並且使用任何NLP 方法，它都不會100% 準確，但它的準確性，特別是在以良好格式編寫的文本中
	從某種程度上來說，褐皮書的報告看起來確實運作得很好。 現在，我可以看到，例如，他們對貸款需求有何看法
	在所有這些報告中？ 儘管我們確實有一些特別負面的報告，但看起來總體上是積極的。
	最後要指出的是，只是為了讓我們回到原點，可能注意到我這樣做時必須尖峰，那就是……看起來像正 60 和負 60。
	這只是再次強調了在進行分析時整理情感詞典以及在解釋結果時說明如何構建它的重要性。
	所以在這裡，正值 60 的峰值很可能是因為當我最初在字典中輸入大量情感術語時，我使用了這些快捷按鈕。
	所以我有 30、60、90 個快捷按鈕，所以我幾乎要讓自己看到分數的峰值
	正60和負60。 如果我更加小心地讓分數變得更細粒度，那麼也許我不會看到這個，你知道，有趣的，我們稱之為分佈。
	所以我這麼說只是為了再次強調獲得你的情感詞典是多麼重要
	預先放在一起，然後，一旦您這樣做了，您就可以使用此功能獲得有關全局情緒、文檔情緒、單個術語甚至子域情緒的所有有用信息
	部分在這裡。 當然，正如您在 JMP 中可能習慣的那樣，當需要將您所做的工作保存起來時，您可以在紅色三角形下的其他地方使用它，您會找到這些選項，所以我可能會保存我的文檔分數。
	如果我們回到我的數據表，就在這裡，你可以看到我實際上已經保存了，在這種情況下，它是該貸款需求子域的分數，回到我的數據表，以便我可以使用它們，比如說，在進一步分析或繪圖中，就像我們為幻燈片構建的一些圖表一樣。
	這就是情感分析，JMP Pro 16 中的新功能，用於量化文本中的積極和消極情緒。 和
	接下來，讓我們過渡到術語選擇，這是我想討論的另一種新的文本挖掘技術。 正如它所說，術語選擇就是識別與某些結果（即其他一些度量）相關的單詞。 例如在這裡，你知道，我們有，
	褐皮書報告文本，但我們也可以納入
	經濟變量，例如 GDP，並了解褐皮書報告中的某些術語如何與 GDP 或二元變量（例如經濟是否處於衰退中）保持一致。
	這是一個...術語選擇是一個通用工具，用於查找與其他變量相關的單詞，這可能很有用
	在解釋性上下文中，尋找其他變量的驅動因素，或者在預測建模練習中，這樣我們就可以識別預測某些事物的術語，以便將來我們可以使用這些術語來幫助預測它。
	那麼讓我們看看術語選擇是如何運作的，我們實際上將看一個來自消費者金融保護局消費者投訴的不同示例
	數據庫。因此，消費者如果對金融產品或服務有投訴，可以向 CFPB 提出投訴，CFPB 會在消費者和金融機構之間進行調解。
	金融產品或服務的提供者。 以下是您可以在這些數據中找到的內容的示例。 有人說他們正在監控自己的信用報告，並且收到了一份 3,900 美元的收款通知，但他們聲稱對此一無所知。
	你也可以看到，在數據表中，我們接下來有一列說消費者對此提出了異議，而這裡消費者確實提出了異議，這意味著他們收到了來自
	金融服務提供商對這一答复並不滿意，因此提出了異議。
	您可以在數據表的標題圖規範中看到，這並不常見。 在我們正在查看的數據集中，基本上大約有五分之一，
	導致消費者糾紛，但如果您是與該客戶打交道的金融公司，您當然不想發布一些響應，然後讓他們繼續對該響應提出異議。 您可能想了解哪些類型的投訴
	實際上會導致消費者糾紛，這樣你就可以提前識別出哪些可能會導致糾紛，
	或者只是更好地了解您的爭議解決實踐以減少爭議數量。 您需要注意的原因有很多。
	消費者投訴敘述數據首先要了解是什麼可能導致這些爭議，而術語選擇的作用是在文本中找到與該結果（即爭議變量）相關的各個術語。
	在這裡，我根據術語選擇分析的結果製作了一個圖表，其中我們有沿 Y 軸的術語集合。 在 X 上，我們有 logworth，即
	衡量關聯統計證據強度的指標。 所以這實際上是按對數值排序的，所以在頂部，我們有
	違反，你可以看到那裡的小點。 這實際上表明我們已經在這裡完成了詞幹處理，因此違反意味著可能被違反、違反、違反等等。
	因此，我們有強有力的統計證據表明，該術語“違規”與消費者糾紛有關，實際上在顏色編碼中，
	我在這裡用比值比來表示效應的強度。 所以當人們...當有人提到這個詞時，違反，
	發生爭議的可能性大約增加 1.5 倍。 所以如果我是
	作為一家金融服務提供商，我可能想留意這個術語。 我可能想調查人們如何以及何時聲稱某些違規行為，正如我們將看到的，這確實違反了聯邦法律。
	當他們在投訴中聲稱這一點時，我們是如何處理這些問題的，因為看起來我們處理得併不令人滿意。
	也許您想在預測模型的一部分中使用該術語的存在或不存在來幫助預先標記潛在的有問題的投訴，以便我們可以升級他們的解決方案。
	那麼，這一切是如何運作的呢？ 好吧，我們正在構建一個從文檔術語矩陣開始的模型，它是文本的表示，其中每個
	行是一個文檔，每一列是可能出現的一個術語。 進而
	在這種情況下，我們有所謂的二進制加權，所以我們只是，如果該術語出現，我們輸入 1；如果該術語未出現在該文檔中，請輸入零。 還有更多權重，但對於我們的示例，我們將堅持使用二進制。
	當我們在模型中輸入這些二進制列作為預測變量時，特別是我們使用
	JMP 的廣義回歸，我們稍後就會明白原因。 首先只是想說明一下我們在這裡所做的是回歸，實際上是一些
	您可能會聽到，有些人會將術語選擇稱為文本回歸。
	不要太擔心模型的形狀。 我只是想強調，我們正在做的是我們正在採取一些結果變量。
	因為我們有一個二元變量，它是邏輯回歸的對數機率，我們說它等於，你知道，一些截距加上，
	你知道，一個係數乘以某個變量。 在本例中，它是二進制 1 或 0；是否出現違規。
	再加上另一個係數值，在本例中是另一個二進制變量的負 0.2 倍；這裡是否有人提到“掛斷”一詞，等等。
	因此，我們在這個模型中輸入一堆項，然後使用廣義回歸來選擇哪些項屬於模型，哪些不屬於模型。 和
	我們在這裡看到的是 JMP 計算該解決方案的示例，哪些術語屬於我們，哪些不適合我們。
	在解決方案路徑中，我們可以看到進入模型的所有項都顯示為藍色，而實際上未包含在模型中的所有項都顯示為黑色，因為它們並沒有真正增加其預測價值。
	所以我們最終得到的是一個術語列表。 我們有他們的模型係數值，所以在這裡，例如，違反，我得到了 0.4 值，因為這實際上是
	當我們擬合模型時的係數值。 正如我們之前提到的，我們還獲得了統計證據或證據強度的衡量標準，
	這個logworth 值，這裡是16.58，如果你想要一個經驗法則，任何高於2 的值，你知道，可能被認為是強有力的統計證據，但實際上，logworth 是p 值的以10 為底的負對數，所以值2 正好對應 P 值 0.01。
	因此，在本例中，我們都有係數，這會在多大程度上增加或減少爭議的可能性？ 然後日誌值得告訴我們，你知道，我們的證據到底有多可靠？
	有了這些信息，我們就可以做很多事情，當我們轉向 JMP 並實際執行此分析時，我們將看到如何進行。
	所以我回到了我的另一個桌面。 我將調出我們的消費者投訴數據。
	和
	我將在此處使用表腳本啟動它，而不是從頭開始進入文本資源管理器。
	正如我們將看到的，一旦啟動……抱歉，出現在錯誤的屏幕上。 我們開始吧。
	您知道，我們總是從實際進入分析的術語列表開始。 然後我們有我們的短語列表，我們可以在其中聲明屬於術語列表的某些短語也應該包括在內。
	我加入了很多短語，例如《公平信用報告法》，因為如果提及該短語或該概念與消費者糾紛相關，我想找到它。
	您還會注意到，如果我去我們的...讓我們去管理這裡的停用詞，我已經聲明了很多停用詞。 所以這些都是
	我不想包含在分析中，主要是因為它們可能會淹沒其他單詞。
	它們可能非常頻繁，如果我只要求分析 500 個最常見的單詞，我不想把它搞砸。
	特別是因為，即使“能夠”作為與爭議相關的術語返回，我什至不知道我會做什麼……我會用它做什麼，或者我如何解釋像“能夠”這樣的通用詞。
	因此，您需要花時間處理停用詞和短語，準備好後，在紅色三角形下方調用術語選擇。
	所以當我們這樣做的時候，我們首先要選擇我們的
	結果變量，這是這位消費者有爭議的。 我們希望根據發生爭議的可能性來討論問題。
	您可以在此處設置連續和分類結果變量。 他們都工作。 我還應該提到，我們正在談論一場爭端，
	你知道，你可能認為實際上可能是某種情緒的代表，也就是說，如果有人對某件事有爭議，那可能是因為他們不高興。
	但很常見的是，有些人擁有數據，其中有一個外部變量，可以更直接地衡量情緒，例如產品的星級，這確實表明了滿意度。
	因此，如果您碰巧對情緒以及文本數據有很好的測量，您可以使用這樣的工具來執行我們所說的操作
	數據衍生的情感分析，您可以使用此工具挖掘可預測情感度量的術語，從而從本質上選擇情感術語並自動
	找出他們的分數應該是多少。 所以它非常方便。 這不完全是我們在這裡所做的事情。 我們正在以更通用的方式使用它。
	好的，對於該文檔術語矩陣，我將堅持使用二進制加權。 為了讓事情變得簡單，我要說的是，讓我們只看 200 個最常見的術語。
	除此之外，從第 201 學期開始，我不會將其包含在分析中。 在實踐中，我可能會包含更多內容，你知道，只是我希望它對於演示來說是美好而活潑的。
	如果您是 GenReg 用戶，您會看到您有
	用於預先指定估計和驗證方法的選項。 我將保留默認值並單擊運行。
	因此，JMP 正在向 GenReg 發出請求。 它正在構建邏輯回歸模型並使用彈性網絡方法進行變量選擇。
	看起來我們剛剛遇到了第二個技術故障。 對此我感到非常抱歉。 當這個模型合適時，我們會解決這個問題。 那麼讓我們看看。 我們將恢復我的屏幕共享。
	我們會把我帶回來。 看來我們還在錄音，所以我們就繼續吧。 這就是結果。
	在詳細介紹報告之前，我們首先看一下匯總表中的這一行。 這總結了我迄今為止構建的單一模型。
	例如，我可以看到它返回了 145 個術語。 我使用 AICc 作為驗證，並且有 AICc 值。 我們可以看到一些其他的擬合統計數據。
	而且，就像任何模型一樣，我們可能想在模型上嘗試多次運行，以便構建最適合我們數據的模型。
	因此，如果我轉到此處的廣義回歸節點，您將看到我們實際上已將 GenReg 嵌入到文本資源管理器中。
	我可以更詳細地探索我們已經擬合的模型，或者就我而言，我實際上將擬合另一個模型，看看我是否可以做得更好。 讓我們做一個自適應彈性網絡。
	並將適合該模型，看看它是否比我們已經適合的常規彈性網更好。
	好的，所以它也適合該模型。
	如果我們查看摘要，我們可以看到這個現在已返回 98 個術語，實際上具有較低的 AICc，因此可能更適合。
	所以我將採用該模型。 現在，如果我想使用原始版本，只需單擊它即可。 如您所見，下面的報告更新為我在此表中選擇的模型。
	我這裡有我的術語清單。 我們已經討論過這一點，所以我可以從係數的角度來看待它。 因此，以下是最……影響最大的條款，增加了消費者糾紛的可能性。
	以下是對降低消費者糾紛發生率影響最大的措施。 例如，在其中任何一個中，我都可以看到“掛斷”，當然，它談論的是他們掛在某人身上或某人掛在他們身上，也許這對我們來說是有意義的
	這預示著爭議的可能性會減少，因為聽起來這確實是一個溝通問題，而且可能更容易解決。
	再次，我們要注意這裡的對數值，2.883，所以它比我之前所說的經驗法則 2 稍高一點，所以我們可能會說，好吧，我認為有相當有力的統計證據表明這是一個真實的協會。
	為了讓大家明白這一點，如果我們走到這裡，我們會看到“警察”這個詞。 我的第一印像是，好吧，人們說，好吧，我做了一份警方報告，或者我報了警。
	如果我們做出一些回應，他們可能不會那麼容易消失，概率爭議，如果有人已經達到報警的程度，概率爭議就會上升。
	但如果我們看看
	洛沃斯，我們可以很好地看到這方面的統計證據確實不是那麼有力，所以雖然它違反了我的直覺，但你知道，也許，也許它並不完全真實。
	當然，我並不是想把這件事向上級匯報給管理層，然後說，嘿，如果人們說他們給我們報了警，這實際上是一件好事。 我們當然不是這麼說的。 它剛剛被選擇包含在此處的模型中，因為它最終確實，
	產生更好的擬合模型，但仍然取決於我們運用自己的知識和常識來解釋結果。
	所以這個表可能是，如果你真正想做的只是識別術語並以某種方式量化它們的影響，
	這可能就是您分析的目標。 所以我可以右鍵單擊並進入數據表
	並獲得這些術語及其係數和對數值的數據表，然後用它來指導我們之前的響應、改進工作的一些分析，甚至將這些標記為應包含在未來某種預測模型中的術語。
	但是，您知道，我們確實在這裡構建了一個模型，一個回歸模型，因此我們在單個文檔級別上有關於
	預測爭議可能性增加的係數總和、預測爭議可能性減少的係數總和、總體模型值、發生爭議的概率
	模型分配的內容與我們實際觀察到的內容存在爭議。 因此，當您實際在單個文檔級別進行評估時，您可能會想到的所有事情，以及該模型的表現如何。
	在頂部，我們還對各個文檔及其......我們所說的貢獻進行了總體摘要，這就是
	這些係數值的總和或平均值。 例如，我們的 30,412 個文檔的係數值和平均係數值的總和為正總和，平均貢獻約為 0.57。
	所以，再次只是一個標誌，你知道，我們在這裡討論回歸係數，所以這些貢獻值，係數表，所有這些都應該像你構建時那樣解釋
	否則，線性回歸模型，所以在我們的例子中，邏輯回歸，我們應該解釋這些
	適當地，也就是說，如果我們對它們求冪，那麼我們正在處理對數，或者......對不起......然後我們正在處理優勢比，所以這是優勢增加或減少的因素如果這個詞出現在文本中。
	儘管如果您不太熱衷於回歸，但從更一般的意義上來說，這些值仍然對您有好處，因為您可以看看哪些項具有最強的效果或沒有最強的效果。 洛格沃斯也一樣，有最有力的證據也有，也有沒有。
	現在，最後，正如您可能想像的那樣，我的意思是我們已經看到瞭如何保存術語表，但是如果您的目標不是該術語表，而是模型
	您也可以選擇將其保存下來。 因此，我選擇了我打算使用的模型，即自適應彈性網絡，在紅色三角形下，我可以保存預測公式。
	我想我的電腦可能會在這裡攪動一秒鐘。 因此它保存了文檔術語矩陣，即我們指定的前 200 個術語，然後還有公式
	對這些列或文檔項矩陣進行操作以實際計算我們的模型。 所以在這裡，我有文檔術語矩陣
	然後是最後的公式列，所以現在，我實際上可以使用
	如果我願意的話，可以直接使用這個模型。
	這就是術語選擇。 同樣，在高層次上，我們正在尋找哪些術語與我們關心的結果變量最密切相關，以便更好地解釋驅動該結果的因素，或者甚至可以為建模實踐提供信息以嘗試預測該結果。
	至此，JMP Pro 16 中的兩個新文本挖掘功能術語選擇和情感分析再次於去年春天推出。
	我現在要出去玩一會兒，回答大家提出的任何問題，
	你知道，這兩個新功能。 並且還知道，稍後您可以隨時在本次演示的用戶社區頁面上發布其他評論或問題，我將始終關注
	願意回答任何提出的問題。 謝謝大家抽出時間。 請保重。

爆發數據探索統計和建模回复：擴展我們的文本挖掘工具包：JMP Pro 16 中的情感分析和術語選擇 (2021-US-45MP-851)

謝謝， @jgrayson 。恐怕我不明白15 vs 16 的問題。 你能澄清一下嗎？

回复：擴展我們的文本挖掘工具包：JMP Pro 16 中的情感分析和術語選擇 (2021-US-45MP-851)

偉大的！期待看到這些。我現在只有16個，別人好像都是15個。 也可以有16個嗎？

謝謝，

吉姆

回复：擴展我們的文本挖掘工具包：JMP Pro 16 中的情感分析和術語選擇 (2021-US-45MP-851)

半現場演示的一位與會者要求提供情感分析參考。 當時我沒有一個好的答案，但一些快速的互聯網搜索表明劉兵教授的工作可能是一個很好的起點。 他的 2012 年書情感分析與意見挖掘在 Google Scholar 上被引用超過 7,000 次，他還撰寫了一本更新的書，名為情感分析：挖掘情感、觀點和情緒。 劉教授的情感分析網頁包括有關這些書籍的信息以及有關該主題的 PDF 書籍章節。 我沒有讀過劉教授的著作，但值得一看。