398687_zh-TW

liliconcom

擴展我們的文本挖掘工具包：JMP Pro 16 中的情緒分析和術語選擇 (2021-US-45MP-851)

級別：中級

 

JMP 系統工程師 Ross Metusalem

 

文本挖掘技術能夠從非結構化文本數據中提取定量信息。 JMP Pro 16 擴展了它可以從文本中提取的信息，這要歸功於 Text Explorer 的兩項新增功能：情感分析和術語選擇。 情感分析通過將文本的單詞映射到可定制的帶有情感的術語和相關分數的字典（例如，“精彩”，+90；“可怕”，-90）來量化文本中表達的積極或消極情緒的程度。 由此產生的情緒得分可用於大規模評估人們的主觀感受，探索與客觀概念相關的主觀感受，並豐富進一步的分析。 術語選擇通過應用 JMP Pro 的廣義回歸平台（從文本資源管理器內部調用）的正則化回歸功能，自動查找對響應變量預測能力最強的術語。 術語選擇有助於輕鬆識別重要結果度量與相關非結構化文本中特定術語的出現之間的關係。

 

本演示文稿概述了情緒分析和術語選擇技術，展示了它們在現實世界數據中的應用，並分享了一些有效使用每種技術的最佳實踐。

 

 

自動生成的成績單...

 

揚聲器	成績單
羅斯·梅圖薩勒姆	大家好，歡迎觀看關於 JMP 如何在今年春天剛剛發布的 JMP Pro 16 中擴展其文本挖掘工具包的演示文稿。
	我是羅斯·梅圖薩勒姆。 我是 JMP 的學術大使，我將與大家分享這兩個新的文本挖掘功能
	情緒分析和術語選擇。 我們將討論它們是什麼以及如何使用它們和 JMP，然後我們將看到兩個對真實世界公開數據執行這些分析的示例。
	因此，情感分析和術語選擇是 JMP 文本瀏覽器的兩個新增功能，它是一種通用文本挖掘工具。
	所以你可以用它從我們通常所說的自由或非結構化文本數據中推導出定量信息，所以這可能是推導詞頻的任何東西，這樣我們就可以製作詞云，
	進行潛在語義分析，以便我們可以對語義相似的文檔進行聚類。 所以我們今天要看到的兩個功能是文本瀏覽器工具中的功能。
	我們將從情緒分析開始，這是我們很高興在 JMP Pro 16 中引入的一種流行且經常被要求的功能。
	對於那些不熟悉的人來說，情緒分析就是量化非結構化文本數據中的積極情緒到消極情緒。
	現在我們要看的例子來自褐皮書，它是美聯儲發布的敘述性報告。
	正如我們在地圖上看到的那樣，美聯儲分為 12 個不同的地區，每年大約 8 次，每個地區發布一份敘述性褐皮書報告
	它總結了該地理區域本身當前和潛在的未來經濟狀況。 這些報告主要基於定性數據源，所以想想
	與商業領袖的對話，調查之類的事情。 所以我認為褐皮書為情緒分析提供了一個很好的例子，不僅僅是因為
	這是公開可用的數據，我可以與大家分享，但也因為如果你是投資者或你，它會非常有趣，
	您知道，管理一家金融機構以了解美聯儲董事對美國不同地區經濟狀況的正面或負面看法。 你實際上可以用它來
	也許可以指導決策制定，或者即使您可以量化它，也可以將其用於一些統計分析，甚至可能是一些預測模型。
	因此，讓我們看一下褐皮書中的一些文本示例。
	在這裡，我們只是其中一個報告的片段，我們可以看到，從頂部開始，該報告說，另一方面，計算機銷售已經嚴重低迷。
	鑑於，如果我們往下看，有個人還報告說風中有許多有利的稻草，所以我們在這裡突出顯示了“嚴重沮喪”和“有利”以及“改善”，
	因為這些就是我們所說的情感短語。 所以它是一個或多個詞，表示某種積極或消極的情感內容。
	所以在頂部，我們有嚴重的抑鬱，這將是強烈的負面，然後我們有向下，有利的，這通常是正面的，我們使用這種顏色編碼，以便橙色與藍色或紫色（取決於如何你看）
	分別表示積極和消極的情緒。
	許多形式的情緒分析就是這樣做的。 他們在文本中尋找積極的短語和消極的短語。
	JMP 使用的形式以及您可能在其他地方遇到的形式實際上可以連續量化正面和負面情緒。
	例如，在第二段文本的底部，我們看到有人說該地區的大型百貨公司銷售不佳。
	所以在頂部，我們的銷售嚴重低迷，在下面，我們看到銷售很差。 好吧，我想我們都同意嚴重抑鬱聽起來更糟
	在銷售方面比差。 所以我們可能想要，
	雖然它們都是消極的，但將嚴重抑鬱量化為比貧窮更消極，這就是我們在 JMP 的情緒分析中所做的。 我們要談談
	在這裡很快就會談到這些分數是如何計算的，特別是，但首先我認為值得看看
	通過查看諸如此類的個人術語和短語來潛在地證明量化情緒的有效性。
	我們談論的本質上是根據文檔中出現的單詞對文檔進行評分
	我們認為表示情感和程度。 這是一種內在的主觀的東西，但是這種方法，情感分析，
	確實可以證明一些預測有效性。 例如，如果我們查看褐皮書情緒如何隨時間變化，我們可以看到它實際上在衰退中非常可靠地跟踪。 所以在這裡我們有情緒
	在 y 軸上。 您可以看到它從負 75 擴展到 75，這正是我們繪製的範圍。 真實比例從負 100
	到 100，其中零是中性的。 你可以看到，隨著時間的推移，所有褐皮書報告的情緒總體趨勢更加平滑，
	你可以看到一個關於經濟衰退的有趣模式，它本身以紅色突出顯示。 特別是，我們可以看到，情緒似乎在每次衰退之前都會可靠地下降。
	因此，儘管這是對我們認為美聯儲董事情緒狀態的相對主觀衡量，但我的意思是，這與人們可能預期的經濟衰退一樣。
	它實際上也在地理上跟踪，非常有趣。 以 2000 年至 2001 年左右的互聯網泡沫為例，當時舊金山灣區的一群互聯網初創公司
	去了。 我們可以看到，我在這裡突出顯示了舊金山的懸停標籤，因此我們可以看到該地區的分數。 正如我們之前看到的，橙色是積極的情緒，藍色是消極的。
	我們可以看到，建立到 2000 年，情緒
	在灣區相當高，38.65，然後在 2001 年平均暴跌 60 多點，至
	負 24.7 左右。 這比我們在該國其他地方看到的波動要大得多，因為那是該地區……大概是因為那是受影響最嚴重的地區。
	我們看到了與大衰退類似的情況。 因此，我們看到 2008 年房地產市場的崩盤與情緒下降相對應，但並不統一。
	看起來西海岸的跌幅最大，所以這又是舊金山地區、紐約地區和亞特蘭大地區，其中包括
	我居住的佛羅里達州是該國受災特別嚴重的地區。 而且，事實上，如果我們往下看，我們可以看到佛羅里達...
	直到 2012 年左右，該地區的情緒似乎才恢復，落後於其他一些地區，這似乎是有道理的。 佛羅里達州的房地產市場是全國最後一個複甦的市場之一。
	所以我們有這種主觀的情緒測量方法，但在這種情況下，它確實以我們預期的方式跟踪外部事件……經濟事件。
	你再次知道，我們正在研究褐皮書，因為它是一個特別好的公開示例。 如果你
	正在談論可能更常見的領域來應用情緒分析，例如消費者市場研究，您正在處理一個
	文本數據形式的客戶聲音，因此產品評論，調查響應之類的，
	您可以使用情緒分析來更好地理解甚至預測客戶行為，就像我們可以在這裡使用情緒來更好地理解或預測經濟衰退一樣。
	話雖如此，我意識到過去幾分鐘我們一直在查看情緒評分，這確實引發了一個關於它們來自哪裡的問題。
	因此，JMP 使用一種稱為詞彙情感分析的情感分析形式。 所以它使用情感詞典或
	情感詞典
	為我們認為帶有某種情感的所有單個單詞打分。 所以像fantasy這樣的詞可能會得到90分，這是非常積極的。 它幾乎處於正面的最大值，100，而幾個下降，恐懼的得分為負 60。
	現在我們可以為這些術語分配分數，並基本上計算它們或在任何單個文檔中取它們的平均值。
	但我們確實想考慮其他一些事情。 如果您還記得我們在褐皮書示例中看到的第一個情感短語，那麼它是嚴重抑鬱的。
	換句話說，我們稱之為增強器的一個例子，它基本上是一個情緒倍增器。 所以你可以在這裡看到，我們可以難以置信地聲明它是一個情緒得分為 1.4 的乘數，實際上有點
	將其縮放 0.3，因此會稍微降低情緒的幅度。
	因此，如果增強詞與情感項一起出現，我們會執行該乘法運算，如果出現否定詞，我們也會執行該乘法運算。 所以我們說，
	你知道，某事是不存在或不應該或不應該，我們乘以負數，所以我們基本上，你知道，翻轉符號；正變為負，反之亦然。
	所以對於任何情感短語，我們只需執行這個簡單的乘法，然後在一個文檔中，
	我們可以將平均分數或最小和最大情緒分數之間的差值作為
	計算這些文檔的情緒值。 這就是我們在那些圖表中看到的，所以這些地圖中的情緒圖表。
	這就是詞彙情感分析。 這是一種非常常見的做法，它是在 JMP 中實現的情感分析類型。 正如我們將看到的，當您擁有 JMP
	計算所有的情緒分數，你會得到很多方便的信息。 下面是情緒分析報告的示例。
	為了僅預覽結果的一個元素，在此處的頂部，我們對所有文檔的情緒進行了簡單的總結。
	因此，我們有一個方便地用顏色編碼的直方圖，向我們展示了整體情緒的分佈似乎傾向於積極，我們有一個非常強烈的負面情緒尾巴。
	我們可以看到，在所有文檔中，平均情緒得分為 4.1，略高於中性。
	對於所有總體正面的文檔，其中有 3,900 個，它們的平均得分為 22.9，而在大約 1,400 個負面文檔中，
	平均得分為負 15.4，因此負文檔不如正文檔強正。
	現在，當然，你知道，這裡有褐皮書，我可能會說，嗯，你知道從 1970 年到現在的這種情況，只看平均情緒得分，也許，你知道，我不知道不關心單個文檔的分數或
	也許可以查看某些情緒項的分佈。 但同樣，如果你正在處理數據，
	比如說，消費者市場研究，諸如此類，任何你有客戶聲音的文本數據，甚至只是像這樣的高級摘要，它可以很好地告訴我們客戶的感受是積極的還是消極的，基於數據我們有，
	即使只是簡單的報告也可能非常有價值。 但我們即將切換到 JMP，我們將看到情緒分析報告附帶大量額外的方法來探索數據以獲得洞察力。
	因此，讓我們前往 JMP 看看它是如何完成的。
	所以我們現在在 JMP Pro 16.1 中，在我們深入研究這些褐皮書數據之前，我確實想向 Xan Gregg 大聲疾呼。
	對於那些不認識他的人，Xan 是我們開發團隊的主管。 他是Graph Builder的創造者
	而且他也是最初提出看褐皮書數據的人，甚至還好心地把褐皮書檔案中的html頁面刮了下來，並為我提供了一張漂亮的JMP數據表。 非常感謝你，Xan。
	好吧，讓我們來看看情緒分析，實際上，我並沒有進入結果，
	你知道，我確實想向你展示如何簡單地設置分析，因為有一些重要的注意事項需要注意，
	不僅僅是關於 JMP 如何實現它，而是關於如何進行情感分析或一般的詞彙情感分析。
	為了演示該設置，我實際上將只查看從 2010 年到現在的數據的一個子集，在這種情況下，只是為了保持快速，因為我們將要問
	文本瀏覽器可以多次自動更新其分析，我們希望它盡可能接近即時。
	所以在這裡，我有數據的子集，所以我們從 2010 年 1 月開始，直到上個月的最新報告為止，都有所有 12 個地區的褐皮書報告。
	好的，所以要啟動我們的情緒分析，我將去分析並選擇文本資源管理器。 獲取我們的文本並將其放在文本列角色中。 需要注意的幾件事。
	一是雖然文本瀏覽器通常支持多種語言，
	情緒分析目前僅提供英文版本。
	另一個是如果……至少如果你是一個有經驗的文本瀏覽器用戶，你可能習慣於打開詞幹，你會注意到我現在要把它關掉。
	對於那些不知道詞幹的人來說，這是一種跨同一個詞或語言的多種形式折疊的方式，同一個詞。 所以要強，強，強。
	我們會在所有這些東西上崩潰，然後說，好吧，它們對於我們的目的來說都很強大。
	顯然我們不想在這裡這樣做，因為最強比強更積極，比強更積極。
	因此，我們不再使用詞幹，事實上，即使您在調用情緒分析後將其打開，它也會忽略該詞幹，因為，同樣，您真的不應該使用它。
	所以我要點擊確定。 不，看起來就像我那樣做，我們遇到了輕微的技術問題。 我很抱歉最近我的電腦發生了一些奇怪的事情，但沒關係。 我們可以簡單地重新啟動屏幕共享並恢復我的視頻。 大家好你們好。
	我們將分享這一點。 好的，所以我們應該還在繼續，看起來錄音還在繼續。 讓我確保在此處將 JMP 分配給正確的監視器。 看起來是這樣。 好吧，對不起大家。 無論如何，讓我們回到它。
	所以這裡我們有我們的文本瀏覽器窗口。 現在再次，如果你習慣做
	文本分析，您會知道您通常從聲明停用詞開始。 例如，人們在談論我的行業聯繫人告訴我... 你知道我不想在我的分析中使用聯繫人這個詞，所以通常我會
	將其添加為停用詞，然後可能會經歷數小時
	在我實際進行分析之前聲明停用詞，而情緒分析不必這樣做。
	這一切都基於那個情感詞典，因此，對於像聯繫人這樣的詞，它不在詞典中。 無論如何，它在功能上被排除在外，因此這是節省一些時間的好方法。
	但是，您可能確實想要聲明短語，例如房地產或我們將要研究的短語，即貸款需求，它坐在這裡。
	所以我點擊貸款需求並將其添加為短語。 它被放置在我們的術語列表中，所以讓我們快速找到它。
	那裡有 1,139 個實例。 這是一個幫助我們在這些分析中深入研究子域的方法
	在這個數據集中。 所以想像一下，我想計算情緒，而不是總體上，而是僅關於貸款需求的情緒。
	正如我們將看到的那樣，我需要首先將其聲明為短語，因此至少對於您可能感興趣的真正突出的域，檢查並聲明一些短語是合理的。
	好的，現在讓我們關閉它並實際啟動情緒分析。
	你會看到當我這樣做的時候，我會得到一份完整的報告，所以在我看來，是時候開始探索我的結果了，因為這看起來像是一個完整的分析，但我確實想要鼓勵任何人使用它來踩剎車並考慮您的情緒詞典。
	你知道，不同的人群在不同的上下文中生成關於不同事物的文本，使用不同的方言
	可以以多種不同的方式使用語言。 調整你的情緒和強化否定詞列表很重要
	反映這一點。 所以那是...我猶豫使用從不這個詞，但我要...我要說永遠不要只使用默認的情感詞典。 如果您自己策劃，您將始終獲得更有效的結果。
	所以如果我去這裡的情感術語，你可以看到分數是基於這個內置的字典，它是比較稀疏的。
	但我想實際閱讀一些文本，看看我是否能識別出更多應該包含在字典中的單詞。 我應該提到你甚至可能想通過
	內置列表並排除一些，儘管該列表相對稀疏，因此理想情況下您不必排除太多或任何可能。
	所以在我們的報告中，你實際上有一些工具可以用來整理你的字典，而不僅僅是探索結果。 我可以選擇此文檔表中的文檔並調出文本
	正下方。 所以我會簡單地離開屏幕底部。 您可以看到在該文本中突出顯示，已經找到了情感術語和短語，就像稍微好一點。
	但是如果你看，比如說，我們這裡有弱這個詞，當前的條件仍然很弱，結果，據我所知，這是一個非常常見的
	褐皮書報告中的術語表明某些事情本質上是壞的。 我不知道，我不是經濟學家，但也許在經濟學中，
	你知道，weak 是 bad 的同義詞， strong 是 good 的同義詞，這就是我的看法，看過這些數據之後。
	現在你會看到，它沒有突出顯示。 這意味著 weak 目前不在我的字典中，但我可以很容易地添加它。 我只是懸停在上面
	文本中的正確術語，我可以將其添加為否定詞。 我可以給它一個增強器值或一個情緒值，所以它是中等負值，所以我要點擊負值 60。
	發生的事情是它現在已添加到我的字典中，並且所有情緒分數都在這裡實時重新計算。
	所以我的情緒術語列表現在我什至可以選擇弱並查看它的所有實例。 看起來，如果我們回到計數列中的那個表，它在褐皮書數據的這個子集中出現了 1,012 次。
	因此，當然，請仔細閱讀並閱讀文檔的隨機子集或分層隨機子集，並嘗試識別一些屬於您的字典中的情感術語。
	現在，您還可以依賴一個方便的功能，這個可能的情緒列表，
	這實際上提供了潛在的情緒術語供您考慮。 我可以說，強在這裡，我把弱放進去。 我當然想要堅強，所以我要宣布這是一個
	強的。
	而且我一直在使用快捷按鈕，你知道，正 60，負 60，但你可以輸入任何你喜歡的負 100 到 100 之間的分數，所以也許我實際上只想要一個 50 分的強。 所以我會這樣做，如果你現在向下看，你可以再次看到自動更新的所有內容。
	因此，請注意您的情緒術語列表。 此外，我不會介紹使用否定增強詞的機制，但同樣的想法也適用。
	確保你得到了真正反映你的領域的權利，然後我建議，在紅色三角形下，你總是可以進入完整的術語管理工具，你知道手動輸入一些術語，所以也許我知道我想要最強，我希望是90分。
	所以我可以在這裡添加一種批處理格式
	無需每次自動更新，或者我也可以導入和導出情緒術語列表，
	這非常適合與其他人共享它們，使它們便於攜帶，有助於跟踪我們的工作並使其可複制。
	由於您的結果在多大程度上取決於情緒術語列表，以及增強詞和否定詞，我強烈建議當您有一個導出它們的集合列表時，您可以將其完整記錄並能夠導入到新的分析和復制。
	所以設置分析就足夠了，我真的只想強調一點，如果你調用情緒分析，你會得到一份報告，但不要直接進入那個報告。 首先整理你的字典。
	所以，既然我已經
	把那點狠狠地打到家，讓我們來看看那份報告。
	我現在要做的是，你知道，一份完整的報告使用，在這種情況下，全部 5,300 加
	褐皮書在這里報道。 所以，正如我之前提到的，在結果部分，你有這個總體摘要。 我們不會再遇到這種情況了。 我們已經看到你也有
	所有單獨的文檔，因此您可以查看任何文檔以了解它的評分方式以及其中顯示的內容。 探索在上下文中使用情感術語和短語。
	您還可以在此表中查看許多方便的度量，例如，文檔的總正分數，
	文檔中積極情緒短語的平均分數。 負數也是如此，然後是總分，你會注意到，正如我
	將鼠標懸停在這些值上，這實際上向我展示了它們是如何計算的。 所以如果我看負分均值，我可以看到總共有七個學期，我可以看到他們的分數是多少，然後我可以看到平均值是多少。
	我還可以看到，在這種情況下，負值的平均值只是所有情緒項的平均分數，無論是正面的還是負面的。
	有很多方便的方法可以將鼠標懸停在此報告中的元素上來顯示有用的信息。 我強烈推薦，你知道的，試試吧。 用鼠標懸停在不同的地方。 你可能會發現一些有用的東西。
	現在，當我們像這樣進行文本挖掘時，通常我們不會太仔細地查看單個文檔。 我的意思是，如果我們能把它們都讀一遍，
	那麼我們會的。 我的意思是，我們比計算機更擅長理解語言。 所以，你知道，我們當然不會只檢查整個 5,300 份文檔的集合，但你可以說，按分數排序，看看最負面的
	報告，並實際通讀這些以了解，好吧，好吧，
	當人們特別消極時，他們對什麼感到消極？ 我能從中了解到什麼是導致這種消極情緒的原因，尤其是在消費者研究、產品評論、調查等方面，這些都是非常有價值的。
	我們還看到您有您的情緒術語列表，我們可以在其中看到出現的所有不同的情緒術語，它們出現的頻率以及它們的
	與他們相關的分數。 如果我抓住其中任何一個，我也可以在上下文中看到這些術語。 因此，如果使用了特定的情緒術語
	在您的數據中很常見，您可能希望在上下文中更好地理解它，以了解人們使用它的原因或促使他們使用它的原因。 只需選擇術語然後瀏覽下面的文本，就可以很容易地做到這一點。
	現在，最後，我認為情緒分析中最有用的功能之一是在此功能選項卡下。
	所以當我點擊搜索時，它會找到經常與情感術語一起出現的非情感術語，並允許我們進行深入分析，我們只評估與情感相關的情感
	選定的術語，或者我們稱之為功能的東西，或者您也可以將其稱為子域。 因此，也許只是銷售情緒，我們可以看到銷售疲軟，銷售疲軟。
	或者回到之前我說你確實想做一些措辭的時候。 讓我們在這個列表中找到貸款需求，
	讓我們僅根據有關貸款需求的情緒對我們所有的文件進行評分。 當然，這是使用一些
	自然語言處理，以嘗試確定哪些情感短語適用於和不適用於貸款需求，並且使用任何 NLP 方法，它都不會 100% 準確，但它的準確性，尤其是在格式良好的文本中
	以褐皮書報告的方式，它似乎運行得很好。 所以現在，我可以看到，例如，他們對貸款需求的看法
	在所有這些報告中？ 它看起來總體上是積極的，儘管我們確實有一些特別負面的報導。
	最後要在這裡喊一下，只是為了讓我們回到原點，可能會注意到我這樣做時必須尖峰，那是……看起來像正 60 和負 60。
	這只是再次強調了在進行此分析時整理情緒字典的重要性，並說明在解釋結果時如何構建它。
	所以在這裡，正值 60 的峰值很可能是因為當我最初在字典中輸入大量情緒術語時，我正在使用這些快捷按鈕。
	所以我有這 30、60、90 個快捷按鈕，所以我幾乎正在建立自己，以看到分數的峰值
	正60和負60。 如果我要更加小心地使分數更細粒度，那麼也許我不會看到這個，你知道的，有趣的，我們稱之為分佈。
	所以我把它叫出來只是為了再次強調獲取你的情緒字典是多麼重要
	預先一起，然後，一旦你這樣做了，你就會擁有所有關於全局情緒、文檔情緒、單個術語甚至子域的情緒的有用信息，使用此功能
	部分在這裡。 然後，當然，正如您在 JMP 中可能習慣的那樣，當您需要將所做的事情保存起來時，您可以在紅色三角形下的其他地方使用它，您會找到這些選項，所以我可能會保存我的文檔分數。
	如果我們回到我的數據表，就在這裡，你可以看到我實際上已經保存了，在這種情況下，它是那個貸款需求子域的分數，回到我的數據表，這樣我就可以使用它們，比如說，在進一步的分析或繪圖中，就像我們為幻燈片製作的一些圖表一樣。
	這就是情緒分析，JMP Pro 16 中的新功能，用於量化文本中的正面和負面情緒。 和
	有了這個，讓我們過渡到術語選擇，這是我想談談的另一種新的文本挖掘技術。 正如它所說，術語選擇就是識別與某些結果相關的單詞，即其他一些度量。 例如在這裡，你知道，我們有，
	褐皮書報告文本，但我們也可以合併
	經濟變量，例如 GDP，並查看褐皮書報告中的某些術語如何與 GDP 或二元變量（例如經濟是否處於衰退）保持一致。
	這是...這裡的術語選擇是一種通用工具，用於查找與其他變量相關的單詞，這可能很有用
	在解釋性上下文中，可能是為了找到其他變量的驅動因素，或者可能是在預測建模練習中，這樣我們就可以識別出可以預測某事的術語，以便將來我們可以使用這些術語來幫助預測它。
	所以讓我們看看術語選擇是如何工作的，我們實際上將在這裡看一個與消費者金融保護局的消費者投訴不同的例子
	數據庫。因此，消費者如果對金融產品或服務有投訴，可以向 CFPB 提出投訴，CFPB 在該消費者和消費者之間進行調解。
	金融產品或服務的提供者。 以下是您可以在這些數據中找到的示例。 所以有人說他們正在監控他們的信用報告，並且有一份 3,900 美元的收款通知，他們聲稱對此一無所知。
	你也可以看到，在數據表中，我們旁邊有一列說消費者提出了異議，這裡消費者提出了異議，這意味著他們收到了來自
	金融服務提供商，他們對該回應不滿意，因此對其提出異議。
	您可以在數據表中的標題圖表規範中看到，這並不常見。 在我們正在查看的這個數據集中，它基本上是大約五分之一，
	導致消費者糾紛，但如果您是與該客戶打交道的金融公司，您當然不想發布一些回應，然後讓他們繼續對該回應提出異議。 您可能想了解哪些類型的投訴
	實際上會導致消費者糾紛，因此您可能能夠，例如，提前識別可能導致糾紛的那些，
	或者只是更好地了解您的爭議解決做法，以減少爭議的數量。 有很多原因，您要注意這一點。
	消費者投訴敘述數據首先查看可能導致這些爭議的原因，以及術語選擇的作用是在文本中找到與該結果相關聯的單個術語，即爭議變量。
	所以在這裡，我有一個我做的術語選擇分析結果的圖表，其中我們有一組沿 Y 軸的術語。 在 X 上，我們有 logworth，即
	衡量該關聯的統計證據的強度。 所以這實際上是按 logworth 值排序的，所以在頂部，我們有
	違反，你可以看到那裡的小點。 這實際上表明我們已經在這裡完成了阻止，因此違反意味著可能被違反、違反、違反等等。
	所以我們有強有力的統計證據表明該術語違反與消費者糾紛有關，實際上是在顏色編碼中，
	我在這裡的優勢比方面具有強大的效果。 所以當人們......當有人提到那個詞時，違反，
	發生爭執的機率增加了大約 1.5 倍。 所以如果我是
	金融服務提供商，我可能想留意這個詞。 我可能想調查人們如何以及何時聲稱某些違規行為，正如我們將看到的那樣，這確實違反了聯邦法律。
	當他們在投訴中聲稱這一點時，我們是如何處理這些的，因為看起來我們可能沒有令人滿意地處理它們。
	也許您想在預測模型的一部分中使用該術語的存在或不存在來幫助預先標記潛在的有問題的投訴，以便我們可以升級他們的解決方案。
	那麼，這一切是如何運作的呢？ 好吧，我們正在構建一個以文檔術語矩陣開始的模型，它是文本的表示，其中每個
	行是一個文檔，然後每一列是一個可能出現的術語。 接著
	在這種情況下，我們有所謂的二元加權，所以我們只要出現這個詞，就輸入一個；如果該術語未出現在該文檔中，請輸入零。 有更多的權重，但我們將堅持使用二進制，例如。
	當我們在那裡輸入這些二進制列作為模型中的預測變量時，特別是我們使用
	JMP 的廣義回歸，我們馬上就會知道為什麼。 首先只想說明我們在這裡所做的是回歸，實際上是一些
	有些人，你可能會聽到，將術語選擇稱為文本回歸。
	不要太擔心模型的形式。 我只是想強調我們正在做的是我們正在考慮一些結果變量。
	因為我們有一個二元變量，它是邏輯回歸的對數機率，我們說這等於，你知道，一些截距加，
	你知道，一個係數乘以某個變量。 在這種情況下，它是二進制 1 或 0；確實違反了出現與否。
	加上另一個係數值，在這種情況下，負 0.2 乘以另一個二進制變量；這裡是否有人提到這個詞掛斷了，等等。
	所以我們在這個模型中輸入了一堆術語，我們使用廣義回歸來選擇哪些術語屬於模型，哪些不屬於。 和
	我們在這裡看到的是 JMP 計算該解決方案的示例，哪些術語屬於我們，哪些不適合我們。
	在解決方案路徑中，我們可以用藍色看到所有進入模型的項，用黑色看到實際上未包含在模型中的所有項，因為它們並沒有真正增加其預測值。
	所以我們最終得到的是一個術語列表。 我們有他們的模型係數值，所以在這裡，例如，違反，我得到了 0.4 的值，因為這實際上是
	擬合模型時的係數值。 而且，正如我們之前提到的，我們還獲得了統計證據或證據強度的衡量標準，
	這個 logworth 值，這裡是 16.58，如果你想要一個經驗法則，你知道，任何高於 2 的值都可能被認為是強有力的統計證據，但實際上，logworth 是 p 值的負對數基數 10，所以值2 僅對應於 0.01 的 P 值。
	所以我們兩者都有，在這種情況下，係數，這在多大程度上增加或減少了爭議的可能性？ 然後日誌值得告訴我們，你知道，我們的證據真的有多可靠？
	有了這些信息，我們可以做很多事情，我們將看到我們如何轉移到 JMP 並實際執行此分析。
	所以我回到了我的另一個桌面。 我要調出我們的消費者投訴數據。
	和
	而不是從頭開始進入文本資源管理器，我將在此處使用表格腳本啟動它。
	正如我們將看到的，一旦出現......對不起，在錯誤的屏幕上彈出。 我們去吧。
	我們有，你知道，我們總是從一個實際輸入到分析中的術語列表開始。 然後我們有我們的短語列表，我們可以在其中聲明屬於術語列表的某些短語也應該包括在內。
	我已經包含了很多短語，例如公平信用報告法，因為如果提到該短語或該概念與消費者爭議有關，我想找到它。
	如果我去我們的...讓我們去管理停用詞，你也會注意到，我已經聲明了很多停用詞。 所以這些都是
	我不想包括在分析中，主要是因為它們可能會淹沒其他詞。
	它們可能非常頻繁，如果我只要求分析 500 個最常用的單詞，我不想把它搞砸。
	尤其是因為，即使將able 作為與爭議相關的術語返回，我什至不確切知道我會……我會用它做什麼，或者我如何解釋像able 這樣的通用詞。
	所以你想花點時間做你的停用詞和短語，當你準備好時，在紅色三角形下，調用術語選擇。
	所以當我們這樣做時，我們將首先選擇我們的
	結果變量，這就是這個消費者有爭議的。 我們想根據發生爭議的可能性來談論事情。
	您可以在此處設置連續的以及分類的結果變量。 他們都工作。 我還應該提到，我們正在談論一場爭執，其中，
	你知道，你可能認為實際上可能是某種情緒的代表，也就是說，如果有人對某事提出異議，那可能是因為他們不開心。
	但有些人擁有數據可能很常見，其中您有一個更直接衡量情緒的外部變量，例如產品的星級評分，這確實表明了滿意度。
	所以，如果你碰巧有一個很好的情緒測量，連同你的文本數據，你可以使用這樣的工具來做我們所說的
	數據派生情感分析，您可以使用此工具挖掘可預測情感度量的術語，從而基本上選擇情感術語並自動
	找出他們的分數應該是多少。 所以它可以很方便。 這不是我們在這裡所做的。 我們以更通用的方式使用它。
	好的，所以對於那個文檔術語矩陣，我將堅持使用二進制加權。 為了保持簡潔，我要說的是，讓我們只看一下最常用的 200 個術語。
	除此之外，從 201 學期開始，我不會將其包括在分析中。 在實踐中，我可能會包括更多，你知道，只是我希望這對演示來說很好而且很活潑。
	如果你是 GenReg 用戶，你會看到你有
	wome 選項用於預先指定估計和驗證方法。 我將保留這些默認設置並單擊運行。
	因此，JMP 正在呼喚 GenReg。 它正在建立一個邏輯回歸模型並使用彈性網絡方法進行變量選擇。
	看起來我們剛剛遇到了第二個技術故障。 我對此感到非常抱歉。 我們將解決這個問題，因為這個模型很合適。 那麼讓我們看看。 我們將恢復我的屏幕共享。
	我們會把我帶回來。 看起來我們還在錄製，所以我們會繼續進行。 所以這是結果。
	在我們詳細介紹報告之前，我們將首先看一下匯總表中的這一行。 這總結了我迄今為止構建的單個模型。
	因此，例如，我可以看到它返回了 145 個術語。 我使用 AICc 作為驗證，並且有 AICc 值。 我們可以看到其他一些擬合統計數據。
	而且，就像任何模型一樣，我們可能想在模型上嘗試多次運行，以便構建最適合我們數據的模型。
	因此，如果我在這裡轉到這個廣義回歸節點，您會看到我們實際上將 GenReg 嵌入到文本資源管理器中。
	我可以更詳細地探索我們已經擬合的模型，或者在我的情況下，我實際上要再擬合一個模型，看看我是否可以做得更好。 讓我們做一個自適應彈性網絡。
	並將改為擬合該模型，看看它是否比我們已經擬合的常規彈性網更好。
	好的，所以它也適合該模型。
	如果我們去我們的摘要，我們可以看到這個現在已經返回了 98 個術語，實際上有一個更低的 AICc，所以可能更合適。
	所以我會選擇那個模型。 現在我可以，如果我想使用原版，只需點擊它。 如您所見，下面的報告會更新到我在此表中選擇的任何模型。
	我有我的術語列表在這裡。 我們已經討論過這個，所以我可以從係數的角度來看待它。 所以這裡是最……影響最大的條款，增加了消費者糾紛的機率。
	以下是在降低消費者糾紛機率方面效果最大的那些。 例如，在其中任何一個中，我都可以看到掛斷電話並看到，當然，它是在談論他們掛斷某人或某人掛斷他們，也許這對我們來說是有道理的
	這預示著爭議的可能性會降低，因為這聽起來確實是一個溝通問題，而且可能更容易解決。
	同樣，我們要注意這裡的 logworth 值 2.883，所以這比我之前所說的經驗法則 2 略高，所以我們可能會說好吧，我認為有相當有力的統計證據表明這是一個真實的協會。
	只是為了把那個點帶回家，如果我們走到這裡，我們會看到警察這個詞。 我最初的印像是，嗯，人們說，嗯，我做了一份警察報告，或者我報警了。
	如果我們發布一些回應，概率爭議，如果有人已經達到報警的程度，他們可能不會那麼容易消失。
	但如果我們看
	logworth，我們可以清楚地看到這方面的統計證據確實不是那麼強，所以雖然它違反了我的直覺，但你知道，也許，也許它並不完全真實。
	當然，我不會想把它向上推到管理層，然後說，嘿，如果人們說他們對我們報警，這實際上是一件好事。 我們當然不會這麼說。 它剛剛被選中包含在此處的模型中，因為它最終做到了，
	產生一個更好的擬合模型，但我們仍然需要運用我們自己的知識和常識來解釋結果。
	所以這張表可能是，如果你真正想做的只是識別這些術語並以某種能力量化它們的影響，
	這可能是您分析的目標。 所以我可以右鍵單擊並進入數據表
	並獲得這些術語及其係數和對數值的數據表，然後使用它來指導對我們之前的響應、改進工作的一些分析，甚至將這些標記為應該包含在某種預測模型中的術語。
	但是，你知道，我們確實在這裡建立了一個模型，一個回歸模型，所以我們在單個文檔級別有關於
	預測爭議機率增加的係數總和，預測爭議減少的總和，整體模型值，發生爭議的概率
	模型分配和我們實際觀察到的爭論。 因此，當您實際在單個文檔的級別進行評估時，您可能會期望的所有事情，嗯，這個模型的性能如何。
	在頂部，我們還有一個總體摘要，在這種情況下，各個文件及其......我們稱之為我們的貢獻，所以這就是
	這些係數值的總和或平均值。 所以看起來，例如，我們的 30,412 個文檔有一個總和......它們的係數值和平均係數值的總和為正，平均貢獻約為 0.57。
	所以，再次只是一個標誌，你知道，我們在這裡談論回歸係數，所以這些貢獻值，係數表，所有這些都應該像你在構建時一樣解釋
	否則是線性回歸模型，所以在我們的例子中，邏輯回歸，我們應該解釋這些
	適當地，也就是說，如果我們將它們取冪，那麼我們正在處理對數或......對不起......然後我們正在處理優勢比，這就是機率會增加或減少的因素如果這個詞出現在文本中。
	雖然如果你對回歸不是很感興趣，但這些值在更一般的意義上仍然對你有好處，因為你可以看看，好吧，好吧，哪些術語有最強的影響或沒有。 與 logworth 一樣，嗯，有或沒有最有力的證據。
	現在，最後，正如你想像的那樣，我的意思是我們已經看到瞭如何保存術語表，但是如果你的目標不是那個術語表，而是真正的模型
	你已經建立了，你也可以選擇保存它。 所以我選擇了我打算使用的模型，即自適應彈性網絡，在紅色三角形下，我可以保存預測公式。
	而且我認為我的電腦可能會在這裡攪動一秒鐘。 所以它保存了文檔術語矩陣，這是我們指定的前 200 個術語，然後是公式
	對這些列或文檔術語矩陣進行操作以實際計算我們的模型。 所以在這裡，我有文檔術語矩陣
	然後是最後的公式列，所以現在，我可以實際使用
	如果我願意，可以直接使用此模型。
	這就是術語選擇。 再次在高層次上，我們正在尋找與我們關心的結果變量最密切相關的術語，以便更好地解釋驅動該結果的原因，或者甚至可能通知建模實踐以嘗試預測該結果。
	這就是 JMP Pro 16 中的兩個新文本挖掘功能，即術語選擇和情感分析，在去年春天再次推出。
	我現在要出去玩一會兒，回答任何人的任何問題，
	你知道，這兩個新功能。 並且還知道，稍後，您可以隨時在用戶社區頁面上針對此演示文稿發表其他評論或問題，我會一直關注
	開放回答通過的任何問題。 所以感謝大家抽出寶貴的時間。 請保重。

爆發數據探索統計和建模回复：擴展我們的文本挖掘工具包：JMP Pro 16 中的情緒分析和術語選擇 (2021-US-45MP-851)

謝謝， @jgrayson .恐怕我不明白關於 15 對 16 的問題。 你能澄清一下嗎？

回复：擴展我們的文本挖掘工具包：JMP Pro 16 中的情緒分析和術語選擇 (2021-US-45MP-851)

偉大的！期待看到這些。我現在只有 16 歲，其他人似乎是 15 歲。 有沒有可能也有16個？

謝謝，

吉姆

回复：擴展我們的文本挖掘工具包：JMP Pro 16 中的情緒分析和術語選擇 (2021-US-45MP-851)

半現場演示的一位與會者要求提供情感分析參考。 我當時沒有一個好的答案，但一些快速的互聯網搜索表明劉冰教授的工作可能是一個很好的起點。 他 2012 年出版的書情緒分析與意見挖掘在 Google Scholar 上有超過 7,000 次引用，他還撰寫了一本更新的書，名為情緒分析：挖掘情緒、意見和情緒. 劉教授的情緒分析網頁包括有關這些書籍的信息以及有關該主題的 PDF 書籍章節. 我沒有讀過劉教授的作品，但值得一看。