349270_zh-TW

liliconcom

通過 JMP® Pro 16 (2021-EU-45MP-790) 中的情感分析和術語選擇擴展我們的文本挖掘工具包

級別：中級

 

Ross Metusalem，SAS JMP 系統工程師

 

文本挖掘技術可以從非結構化文本數據中提取定量信息。 由於文本瀏覽器功能的兩項新增功能：情感分析和術語選擇，JMP Pro 16 擴展了它可以從文本中提取的信息。 情感分析通過將文本的單詞映射到可定制的情感承載術語字典和相關分數（例如，“很棒”：+90；“糟糕”：-90）來量化文本中表達的積極或消極情緒的程度。 由此產生的情感分數可用於大規模評估人們的主觀感受，探索與客觀概念相關的主觀感受並豐富進一步的分析。 項選擇通過應用 JMP Pro 中廣義回歸平台的正則化回歸功能（從文本資源管理器內部調用），自動查找對響應變量最具預測性的項。 術語選擇對於輕鬆識別重要結果度量與相關非結構化文本中特定術語的出現之間的關係非常有用。

本演講將概述情感分析和術語選擇技術，演示它們在現實世界數據中的應用，並分享一些有效使用每種技術的最佳實踐。

 

 

自動生成的成績單...

 

揚聲器	成績單
羅斯·梅圖薩勒姆	大家好，感謝您花一些時間了解 JMP 如何在 JMP Pro 16 中擴展其文本挖掘工具包
	情感分析和術語選擇。
	我是 Ross Metusalem，美國東南部的一名 JMP 系統工程師，我將向您簡要介紹這兩種新分析，解釋一下它們的工作原理，並提供一些使用它們的最佳實踐。
	因此，這兩種分析技術都出現在 Text Explorer 中，對於那些不熟悉的人來說，這是 JMP 的
	用於分析我們所說的自由或非結構化文本（即自然語言文本）的工具。
	這就是我們所說的文本挖掘工具，這是一種從自由文本中獲取定量信息的工具，這樣我們就可以
	使用其他類型的統計或分析工具從自由文本中獲取見解，甚至可以將該文本用作其他分析的輸入。
	因此，讓我們來看看 JMP Pro 16 中文本資源管理器中的這兩種新的文本挖掘技術，我們將從情感分析開始。
	情感分析的核心回答了文本在情感上是積極還是消極的問題。
	我們將對褐皮書進行情緒分析，這是美國聯邦儲備銀行的定期報告。
	現在，我對 JMP Discovery Europe 使用美國示例表示歉意，但褐皮書確實很好地演示了情緒分析的含義。
	這是一份月刊，包含國家級報告，以及12個地區級報告，總結了這些地區的經濟狀況，所有這些都是基於定性信息，例如訪談和調查。
	美國政策制定者可以利用褐皮書中的定性信息以及傳統經濟指標中的定量信息來推動經濟政策。
	所以你可能會想，好吧，我們現在正在談論情緒或情感。 我不知道我期望經濟報告包含多少情感，但褐皮書報告和許多語言確實包含可以承載或傳達情感的詞語。
	讓我們看一下一份報告的摘錄。 這是直接來自新情緒分析平台的屏幕截圖。
	您會注意到一些突出顯示的單詞，這些就是我們所說的情感術語，即
	我們認為這些術語對他們來說有一些情感內容。 例如，在頂部，“另一方面，計算機銷售嚴重低迷，”
	其中“嚴重抑鬱”以紫色突出顯示，表明我們認為這是為了傳達負面情緒，如果有人將計算機銷售描述為“嚴重抑鬱”，聽起來他們的意思是我們將其解釋為肯定是一件壞事。
	如果我們往下看，我們會看到橙色突出顯示了一些積極的情緒術語，例如“改善”或“有利”。 因此我們可以尋找我們認為具有積極或消極情緒的詞語
	紫色代表消極，橙色代表積極，一些情感分析將事情保持在這個水平，所以只是二元區分，積極文本或消極文本。
	還有其他執行情感分析的方法，特別是：
	許多方法試圖量化積極或消極的程度，而不僅僅是量化某件事是積極還是消極。 因此，考慮另一個例子，我將把我們的注意力集中到這裡的底部，在那裡我們可以看到“銷售不佳”的報告。
	我將把它與我們所說的“計算機銷售嚴重低迷”進行比較。
	所以這兩種說法都是負面的，但我想我們都同意“嚴重抑鬱”聽起來比“貧窮”更負面。
	因此，我們不僅要弄清楚表達的情緒是積極的還是消極的，而且還要弄清楚它的積極程度或消極程度，這就是情緒分析的目的
	文本資源管理器可以。 那麼它是如何做到的呢？ 嗯，它使用了一種稱為詞彙情感分析的技術，該技術基於一些情感術語和相關分數。
	所以我們現在看到的是我們所說的情感詞典的摘錄，其中包含術語及其分數。
	例如，術語“fantastic”的得分為正 90，而底部的術語“grim”的得分為 -75。
	因此，我們要做的就是指定我們認為哪些術語帶有情感內容，以及它們在任意範圍內積極或消極的程度，這裡是 -100 到 100。
	然後我們可以在所有文檔中找到這些術語，並使用它們來對這些文檔的總體積極或消極程度進行評分。
	如果你回想一下我們的例子“嚴重抑鬱”，那麼“嚴重”這個詞和“抑鬱”這個詞，我們所說的就是強化它。
	它是所表達情感的增強器或乘數，因此我們還有一個增強器字典以及它們對情感術語表達的情感的作用。
	例如，我們說“令人難以置信”會將情緒乘以 1.4 倍，而“小”會將情緒乘以 0.3 倍，所以實際上，你知道，它稍微削弱了所表達的情緒。
	現在，最後我們要考慮另一種類型的詞，那就是否定詞，比如“不”和“不”，我們基本上將它們視為極性反轉。 所以
	“不是很棒”就是將“很棒”的分數乘以-1。
	因此，這是進行情感分析的常見方法，又稱為詞彙情感分析。 因此，我們所做的就是採用我們找到的情感術語，將它們乘以任何相關的增強器
	或否定詞，然後對於每個文檔，當我們獲得出現的各個術語的所有情緒分數時，我們只需對所有術語進行平均即可獲得該文檔的情緒分數。
	JMP 通過多種有用的方式將這些分數返回給我們。 這是情緒分析工具的屏幕截圖，您知道，我們稍後將使用它。
	但您可以看到，除其他外，它還為我們提供了所有文檔中情緒分數的分佈。 它為我們提供了所有情感術語及其出現頻率的列表。
	正如我們將看到的，我們甚至有能力導出情緒分數以在圖表或分析中使用它們。
	因此，我實際上在這裡製作了幾張圖表，只是為了初步了解褐皮書報告中的情緒是否確實以我們認為應該的方式與經濟事件保持一致？ 你知道，我們對此真的有一定的道理嗎？
	情緒作為某種經濟指標？ 答案看起來是，是的，可能是。
	這裡我有一個在 Graph Builder 中製作的圖；這是隨著時間的推移而產生的情緒，所以所有的小灰點都是個人報告
	藍色平滑點顯示了隨著時間的推移情緒的趨勢，零處的黑線顯示了中性情緒，至少根據我們的評分方案是這樣。
	紅色區域是
	美聯儲正式列出的經濟衰退時期。
	因此，您可能會注意到情緒似乎已觸底或經濟衰退出現低谷，但您可能會注意到另一件事
	實際上，在每次經濟衰退之前，我們都會提前幾個月甚至在某些情況下，提前幾年看到情緒下降。 我們沒有看到情緒大幅下降
	在沒有經濟衰退的情況下。 因此，褐皮書情緒作為經濟衰退的領先指標也許有一定的有效性。
	如果我們從地理角度來看，我們也會看到一些有意義的事情。 這只是分析中的一個例子。 我們正在關注 12 月份的情緒
	1999 年至 2000 年至 2001 年期間的美聯儲分區。 這是通常所說的互聯網泡沫破滅的時期，所以這就是
	科技公司和在線企業出現了巨大的泡沫，最終，其中許多公司破產了，並產生了一些相當嚴重的經濟後果。
	99 到 2000 年的情緒正在增長，事實上，情緒增長得相當強勁，看起來，
	舊金山聯邦儲備區是許多此類公司的總部所在地。 然後在 2001 年經濟蕭條之後，我們看到最大的下降，一直到紅色的負面情緒，再次發生在舊金山地區。
	因此，對這些褐皮書情緒分數進行快速圖形檢查表明，它們在跟踪（也許是預測）某些經濟事件的能力方面確實有一定的有效性，當然，後者我們需要研究更多小心。
	但這只是情感分析潛在用例的一個例子，還有更多。
	目前它最大的應用領域之一是消費者研究，比方說，人們可能會分析
	一些消費者調查回復以確定是什麼推動了積極或消極的意見或反應。
	但情感分析也可以用於產品改進，其中分析產品評論或保修索賠可能有助於我們發現引起客戶強烈情緒反應的產品功能或問題。
	比如說客戶支持，我們可以分析呼叫中心或聊天……聊天記錄
	找到一些可以讓客戶滿意或不滿意的支持實踐。 甚至可能是公共政策，我們分析公開評論，以衡量公眾對擬議或現有政策的反應。
	這些只是可以應用情感分析的幾個領域。 它確實適用於任何需要傳達某種情感並且這種情感可能提供信息的文本的地方。
	這就是我想說的。 現在我想花一點時間向您介紹它在 JMP 中的工作原理，所以讓我們繼續討論 JMP。
	這裡我們有褐皮書數據，所以在底部，您可以看到我們這裡有超過 5,000 份報告，並且我們有每份報告的日期
	1972年5月2020年10月，來自12個區中的哪一個，然後是報告正文。 你可以看到這些報告，
	它們不僅僅是快速陳述經濟狀況是好是壞，它們還可以提供一定程度的細節。
	現在，在我們深入研究這些數據之前，我只想對某人提出分析褐皮書的想法表示感謝，並感謝您實際提取數據並將其輸入 JMP，以一種
	格式準備分析。 感謝 Xan Gregg，如果您不知道，Xan 是 JMP 開發團隊的總監，也是 Graph Builder 的創建者，所以感謝 Xan，您的幫助。
	好吧，讓我們量化所有這些報告中積極和消極情緒的程度。 我們將使用分析菜單下的文本資源管理器。
	這裡有我們的啟動窗口。 我將獲取文本數據，將其放入文本列角色中。 在我們開始之前，有幾件事需要強調。
	文本資源管理器支持多種語言，但目前情感分析僅支持英語，我想提請注意的另一件事就是這裡的詞幹。
	因此，對於那些進行文本分析的人來說，您可能熟悉什麼是詞幹提取，但對於那些不熟悉的人來說，詞幹提取是一個我們可以折疊多個...的過程。
	好吧，為了保持非技術性……同一個詞的多個版本放在一起。 以“強”、“更強”和“最強”為例。 所以這是三個
	同一詞“強”的不同版本，在某些文本挖掘技術中，您實際上希望將所有這些組合成一個術語，然後說，哦，它們都意味著“強”，因為這在概念上是相同的事情。
	事實上，我要離開這裡，這是因為……用“最強”來描述某事物所能達到的最強程度
	與“更強”相比，“更強”表示你知道它很強大，但你知道，它仍然有變得更強的空間。
	因此，“最強”可能會比“更強”獲得更高的情感分數，如果我要阻止，我將失去這些詞之間的區別。 因為我不想失去這種區別，所以我想給他們不同的情感分數。 我要繼續離開這裡。
	所以我會點擊“確定”。
	JMP 現在將對我們的文本進行標記，即將其分解為所有單獨的單詞，然後計算每個單詞出現的頻率。
	這裡我們列出了所有術語及其出現頻率。 因此，“sales”出現了 46,000 多次，我們的短語列表也在這裡。 所以這些短語是
	經常出現的兩個或多個單詞的序列，有時我們實際上想將它們算作我們的術語中的術語
	分析。對於情感分析，您需要瀏覽短語列表，比方說，也許添加“房地產”，這是兩個詞，但它實際上指的是財產。
	我可以補充一點。 現在通常在文本分析中，我們還會添加所謂的停用詞，
	這些詞在我們的分析背景下並沒有真正的意義，我們想排除掉。 就拿“區”來說吧。 這種情況發生......或者褐皮書使用
	經常使用“地區”這個詞，只是說，“這份來自里士滿地區的報告”之類的，這並沒有什麼意義。
	但實際上我不會在這里費心使用停用詞，那是因為，如果你還記得的話，
	回到我們的幻燈片，我們說過我們所有的情感分數都基於字典，我們在字典中選擇情感詞以及它們應該得到的分數。
	如果我們只是將“district”排除在外，它本質上會得到 0 分，並且不會影響我們的情緒分數，因此我實際上不需要將其聲明為停用詞。
	因此，一旦我們準備好，我們將調用文本，或者，對不起，這里紅色三角形下的情緒分析。
	因此，JMP 現在正在做的事情是，因為我們尚未聲明任何情感術語或其他情況，所以它使用內置情感字典對所有文檔進行評分。 在這裡我們可以得到我們的分數。
	現在，在瀏覽這些結果之前，我們可能應該自定義我們的情感字典，即帶有情感的單詞及其分數。 那是因為在不同的領域，
	也許不同的人生成文本，某些單詞將承載不同程度的情感，或者在一種情況下承載情感，而在另一種情況下則不然。 所以我們想要
	我們非常仔細、徹底地創建了一個情感詞典，我們認為它準確地捕捉了我們現在正在分析的語言所傳達的情感。
	因此，正如我所說，JMP 使用內置字典，而且它非常稀疏。 所以你可以在這裡看到它，它有一些表情符號，
	就像這些小笑臉之類的，但是我們有一些非常清晰的情感語言，比如 -90 的“abysmal”。
	現在，可能不會有人使用“糟糕透頂”這個詞，但並不意味著它有負面意義，所以我們對此感覺很好。 但是，您知道，這個列表並不是很長，我們可能想向其中添加一些術語。
	那麼讓我們看看如何做到這一點，我可以推薦的一件事就是查看您的數據。 您知道，請閱讀您擁有的一些文件，並嘗試找到一些您認為可能表達情感的詞語。
	實際上，我們這裡有一個工具，可以讓我們仔細閱讀我們的文檔並直接從中添加情感術語。 所以在這裡，我有一個文檔列表。 您可以看到文檔 1 突出顯示，然後文檔 1 顯示在下方。 我可以選擇不同的文檔來查看它們。
	現在，如果我們立即查看文檔 1，您可能會注意到一些潛在的情緒術語，例如“悲觀主義”和“樂觀主義”。
	現在您可以看到這些沒有突出顯示。 這些實際上不包含在標準情感詞典中。
	你會發現很多名詞實際上不是，這是因為像“悲觀主義”或“樂觀主義”這樣的名詞基本上可以用表明它們存在或不存在的方式來描述。 所以我可以說，你知道，“悲觀情緒正在下降”或者
	“明顯缺乏悲觀情緒，”“不再有悲觀情緒的報導。”
	而且，在這些情況下，我們不會說“悲觀主義”是消極的事情。 這是......所以在將單詞添加到情感詞典之前，您需要小心並考慮上下文中的單詞以及它們的實際使用方式。
	例如，我可以返回到此處的術語列表。 我只是要展示一下過濾器
	查找“悲觀主義”，然後顯示文本來看看它是如何使用的。 所以我們可以在第一個例子中看到，“我們董事的情緒從悲觀到樂觀各不相同。”
	還有下一張
	“私人談話中充滿了深深的悲觀情緒。” 如果你真的讀過，這是典型的用法，所以實際上在褐皮書中，他們似乎並沒有以我可能擔心的方式使用悲觀主義這個詞，
	“樂觀情緒正在增加。”
	所以我實際上覺得在這裡添加“悲觀主義”是可以的，所以讓我們將它添加到我們的情感詞典中。
	所以如果我把鼠標懸停在它上面
	你可以看到我們提出了一些如何處理它的選項。 所以在這裡我可以給它打-60分。
	現在，它將與相應的分數一起添加到我們的字典中，並且它會觸發 JMP 中更新的情緒評分。 也就是說，它現在正在尋找“悲觀主義”一詞，並調整找到它的所有文檔分數。
	現在讓我們回過頭來更詳細地看看我們的情緒術語。 如果我向下滾動，你會發現“悲觀主義”
	就在這裡，我剛剛給出的分數是-60。 現在我可能想實際上...如果您注意到，默認情況下“悲觀”的得分為 -50，所以也許我只是在此處輸入 -50 以使其保持一致。
	我可以，但我不會這樣做，這樣我們就不會觸發另一次更新。
	您還會注意到，就在這裡，可能的情緒術語列表。 因此，JMP 已確定這些術語可能帶有情感，您可能需要查看它們並考慮將它們包含在您的詞典中。
	比如這裡的“強”這個詞，如果你看一下右邊的一些文檔文本，你可能會說，好吧，這顯然是一件積極的事情。 如果你看過很多這樣的例子，你就會發現，
	這些經濟學家在談論當前經濟的好壞時經常使用“強”和相應的“弱”一詞。
	所以我可以添加它們，或者通過點擊上面按鈕中的正 60 來添加“強”。 再說一次，我現在不會，只是為了加快我們對情緒分析的了解。
	因此，我們可以像下面的文本一樣，通過此處的情緒術語列表來選擇一些好的候選者。
	在紅色三角形下，我們還可以更直接地管理情緒項，這就是完整的
	術語管理列表是我們文本瀏覽器用戶可能習慣的，例如短語管理和停用詞管理。
	您可以看到，除了所有內置術語之外，我們還為此特定分析添加了一個本地新術語。 當然，如果我們想實際上不包含其中的一些異常，我們也可以聲明異常。
	重要的是，您還可以導入和導出情感詞典。 聲明情緒術語的另一種方法是諮詢主題專家。 你知道，
	對於他們期望看到的能夠清楚傳達信息的詞語類型，經濟學家可能有很多話要說。
	這些報告中的積極或消極情緒。 如果我們可以與他們交談，我們會想知道他們對此有何看法，我們甚至可以在一個製表符分隔的文件中導出一個字典，然後將其導入到此處。
	當然，一旦我們製作了一本感覺良好的詞典，我們就應該將其導出並保存，以便將來再次應用。
	這就是關於如何實際管理情感詞典的一些內容。 這也很重要
	管理你的增強項和否定項，同樣，你在這裡看不到分數，因為這些只是極性反轉。
	只是為了向您展示更多關於實際情況的信息，如果我們……讓我們在這裡看一下情緒，這樣我們就可以看到其中的實例
	JMP 在其中一些情緒術語之前找到了“不”一詞，並實際應用了適當的評分。 因此，在頂部，“不可接受”的得分為 -25。
	所以我向您展示，只是為了讓您注意這樣一個事實：這些否定器和增強器，它們是由 JMP 自動應用的。
	但無論如何，讓我們從討論如何設置分析轉向實際查看結果。 所以我要提出
	已經完成的分析版本，也就是說，我已經整理了情感詞典，我們實際上可以開始解釋我們得到的結果。
	因此，我們在這裡進行了高級總結，因此我們擁有的積極文件多於消極文件。 正如我們之前討論的，我們可以看到，每個都有多少。 事實上，在左側表格的底部，您會看到我們有一份文件，其中沒有表達任何情緒。
	“強”出現 14,000 次，“弱”出現約 4,500 次
	通過計數或分數來查看這些，查看最消極和最積極的方面，
	即使在上下文中查看它們本身也可以提供相當多的信息。 我的意思是，特別是在消費者研究這樣的領域，如果你想知道人們何時感到積極或表達積極性
	關於我們的品牌或我們擁有的一些產品，他們使用什麼類型的語言，也許這會為營銷工作提供信息，比方說。 在這方面，這份情感術語列表可以提供大量信息。
	製造業，
	旅遊、投資。 有時我們特別想將其中一個子域歸零，我們可以稱之為特徵。
	如果我進入情緒分析中的此功能選項卡，我將單擊搜索。 JMP 會找到一些通常與情緒術語一起出現的單詞，並詢問您是否想深入了解與該功能相關的情緒。
	以“銷售”為例。 我們可以看到“據報導銷售疲弱”、“銷售疲軟”、“據報導銷售保持良好”等等。
	因此，如果我只是對這個選定的功能進行評分，那麼現在JMP 要做的就是僅提供這些較大報告中提及“銷售”的情緒評分，這將幫助我們完善我們的分析或將其重點放在一個非常好的方面——定義的子域。
	這一點尤其重要。
	您知道，我們正在分析的語言的領域可能沒有那麼嚴格的限制。 舉個例子，
	產品評論。 您感興趣的是人們對產品的積極或消極看法，但他們也可能會談論運輸等問題，而您不一定關心他們是否對運輸不太滿意，主要是因為它超出了您的控制範圍。
	您不會只想包含一堆也對發貨發表評論的評論。 因此，考慮分析領域並對其進行適當限制非常重要，這裡的特徵查找器就是實現這一目標的一種方法。
	所以你現在可以看到，我已經在“銷售”上得分了，我們的正面和負面文檔的分佈非常不同。 我們有更多沒有情緒評分的文檔，因為它們
	只是不要談論銷售或不要使用情感語言來討論它，我們現在有一個不同的情感術語列表，專門針對銷售。
	讓我刪除這個。
	我意識到我忘記提及的一件事，我簡單地提到了，我們一直在研究的這些總體文檔分數是如何計算的，我說它們是......的所有情感術語的平均值。
	發生在特定文檔中的情況。 那麼我們來看看文檔1。 我只是想讓你看看
	如果您想知道這個分數從何而來，比如說 -20，您只需將鼠標放在上面，它就會向您顯示所有出現的情感術語的列表。
	你可以看到，這裡我們有 16 個，包括所有位於底部的“真正的亮點”，即 +78，然後，如果你除以……將所有這些分數相加。除以 78...
	或者除以 16，對不起，那麼你得到的平均情緒是 -20。 這是提供總體分數的兩種方法之一。 另一種是最小最大評分，因此最小和最大之間的差異
	文中所表達的情感。
	現在，我們只需查看這份報告就可以獲取大量信息，你知道，顯然是情緒分數，這是最常見的術語。
	但很多時候我們想要接受這些情感並以其他方式使用它們，比如
	以圖形方式查看它們，就像我們在幻燈片中所做的那樣。 因此，當需要進行這部分分析時，只需前往此處的紅色三角形即可
	並保存文檔分數。 這些會將這些分數保存回您的數據表中，以便您可以將它們輸入到進一步的分析中或將它們繪製成圖表，無論您想要做什麼。
	這是 JMP Pro 16 中文本資源管理器中情緒分析的預覽。 最重要的想法是情感分析使用情感字典
	您設置為提供與每個文檔的積極和消極情感內容相對應的分數，然後從那裡，您可以以任何對您有用的方式使用該信息。
	因此，我們現在將情感分析拋在後面，我將繼續回到我們的幻燈片，討論即將出現在文本資源管理器中的其他技術。
	這就是術語選擇，其中術語選擇回答了一個不同的問題，即哪些術語與我關心的某些重要變量或變量關聯最緊密？
	我們將堅持使用褐皮書。
	我們要問哪些詞在統計上與經濟衰退相關。 所以在這裡的圖表中，我們看到了隨著時間的推移，百分比變化
	每個季度的GDP（國內生產總值），其中藍色表示經濟增長，紅色表示經濟收縮。 我們可能會想，嗯，什麼
	褐皮書中出現的術語可能在統計上與這些經濟衰退時期相關嗎？ 例如，其中一些就在這裡。
	您知道，為什麼我們要將褐皮書中的特定術語與經濟衰退時期聯繫起來？
	好吧，獲取術語列表本身就可能提供豐富的信息。 你知道，我可能會發現一些潛在的，你知道的，微妙的
	我可能不知道或無法在定量數據中輕易捕捉到經濟衰退的驅動因素或影響。
	我可能還會找到一些詞來進一步分析。 我可能...我可能會找到一些
	潛在情緒術語，當經濟表現特別差時使用的一些術語，我在第一次進行情緒分析時錯過了這些術語。
	或者也許我可以找到一些與衰退密切相關的單詞，我想我可以在預測模型中使用它們來嘗試找出未來何時可能發生衰退。
	因此，出於多種不同的原因，我們可能想知道哪些詞與經濟衰退最相關。
	那麼，這在 JMP 中是如何工作的呢？ 好吧，我們基本上建立了一個回歸模型，其中結果變量是我們關心的變量，經濟衰退，輸入都是不同的詞。
	輸入模型的數據採用文檔術語矩陣的形式，其中每一行對應於
	一份文檔或一份褐皮書報告，然後各列捕獲該報告中出現的單詞。 在這裡，我們突出顯示了“弱”列，它顯示“二進制”，這意味著
	它將包含 1 和 0； 1 表示該報告包含單詞“weak”，0 表示該報告不包含單詞“weak”。 這是我們對文檔進行評分的幾種方法之一，但我們現在將堅持使用這個二進製文件。
	因此，我們獲取這些信息並將其輸入回歸模型。 這就是發布的樣子。
	我們將經濟衰退作為 Y 變量，這只是一種是或否變量，然後我們將所有這些二元項預測變量作為我們的模型效應輸入。
	然後我們將使用 JMP Pro 的廣義回歸工具
	為了構建模型，這是因為廣義回歸或我們所說的 GenReg 包含自動變量選擇技術。 所以如果你熟悉
	正則化回歸，我們談論的是套索或彈性網絡。 如果您不知道這意味著什麼，那也完全沒問題。 這個想法是它會自動
	找到哪些術語與結果變量“衰退”最密切相關，然後找到那些它認為不與之相關的術語，它將把它們歸零。
	這使我們能夠研究“衰退”之間的關係，也許你知道數百、數千個可能與之相關的單詞。
	那麼當我們進行分析時我們會得到什麼呢？
	我們拿出一個模型。 所以我們這裡得到的是該模型的方程。 別太擔心它。我們的想法是
	衰退的對數機率，所以它是我們陷入衰退的概率的函數，而褐皮書的發行時間是以下函數
	褐皮書報告中可能出現的所有不同詞語。
	你可以看到，我們有，你知道，“流行病”這個詞出現的效果，係數為1.94。
	這僅僅意味著，如果褐皮書報告提到“流行病”一詞，“經濟衰退”的對數機率就會上升 1.94。 然後我們看到負 1.02 倍的“增益”。 好吧，這意味著如果褐皮書報告提到“增益”這個詞，那麼經濟衰退的可能性......
	或者經濟衰退的對數機率下降 1.02。
	因此，我們從中得到了一系列與經濟衰退可能性增加密切相關的術語，比如“流行病”、“推遲”、“取消”、“取消抵押品贖回權”。
	我們還得到了與衰退可能性降低相關的術語列表，例如“增益”、“加強”、“競爭”。
	我們還在那裡看到了“製造業”，但它的係數相對較小，約為 -0.2。
	您實際上會注意到這裡，如果我們查看此分析中選擇的所有術語的圖形表示，您不會看到太多特定領域，例如“製造”，
	“旅遊”、“投資”等等。 那是因為無論我們是否處於經濟衰退之中，這些事情總是被談論，所以我們真正尋找的是使用的詞語，
	你知道，當我們陷入經濟衰退時，其發生的頻率比你預期的要高。 所以我們...例如，那些是
	“大流行”是最具預測性的。 很有道理。 直到最近我們才開始談論流行病，而且最近我們也經歷了經濟衰退，所以我們已經非常清楚地認識到了這一點。
	然後我們還有其他一些在第二層，所以這是“推遲”、“取消”、“取消贖回權”、“惡化”、“悲觀”。
	有趣的是，這種“推遲”和“取消”與經濟衰退有關。 這是有道理的，你真的想談論推遲，比如說，經濟活動
	當經濟衰退發生時，或者至少這可能是一個可靠的趨勢。 這……所以這本身就是洞察力。 事實上，我
	意思是，我無法告訴您美聯儲如何跟踪推遲或取消經濟活動，但這些術語在本次分析中被標記的事實表明，這可能值得跟踪。
	好的，這就是術語選擇。 實際上，我們列出了與經濟衰退相關的術語清單，我們可以看到關聯的相對強度。 現在讓我們實際簡單地了解一下 JMP 中是如何完成的。
	因此，我將回到 JMP，我們要做的是提取一個略有不同的數據表。 不過，這仍然是褐皮書數據，現在我們只有國家報告。
	無論美國當時是否陷入衰退，我們都會有這個伴隨變量。 當然，這些數據中存在一些自相關性。 我的意思是，如果我們上個月陷入衰退，那麼本月我們更有可能陷入衰退。
	您知道這通常可能是基於回歸的分析的問題，但這純粹是探索性的。 我們不太關心它。
	因此，我將從表腳本中提取文本資源管理器，因為我們之前已經了解過它的啟動方式。
	請注意，我已經做了一些措辭，就像我們之前所做的那樣。 我還添加了一些停用詞，您在此處看不到，但我不希望此分析必然返回這些詞。
	我已經打開了詞幹提取，這就是術語列表中那些小點的含義。 例如，“增加”現在實際上是在“增加”、“增加”、“增加”之間折疊。
	那是因為現在我認為這些都是同一個概念，我只是想知道這個概念是否與經濟衰退有關。
	因此，要調用術語選擇，我們只需轉到紅色三角形，我將在此處選擇它。
	我們首先彈出一個控制窗口，或者我應該說部分，我們在其中選擇我們關心的變量，那就是經濟衰退。 選擇目標水平，所以我希望這是根據衰退的概率，而不是不衰退的概率。
	我可以指定一些模型設置。 如果您熟悉 GenReg，您會發現您可以選擇是否要提前停止，是否要選擇兩種不同的之一
	執行變量選擇的懲罰，您想要執行驗證的統計數據。 如果這些東西對您來說是新的，請不要太擔心。 默認設置是一開始的好方法。
	如果你還記得的話，我們有自己的權重，我們在那一列中用 1 和 0 表示“弱”，只是說明該單詞是否出現在文檔中，但你可以選擇你想要的。 所以
	例如，頻率不是“弱”發生與否，而是發生了多少次。 這會影響您解釋結果的方式。 我們現在將堅持使用二進制。
	但我要說的是，我想查看 1,000 個最常見的術語，而不是默認的 400 個，您可以看到，這比 436 個多得多，而且通常您無法擬合具有 1,000 個 X 的模型但只有436
	觀察，但感謝
	廣義回歸中的自動變量選擇，這不是問題。 因此，它再次選擇這千個術語中相關性最強的術語，因此稱為“術語選擇”。
	所以我要運行這個。 您可以看到發生的情況是 JMP 調用了廣義回歸平台並返回了這些結果，在這裡，我們看到了有關模型擬合的一些信息。 例如，我們返回了 37 個術語。
	讓我把它移過去。 因為在右邊我們可以找到一些非常有價值的信息。 這是與經濟衰退最密切相關的術語列表。
	現在，我將按係數對這些進行排序，以找到與經濟衰退概率最密切相關的那些，因此，這又是“大流行”、“推遲”、“取消”，正如您所料，此時，如果我單擊其中之一這些，它將更新這些預覽
	或下面的這些文本片段，這樣我們實際上可以在上下文中看到這個詞。
	因此，這個術語列表本身就非常有價值。 您可能會學到一些您以前可能不知道的重要的特定術語或概念的知識。 您還可以在預測模型中使用這些術語。
	現在還有其他一些需要注意的事情。
	您可以在這裡看到，我們再次有每個單獨文檔的表格，但我們現在基本上有模型的分數，而不是情緒分數。 我們為每一位
	這...
	我們稱之為正貢獻，這就是預測衰退概率的正係數的貢獻。 這裡我們有負端的那些。
	然後我們甚至可以從模型中得出經濟衰退的概率，此處為 71.8%，然後是我們實際觀察到的。
	我們不一定要在這裡建立一個預測模型，也就是說，我不會用這個模型來嘗試預測經濟衰退。 我的意思是，我有各種我會使用的經濟指標變量
	也是如此，但這是從根本上檢查模型完整性的好方法。 看起來它的一些預測是正確的嗎？
	因為如果不是，那麼您可能不信任它返回的條款。 您還有大量其他信息來嘗試做出判斷。 我的意思是，我們有一些擬合統計數據，例如這裡曲線下的面積。
	或者我們甚至可以進入廣義回歸平台，其中包含用於進一步評估模型的所有正常選項。
	我不會詳細介紹那裡的細節，但所有這些都可供您使用，以便您可以評估您的模型，按照您喜歡的方式調整您的模型，以確保您擁有一個您感覺良好的術語列表。
	現在您可以看到，我們在摘要下有這個模型列表，這是因為您實際上可能想要運行多個模型。 所以如果我回到模型......哦，對不起......如果我們回到我們的
	在這裡設置，我實際上可以運行一個稍微不同的模型。 例如，也許我知道 BIC 比 AICc 更保守一點，我想返回更少的術語，也許做了一個返回 900 個術語的分析，你有點不知所措。
	因此，我將單擊“運行”並使用它構建另一個模型。
	現在我們已將該模型添加到此處的列表中，我可以在這些模型之間切換以查看每個模型的結果。 在本例中，我們只返回了 14 個術語，而不是 37 個，我將在下面對它們進行評估。
	當然，你會從中得到兩個重要的輸出，那就是這個術語列表。 如果您想保存它，這些對您來說只是重要的術語，並且您想跟踪它們，只需右鍵單擊並將其放入數據表中即可。 現在我有一個 JMP 表
	以及術語、它們的係數和其他信息。
	和
	如果您實際上想做的是將其寫回原始數據表，也許這樣您就可以在其他類型的分析或預測模型中使用該信息，
	只需前往術語選擇並說您想要將術語分數保存為文檔術語矩陣，如果我將數據錶帶回此處，您可以看到我現在已寫入他們
	已選擇的每個術語的列。 在本例中填寫了它們的係數值，現在我可以使用它
	我喜歡的定量信息。
	這只是關於術語選擇的一些內容。 同樣，這裡的重要想法是我找到了與我關心的變量相關的術語列表，我什至通過它們的係數獲得了有關這種關係有多強的信息。
	那麼我們就結束吧。 我們已經介紹了兩種技術。 我們剛剛看到了術語選擇，找到了那些重要的單詞。 在此之前，我們回顧了情感分析，所有關於
	量化文本中積極或消極情緒的程度。 JMP Pro 16 的文本資源管理器中引入了兩種新的文本挖掘技術。 我們非常高興您能親自使用它們，並期待您的反饋。

峰會精選爆發數據探索預測建模回复：通過 JMP® Pro 16 中的情感分析和術語選擇擴展我們的文本挖掘工具包 (2021-EU-45MP-790)

羅斯在本教程中做得非常棒，這是一個多麼強大的平台。@Ross_Metusalem