756625_zh-TW

liliconcom

在 JMP® Pro 16 中擴展我們的文本挖掘工具包，添加情緒分析和術語選擇功能 (2021-EU-45MP-790)

Ross Metusalem，SAS公司JMP系統工程師

文本探勘技術能夠從非結構化文字資料中提取定量資訊。 JMP Pro 16 透過文字瀏覽器新增的兩個功能—情緒分析和詞項選擇—擴展了其從文字中提取資訊的能力。情緒分析透過將文本中的詞語映射到一個可自訂的情緒詞彙表及其對應的分數（例如，「精彩」：+90；「糟糕」：-90），量化文本中表達的正面或負面情緒程度。由此產生的情緒分數可用於大規模評估人們的主觀感受，探索主觀感受與客觀概念之間的關係，並豐富後續分析。詞項選擇透過應用 JMP Pro 中廣義迴歸平台的正則化迴歸功能（該平台由文字瀏覽器呼叫），自動尋找對反應變數預測能力最強的詞項。詞項選擇有助於輕鬆識別重要結果指標與相關非結構化文字中特定詞項出現頻率之間的關係。

本次演講將概述情緒分析和詞項選擇技術，展示它們在真實數據中的應用，並分享有效使用每種技術的最佳實踐。

自動產生的成績單…

揚聲器	文字稿
羅斯·梅圖薩勒姆	大家好，感謝大家抽出時間了解 JMP 如何在 JMP Pro 16 中擴展其文本挖掘工具包。
	情緒分析和詞項選擇。
	我是 Ross Metusalem，美國東南部的 JMP 系統工程師，我將帶您先睹為快這兩個新分析功能，解釋它們的工作原理，並提供一些使用它們的最佳實踐。
	所以這兩種分析技術都會在文字瀏覽器（Text Explorer）中推出，對於不熟悉的人來說，這是 JMP 的…
	用於分析我們稱為自由文本或非結構化文本（即自然語言文本）的工具。
	它是我們稱之為文本挖掘工具的工具，用於從自由文本中提取定量信息，以便我們能夠…
	使用其他類型的統計或分析工具從自由文字中得出見解，甚至可以將該文字用作其他分析的輸入。
	那麼，讓我們來看看 JMP Pro 16 中的 Text Explorer 即將推出的這兩種新的文本挖掘技術，我們先來看看情緒分析。
	情感分析的核心在於回答文本的情感傾向是正面還是負面這個問題。
	我們將對聯準會定期發布的褐皮書進行情感分析。
	現在很抱歉在 JMP Discovery Europe 上使用美國的例子，但褐皮書確實很好地展示了情感分析的全部內容。
	這是一份月刊，包含國家層面的報告以及 12 份地區層面的報告，總結了這些地區的經濟狀況，所有這些都基於定性信息，例如訪談和調查。
	美國決策者可以利用褐皮書中的定性訊息，以及傳統經濟指標中的定量資訊來制定經濟政策。
	所以你可能會想，我們現在討論的是情緒或情緒。我並不認為經濟報告會包含太多情感，但褐皮書報告以及許多措辭確實包含能夠承載或傳達情感的字眼。
	我們來看一段報告摘錄。這是直接從新的情緒分析平台截取的螢幕截圖。
	你會注意到一些詞語被高亮顯示，這些就是我們所說的情感詞，也就是說，
	我們認為這些字詞帶有某種情感色彩。例如，最上面的那句話是：「另一方面，電腦銷量卻嚴重下滑」。
	其中“嚴重抑鬱”以紫色突出顯​​示，表明我們認為它傳達了負面情緒，如果有人將計算機銷售描述為“嚴重抑鬱”，聽起來他們似乎想讓我們將其解讀為一件肯定不好的事情。
	向下看，我們會看到一些用橙色高亮顯示的正面情緒詞彙，例如「改善」或「有利」。因此，我們可以尋找那些我們認為帶有正面或負面情緒的字詞。
	紫色代表負面，橙色代表正面，一些情緒分析也將其保持在這種水平，所以只是二元區分，正面文本或負面文本。
	還有其他一些進行情緒分析的方法，特別是：
	許多方法試圖量化積極或消極的程度，而不僅僅是判斷某件事是積極的還是消極的。所以，請看另一個例子，我把大家的注意力引到最底部，那裡有一份「銷售不佳」的報告。
	我要將此與我們之前所說的「電腦銷售嚴重低迷」進行比較。
	所以這兩種說法都是負面的，但我認為我們都會同意，「嚴重憂鬱」聽起來比「貧窮」要負面得多。
	所以我們不僅要弄清楚表達的情感是正面的還是負面的，還要弄清楚這種正面或負面的程度，這就是情緒分析的作用所在。
	Text Explorer 的確可以做到這一點。那麼它是如何做到的呢？它使用了一種稱為詞彙情緒分析的技術，這種技術是基於一些情緒詞彙及其相關的評分。
	所以我們現在看到的，是所謂的情感詞典的摘錄，其中包含了詞語及其得分。
	例如，「fantastic」（極好的）一詞得分為正 90 分，而最底部的「grim」（糟糕的）一詞得分為負 75 分。
	因此，我們所做的就是明確哪些詞語我們認為帶有情緒內容，以及它們在一個任意尺度（這裡是 -100 到 100）上的正面或負面程度。
	然後，我們可以在所有文件中找到這些術語，並利用它們來評估這些文件的整體正面或負面程度。
	如果你回想一下我們之前提到的「嚴重憂鬱」的例子，那麼「嚴重」這個詞加上了「憂鬱」這個詞，我們稱之為加劇了它的程度。
	它是對所表達情感的強化或倍增，因此我們也有一個強化詞詞典，記錄了它們對情感詞所表達的情感的影響。
	例如，我們說「非常」會使情緒乘以 1.4 倍，而「很少」會使情緒乘以 0.3 倍，所以實際上，你知道，它稍微減弱了所表達的情緒。
	最後，我們還要考慮另一種類型的詞，那就是否定詞，例如“不”和“沒有”，我們基本上把它們視為極性反轉詞。
	「不太好」的評分就是「好」的分數乘以 -1。
	因此，這是一種常見的情緒分析方法，也稱為詞彙情緒分析。具體來說，我們將找到的情緒詞乘以任何相關的加強語氣詞。
	或否定詞，然後對於每個文檔，當我們得到所有出現的詞語的情感得分後，我們只需對所有得分取平均值，即可得到該文檔的情感得分。
	JMP會以多種實用方式將這些分數回傳給我們。這是情緒分析工具的螢幕截圖，我們馬上就會用到它。
	但你可以看到，它提供了所有文件的情緒分數分佈情況，以及所有情緒字詞及其出現頻率的清單。
	而且，正如我們將看到的，我們甚至可以匯出情緒評分，以便在圖表或分析中使用它們。
	所以我在這裡做了幾個圖表，想初步看看褐皮書報告中的情緒是否真的像我們預期的那樣與經濟事件相符？你知道，我們這種想法真的有一定道理嗎？
	情緒可以作為某種經濟指標嗎？答案似乎是，很有可能。
	這裡是我在圖表產生器中製作的圖表；它顯示的是一段時間內的情緒變化，所以所有的小灰點都代表各個報告。
	藍色平滑曲線大致顯示了情緒隨時間變化的趨勢，零點的黑線表示中性情緒，至少根據我們的評分方案是如此。
	紅色區域是
	聯準會官方認定的經濟衰退時期。
	所以你可能會注意到，市場情緒似乎會在經濟衰退前後觸底反彈，或是出現低谷，但你可能還會注意到另一件事。
	事實上，在每次經濟衰退之前，我們都會看到市場情緒提前數月甚至數年出現下滑。但我們並沒有看到這種情緒的大幅下滑。
	在沒有出現經濟衰退的情況下，褐皮書情緒或許確實具有一定的參考價值。因此，褐皮書情緒作為經濟衰退的先行指標，可能確實有一定道理。
	如果我們從地理位置的角度來看，也會發現一些合理之處。這只是分析中的一個例子。我們正在研究12個地區的情緒。
	1999年至2000年以及2001年期間，各聯邦儲備區的情況。這段時期通常被稱為網路泡沫破裂時期。
	當時湧現大量科技公司和線上企業，形成了一個巨大的泡沫，但最終，其中許多公司倒閉了，造成了相當嚴重的經濟後果。
	99年到2000年的市場情緒正在成長，事實上，這種成長動能似乎相當強勁。
	舊金山聯邦儲備區是許多此類公司總部所在地。然後在2001年金融危機之後，我們看到市場情緒大幅下跌，跌至圖中紅色區域，而這一跌幅同樣發生在舊金山聯邦儲備區。
	因此，只需對這些褐皮書情緒評分進行簡單的圖形檢查，即可發現它們在追蹤甚至預測某些經濟事件方面確實具有一定的有效性，當然，後者我們需要更仔細地研究。
	但這只是情緒分析潛在應用案例的一個例子，還有很多其他應用案例。
	目前它最大的應用領域之一是消費者研究，例如，人們可能會分析
	一些消費者調查回复，旨在找出導致正面或負面意見或反應的因素。
	但情緒分析也可以用於產品改進等領域，例如，分析產品評論或保固索賠可以幫助我們發現能夠引起客戶強烈情緒反應的產品功能或問題。
	例如，以客戶支援為例，我們可以分析呼叫中心或聊天記錄…聊天記錄文本
	找出一些能導致客戶滿意或不滿意的支援措施。或許還可以研究一下公共政策，我們會分析公開評論，以評估公眾對擬議或現有政策的反應。
	以上僅列舉了情感分析可以應用的幾個領域。實際上，只要文字傳達了某種情感，而這種情感可能具有訊息價值，情感分析就非常適用。
	以上就是我首先要說的。現在我想花點時間向大家介紹一下它在 JMP 中的工作原理，所以我們進入 JMP 介面吧。
	這裡是褐皮書數據，在底部可以看到我們有5000多份報告，每份報告都標明了日期。
	1972年5月至2020年10月，報告來自12個區中的哪一個，以及報告正文。你可以看到這些報告，
	他們不只是簡單地發表一些關於經濟狀況好壞的聲明，他們可以深入到一定程度的細節。
	現在，在我們深入分析這些數據之前，我首先要感謝一位提出分析褐皮書想法的人，以及一位實際提取數據並將其導入JMP的人。
	文件格式已準備就緒，可以進行分析。這要感謝 Xan Gregg，如果您還不知道，Xan 是 JMP 開發團隊的負責人，也是 Graph Builder 的創建者，所以，謝謝 Xan 的幫助。
	好的，現在我們來量化所有這些報告中正面和負面情緒的程度。我們將使用“分析”選單下的“文字瀏覽器”。
	這裡是我們的啟動視窗。我會把文字資料放到文字列角色中。開始之前，有幾點需要強調。
	Text Explorer 支援多種語言，但目前情緒分析僅支援英語，還有一點我想指出，這一點也與此有關。
	對於從事文本分析的人來說，你們可能熟悉詞幹提取，但對於不熟悉的人來說，詞幹提取是一個將多個…合併的過程。
	簡單來說……就是同一個字的多種不同形式。例如“strong”、“stronger”和“strongest”。這三個就是。
	同一個詞“strong”有多種不同的表達方式，在某些文本挖掘技術中，你實際上會希望將所有這些表達方式合併成一個術語，然後說，哦，它們都表示“strong”，因為這在概念上是同一件事。
	我其實打算就此打住，不再贅述了，原因在於……就拿「最強」來說，它描述的是某物所能達到的最強狀態。
	與「更強」相比，「更強」意味著你知道它很強，但還有提升的空間。
	所以，「strongest」的情緒分數應該比「stronger」高，如果我進行詞幹提取，就會失去這兩個詞之間的區別。因為我不想失去這種區別，所以我想給它們不同的情感分數。我將繼續進行詞幹擷取。
	那我點選確定。
	現在 JMP 將對我們的文字進行分詞，將文字分解成所有單獨的單詞，然後統計每個單字出現的頻率。
	這裡列出了所有術語及其出現頻率。例如，「銷售」一詞出現了超過 46,000 次，這裡還有一個短語清單。短語列表如下：
	兩個或多個字頻繁出現的序列，有時我們確實希望將它們計入詞項數量。
	分析。對於情感分析，你需要瀏覽你的短語列表，比如說，添加“房地產”，雖然是兩個詞，但它實際上指的是，你知道的，房產。
	我還可以補充一點。通常在文字分析中，我們也會加入所謂的停用詞。
	這些詞語在我們的分析語境中並沒有實際意義，因此我們希望將其排除在外。以「區」為例。這種情況會發生……或者說，褐皮書的使用情況
	「區」這個字常出現，比如說「這是來自里士滿區的報告」之類的，其實也沒有什麼實際意義。
	但我其實不打算在這裡使用停用詞，因為，如果你還記得的話，
	回到投影片部分，我們說過，我們所有的情緒評分都是基於一個字典，我們在字典中選擇情緒字詞以及它們應該獲得的分數。
	如果我們去掉“district”，它的得分自然是 0，不會影響我們的情感得分，所以我真的不需要把它聲明為停用詞。
	準備好後，我們將調用這裡紅色三角形下方的文字或（抱歉）情緒分析。
	所以，由於我們還沒有聲明任何情感詞或其他參數，JMP 現在正在使用內建的情緒詞典對所有文件進行評分。這裡我們輸出評分結果。
	在瀏覽這些結果之前，我們可能需要自訂情緒詞典，包括情緒詞彙及其分數。這是因為在不同的領域，
	或許由於文本由不同的人撰寫，某些詞語會承載不同的情感程度，或者在某些情況下帶有情感色彩，而在另一些情況下則沒有。因此，我們希望…
	我們非常仔細、徹底地創建了一個情緒詞典，我們認為字典能夠準確地捕捉到我們正在分析的語言所表達的情感。
	正如我所說，JMP 使用的是內建字典，而且字典內容非常有限。你可以看到，這裡只有一些表情符號。
	例如這些小笑臉之類的，但我們也看到了一些非常明確的表達情感的語言，例如 -90 的「糟糕透頂」。
	現在看來，大概不會有人用「糟糕透頂」這個詞而沒有負面意義，所以我們對此感覺還不錯。但是，你知道，這個清單還不算太長，我們可能會想加入一些字詞進去。
	那我們來看看該怎麼做，我建議的一點是直接查看你的數據。你可以閱讀一些文檔，試著找出一些你認為可能反映情感的詞語。
	這裡有一個工具，可以讓我們瀏覽文件並直接添加情感詞。這裡我有一個文檔清單。可以看到文件 1 被高亮顯示，文件 1 也顯示在下方。我可以選擇不同的文件來查看它們。
	現在，如果我們看一下文件 1，你可能會立刻注意到一些潛在的情緒詞彙，例如「悲觀」和「樂觀」。
	現在您可以看到這些詞語沒有被高亮顯示。實際上，這些詞語並沒有包含在標準的情緒詞典中。
	很多名詞實際上並非如此，這是因為像「悲觀」或「樂觀」這樣的名詞可以透過一些方式來描述，從而暗示它們的存在或缺失。所以我可以說，“悲觀情緒正在下降”，或者
	“明顯缺乏悲觀情緒”，“悲觀情緒已不再被報導”。
	而且，在這些情況下，我們不會說「悲觀」是件壞事。所以，在將字詞加入情緒字典之前，你需要謹慎思考它們在語境中的意思以及它們實際的用法。
	例如，我可以返回我們之前的術語清單。我這裡只展示一下篩選器。
	尋找“悲觀主義”一詞，然後查看文本，了解它的用法。例如，在第一個例子中，「我們董事們的情緒時而悲觀，時而樂觀」。
	下一個
	「私下談話中流露出深深的悲觀情緒。」如果你仔細閱讀，你會發現這是典型的用法，所以實際上在《褐皮書》中，他們似乎並沒有以我所擔心的方式使用「悲觀」這個詞。
	“樂觀情緒正在增強。”
	所以我覺得在這裡加入「悲觀」這個詞是可以的，讓我們把它加到我們的情緒字典中。
	所以如果我直接把滑鼠懸停在上面，
	您可以看到我們提供了幾種處理方法。例如，我可以給它打-60分。
	現在，這個詞及其對應的分數將被添加到我們的字典中，並觸發 JMP 中情緒評分的更新。也就是說，它現在會尋找單字“悲觀主義”，並調整所有找到該單字的文件的分數。
	現在讓我們回到頂部，更詳細地看一下這些情緒詞彙。如果我向下滾動，你會看到“悲觀”。
	就是我剛才給它的分數 -60。現在我可能想…如果你注意到的話，「悲觀」的預設分數是 -50，所以也許我應該在這裡輸入 -50，這樣就一致了。
	我本來可以這麼做，但我不會，免得觸發另一次更新。
	您還會注意到，這裡列出了一些可能的情緒詞彙。這些詞彙是 JMP 識別的可能帶有情感含義的詞彙，您可以查看一下，並考慮將它們添加到您的字典中。
	例如，這裡的“強大”一詞，如果你看一下右側的一些文檔文本，你可能會說，好的，這顯然是一個積極的詞。如果你仔細查看了很多例子，這一點就非常突出了。
	「強勁」和相應的「疲軟」這兩個詞是這些經濟學家常用來談論當前經濟好壞的詞語。
	所以我可以添加它們，或者點擊上面按鈕中的“正面 60”來添加“強烈”評價。不過，為了加快我們進行情緒分析的速度，我現在先不這麼做。
	所以，就像我們下面的文字一樣，我們可以瀏覽這裡的情感詞列表，從中挑選一些好的候選詞。
	在紅色三角形下方，我們也可以更直接地管理情緒詞，所以這完全包含在內。
	對於文本探索者使用者來說，術語管理清單可能類似於短語管理和停用詞管理。
	您可以看到，除了所有內建術語之外，我們還為本次分析添加了一個新的術語「本地」。當然，如果我們想排除某些術語，我們也可以聲明例外。
	更重要的是，你還可以匯入和匯出情緒詞典。另一種確定情緒術語的方法是諮詢領域專家。你知道，
	經濟學家可能會對他們期望看到的、能夠清晰傳達訊息的字詞類型有很多話要說。
	這些報告中的情緒是正面的還是負面的？如果我們能與他們交流，我們想知道他們對此有何看法，我們甚至可以和他們一起創建字典，例如用製表符分隔的文件，然後直接導入到這裡。
	當然，一旦我們創建了一個自己滿意的字典，我們就應該將其匯出並保存，以便將來可以輕鬆地再次應用。
	以上就是如何建構情緒詞典的一些基本方法。另外，以下幾點也很重要：
	精心挑選你的加強語氣詞和否定語氣詞，同樣，你在這裡看不到分數，因為這些只是極性反轉。
	為了更直觀地展示它的實際表現形式，我們…來看看這裡的情感分析，這樣我們就能看到一些例子，
	JMP 偵測到某些情緒字前面有「不」字，並應用了對應的分數。例如，最上面的“不可接受”得分為 -25。
	我向你們展示這一點，只是為了讓你們注意到，這些否定詞和強調詞是由 JMP 自動應用的。
	不過，咱們還是別討論如何設定分析了，直接來看結果吧。接下來我要講的是…
	分析的一個版本已經完成，也就是說，我已經整理好了情緒字典，我們現在可以開始解釋我們得到的結果了。
	所以，我們這裡是概要訊息，正面文檔的數量多於負面文檔。正如我們之前討論的，我們可以看到正面和負面文件的具體數量。實際上，在左側表格的底部，您可以看到有一份文件完全沒有表達任何情感傾向。
	「強」出現約14,000次，「弱」出現約4,500次。
	並根據它們的數量或分數來查看這些結果，找出最負面和最正面的結果，
	即使放在具體的脈絡中來看，它們本身也能提供相當多的信息。我的意思是，尤其是在像消費者研究這樣的領域，如果你想知道人們何時感到積極或表達積極情緒。
	例如，關於我們的品牌或產品，他們使用的語言類型是什麼？這或許能為我們的行銷策略提供參考。這份情感詞彙清單在這方面能提供極具價值的資訊。
	製造業，
	旅遊、投資。有時我們想要專注於其中某個子領域，我們稱之為某個特色領域。
	如果我進入情緒分析的“特徵”選項卡，點擊“搜尋”，JMP 會找到一些與情緒詞彙頻繁出現的詞語，並詢問你是否想深入了解該特徵的情感傾向。
	例如，以「銷售額」為例。我們可以看到「銷售額報告疲軟」、「銷售額走弱」、「銷售額報告保持良好」等等。
	所以，如果我只對這個選定的特徵進行評分，JMP 現在將只提供與這些大型報告中提及“銷售”相關的情感評分，這將有助於我們改進分析或將其集中在一個定義非常明確的子域上。
	這一點尤其重要。
	有可能我們分析的語言的領域範圍並沒有那麼明確。例如，
	產品評論。你感興趣的是人們對產品的正面或負面感受，但他們也可能會談到其他方面，例如運輸，而你並不一定在意他們對運輸是否滿意，主要是因為這超出了你的控制範圍。
	你肯定不想把一堆評論都歸到一起，因為這些評論裡也提到了運費。所以，考慮分析的範圍並進行適當的限定非常重要，而這裡的功能查找器就是實現這一目標的一種方法。
	所以現在你可以看到，在我對「銷售額」進行評分後，正面和負面文件的分佈情況截然不同。我們有更多文件沒有情緒評分，因為它們…
	乾脆不要談論銷售，或不要用情緒化的語言來討論銷售，我們現在有一份不同的情緒詞彙表，專門用來描述銷售情況。
	讓我把它刪掉。
	我意識到我忘了提一件事，雖然我之前簡單提過，那就是我們一直在看的這些文檔總分是如何計算的，我說過它們是所有情感詞的平均值…
	這件事發生在某個特定的文檔中。我們來看一下文檔 1。我只想向你們展示一下…
	如果你想知道這個分數是怎麼來的，比如說 -20，你可以把滑鼠移過去，它會顯示所有出現的情緒詞彙清單。
	你可以看到，這裡有16個，包括最底部的“亮點”，它的分數是+78，然後，如果你把所有這些分數加起來，再除以78…
	或者，抱歉，除以 16，那麼平均情緒值為 -20。這是提供總體評分的兩種方法之一。另一種方法是最小-最大評分法，即最小值和最大值之間的差異。
	文中表達的情感。
	現在，我們僅透過查看這份報告就能獲得很多訊息，例如情緒評分、最常用的詞彙等等。
	但很多時候，我們想把這些情感以其他方式運用，例如：
	像我們在幻燈片裡那樣，用圖表的方式查看它們。所以，當需要進行這部分分析時，只需點擊這裡的紅色三角形即可。
	並將文件評分儲存下來。這樣，這些評分就會保存到您的資料表中，以便您可以將其輸入到進一步的分析中或繪製成圖表，或進行任何您想要的操作。
	以上是 JMP Pro 16 中文字瀏覽器即將推出的情緒分析功能的預覽。其核心思想是，情感分析使用情感詞典，該詞典…
	您可以設定對每份文件的正面和負面情緒內容進行評分，然後，您可以根據自己的需求以任何方式使用這些資訊。
	那我們現在就先告別情緒分析，接下來我將回到投影片，談談即將加入文字探索器的另一項技術。
	這就是術語選擇，術語選擇回答了另一個問題，那就是，哪些術語與我關心的一些重要變數或變數的關聯性最強？
	我們將繼續採用褐皮書。
	我們將探究哪些字詞與經濟衰退有統計上的關聯。圖中顯示的是隨時間推移的百分比變化。
	圖中展示了按季度劃分的國內生產毛額（GDP），藍色代表經濟成長，紅色代表經濟萎縮。我們可能會想，這究竟意味著什麼？
	褐皮書中出現的某些術語，是否可能與這些經濟衰退時期有統計上的關聯？例如，這裡列出的幾個術語。
	你知道，我們為什麼要將褐皮書中的特定術語與經濟衰退時期連結起來？
	嗯，取得一份術語清單本身就可能很有參考價值。你知道，我或許能從中發現一些微妙之處。
	一些我可能沒有意識到或難以用定量數據捕捉到的經濟衰退的驅動因素或影響。
	我或許還能找到一些字詞供進一步分析。我或許……我或許能找到一些
	潛在的情緒詞彙，一些在經濟狀況特別糟糕時使用的詞彙，我在第一次進行情緒分析時錯過了。
	或者，我或許可以找到一些與經濟衰退密切相關的詞語，以便將它們用於預測模型，從而嘗試找出未來經濟衰退可能發生的時間。
	因此，我們可能出於以下幾個不同的原因想要了解哪些字詞與經濟衰退的關聯性最強。
	那麼，這在 JMP 中是如何實現的呢？我們基本上建立了一個迴歸模型，其中結果變數是​​我們關心的變數——經濟衰退，而輸入變數則是所有不同的字詞。
	輸入模型的資料採用文檔詞項矩陣的形式，其中每一行對應於：
	一份文件或一份褐皮書報告，然後各列記錄該報告中出現的詞語。這裡我們高亮顯示了“弱”這一列，其內容為“二進制”，這意味著
	它將包含 1 和 0；1 表示該報告包含“weak”一詞，0 表示該報告不包含“weak”一詞。這是我們對文件進行評分的幾種方法之一，但目前我們先使用這種二進位方法。
	所以我們將這些資訊輸入到迴歸模型中。以下是發表會的模擬結果。
	我們將經濟衰退作為 Y 變量，這是一個非此即彼的變量，然後我們將所有這些二元項預測變量輸入為模型效應。
	然後我們將使用 JMP Pro 的通用回歸工具
	為了建立模型，這是因為廣義迴歸（或稱 GenReg）包含了自動變數選擇技術。所以，如果您熟悉…
	正規化回歸，我們指的是像 Lasso 或彈性網路這樣的回歸。如果你不知道這是什麼意思，完全沒關係。它的基本思想是自動地…
	找出與結果變數「衰退」關聯最強的術語，然後將它認為與該變數無關的術語歸零。
	這樣我們就可以研究「衰退」與數百個可能與之相關的字詞之間的關係。
	那麼，我們運行分析後會得到什麼結果呢？
	我們得到了一個模型。所以這裡我們看到的是這個模型的方程式。不用太擔心。關鍵是，我們說
	經濟衰退的對數幾率，也就是我們處於經濟衰退狀態的機率的函數，而褐皮書的發佈時間則取決於…
	褐皮書報告中可能出現的所有不同字詞。
	你可以看到，你知道，「大流行」一詞的出現產生了影響，其係數為 1.94。
	這意味著，如果褐皮書報告中提到「疫情」一詞，那麼「衰退」的對數機率就會上升1.94倍。然後我們看到「成長」的對數機率會下降1.02倍。也就是說，如果褐皮書報告中提到「成長」一詞，那麼衰退的機率…
	或者，經濟衰退的對數幾率下降 1.02。
	因此，我們從中得出了一系列與經濟衰退機率增加密切相關的術語，例如「疫情」、「延遲」、「取消」、「止贖」。
	我們還得到了一系列與經濟衰退機率降低相關的術語，例如「獲得」、「加強」、「競爭」。
	我們還可以看到“製造業”，但它的係數相對較小，約為 -0.2。
	實際上你會注意到，如果我們看一下本次分析中選擇的所有術語的圖形表示，你會發現並沒有太多像「製造業」這樣的具體領域。
	「旅遊業」、「投資」等等。這是因為無論經濟是否衰退，人們總是談論這些話題，所以我們真正想尋找的是那些被使用的字詞。
	你知道，我們陷入經濟衰退的頻率遠遠超出預期。所以我們有…例如，那些是
	「疫情」這個詞最具預測性。這很有道理。直到最近我們才開始談論疫情，而且最近我們也經歷了經濟衰退，所以我們對疫情的到來已經非常清楚了。
	然後我們還有一些其他的，算是第二層級的，像是「延後」、「取消」、「止贖」、「惡化」、「悲觀」。
	有趣的是，「推遲」和「取消」這兩個詞都與經濟衰退有關。這很合理，畢竟人們確實想討論的是延後經濟活動之類的事情。
	當經濟衰退發生時，或至少這或許是個可靠的趨勢。這本身就是一種洞見。事實上，我
	我的意思是，我無法告訴你聯準會是如何追蹤經濟活動的延遲或取消情況的，但這些術語在這項分析中被標記出來，這表明這可能是值得追蹤的事情。
	好的，這就是術語選擇。我們得到了一個與經濟衰退相關的術語列表，並且可以看到它們之間的關聯強度。現在讓我們簡單看一下在 JMP 中是如何操作的。
	所以我要回到JMP軟體，我們要調出一個略有不同的資料表。不過，數據仍然是褐皮書，只是現在我們只有國家層級的報告。
	我們還有一個伴隨變量，即美國當時是否處於經濟衰退狀態。當然，這些數據存在一定的自相關性。我的意思是，如果上個月我們處於經濟衰退狀態，那麼這個月我們處於經濟衰退狀態的可能性就比上個月沒有處於經濟衰退狀態時更大。
	您也知道，這通常會對基於迴歸的分析造成問題，但這純粹是探索性的，我們並不太擔心。
	所以我打算直接從表格腳本中調出文字瀏覽器，因為我們之前已經大致了解過它是如何啟動的。
	不過請注意，我已經像之前一樣進行了一些措辭處理。我還添加了一些停用詞（您在這裡看不到），這些詞我不希望它們被此次分析返回。
	我已經開啟了詞幹提取功能，這就是詞條清單中那些小點的含義。例如，現在「increase」實際上是將「increases」、「increasing」和「increasingly」合併在一起的。
	那是因為我現在覺得這些概念都差不多，我只是想知道，你知道，這個概念是否與經濟衰退有關。
	所以要啟用術語選擇功能，我們只需點擊紅色三角形，然後在這裡選擇它。
	首先會彈出一個控制視窗（或應該說是控制部分），我們可以在這裡選擇關注的變量，也就是經濟衰退。選擇目標值，我希望它代表經濟衰退的機率，而不是沒有經濟衰退的機率。
	我可以指定一些模型設定。如果您熟悉 GenReg，您會發現您可以選擇是否提前停止，以及選擇兩種不同的方法之一。
	懲罰項用於變數選擇，以及你想用什麼統計量來驗證。如果你對這些內容還不熟悉，也不用太擔心。預設一開始就很好用。
	如果您還記得的話，我們已經設定了權重。在「弱」這一列中，我們用 1 和 0 來表示該字是否出現在文件中，但您可以根據需要進行選擇。
	例如，頻率並非指「弱」現像是否出現，而是指它出現了多少次。這會影響你對結果的解讀方式。目前我們暫且使用二元分類。
	但我想說，我想查看最常用的1000個詞條，而不是預設的400個。你可以看到，這比436個詞條多得多，通常情況下，你不可能用1000個詞條來擬合一個模型，而只能用436個詞條。
	觀察結果，但多虧了
	在廣義迴歸中，自動變數選擇不是問題。因此，它再次從這上千個項中選擇出相關性最強的項，因此得名「項選擇」。
	所以我運行一下這個程式。你可以看到，JMP 調用了廣義回歸平台並返回了這些結果，在這裡，我們可以看到一些關於模型擬合的資訊。例如，我們傳回了 37 個項。
	我把它移到一邊。因為右邊這邊有一些非常有價值的資訊。這裡列出了與經濟衰退相關最密切的詞彙。
	現在我將以係數對這些詞進行排序，找出與經濟衰退機率關聯最強的詞，所以再次強調，這些詞是「疫情」、「延期」、「取消」。正如你所預料的，此時如果我點擊其中一個詞，預覽就會更新。
	或者看看下面的這些文字片段，這樣我們就能在上下文中實際看到這個詞了。
	因此，這份術語表本身就極具價值。您可能會從中了解到一些先前不了解的重要術語或概念。您也可以將這些術語用於預測模型中。
	還有幾點要注意。
	您可以看到，下面我們再次為每個文件建立了一個表格，但這次表格中顯示的不是情緒得分，而是模型給出的分數。對於每個文檔，我們都有相應的分數。
	這...
	我們稱之為正貢獻，也就是預測經濟衰退機率的正係數所貢獻的部分。這裡我們列出的是負係數。
	然後，我們甚至還有模型預測的經濟衰退機率，這裡是 71.8%，以及我們實際觀察到的情況。
	我們在這裡並非一定要建立一個預測模型，也就是說，我不會用這個模型來預測經濟衰退。我的意思是，我有很多種經濟指標變數可以使用。
	也是一樣，但這確實是檢驗模型是否合理的好方法。它的預測看起來是否有些正確？
	因為如果不是這樣，你可能就不會信任它回傳的條款。你還有很多其他資訊可以用來做出判斷。我的意思是，我們有一些擬合統計數據，例如上面曲線下的面積。
	或者我們甚至可以進入通用回歸平台，那裡有各種常規選項，可以進一步評估您的模型。
	我不會深入探討細節，但所有這些都可供您使用，以便您可以評估您的模型，並根據自己的喜好調整模型，確保您有一份令您滿意的術語清單。
	現在您可以看到，在摘要下方，我們有一個模型列表，這是因為您可能需要執行多個模型。所以，如果我回到模型…哦，不好意思…如果我們回到我們的
	如果按照上面的設置，我其實可以運行一個略有不同的模型。例如，我知道BIC比AICc更保守一些，所以我想回傳更少的項；也許我做了一個分析，回傳了900個項，你覺得有點不知所措。
	所以我點擊運行，然後用它來建立另一個模型。
	現在我們已經將該模型新增到清單中，我可以切換這些模型來查看每個模型的結果。在這個例子中，我們只回傳了 14 個項，而不是 37 個，下面我將逐一評估它們。
	所以，你當然會得到兩個主要的輸出結果，其中一個就是這個術語列表。如果你想保存它，這些術語對你來說很重要，你想追蹤它們，只需右鍵單擊並將其轉換為資料表即可。現在我有一個 JMP 表格。
	包括各項參數、它們的係數和其他資訊。
	和
	如果你真正想做的是將這些數據寫回原始數據表，以便你可以在其他類型的分析或預測模型中使用這些信息，
	只需前往術語選擇，然後選擇將術語分數儲存為文件術語矩陣即可。如果我把資料表放回這裡，您可以看到我已經寫入了他們的資料。
	為選定的每個術語分別填入列。在這個例子中，列中填入了它們的係數，現在我可以使用它了。
	我喜歡各種量化資訊。
	以上只是關於術語選擇的一小部分。再次強調，這裡的核心思想是，我找到了一系列與我關注的變數相關的術語，而且透過它們的係數，我甚至可以了解這種關係的強度。
	那我們就總結一下吧。我們已經介紹了兩種技術。我們剛才看到了詞項選擇，也就是找到那些重要的字詞。在此之前，我們回顧了情緒分析，以及關於情感分析的所有內容。
	量化文本中正面或負面情緒的程度。這是 JMP Pro 16 文字瀏覽器新增的兩種文字探勘技術。我們非常期待您體驗這些技術，並期待您的回饋。

進階統計建模基礎資料分析與建模消費者與市場研究資料融合與清理數據探索與視覺化實驗設計大規模客製化預測建模和機器學習品質與工藝工程可靠度分析分享和交流成果