349270_zh-TW

liliconcom

回复：在JMP®Pro 16（2021-EU-45MP-790）中使用情感分析和術語選擇擴展了我們的文本挖掘工具包

Ross出色的本教程工作，多麼強大的平台。@Ross_Metusalem

在JMP®Pro 16（2021-EU-45MP-790）中通過情感分析和術語選擇擴展我們的文本挖掘工具包

級別：中級

 

SAS JMP系統工程師Ross Metusalem

 

文本挖掘技術能夠從非結構化文本數據中提取定量信息。 JMP Pro 16擴展了它可以從文本中提取的信息，這要歸功於Text Explorer功能的兩個新增功能：情感分析和術語選擇。 情感分析通過將文本的單詞映射到可自定義的帶有情感的術語和相關分數的字典來量化文本中表達的正面或負面情緒的程度（例如，“很棒”：+90；“糟糕”：-90）。 由此產生的情感分數可用於大規模評估人們的主觀感覺，探索與客觀概念有關的主觀感覺並豐富進一步的分析。 術語選擇通過從JMP Pro中的Generalized Regression平台應用正則化回歸功能來自動找到最能預測響應變量的術語，該功能從Text Explorer內部調用。 術語選擇對於輕鬆識別重要結果度量和相關非結構化文本中特定術語的出現之間的關係很有用。

本演講將概述情緒分析和術語選擇技術，展示其在現實數據中的應用，並分享一些有效使用每種方法的最佳實踐。

 

 

自動產生的筆錄...

 

揚聲器	成績單
羅斯·梅圖薩萊姆（Ross Metusalem）	大家好，感謝您抽出寶貴的時間來學習JMP如何通過以下方式擴展JMP Pro 16中的文本挖掘工具包：
	情緒分析和術語選擇。
	我是美國東南部JMP系統工程師Ross Metusalem，我將為您簡要預覽這兩項新分析，對它們的工作原理進行一些解釋，並提供一些使用它們的最佳實踐。
	因此，這兩種分析技術都來自Text Explorer，對於不熟悉的人來說，這就是JMP的
	用於分析我們稱為自由文本或非結構化文本的工具，即自然語言文本。
	這就是我們所說的文本挖掘工具，它是一種從自由文本中獲取定量信息的工具，因此我們可以
	使用其他類型的統計或分析工具從免費文本中得出見解，或者甚至可以將該文本用作其他分析的輸入。
	因此，讓我們看一下JMP Pro 16中即將在Text Explorer中使用的這兩種新的文本挖掘技術，我們將從情感分析開始。
	情感分析的核心回答了文本在情感上是積極還是消極的問題。
	我們將對《米色書》（Beige Book）進行情感分析，這是美國聯邦儲備銀行的定期報告。
	現在在JMP Discovery Europe上使用美國的示例道歉，但Beige Book確實很好地說明了情緒分析的全部內容。
	因此，這是每月出版的出版物，其中包含國家級報告以及12個地區級報告，這些報告總結了這些地區的經濟狀況，並且所有這些報告都是基於定性信息（例如訪談和調查）。
	美國的決策者可以使用《褐皮書》中的定性信息以及傳統經濟指標中的定量信息來推動經濟政策。
	所以您可能會想，好吧，我們現在正在談論情緒或情感。 我不知道我期望經濟報告會包含很多情感，但是《褐皮書》的報告和許多語言確實包含能夠傳達或傳達情感的單詞。
	因此，讓我們看一下一份報告的摘錄。 這是新的情緒分析平台的截圖。
	您會注意到一些突出顯示的詞，這就是我們所說的情感術語，即
	我們認為的術語對他們來說具有一些情感上的滿足。 例如，在頂部，“另一方面，計算機銷售受到嚴重壓制”
	“嚴重沮喪”以紫色突出顯示，表示我們認為這是在傳達負面情緒，似乎有人將計算機銷售描述為“嚴重沮喪”，這聽起來像是對我們而言意味著將其解釋為肯定是一件壞事。
	如果我們往下看，我們會看到橙色的幾個正面情緒術語，例如“改善”或“有利”。 因此，我們可以尋找我們認為具有積極或消極情緒的單詞
	紫色代表否定，橙色代表肯定，某些情感分析使事情保持在該水平上，因此僅是二進制區別，肯定文本或否定文本。
	還有其他執行情感分析的方法，尤其是
	許多方法試圖量化陽性或陰性的程度，而不僅僅是量化某事物是正面還是負面。 因此，請考慮另一個示例，在這裡，我們將注意力集中在底部，在這裡我們可以看到“銷售不佳”的報告。
	我將與我們所說的“計算機銷售嚴重下降”進行比較。
	因此，這兩個都是負面的陳述，但我想我們都同意“嚴重沮喪”聽起來比“貧窮”更為負面。
	因此，我們不僅要弄清楚情緒是正面還是負面表達，而且是正面還是負面的表達，這就是情感分析中的內容。
	文本資源管理器可以。 那麼它是如何做到的呢？ 好吧，它使用了一種基於某些情感術語和相關分數的稱為詞彙情感分析的技術。
	因此，我們現在看到的是我們所稱的情感詞典的摘錄，其中包含術語及其得分。
	例如，術語“很棒”的得分為正90，而底部的術語“骯髒”的得分為-75。
	因此，我們要做的是具體說明我們相信哪些詞帶有情感內容，以及它們在任意範圍（-100至100）之間是正面還是負面的程度。
	然後，我們可以在所有文檔中找到這些術語，並使用它們對這些文檔的整體正面或負面進行評分。
	如果您回想一下我們的示例“嚴重沮喪”，那麼該詞“嚴重”並帶有“沮喪”一詞，我們稱之為“增強”。
	它是表達的情感的增強器或乘數，因此我們也有詞典和增強器對情感術語表達的情感做了什麼。
	例如，我們說“難以置信”將情感乘以1.4倍，而“小”則將情感乘以0.3倍，因此，實際上，某種程度上，您可以稍微減弱所表達的情感。
	現在，最後我們要考慮另一種類型的單詞，那就是否定詞，例如“ no”和“ not”之類的東西，我們基本上將它們視為極性反轉。 所以
	“不完美”是將“出色”的得分乘以-1。
	因此，這是進行情感分析的常用方法，又稱為詞法情感分析。 因此，我們要做的是採用找到的情感術語，然後將其乘以任何關聯的增強器
	否定或否定，然後對於每個文檔，當我們掌握了出現的各個術語的所有情感評分時，我們對所有這些單詞進行平均即可獲得該文檔的情感評分。
	JMP通過許多有用的方式將這些分數返回給我們。 因此，這是情感分析工具的屏幕截圖，我們將在短時間內使用它。
	但您可以看到，除其他外，它使我們在所有文檔中的情感分數分佈均勻。 它為我們提供了所有情感術語及其出現頻率的列表。
	就像我們將看到的那樣，我們甚至可以導出情感分數，以將其用於圖表或分析中。
	因此，我實際上在這裡製作了一些圖表，只是試圖將其視為初步的第一步，《褐皮書》報告中的情緒是否確實以我們認為應該的方式與經濟事件相吻合？ 你知道嗎，我們真的對此有一定的道理嗎？
	情緒作為某種經濟指標？ 答案似乎是，是的。
	這裡有一個我在Graph Builder中繪製的圖。隨著時間的流逝，所有灰色的小點都是個別的報告
	至少根據我們的計分方案，藍色的平滑器會顯示情緒隨時間的變化趨勢，黑色的零線表示中性情緒。
	紅色區域是
	美聯儲正式列出的經濟衰退時期。
	因此，您可能會發現情緒似乎觸底反彈或在經濟衰退周圍出現低谷，但您可能會注意到另一件事
	是實際上在每次衰退之前，我們都會看到情緒下降了幾個月，或者在某些情況下甚至提前了幾年。 而且我們看不到情緒的大幅下降
	在沒有衰退的情況下。 因此，也許褐皮書情緒在某種程度上可以作為經濟衰退的主要指標。
	如果從地理上看它，我們也會看到有意義的事情。 這只是分析中的一個例子。 我們正在看12中的情緒
	從1999年至2000年至2001年，美聯儲各區之間的時間跨度較大。 這是通常所說的Dotcom胸圍的時間，所以這是
	科技公司和在線業務冒出了巨大的泡沫，最終，許多公司倒閉了，並帶來了相當嚴重的經濟後果。
	'99到2000年的情緒正在增長，實際上，情緒正在非常強勁地增長，這似乎會出現，
	在舊金山聯邦儲備區，許多公司的總部都設在該地區。 然後在2001年泡沫破滅之後，我們看到最大的跌幅一直是這裡的負面情緒，再次出現在那個舊金山地區。
	因此，只要對這些“褐皮書”的情緒得分進行快速圖形檢查，就可以看出他們在跟踪，也許預測一些經濟事件方面具有真正的合法性，儘管當然，後者需要進一步研究小心。
	但這只是情感分析潛在用例的一個例子，還有更多例子。
	當前正在使用的最大應用領域之一是消費者研究，人們可以在其中進行分析。
	一些消費者調查的答复，以確定是什麼導致正面或負面的意見或反應。
	但是，情感分析也可以用於產品改進，例如，分析產品評論或保修索賠可能會幫助我們找到引起客戶強烈情感反響的產品功能或問題。
	查看客戶支持，我們可以分析呼叫中心或聊天記錄...
	尋找一些導致客戶滿意或不滿意的支持做法。 甚至公共政策，我們都會分析公開評論，以評估公眾對擬議或現有政策的反應。
	這些只是可以應用情感分析的幾個領域。 它確實適用於您的文本傳達出某種情感並且這種情感可能會提供信息的任何地方。
	這就是我想先說的。 現在，我想花一點時間向您介紹它在JMP中的工作方式，因此讓我們繼續講到JMP。
	這裡有Beige Book數據，所以在底部，您可以看到我們這裡有5,000多個報告，每個報告的發布日期都在
	1972年5月至2020年10月，它來自12個區中的哪個區，然後是報告的文本。 您會看到這些報告，
	它們不僅是您所知道的快速陳述，經濟狀況是好是壞，它們可以深入到某些細節上。
	現在，在我們深入研究這些數據之前，我只想對某人說謝謝您，因為他有想法分析《褐皮書》，實際上是將數據提取並放入JMP中。
	格式準備分析。 還要感謝Xan Gregg，如果您不知道Xan是JMP開發團隊的主管和Graph Builder的創建者，那麼感謝Xan的幫助。
	好了，讓我們來量化一下所有這些報告中正面和負面情緒的程度。 我們將在“分析”菜單下使用“文本資源管理器”。
	在這裡，我們有我們的啟動窗口。 我將獲取文本數據，並將其放在“文本列”角色中。 在我們開始之前，有兩件事要強調。
	Text Explorer支持多種語言，但是現在，情感分析僅以英語提供，而我想引起注意的另一件事就在這裡。
	因此，對於那些進行文本分析的人來說，您可能熟悉詞幹是什麼，但對於不熟悉的人來說，詞幹是一個過程，在此過程中我們會崩潰多個...
	好吧，讓它保持非技術性...同一單詞的多個版本在一起。 採取“強”，“更強”和“最強”。 所以這是三個
	同一單詞的“強”版本以及某些文本挖掘技術中，您實際上希望將所有這些組合成一個術語，然後說，哦，它們全都表示“強”，因為從概念上講，這是同一件事。
	我實際上將離開這裡，這是因為...採取“最強”的態度，它描述了某些東西可以得到的堅強程度。
	而不是“更強”，即表示您知道它很強大，但您仍然知道它甚至會更強大。
	因此，“最強”應該比“強”應該獲得更高的情感分數，而且如果我乾了，我將失去這兩個詞之間的區別。 因為我不想失去這種區別，所以我想給他們不同的情感評分。 我將繼續在這裡阻止。
	因此，我將單擊“確定”。
	現在，JMP將標記我們的文本，即將其分解為所有單獨的單詞，然後計算每個單詞出現的頻率。
	在這裡，我們列出了所有術語以及它們的使用頻率。 因此，“銷售”發生了46,000次，我們的短語列表也位於此處。 所以這句話是
	經常出現的兩個或兩個以上單詞的序列，有時我們實際上想將它們視為術語
	分析。為了進行情感分析，您可能需要查看短語列表，並且可以添加“房地產”，這是兩個詞，但是它實際上是指財產。
	我可以補充一點。 現在通常在文本分析中，我們還會添加所謂的停用詞，
	在我們的分析中，這些詞並沒有真正意義，因此我們希望排除。 以“區”為準。 發生這種情況...或《褐皮書》使用了
	“區”一詞經常出現，只是說，“來自里士滿地區的這份報告”之類的話，實際上沒有任何意義。
	但是我實際上不會在這裡打擾停用詞，這是因為，如果您還記得，
	在幻燈片中，我們說過，我們所有的情感分數都是基於字典的，我們在其中選擇情感詞以及應該得到的分數。
	而且，如果我們只保留“區域”，則其固有得分為0，並且不會影響我們的情感得分，因此，我真的不需要將其聲明為停用詞。
	因此，一旦我們準備好了，我們將在此處的紅色三角形下調用文本，或者對不起，請進行情感分析。
	因此，JMP現在正在做什麼，因為我們沒有聲明任何情感術語，否則，它將使用內置的情感詞典對所有文檔進行評分。 在這裡，我們得到分數。
	現在，在瀏覽這些結果之前，我們可能應該自定義情感詞典，以便使情感帶有單詞及其分數。 那是因為在不同的領域，
	也許是由不同的人來生成文本，某些單詞將承受不同程度的情感，或者在一種情況下而不是另一種情況下。 所以我們想
	確實非常仔細和徹底地創建了一個情感詞典，當我們正在分析的語言傳達這種情感詞典時，我們感覺可以準確地捕捉到該情感。
	因此，就像我說的那樣，JMP使用內置字典，而且非常稀疏。 因此，您可以在此處看到它，其中包含一些圖釋，
	像這些小小的笑臉和諸如此類的東西，但是隨後我們有了一些非常清晰的情感表達語言，例如-90的“深淵”。
	現在，可能不是有人會使用“深淵”一詞而不是消極的意思了，所以我們對此感到非常滿意。 但是，您知道，這並不是一個很長的清單，我們可能想在其中添加一些術語。
	因此，讓我們看看我們如何做到這一點，我可以建議的一件事就是查看您的數據。 您知道了，閱讀一些現有的文檔，然後嘗試找到一些您認為可能表示情緒的詞。
	實際上，我們這裡有一個工具，可讓我們仔細閱讀文檔並直接從文檔中添加情感術語。 所以在這裡，我有一個文檔列表。 您可以看到文檔1突出顯示，然後在下面顯示文檔1。 我可以選擇其他文檔來查看它們。
	現在，如果我們立即查看文檔1，您可能會注意到幾個潛在的情感術語，例如“悲觀主義”和“樂觀主義”。
	現在您可以看到這些未突出顯示。 這些實際上並未包含在標準情感詞典中。
	而且您實際上會發現很多名詞並非如此，這是因為諸如“悲觀主義”或“樂觀主義”之類的名詞基本上可以通過暗示其存在或不存在的方式來描述。 所以我可以說，“悲觀情緒正在下降”或
	“明顯缺乏悲觀主義，”“不再有悲觀主義報導。”
	而且，在那種情況下，我們不會說“悲觀主義”是消極的事情。 是...因此，您需要小心並考慮上下文中的單詞以及在將其添加到情感詞典之前實際使用這些單詞的方式。
	例如，我可以回到這裡的術語表。 我只是要展示過濾器，
	尋找“悲觀主義”，然後顯示文本以了解其用法。 因此，在第一個示例中，我們可以看到“董事的情緒從悲觀到樂觀都各不相同”。
	還有下一個
	“私下交談充滿悲觀情緒。” 如果您真的通讀過，這是典型的用法，那麼實際上在《褐皮書》中，他們似乎並沒有以我可能擔心的方式使用悲觀主義一詞，
	“樂觀情緒正在提高。”
	因此，我實際上對在此處添加“悲觀主義”感到滿意，因此讓我們將其添加到我們的情感詞典中。
	所以，如果我將鼠標懸停在它上面，
	您會看到我們提出了一些解決方案。 所以在這裡，我可以給它一個-60分。
	因此，現在將以相應的分數將其添加到我們的字典中，並觸發JMP中更新的情感評分。 也就是說，它正在尋找“悲觀主義”一詞，並在找到它的地方調整所有文檔分數。
	因此，讓我們現在回過頭來更詳細地了解我們的情感術語。 如果我向下滾動，您會發現“悲觀主義”
	就在這裡，我剛剛給它打了-60分。 現在，我可能實際上想...如果您注意到，“悲觀”默認情況下的得分為-50，所以也許我只需在此處輸入-50即可保持一致。
	我可以但我不會，只是為了避免觸發其他更新。
	您還會在這裡註意到此可能的情感用語列表。 因此，這些都是JMP識別出的可能帶有情感的術語，您可能想看看它們並考慮將其包含在詞典中。
	例如，這裡的“強”一詞，如果您看一下右邊的一些文檔文本，您可能會說，好吧，這顯然是一件好事。 如果您看過很多這樣的例子，那真的很突出
	這些詞“強”和相應的“弱”是這些經濟學家大量使用的詞來談論對當前經濟有利或不利的事物。
	因此，我可以添加它們，也可以通過單擊此處的按鈕中的正60來添加“ strong”。 再說一次，我現在不會，只是為了加快我們對情感分析的了解。
	因此，就像下面的文字一樣，我們可以仔細閱讀我們的情感術語列表，以選擇一些合適的人選。
	在紅色三角形下，我們還可以直接更直接地管理情感術語，因此這是完整的
	我們可能會習慣於Text Explorer用戶的術語管理列表，例如短語管理和停用詞管理。
	您可以看到，除了所有內置術語之外，我們還在此特定分析中添加了一個新的本地術語。 當然，如果我們想實際上不包括其中的一些異常，我們也可以聲明異常。
	重要的是，您也可以導入和導出情感詞典。 聲明情感術語的另一種方法是與主題專家進行協商。 你懂，
	經濟學家可能會對他們希望看到的能夠明確傳達的詞種有很多話要說
	這些報告中的正面或負面情緒。 而且，如果我們可以與他們交談，我們想知道他們對此要說些什麼，甚至可以與他們一起在一個製表符分隔的文件中派生一個詞典，然後將其導入此處。
	然後，當然，一旦我們製作了一部很好的字典，就應該將其導出並保存，以備將來再次使用。
	因此，這與您實際如何整理情感詞典有關。 這也很重要
	整理您的增強項和否定項，再一次，您在這裡看不到分數，因為這些只是極性反轉。
	只是為了向您展示更多有關實際情況的信息，如果我們...讓我們在這裡看看情緒，那麼我們可以看到其中的實例
	JMP在其中一些情感術語之前找到了“ not”一詞，並實際應用了適當的分數。 因此，在最高處，“不可接受”的得分為-25。
	因此，我向您展示了，這些提示器和增強器是由JMP自動應用的，這實際上是要引起您的注意。
	但是無論如何，讓我們從討論如何設置分析到實際查看結果繼續進行。 所以我要提起
	一個已經完成的分析版本，也就是說，我已經整理了情感詞典，我們實際上可以開始解釋得出的結果。
	因此，我們在此處提供了較高級別的摘要，因此，我們擁有比否定文件更多的肯定。 正如我們之前討論過的，我們可以看到每個。 實際上，在左側表格的底部，您會看到我們有一個文檔，其中沒有表達任何情感。
	“強”發生14,000次，“弱”發生4,500次
	並通過計數或分數來查看這些值，查看最消極和最積極的情況，
	即使在上下文中查看它們本身也可以提供很多信息。 我的意思是，尤其是在諸如消費者研究之類的領域中，如果您想知道人們何時感到積極或表達積極態度
	例如，關於我們的品牌或我們擁有的某些產品，使用的是哪種語言，也許這將有助於營銷工作。 在這方面，此情感術語列表可以提供大量信息。
	製造業，
	旅遊，投資。 有時，我們特別想在那些子域之一中歸零，我們稱之為功能。
	而且，如果我進入情感分析的“功能”選項卡，則將單擊“搜索”。 JMP找到了一些在情感術語中經常出現的單詞，並詢問您是否想深入了解與該功能有關的情感。
	因此，以“銷售”為例。 我們可以看到“報告的銷售疲軟”，“銷售疲軟”，“報告的銷售情況良好”等等。
	因此，如果我只是為這個選定的功能打分，那麼現在JMP要做的就是僅提供這些較大的報告中提及“銷售”的情感打分，這將有助於我們完善分析或將分析重點放在真正的定義的子域。
	這尤為重要。
	您可能知道，我們正在分析的語言中的域沒有那麼嚴格的限制。 舉個例子
	產品評論。 您對人們對產品的正面或負面看法感興趣，但他們也可能談論運輸，您不一定在乎他們是否對運輸不太滿意，主要是因為運輸超出了您的控制範圍。
	您可能不希望只包含一堆評論，這些評論也會對該運輸發表評論。 因此，重要的是要考慮分析的領域並適當地對其進行限制，而這裡的特徵查找器就是做到這一點的一種方法。
	因此，您現在可以看到，我在“銷售”方面得分很高，我們對正向和負向文檔的分配方式非常不同。 我們有更多沒有情感評分的文檔，因為它們
	只是不談論銷售或不使用情感語言來討論它，而我們現在有一個不同的情感術語列表，它們特別吸引了銷售。
	讓我刪除此。
	我意識到我忘了提及的一件事，我簡要提到過，是如何計算我們一直在查看的這些文檔總得分的，我說它們是...所有情感術語的平均值。
	發生在特定文檔中。 因此，讓我們看一下文檔1。 我想告訴你
	如果您想知道該分數是從何而來的（例如-20），您可以直接將鼠標移到上方，它會向您顯示出現的所有情感術語的列表。
	您會看到，這裡有16個，包括所有位於底部的“真正的亮點”，即+78，然後，如果除以...將所有這些分數相加。除以78 ...
	或除以16，對不起，您的平均情緒為-20。 這是提供總體評分的兩種方法之一。 另一個是最小最大得分，因此最小和最大之間的差異
	文中表達的情感。
	現在，僅通過查看此報告，就可以得到很多信息，顯然，情感分數是最常用的術語。
	但是，有時我們想接受情感並以其他方式使用它們，例如
	以圖形方式查看它們，就像我們在幻燈片中所做的一樣。 因此，當需要進行該部分分析時，請直接轉到此處的紅色三角形
	並保存文檔分數。 這些將把這些分數保存到您的數據表中，以便您可以將其輸入到進一步的分析中或以圖形方式對其進行繪製，無論您要做什麼。
	因此，這是JMP Pro 16中Text Explorer即將進行的情感分析的預覽。 歸根結底是，情感分析使用情感詞典，
	您可以設置為提供與每個文檔的正面和負面情感內容相對應的分數，然後從那裡開始，以任何對您有用的信息來使用該信息。
	因此，我們現在將情感分析留在後面，我將回到幻燈片上來討論即將在Text Explorer中使用的另一種技術。
	這就是術語選擇，其中術語選擇回答了一個不同的問題，也就是說，哪些術語與某些重要變量或我關心的變量最密切相關？
	我們將堅持使用《褐皮書》。
	我們將要問統計上哪些詞與衰退相關。 所以在這裡的圖表中，隨著時間的推移，百分比變化
	GDP（國內生產總值）每季，藍色表示經濟增長，紅色表示經濟萎縮。 我們可能想知道，嗯，什麼
	在“褐皮書”中出現的這些術語是否可能與這些經濟衰退時期在統計上相關？ 例如，其中一些就在這裡。
	您知道嗎，為什麼我們要把《褐皮書》中的特定術語與經濟不景氣時期聯繫起來？
	好吧，獲取術語列表可能本身就是有益的信息。 你知道，我可能會發現一些潛在的微妙之處
	我可能不了解或容易捕捉到的量化數據中的衰退動因或影響。
	我可能還會找到一些話做進一步分析。 我可能...我可能會找到一些
	潛在情感術語，當經濟狀況特別糟糕時使用的一些術語使我錯過了第一次進行情感分析的時間。
	或者，也許我可以找到一些與衰退密切相關的詞，以至於我認為我可以在預測模型中使用它們來找出未來何時可能發生衰退。
	因此，出於多種原因，我們可能想知道哪些詞與衰退最密切相關。
	那麼，這在JMP中如何工作？ 好吧，我們基本上建立了一個回歸模型，其中結果變量是我們關心的變量，衰退和輸入都是不同的詞。
	輸入模型的數據採用文檔術語矩陣的形式，其中每一行對應於
	一個文檔或一個“褐皮書”報告，然後各列捕獲該報告中出現的單詞。 在這裡，我們突出顯示了“弱”列，並顯示了“二進制”，這意味著
	它將包含1和0； 1表示該報告包含單詞“弱”，0表示該報告不包含單詞“弱”。 這是我們可以對文檔打分的幾種方法之一，但是我們現在將繼續使用該二進製文件。
	因此，我們將這些信息用於回歸模型。 這就是啟動的樣子。
	我們將經濟衰退作為Y變量，這只是一個是或否變量，然後我們將所有這些二元項預測變量作為模型效應輸入。
	然後，我們將使用JMP Pro的廣義回歸工具
	為了構建模型，這是因為廣義回歸或我們所謂的GenReg包含自動變量選擇技術。 因此，如果您熟悉
	正則化回歸，我們就像套索或彈性網一樣說話。 如果您不知道那是什麼意思，那完全沒問題。 這個想法是它將自動
	找出哪些術語與結果變量“衰退”關聯最緊密，然後將那些認為與之不相關的術語歸零。
	這使我們可以研究“衰退”之間的關係，也許您知道與之相關的成百上千種可能的單詞。
	那麼，當我們進行分析時會得到什麼呢？
	我們得到一個模型。 因此，我們這裡是該模型的方程式。 不用太擔心。這個想法是，我們說
	經濟衰退的對數賠率，所以這只是我們處於經濟衰退的概率的函數，而發行《褐皮書》時的概率是
	在“褐皮書”報告中可能出現的所有不同詞語。
	您會看到，我們知道係數為1.94的“大流行”一詞的出現所產生的影響。
	這僅意味著，如果《褐皮書》報告中提到“大流行”一詞，則“衰退”的對數機率會提高1.94。 然後我們看到“增益”為負1.02倍。 好吧，這意味著如果“褐皮書”報告中提到“獲利”一詞，那麼衰退的可能性就...
	或經濟衰退的對數賠率下降1.02。
	因此，我們得出了一系列與衰退可能性增加密切相關的術語，例如“大流行”，“推遲”，“取消”，“止贖”。
	而且，我們還獲得了與衰退可能性降低相關的術語列表，例如“獲利”，“增強”，“競爭”。
	我們還在那裡看到“製造”，但是係數相對較小，約為-2。
	您實際上會在這裡註意到，如果我們看一下此分析中選擇的所有術語的圖形表示，您不會看到太多特定領域，例如“製造”，
	“旅遊”，“投資”等等。 那是因為不管我們是否處於衰退中，總是會談論這些事情，所以我們真正要尋找的是用過的單詞，
	您知道，當我們處於經濟衰退時期時，您所遇到的機會要比偶然發生的要多。 所以我們有...例如
	“大流行”是最可預測的。 很有道理。 直到最近我們才開始談論大流行，然後我們最近也經歷了經濟衰退，因此我們已經很清楚地意識到了這一點。
	在第二層，我們還有其他一些層，因此被“推遲”，“取消”，“被取消”，“惡化”，“悲觀”。
	有趣的是，這種“推遲”和“取消”與經濟衰退有關。 這很有道理，您真的想談談推遲經濟活動
	當經濟衰退發生時，或者至少這是一個可靠的趨勢。 就是這樣，這本身就是洞察力。 其實我
	意思是，我無法告訴您美聯儲如何跟踪經濟活動的推遲或取消，但是在分析中標記這些術語的事實表明，這可能值得跟踪。
	好了，這就是術語選擇。 實際上，我們得到了與衰退相關的一系列不錯的術語列表，並且可以看到關聯的相對強度。 現在讓我們在這裡簡要地看看它是如何在JMP中完成的。
	因此，我將回到JMP，我們要做的是提取一個略有不同的數據表。 不過，它仍然是Beige Book的數據，現在我們只有國家報告。
	不管美國當時是否處於衰退中，我們都有這個伴隨變量。 當然，這些數據中存在一些自動關聯。 我的意思是，如果我們上個月陷入衰退，那麼本月我們更有可能陷入衰退。
	而且您知道通常對於基於回歸的分析可能是一個問題，但這純粹是探索性的。 我們不太在意它。
	因此，我只是從表腳本中拉起Text Explorer，只是因為我們之前已經看過它是如何啟動的。
	請注意，儘管像以前一樣，我已經做了一些措辭。 我還添加了一些停用詞，您在這裡看不到，但是我不希望它們在分析中返回。
	我已經啟用了詞幹功能，這就是術語列表中那些小點的意思。 例如，“增加”現在實際上在“增加”，“增加”，“越來越多”之間崩潰。
	那是因為現在我有點考慮所有相同的概念，而我只想知道該概念是否與衰退相關。
	因此，要調用術語選擇，我們將轉到紅色三角形，然後在這裡選擇它。
	我們首先彈出一個控制窗口，或者我應該說一節，在這裡我們選擇我們關心的變量，即衰退。 選擇目標水平，所以我希望這是根據衰退的可能性，而不是沒有衰退的可能性。
	我可以指定一些模型設置。 如果您熟悉GenReg，將會看到可以選擇是否要提前停止，是否要選擇兩種不同的方法之一
	執行變量選擇的懲罰，要執行驗證的統計量。 而且，如果這些東西對您來說是新手，請不要擔心太多。 默認設置是一開始的好方法。
	我們有權重，如果您還記得的話，該列中的1和0表示“弱”，僅表示該單詞是否出現在文檔中，但是您可以選擇想要的單詞。 所以
	例如，頻率不是，“弱”是否發生，這是它發生了多少次。 這種影響會影響您解釋結果的方式。 現在，我們將繼續使用二進製文件。
	但是我要說的是，我想查看1,000個最常用的術語，而不是默認的400個，您可以看到，這比436個多得多，通常您不能擬合出具有1,000個X的模型但只有436
	的意見，但由於
	廣義回歸中的自動變量選擇，這不是問題。 因此，它再次選擇了這千個術語中最緊密相關的一個，因此命名了術語。
	所以我要運行這個。 您可以看到發生了什麼事，即JMP已召集到廣義回歸平台並返回了這些結果，在這裡，我們可以看到有關該模型的一些信息。 例如，我們返回了37個術語。
	讓我將其移開。 因為在右邊的這裡是我們發現一些真正有價值的信息的地方。 這是與衰退最密切相關的術語列表。
	現在，我將根據係數對它們進行排序，以找到與衰退可能性最密切相關的那些因素，因此這再次是“大流行”，“推遲”，“取消”，並且，如您所料，如果我單擊以下一項，這些，它將更新這些預覽
	或下面的這些文本片段，因此我們實際上可以在上下文中看到此單詞。
	因此，這個術語列表本身可能會非常有用。 您可能會學到一些關於某些特定術語或概念的知識，而這些東西以前可能都不知道。 您也可以在預測模型中使用這些術語。
	現在要注意其他一些事情。
	您可以在這裡看到，每個文檔都有一個表格，但是現在基本上有了該模型的得分，而不是情感得分。 每個人都有
	這...
	我們稱之為正貢獻，所以這是預測衰退可能性的正係數貢獻。 在這裡，我們有消極的一面。
	然後，我們甚至可以從模型中得出衰退的可能性，這裡是實際觀察到的概率為71.8％。
	而且我們這裡不一定要建立預測模型，也就是說，我不會使用該模型來預測經濟衰退。 我的意思是，我會使用各種經濟指標變量
	也是，但這是從根本上檢查模型的一種好方法。 看起來它正在正確地做出一些預測嗎？
	因為如果不是，那麼您可能不信任它返回的條款。 您還擁有許多其他信息來嘗試做出此判斷。 我的意思是，我們有一些擬合統計量，例如此處曲線下方的面積。
	或者，我們甚至可以進入廣義回歸平台，它具有所有正常選項，可以在那裡進一步評估您的模型。
	我不會在這裡進行詳細介紹，但是所有這些都可供您使用，以便您可以評估模型，根據自己的喜好調整模型，以確保您擁有自己滿意的術語列表。
	現在您在這裡看到的，在摘要的下面，有這個模型列表，這是因為您實際上可能想運行多個模型。 所以如果我回到模型...哦，對不起...如果我們回到模型
	在這裡進行設置，我實際上可以運行一個略有不同的模型。 例如，也許我知道BIC比AICc更為保守，我想返回更少的術語，也許分析返回了900個術語，但您有點不知所措。
	因此，我將單擊“運行”並使用該模型構建另一個模型。
	現在，我們將該模型添加到此處的列表中，我可以在這些模型之間切換以查看每個模型的結果。 在這種情況下，我們只返回了14個字詞，而不是37個字詞，下面我將對其進行評估。
	因此，您將從中獲得的兩個重要結果就是這個術語表。 如果您想保存它們，這些只是對您來說很重要的術語，並且您想跟踪它們，只需右鍵單擊並將其放入數據表即可。 現在我有一個JMP表
	以及這些術語，它們的係數和其他信息。
	和
	如果您實際上想將其寫回到原始數據表中，以便您可以在其他類型的分析或預測模型中使用該信息，
	只需進行術語選擇，然後說您要將術語分數保存為文檔術語矩陣，如果我將數據錶帶回到此處，您會發現我已經寫了他們的術語表。
	已選擇的每個術語的列。 在這種情況下，請填寫其係數值，現在我可以使用它了
	但是我喜歡定量信息。
	關於術語選擇，僅此而已。 再說一次，這裡的一個大主意是我找到了一個與我關心的變量相關的術語列表，我什至通過它們的係數也可以獲得關於這種關係可能有多強的信息。
	那麼，讓我們結束吧。 我們已經介紹了兩種技術。 我們只是看到了術語選擇，找到了那些重要的單詞。 在此之前，我們回顧了情緒分析，所有關於
	量化文本中正面或負面情緒的程度。 這是JMP Pro 16的“文本資源管理器”中引入的兩種新的文本挖掘技術。 我們很高興您能接觸到它們，並期待您的反饋。

最佳峰會爆發數據探索預測建模