756824_zh-TW

liliconcom

擴展我們的文本挖掘工具包：JMP Pro 16 中的情緒分析和術語選擇 (2021-US-45MP-851)

JMP 系統工程師 Ross Metusalem

文本探勘技術能夠從非結構化文字資料中提取定量資訊。 JMP Pro 16 擴展了其從文本中提取資訊的能力，這得益於文本探索器新增的兩項功能：情緒分析和詞條選擇。情緒分析透過將文本中的詞語映射到一個可自定義的情緒詞彙詞典及其相關分數（例如，“精彩”，+90；“糟糕”，-90），量化文本中表達的積極或消極情緒程度。由此得出的情感分數可用於大規模評估人們的主觀感受，探索與客觀概念相關的主觀感受，並豐富進一步的分析。詞條選擇透過應用 JMP Pro 廣義迴歸平台的正則化迴歸功能（此功能在文字探索器內部呼叫）自動尋找對反應變數預測能力最強的詞條。詞條選擇有助於輕鬆識別重要結果指標與相關非結構化文字中特定詞條出現之間的關係。

本演示概述了情緒分析和術語選擇技術，展示了它們在現實世界數據中的應用，並分享了一些有效使用它們的最佳實踐。

自動產生的成績單...

揚聲器	抄本
羅斯·梅圖薩勒姆	大家好，歡迎觀看本次演示，了解 JMP 如何在剛剛於今年春天發布的 JMP Pro 16 中擴展其文本挖掘工具包。
	我是 Ross Metusalem，JMP 的學術大使，我將與大家分享這兩個新的文本挖掘功能
	情緒分析和術語選擇。我們將討論它們是什麼以及如何使用它們和JMP，然後我們將看到兩個在現實世界的公開資料上執行這些分析的範例。
	因此，情緒分析和術語選擇是 JMP 文本探索器（一種通用文本探勘工具）的兩個新功能。
	因此，你可以使用它從我們通常所說的自由或非結構化文本數據中獲取定量信息，這可能是從獲取詞頻到製作詞雲的任何內容，
	進行潛在語意分析，以便對語意相似的文件進行聚類。今天我們要講的兩個功能是文字探索工具中的功能。
	我們將從情緒分析開始，這是一項受歡迎且經常被要求的功能，我們很高興在 JMP Pro 16 中引入它。
	對於那些不熟悉的人來說，情緒分析就是量化非結構化文字資料中的正面和負面情緒。
	現在我們要看的例子來自《褐皮書》，這是聯準會發布的敘述性報告。
	正如我們在地圖上看到的，聯準會被劃分為 12 個不同的區域，每個區域每年大約發布八次褐皮書報告
	它概括了該地區當前和未來的潛在經濟狀況。這些報告主要基於定性資料來源，因此
	與商界領袖的對話，以及諸如此類的調查。所以我認為褐皮書為情緒分析提供了一個很好的例子，不僅因為
	這是公開數據，我可以跟大家分享，如果你是投資人或你自己，
	你知道，管理一家金融機構，了解聯準會理事對全國不同地區經濟狀況的正面或負面情緒有多強烈。你實際上可以用它來
	也許可以指導決策，或者即使你可以量化它，也可以在一些統計分析中使用它，甚至是一些預測模型。
	讓我們來看看《褐皮書》中的一段文字範例。
	這裡我們只摘錄了其中一份報告的片段，從頂部開始我們可以看到，該報告指出，另一方面，電腦銷售嚴重低迷。
	然而，如果我們深入研究，就會發現有人報告說，有很多有利的跡象，所以我們在這裡強調了「嚴重低迷」和「有利」以及「改善」。
	因為這些就是我們所說的情緒短語。所以，它們是由一個或多個字來表達某種正面或負面的情緒內容。
	因此，在頂部，我們有嚴重抑鬱，這是非常負面的，然後我們在下方，有積極情緒，這通常是積極的，我們使用這種顏色編碼，以便橙色與藍色或紫色（取決於你如何看待它）相對
	分別表示正面情緒和負面情緒。
	許多情緒分析都是這樣做的，它們在文本中尋找積極短語和消極短語。
	JMP 使用的形式（您可能在其他地方遇到過）實際上是在連續範圍內量化正面和負面情緒。
	舉例來說，在第二個文字片段的底部，我們看到有人說該地區的大型百貨公司報告銷售不佳。
	所以，上面顯示的是銷售額嚴重下滑，下面顯示的是銷售額不佳。嗯，我想大家都同意，嚴重下滑聽起來更糟。
	銷量比差勁的要好。所以我們可能想，
	雖然它們都是負面的，但將嚴重憂鬱量化為比貧窮更負面的情緒，而這就是我們在JMP的情緒分析中所做的。我們將討論
	這裡簡單介紹一下這些分數是如何計算的，但首先我認為值得看一下
	透過觀察像這樣的個別術語和短語，可以潛在地證明量化情緒的有效性。
	我們討論的本質上是根據文檔中出現的單字對文檔進行評分
	我們認為它代表著情緒，以及在多大程度上代表情緒。這是一種內在的、主觀的東西，但這種方法，情緒分析，
	確實能展現出一定的預測有效性。例如，如果我們觀察褐皮書情緒隨時間的變化，就會發現它實際上與經濟衰退的軌跡相當吻合。因此，我們得出了以下結論：
	在 y 軸上。你可以看到它從 -75 延伸到 75，這只是我們繪製的範圍。真正的比例尺從 -100
	到100，其中0代表中性。你可以看到，隨著時間的推移，平滑線捕捉了所有褐皮書報告中情緒的總體趨勢，
	你可以看到一個關於經濟衰退的有趣模式，這些衰退本身以紅色突出顯示。特別是，我們可以看到，情緒似乎在每次衰退之前都會穩定下降。
	因此，儘管我們認為這是一個相對主觀的衡量標準，可以反映出聯準會理事的情緒狀態，但正如人們所預料的那樣，這與經濟衰退是同步的。
	有趣的是，它實際上也追蹤了地理位置。例如，2000-2001年網路泡沫破滅時，舊金山灣區湧現一批網路新創公司
	破產了。我們可以看到，我在這裡突出顯示了舊金山的懸停標籤，這樣我們就可以看到該地區的得分。正如我們之前看到的，橙色代表積極情緒，藍色代表消極情緒。
	我們可以看到，情緒在 2000 年左右
	在灣區相當高，為 38.65，然後在 2001 年平均下降了 60 多點，
	大約為-24.7。這比我們在該國其他地區看到的波動要大得多，因為那是該地區……大概是因為那是受影響最嚴重的地區。
	我們在經濟大衰退中也看到了類似的情況。因此，我們認為2008年房地產市場的崩盤與市場情緒的下降是一致的，而且這種現象並不完全一致。
	看起來西岸的降幅最大，也就是舊金山地區、紐約地區，以及亞特蘭大地區，包括
	我居住的佛羅裡達州是美國受災最嚴重的地區。事實上，如果我們往下看，我們可以看到佛羅裡達州…
	該地區的市場情緒似乎直到2012年左右才復甦，落後於其他一些地區，這似乎也情有可原。佛羅裡達州的房地產市場是全美最後復甦的地區之一。
	因此，我們有這種主觀的情緒衡量標準，但在這種情況下，它確實會以我們預期的方式追蹤外部事件......經濟事件。
	你知道，我們之所以會參考《褐皮書》，是因為它是一個非常好的公開範例。如果你
	我們正在討論情緒分析更常見的應用領域，例如消費者市場研究，你正在處理
	以文字資料形式呈現的顧客聲音，例如產品評論、調查回覆等，
	您可能能夠使用情緒分析來更好地理解甚至預測客戶行為，就像我們可以在這裡使用情緒來更好地理解或預測經濟衰退一樣。
	話雖如此，我意識到我們過去幾分鐘一直在關注情緒分數，這確實引出了一個問題：它們來自哪裡。
	JMP 使用一種稱為詞彙情緒分析的情緒分析方法。它使用情緒詞典或
	情感詞典
	給所有我們認為帶有某種情感的單字打分數。所以像「fantastic」這樣的字可能會得到90分，這是非常正面的評價。它幾乎是積極的最高分，100分，而接下來的幾個詞，例如“feared”，得到的分數是-60分。
	現在我們可以為這些術語分配分數，並在任何單一文件中對它們進行計數或取平均值。
	但我們確實想解釋一些其他因素。如果你還記得，我們​​在褐皮書的例子中看到的第一個情緒短語是「嚴重沮喪」。
	換句話說，我們稱之為“強化器”，它本質上是情緒乘數。所以，你可以看到，我們可以將「難以置信」定義為情緒得分為 1.4 的乘數，實際上，
	將其縮放 0.3，因此會稍微降低情緒的強度。
	因此，如果情緒詞中出現了強化詞，我們就進行乘法運算，如果出現了否定詞，我們也進行乘法運算。所以我們說，
	你知道，某件事是“不是”或“不應該”或“不是”，我們乘以-1，這樣我們基本上就翻轉了符號；正數變成負數，反之亦然。
	對於任何情緒短語，我們只需執行這個簡單的乘法，然後跨文檔，
	我們可以取平均分數，或取最小和最大情緒分數之間的差值來
	計算這些文檔的情感值。這就是我們在這些圖表中看到的，也就是這些地圖中隨時間變化的情緒圖。
	這就是詞彙情感分析。這是一種非常常見的做法，也是 JMP 中實現的一種情緒分析類型。正如我們將看到的，當你使用 JMP 時
	計算所有情緒得分，就能獲得許多有用的信息。以下是情緒分析報告的範例。
	僅預覽結果的一個元素，在頂部，我們對所有文件的情緒進行了簡單的總結。
	因此，我們有一個方便的顏色編碼的直方圖，向我們展示了整體情緒的分佈似乎傾向於積極，我們有一個相當強烈的負面情緒尾部。
	我們可以看到，在所有文件中，平均情緒得分為 4.1，略高於中性。
	對於所有整體正面的文件（共 3,900 篇），其平均得分為 22.9，而在約 1,400 篇負面文件中，
	平均分數為負 15.4，因此負面文件的負面程度並不像正面文件的正面程度那麼強烈。
	當然，你知道，現在有了褐皮書，我可能會說，嗯，你知道，從 1970 年到現在，只看平均情緒得分，也許，你知道，我不太關心，也許我更關心的是單一文件的得分，或者
	也許可以看看某些情緒詞的分佈。但同樣，如果你處理的數據是…
	比方說，消費者市場研究，任何包含客戶聲音的文本數據，甚至只是像這樣的高級摘要，都可以根據我們掌握的數據告訴我們客戶的感受是積極還是消極，
	即使只是一份簡單的報告也能非常有價值。但我們即將切換到JMP，我們將看到情緒分析報告附帶了許多額外的數據探索方法，從而獲得洞察。
	那麼讓我們轉到 JMP 看看它是如何完成的。
	現在我們在使用 JMP Pro 16.1，在深入研究這些褐皮書資料之前，我想先向 Xan Gregg 致謝。
	對於那些不認識他的人來說，Xan 是我們開發團隊的主管。他是 Graph Builder 的創始人。
	他也是最初提出查看褐皮書數據的人，甚至還好心地從褐皮書檔案中抓取了HTML頁面，並提供了一個很棒的JMP數據表給我。非常感謝你，Xan。
	好的，現在我們來看情緒分析，我其實不討論結果，
	我確實想向你簡要展示如何設定分析，因為有一些重要的注意事項需要注意，
	不僅涉及 JMP 如何實現它，還涉及如何進行情緒分析或詞彙情緒分析。
	為了演示這個設置，我實際上只查看從 2010 年到現在的一個資料子集，在這種情況下，只是為了保持簡潔，因為我們要問
	文字瀏覽器可以多次自動更新其分析，我們希望它盡可能接近即時更新。
	在這裡，我有那部分數據，因此我們有涵蓋所有 12 個地區的褐皮書報告，從 2010 年 1 月開始，直到上個月的最新報告。
	好的，為了啟動我們的情緒分析，我將進入分析介面，並選擇「文字探索器」。取出我們的文本，並將其放入「文本列」角色中。以下幾點要注意。
	一是雖然文字瀏覽器通常支援多種語言，
	情緒分析目前僅提供英文版本。
	另一個是，如果...至少如果你是一個有經驗的文字瀏覽器用戶，你可能習慣於打開詞幹提取，並且你會注意到我現在要將其關閉。
	對於那些不懂詞幹提取的人來說，它是一種將同一個字（或用語言學術語來說，同一個 lemme）分解成多種形式的方法。所以，就拿 strong、strong 和 easiest 來說吧。
	我們會把它們全部摧毀，然後說，好吧，對於我們的目的來說，它們都很強大。
	顯然，我們不想在這裡這樣做，因為最強比更強更積極，而更強又比強更積極。
	因此，我們關閉了詞幹提取功能，事實上，即使你在調用情緒分析時打開了它，它也會忽略詞幹提取，因為，再說一次，你真的不應該使用它。
	所以我要點選「確定」。不行，看起來我點擊的時候，出現了一點技術故障。抱歉，我的電腦最近出了點問題，導致這種情況，不過沒關係。我們可以重啟螢幕分享，然後恢復我的影片。大家好。
	我們會分享的。好的，我們應該繼續，看起來錄音還在進行中。我確認一下 JMP 是否分配到了正確的監視器上。看起來是的。好吧，各位，很抱歉。總之，我們回到正題吧。
	現在我們有了文字瀏覽器視窗。如果你習慣這樣做
	文本分析，你應該知道，通常一開始就要聲明停用詞。例如，有人說我的業內聯絡人告訴我…你知道，我不想在分析中使用「聯絡人」這個詞，所以通常我會
	將其加為停用詞，然後可能要花幾個小時
	在我實際進行分析之前聲明停用詞，而你不必在情緒分析中這樣做。
	這一切都基於那本情緒字典，所以像「contacts」這樣的詞，字典裡沒有。反正它在功能上已經被排除了，所以這倒是個節省時間的好方法。
	但是，您可能確實想聲明一些短語，例如房地產或我們將要研究的短語，即貸款需求，它就在這裡。
	於是我點擊“貸款需求”，並將其添加為短語。它被添加到我們的術語列表中，這樣我們就可以快速找到它了。
	就是這樣，1139 個實例。這可以幫助我們深入這些分析中的子域，或者在這個
	在這個數據集中。假設我想計算情緒，不是整體情緒，而是只針對貸款需求的情緒。
	要做到這一點，正如我們將看到的，我需要先將其聲明為一個短語，因此至少對於您可能感興趣的真正突出的領域，仔細檢查並聲明一些短語是合理的。
	好的，現在讓我們結束這個主題並真正啟動情緒分析。
	你會看到，當我這樣做時，我會得到一份完整的報告，所以在我看來，現在是時候開始探索我的結果了，因為這看起來像是一個完整的分析，但我確實想鼓勵任何使用它的人踩剎車並考慮你的情感詞典。
	你知道，不同的人群在不同的脈絡下，用不同的語言，創作關於不同事物的文本。
	可以用很多不同的方式使用語言。重要的是要自訂你的情緒和強化否定詞列表
	來反映這一點。所以……我不太想用「絕不」這個詞，但我還是要說……絕對不要只用預設的情緒字典。如果你自己整理，你總是會得到更有效的結果。
	因此，如果我查看這裡的情緒術語，您會發現分數是基於這個內建字典的，而這個字典相對稀疏。
	但我想實際讀一下課文，看看能不能找出一些應該收錄進字典的單字。我得提一下，你甚至可以看看
	內建列表並排除一些，但該列表相對稀疏，因此理想情況下您不必排除太多或任何。
	所以在我們的報告中，你實際上有一些工具可以用來整理你的字典，而不僅僅是探索結果。我可以在這個文檔表中選擇文檔，然後調出文本
	就在下面。所以我先簡單介紹一下螢幕底部。你可以看到，文本中突出顯示的情緒詞和短語已經被找到了，例如「稍微好一點」。
	但如果你看一下，比如說，這裡有「弱」這個詞，目前的情況仍然很弱，而且據我所知，這是一個非常常見的
	褐皮書報告中的一個術語，顯示某件事本質上是壞的。我不知道，我不是經濟學家，但也許在經濟學中，
	你知道，弱是壞的同義詞，強是好的同義詞，這是我對這些數據進行了大量研究後的看法。
	現在你會看到，它沒有被高亮顯示。這意味著“weak”目前不在我的字典裡，但我可以輕鬆地添加它。我只需將滑鼠懸停在它上面即可
	文本中的術語，我可以將其添加為否定詞。我可以給它一個強化值或情緒值，這樣它就變成中等程度的負面，所以我要點擊「負 60」。
	現在它被添加到我的字典中，並且所有的情緒分數都會在這裡即時重新計算。
	所以，我的情緒詞列表現在甚至可以選擇“弱”並查看它的所有實例。如果我們回到計數列中的表格，你會發現它在褐皮書資料的這個子集中出現了 1012 次。
	因此，當然，請通讀文件中的一個隨機子集或分層隨機子集，並嘗試找出一些屬於你的字典的情緒術語。
	現在，你還可以依靠一個方便的功能，這個可能的情緒列表，
	這實際上提供了一些潛在的情緒術語供你考慮。我可以注意到，比如說，這裡是“強”，然後我把“弱”放進去。我當然想要“強”，所以我要聲明這是一個
	強的。
	我一直在使用快捷鍵，例如正60分、負60分，但你也可以輸入負100到100之間的任意分數，所以也許我實際上只想要50分作為強分數。所以我就這麼做了，如果你現在往下看，就能看到所有資訊都自動更新了。
	所以，請謹慎處理你的情緒詞列表。另外，我不會詳細講解否定強化詞的構成機制，但想法是一樣的。
	確保你正確地獲得這些內容以真正反映你的領域，然後我建議，在紅色三角形下，你可以隨時進入完整的術語管理工具，手動輸入一些術語，所以也許我知道我想要最強的，我希望得分是 90。
	所以我可以在這裡添加批次格式
	無需每次都自動更新，或者我也可以匯入和匯出情緒術語列表，
	這對於與其他人共享它們非常有用，可以使它們便於攜帶，有助於追蹤我們的工作並使其可複製。
	由於您的結果很大程度上取決於情緒術語清單以及強化詞和否定詞，因此我強烈建議您在擁有一組清單時將其匯出，以便完整記錄它，並且能夠將其匯入到新的分析中並進行複製。
	關於分析的設定就講到這裡，我只想強調一點：如果你調用情緒分析，你會得到一份報告，但不要直接深入研究報告。先整理好你的字典。
	所以，現在我已經
	毫不留情地強調了這一點，讓我們實際看看那份報告。
	我現在要做的是，提取一份完整的報告，在本例中，使用了全部 5,300 多個
	褐皮書報告在這裡。正如我之前提到的，在結果部分，你可以看到這份整體摘要。我們不再贅述。我們看到你也
	所有單獨的文檔，以便您可以查看任何文檔，以了解其評分方式和內容。探索情緒術語和短語在語境中的使用。
	您也可以在此表中看到一些方便的指標，例如，文件的總正分數，
	文件中正向情緒短語的平均分數。消極情緒短語也是一樣，然後是總體得分，你會注意到，正如我
	將滑鼠懸停在這些值上，實際上會顯示它們的計算方式。因此，如果我查看負平均值，我可以看到總共有七個詞條，我可以看到它們的分數是多少，然後我可以看到平均值是多少。
	我還可以看到，在這種情況下，平均值為負數，只是所有情緒術語（正面和負面）的平均分數。
	在本報告中，滑鼠懸停在元素上可以顯示許多實用資訊。我強烈建議您嘗試一下。將滑鼠懸停在不同的位置。您可能會發現一些有用的信息。
	通常，我們在進行文字探勘時，不會太過專注於單一文件。我的意思是，如果我們能讀完所有文檔，
	那我們就會。我的意思是，我們比計算機更擅長理解語言。所以，你知道，我們當然不會瀏覽這5300份文件，但你可以說，按分數排序，只看最負面的
	報告，然後仔細閱讀這些報告，了解一下，好吧，
	當人們特別消極的時候，他們消極的是什麼？我能從中了解到是什麼導致了這種負面情緒？再說一次，尤其是在消費者研究方面，查看產品評論、調查之類的資訊非常有價值。
	我們也看到你有你的情緒詞列表，我們可以在其中看到出現的所有不同情緒詞，它們出現的頻率以及它們的
	與之相關的分數。如果我抓取其中任何一個，我都能在上下文中看到這些字。所以，如果某個特定的情緒詞被使用
	這個詞在你的數據中很常見，你可能想結合上下文來更好地理解它，看看人們為什麼使用它，或者是什麼促使他們使用它。這很簡單，只需選擇該詞，然後瀏覽下面的文本。
	現在，最後，我認為情緒分析中最有用的功能之一就在這個功能標籤下。
	所以當我點擊搜尋時，它會找到經常與情緒詞一起出現的非情緒詞，並允許我們進行深入分析，我們只根據這些非情緒詞來評估情緒
	選定的術語，或者我們稱之為“功能”，或者你也可以稱之為“子網域”。所以，也許情緒只是針對銷售，我們可以看到銷售額報告疲軟，銷售額正在減弱。
	或者回到我之前說的，你確實想做一些措辭。讓我們在這個清單中找到貸款需求，
	讓我們只根據貸款需求情緒對所有文件進行評分。當然，這需要使用一些
	自然語言處理，試圖確定哪些情感短語適用於貸款需求，哪些不適用於貸款需求，任何 NLP 方法都不可能 100% 準確，但它的準確性，尤其是在用
	就像褐皮書報告那樣，它似乎確實發揮了相當好的作用。所以現在，我可以看看，比如說，他們對貸款需求的看法如何。
	所有這些報告看起來總體上是正面的，儘管其中也有一些特別負面的報告。
	最後要說的是，為了讓我們回到原點，可能注意到當我這樣做的時候，我必須達到峰值，那就是......看起來像是正 60 和負 60。
	這再次強調了在進行分析時整理情緒詞典以及在解釋結果時解釋如何建構它的重要性。
	所以在這裡，這個正 60 的峰值很可能是因為當我最初在字典中輸入大量情感術語時，我使用了這些快捷按鈕。
	所以我有 30、60、90 個快捷按鈕，所以我幾乎是在為自己累積經驗，以便看到分數飆升
	正 60 和負 60。如果我更小心地將分數分割得更細一些，那麼我可能就不會看到這種有趣的現象了，我們稱之為分佈。
	所以我再次強調這一點只是為了強調情感字典的重要性
	然後，一旦你這樣做了，你就有了關於全球情緒、文件情緒、單一術語情緒甚至子域情緒的所有有用信息，使用這些功能
	此處部分。當然，正如您可能在 JMP 中習慣的那樣，當您要保存所做的操作，以便在紅色三角形下的其他地方使用時，您會找到這些選項，所以我可能會保存我的文檔分數。
	如果我們回到我的數據表（就在這裡），您可以看到我實際上已經保存了，在這種情況下，它是貸款需求子域的分數，回到我的數據表，以便我可以使用它們，例如在進一步的分析或繪圖中使用它們，就像我們為幻燈片構建的一些圖表一樣。
	這就是 JMP Pro 16 中的情緒分析新功能，用於量化文本中的正面和負面情緒。
	好了，我們來談談術語選擇，這是我想談的另一種新的文本挖掘技術。正如它所說，術語選擇就是辨識與某個結果（也就是某個其他指標）相關的字詞。例如，這裡有，
	褐皮書報告文本，但我們也可以納入
	經濟變量，例如 GDP，並查看褐皮書報告中的某些術語如何與 GDP 或二元變量跟踪，例如經濟是否處於衰退之中。
	這是一個...術語選擇，這是一個通用工具，用於查找與其他變數相關的單詞，這可能很有用
	在解釋性的脈絡中，也許可以找到其他變數的驅動因素，或者在預測建模練習中，我們可以識別出可以預測某事物的術語，以便將來我們可以使用這些術語來幫助預測它。
	那麼讓我們來看看期限選擇是如何運作的，我們實際上要看一個來自消費者金融保護局消費者投訴的不同例子
	資料庫.因此，如果消費者對金融產品或服務有投訴，他們可以向消費者金融保護局 (CFPB) 提交投訴，CFPB 會在消費者和監管機構之間進行調解。
	金融產品或服務的提供者。以下是您可以在這些數據中找到的資訊的範例。有人說他們正在監控自己的信用報告，發現有人提交了 3,900 美元的催款通知，但他們聲稱對此一無所知。
	您還可以看到，在數據表中，我們緊挨著一列顯示消費者對此提出異議，這裡消費者確實提出了異議，這意味著他們收到了
	金融服務提供者，他們對該答覆並不滿意，因此提出異議。
	你可以在資料表的標題圖表規格中看到，這種情況並不常見。在我們查看的這個資料集中，這種情況基本上佔五分之一。
	導致消費者糾紛，但如果你是一家與該客戶打交道的金融公司，你肯定不希望在做出回應後，客戶繼續對該回應提出異議。你可能想了解哪些類型的投訴
	確實會導致消費者糾紛，這樣你就可以事先辨識出哪些因素可能導致糾紛，
	或者只是更了解你的爭議解決實踐，以減少爭議數量。有很多理由讓你需要注意這一點。
	消費者投訴敘述資料可以了解最初引發這些爭議的原因，而術語選擇的作用是在文本中找到與該結果、該爭議變數相關的單一術語。
	這裡，我製作了一張術語選擇分析結果的圖表，Y軸上是一組術語。 X軸上是logworth函數，也就是
	衡量關聯統計證據強度的指標。這實際上是按對數沃斯值排序的，所以在最上面，我們有
	違反，你可以看到那裡有個小點。這實際上表明我們在這裡已經完成了詞幹提取，所以違反意味著它可能是違反、違反、違反等等。
	因此，我們有強有力的統計證據表明，「違反」一詞與消費者糾紛有關，實際上在顏色編碼中，
	我在這裡用比值比來衡量這種效應的強度。所以當人們…當有人提到「違反」這個詞時，
	發生爭議的幾率會增加約 1.5 倍。所以如果我
	作為金融服務提供者，我可能需要留意這個術語。我可能需要調查人們如何以及何時聲稱存在某些違規行為，正如我們將看到的，這些違規行為實際上違反了聯邦法律。
	當他們在投訴中聲稱這一點時，我們是如何處理的，因為看起來我們可能沒有令人滿意地處理這些問題。
	也許您想在預測模型中使用該術語的存在或不存在來幫助提前標記潛在的問題投訴，以便我們可以升級其解決方案。
	那麼，這一切是如何運作的呢？我們建立一個模型，它從文件詞條矩陣開始，它是文字的表示，其中每個
	一行代表一個文檔，每一列代表一個可能出現的詞條。然後
	在這種情況下，我們採用所謂的二元加權，也就是說，如果該詞條出現，我們就輸入1；如果該詞條未出現在該文檔中，就輸入0。還有其他權重，但我們這裡就以二元加權為例。
	當我們在模型中輸入這些二進位列作為預測變數時，特別是我們使用
	JMP 的廣義回歸，我們稍後會解釋為什麼。首先要說明的是，我們這裡做的是回歸，其實有些
	您可能聽說過，有些人將術語選擇稱為文字回歸。
	不用太擔心模型的形式。我只是想強調，我們所做的就是取得一些結果變數。
	因為我們有一個二元變量，它是邏輯迴歸的對數機率，我們說它等於某個截距加上，
	你知道，係數乘以某個變數。在這種情況下，它是二進制的1或0；是否違反了規定。
	加上另一個係數值，在本例中為另一個二進制變數的-0.2 倍；這裡是否有人提到掛斷電話這個詞，等等。
	因此，我們在這個模型中輸入一堆項，並使用廣義迴歸來選擇哪些項屬於這個模型，哪些不屬於這個模型。
	我們在這裡看到的是 JMP 計算該解決方案的一個例子，哪些術語屬於我們，哪些不屬於我們。
	在解決方案路徑中，我們可以看到藍色表示進入模型的所有術語，黑色表示實際上未包含在模型中的所有術語，因為它們實際上並沒有增加其預測值。
	所以我們最終得到的是一個項目列表。我們有它們的模型係數值，例如，違反，我得到了 0.4 的值，因為這實際上是
	擬合模型時係數的值。正如我們之前提到的，我們還可以測量統計證據或證據強度。
	這個 logworth 值是 16.58，如果你想要一個經驗法則，那麼任何大於 2 的值都可以被視為強有力的統計證據，但實際上，logworth 是 p 值的以 10 為底的負對數，因此 2 的值剛好對應於 .01 的 P 值。
	所以，在這種情況下，我們既有係數，又有係數，那麼它對爭議機率的增加或減少程度有多大呢？然後，對數可以告訴我們，我們的證據到底有多可靠？
	利用這些信息，我們可以做很多事情，我們將看到如何轉到 JMP 並實際執行此分析。
	我回到我的另一台電腦。我要調出我們的消費者投訴數據。
	和
	我不會從頭開始進入文字瀏覽器，而是只需使用這裡的表格腳本來啟動它。
	正如我們所見，一旦它彈出……抱歉，彈錯了螢幕。好了。
	你知道，我們總是先建立一個實際用於分析的術語清單。然後，我們會建立一個短語列表，我們可以在其中聲明哪些屬於該術語列表的短語也應該被納入分析。
	我添加了很多短語，例如公平信用報告法，因為如果提到該短語或該概念與消費者糾紛有關，我就想找到它。
	你也會注意到，如果我去…讓我們來管理停用詞，我聲明了很多停用詞。所以這些都是
	我不想將其納入分析，主要是因為它們可能會淹沒其他詞彙。
	它們可能確實出現得很頻繁，如果我只要求分析最常見的 500 個字，我不希望把它搞砸。
	尤其是因為，即使 able 作為與爭議相關的術語返回，我什至不知道我會做什麼......我會用它做什麼或我如何解釋像 able 這樣的通用詞。
	因此，您需要花時間來處理停用詞和短語，當您準備好時，請在紅色三角形下呼叫術語選擇。
	因此，當我們這樣做時，我們將首先選擇我們的
	結果變量，也就是消費者爭議的變數。我們想從爭議發生的機率的角度來討論。
	你可以在這裡設定連續型和分類型結果變數。它們都可以。我還應該提一下，我們正在討論一場爭議，
	你知道，你可能會認為這實際上可以作為某種情緒的代表，也就是說，如果有人對某事有異議，那可能是因為他們不高興。
	但有些人擁有的數據可能很常見，其中有一個外部變數可以更直接地衡量情緒，例如產品的星級評定，這確實表明了滿意度。
	因此，如果你恰好有一個很好的情緒測量方法，以及你的文字數據，你就可以使用這樣的工具來做我們所說的
	資料衍生的情緒分析，您可以使用此工具挖掘可以預測情緒測量的術語，從而從本質上選擇情緒術語並自動
	找到他們的分數應該是多少。所以應該很方便。但這和我們這裡做的不太一樣。我們用一種更通用的方式使用它。
	好的，對於文件詞條矩陣，我將堅持使用二元加權。為了簡潔起見，我先只看最常見的 200 個字條。
	除此之外，從201篇開始，我不會把它納入分析。實際上，我可能會加入更多，只是我希望它在演示中簡潔明了。
	如果你是 GenReg 用戶，你會看到你擁有
	預先指定估算和驗證方法的一些選項。我將保留預設值，然後點擊“運行”。
	所以現在的情況是，JMP 正在呼叫 GenReg。它正在建立一個邏輯迴歸模型，並使用彈性網路方法進行變數選擇。
	看來我們又遇到了一次技術故障。非常抱歉。我們會盡快解決這個問題，因為這個型號已經適配了。所以，讓我們拭目以待吧。我們會恢復我的螢幕分享。
	我們會帶我回來的。看來我們還在錄製，所以我們會繼續錄製。結果如下。
	在詳細研究報告之前，我們先來看看總結表中的這一行。這行總結了我目前為止所建構的單一模型。
	例如，我可以看到它回傳了 145 個詞條。我使用 AICc 作為驗證，這裡是 AICc 值。我們可以看到一些其他擬合統計數據。
	而且，就像任何模型一樣，我們可能需要多次嘗試運行該模型，以建立最適合我們資料的模型。
	因此，如果我轉到此處的廣義回歸節點，您會看到我們實際上已將 GenReg 嵌入文字資源管理器中。
	我可以更詳細地探索我們已經擬合的模型，或者就我的情況而言，我實際上會再擬合一個模型，看看我能否做得更好。我們來做一個自適應彈性網路。
	並將適合該模型，看看它是否比我們已經適合的常規彈性網路更好。
	好的，所以它也適合該模型。
	如果我們查看摘要，我們可以看到這個摘要現在已經返回了 98 個術語，實際上具有較低的 AICc，因此可能更合適。
	所以我要選擇那個模型。現在，如果我想選擇原始模型，只需點擊它即可。如您所見，下面的報告會根據我在此表中選擇的模型進行更新。
	我這裡有我的術語列表。我們已經討論過這個問題了，所以我可以從係數的角度來分析。以下是影響最大的術語，它們會增加消費者糾紛的幾率。
	以下是降低消費者糾紛幾率最有效的方法。例如，在任何一種方法中，我都可以查看“hang up”（掛斷電話），當然，它指的是他們掛斷了某人的電話，或者某人掛斷了他們，這對我們來說可能更有意義。
	這可以預測爭議發生的可能性會降低，因為這聽起來確實是一個溝通問題，而且可能更容易解決。
	再次，我們要注意這裡的對數沃斯值 2.883，所以這略高於我之前提到的經驗法則 2，所以我們可能會說，好吧，我認為有相當有力的統計證據表明這是一種真正的關聯。
	為了強調這一點，如果我們往下看，就會看到「警察」這個詞。我的第一印像是，人們會說，嗯，我寫了一份警方報告，或者我報了警。
	如果我們做出某種回應，他們可能不會就此罷休，爭議的可能性就必須上升，如果有人已經到了報警的程度。
	但如果我們看一下
	logworth，我們可以清楚地看到，這方面的統計證據實際上並不是那麼有力，所以雖然它違背了我的直覺，但你知道，也許，也許它並不完全真實。
	我當然不會想把這件事上報給管理階層，然後說，嘿，如果有人說他們報警了，這其實是件好事。我們當然不會這麼說。它被選入這個模型只是因為它最終…
	從而得到更好的擬合模型，但我們仍然需要運用自己的知識和常識來解釋結果。
	所以這個表格可能是，如果你真正想做的只是識別術語並量化它們的影響，
	這可能就是你分析的目標。所以我可能會右鍵點擊，然後將其製作成數據表
	並且取得這些術語及其係數和對數值的資料表，然後使用它來指導對我們先前的反應、改進工作的一些分析，甚至將這些標記為應該包含在未來某種預測模型中的術語。
	但是，你知道，我們確實在這裡建立了一個模型，一個回歸模型，所以我們在單一文件層面上擁有關於
	預測爭議機率增加的係數總和、預測爭議機率減少的係數總和、整體模型值、
	模型分配的結果與我們實際觀察到的結果有爭議。所以，當你在單一文件層面進行實際評估時，你可能會想到所有這些，那麼，這個模型的表現如何？
	在頂部，我們還有一個總體總結，在本例中，是各個文件及其…我們稱之為我們的貢獻，所以這就是
	這些係數值的總和或平均值。例如，我們的 30,412 份文件的係數值與平均係數值的總和為正，平均貢獻率約為 0.57。
	所以，再說一次，你知道，我們在這裡討論的是迴歸係數，所以這些貢獻值，係數表，所有這些都應該像你建構時那樣解釋
	否則就是線性迴歸模型，所以在我們這裡，邏輯迴歸，我們應該解釋這些
	適當地，也就是說，如果我們對它們進行指數運算，那麼我們正在處理對數或...對不起...那麼我們正在處理賠率比，所以這是如果這個詞出現在文本中，賠率就會增加或減少的因素。
	即使你對迴歸不太了解，這些值在更一般的意義上仍然對你有用，因為你可以透過觀察哪些項的影響最強，哪些項的影響最弱。對數沃斯函數也是一樣，嗯，哪些項的證據最強，哪些項的證據最弱。
	現在，最後，正如你可能想像的那樣，我的意思是我們已經看到瞭如何保存術語表，但如果你的目標不是那個術語表，而是真正的模型
	你建立的模型，你也可以選擇保存它。所以我選擇了我打算使用的模型，自適應彈性網絡，在紅色三角形下，我可以保存預測公式。
	我想我的電腦可能會在這裡轉一會兒。它保存了文檔詞條矩陣，也就是我們指定的前 200 個詞條，然後還有公式
	對這些列或文件詞條矩陣進行操作，從而真正計算出我們的模型。所以，這裡我有文檔詞條矩陣
	然後這裡的公式列，現在我實際上可以使用
	如果我想要的話可以直接使用這個模型。
	這就是術語選擇。同樣，從高層次來看，我們要找到哪些術語與我們關心的結果變數最密切相關，以便更好地解釋導致該結果的因素，甚至可能為建模實踐提供參考，以嘗試預測該結果。
	這就是術語選擇和情感分析，這兩個新的文本挖掘功能 JMP Pro 16 於今年春天剛剛推出。
	我現在要出去待一會兒，回答大家的任何問題，
	你知道，這兩個新功能。另外，以後你隨時可以在使用者社群頁面上發布關於此演示的其他評論或問題，我會一直關注。
	歡迎大家提問。感謝大家抽出時間。請多多關照。

進階統計建模基礎資料分析與建模消費者與市場研究資料混合與清理數據探索與視覺化實驗設計大規模客製化預測模型和機器學習品質與工藝工程可靠度分析分享和交流成果