揚聲器
|
成績單
|
| 斯科特懷斯 |
調查性文本探索。 我叫 Scott Wise，是 JMP 教育團隊的高級經理。 |
| |
今天我有一個非常有趣的演示文稿供我們觀看，這個演示文稿的目標是讓您更加熟悉 |
| |
借助這些功能以及在 JMP 和 JMP Pro 中進行文本探索是多麼容易，以及向您展示看待文本探索的不同方式，例如，我可以像偵探一樣進行調查嗎？ |
| |
好的，所以我們要談談我奶奶的辣椒以及它與德克薩斯辣椒烹飪的關係。 在我們開始之前， |
| |
讓我們揭穿一些關於文本挖掘的術語，對我來說，真的有五個簡單的步驟。 您花時間從字面上總結數據，找出文本中最常出現的單詞，甚至最常出現的單詞組合。 |
| |
所以 ？？？將其稱為查看非結構化文本，然後再調用它，這可能是任何東西。 這可能是您的客戶給您的關於您的產品或服務性能的一句話。 它可能是... |
| |
它可能是社交媒體，對，你知道你可以根據評論找出人們喜歡或不喜歡什麼， |
| |
關於你的產品或服務的東西，或者可能是這個人，比如食譜。 |
| |
當人們正在研究人們正在申請專利的流行事物以及我們是否應該這樣做時，我什至看到它在專利方面進行過。 |
| |
所以真的，總結找出哪些詞是最重要的。 現在有一些準備工作即將到來，這只是減少您關心的單詞的較小列表。 |
| |
當然，如果我們不對其進行可視化和分析，我們也不會成為 JMP，而且我們也可以對其進行建模。 我們甚至可以做一些高級建模。 所以我將使用 JMP Pro 15.1 版來執行此操作， |
| |
我一定會指出你可以在 JMP 中做什麼，以及我實際上在哪裡投入了一點 Pro 來幫助進一步回答我的問題。 |
| |
文檔、語料庫和術語。 文件將是那些... |
| |
您正在分析的那些東西，基本上是單獨的文本正文，文本的每一行。 所以這是我的食譜作為我的例子。 |
| |
可能是不同的客戶對您的產品或服務發表了評論。 語料庫實際上是您要處理的非結構化文本，是您要分析的文本的主體。 |
| |
然後這些術語將是您關心的可以幫助您回答問題的那些單詞或單詞組合。 那麼讓我們談談這個故事。 你知道，我為什麼要研究辣椒食譜？ 好吧，這又回到了 |
| |
大約 25 年前，當我第一次搬到德克薩斯州時，我來到一家大公司工作，就像德克薩斯州的大多數大公司一樣，他們有一個很大的德克薩斯辣椒廚師。 |
| |
我被邀請參加。 每個人都參加了。 但我也被要求做更多的事情，我被要求成為一名法官。 |
| |
所以我應該拒絕法官。 我認為這對新人來說是一種榮譽，但我認為我是他們唯一可以給予的人，我發現了原因。 |
| |
不過還是先說一下我帶來的辣椒的反應吧。 所以我有我家人一直用的辣椒食譜，它來自我的祖母，莉蓮奶奶。 |
| |
這不是辣椒。 這不是德克薩斯人認為的辣椒。 |
| |
現在好消息是我必須帶回家，因為我喜歡吃。 他們考慮了辣椒以外的其他東西。 他們的辣椒裡面沒有豆子。 他們的辣椒不是很豐盛。 它很熱，很濃。 |
| |
我的有牛肉。 他們的主要是豬肉。 他們全都進去了。 這是讓我陷入困境的另一件事。 他們不僅不喜歡我奶奶的辣椒，我差點沒能通過評判 |
| |
因為真正的德克薩斯人真正的榮譽徽章是製作最辣的一碗辣椒。 所以你想打敗你的鄰居。 你想打敗你的同事。 所以他們把各種不敬虔的辣椒和香料扔在這裡。 |
| |
我只是想，幾乎要把我的肚子挖個洞，只是想嚐嚐它，而你卻喝了這麼多牛奶，試圖把熱量散發出去。 所以 |
| |
這是火的洗禮。 所以我的建議是，除非你喜歡熱度，否則不要作為評委進入，對吧。 不是一個好主意。 但我想放置；這一直困擾著我。 |
| |
什麼，為什麼我奶奶的辣椒做得不好？ 真的有不同類型的辣椒嗎？ 他們來自哪裡？ |
| |
事實證明，辣椒有一段非常酷的歷史。 你可以看到一些非常酷的歷史博客和論文，它很可能來自 |
| |
中美洲，主要是墨西哥。 還有一些清淡的菜餚，但在聖安東尼奧，第一次觀察到在該州出售，我們現在知道它是辣椒， |
| |
在阿拉莫旁邊的舊聖安東尼奧廣場上。 它被用於養牛場並開始流行起來，然後它在美國中部一直向上延伸到中西部。 |
| |
有人告訴我，你知道，在聖路易斯世界博覽會上創造了許多食品創新，你知道，當它們被展示時，它們真的很受歡迎，這就是其中之一。 辣椒進入了 |
| |
聖路易斯世界博覽會，它真的很受歡迎。 |
| |
所以有不同的品種。 所以我的想法是如果我……我可以對成分和食譜進行文本探索嗎？ 把整個食譜倒進去，看看會發生什麼。 |
| |
我想將它與什麼進行比較？ 所以我查了一下傳統的地區是什麼；我們有幾個，從德克薩斯一直到密歇根。 |
| |
所以在德克薩斯，我們有不同的品種。 德州碗紅是我品嚐的那個。 那是辣椒醬。 一個 |
| |
Frito pie 是您在足球比賽中會得到的東西，但非常受歡迎，路易斯安那州有自己的版本。 新墨西哥州有綠辣椒和雞肉，有自己的版本。 俄克拉荷馬州、堪薩斯城、斯普林菲爾德、 |
| |
伊利諾伊州辛辛那提的天際線辣椒嘿把它放在意大利面上。 密歇根州。 康尼島，熱狗，你知道，他們放在那裡的辣椒醬是嚴重的辣椒。 |
| |
白辣椒，不知從何而來。 素食辣椒。 但是現在有很多款式。 |
| |
所以我說，如果我從每種風格中取三個食譜，然後比較它來控制我奶奶的辣椒，我能找到我想要的嗎？ |
| |
所以我們要這樣做，我要向你展示，當我走過這些步驟時，我會向你展示這些步驟的摘要，然後我會緊隨其後，向你展示我是如何做到的在 JMP 中。 |
| |
第一步是匯總數據。 我們想找到我們關心的那些詞。 |
| |
現在當你進入時會發生什麼 |
| |
任何文本分析，文本數據，比如我的成分，進入文本瀏覽器，它將通過一個庫運行它 |
| |
正則表達式，想想像常規這樣的詞，只是日常談話的一部分。 |
| |
他們並沒有那麼有幫助。 如果我的列表中有“the”和“and”，這將無濟於事。 因此，它試圖幫助提取您不關心的單詞。 是的，它可以定制。 |
| |
它已經內置了一個非常強大的功能，這就是我使用的。 然後是詞幹。 詞幹是你去的地方 |
| |
說出你想如何對待單詞 - 所以“骰子”是“骰子”，“骰子”，你有復數，不同......不同...... |
| |
不同版本的詞根。 你想把它全部計算在詞根中還是你想把它分開？ 所以這是一個考慮因素。 |
| |
然後在我們總結之後。 讓我得到這些話。 你可以看到我這裡有一個單詞的小列表。 後面的是未編輯的，然後是前面的 |
| |
實際上是我們已經完成並縮小了該單詞列表的一個地方。 所以你要做的是，你尋找你不關心的詞，你稱之為停用詞，基本上說，刪除這些。 將它們添加回我不關心的事物庫中。 |
| |
您還可以引入真正重要的短語。 一旦你有了這些，我們將能夠可視化一些。 |
| |
我們將能夠看到，就我而言，我對成分非常感興趣。 因此，我們將能夠看到最常出現的成分。 |
| |
而且你經常在這裡看到詞云，詞云，你知道，詞越大，頻率越高。 |
| |
你可以在雲中查看它，就像...只是一個零星的佈局，或者你可以查看一個訂單，你知道，第一件事就是最大的單詞。 這就像 |
| |
幻燈片前面的圖表。 在那之後，我們將用它做一些事情。 因此我們可以創建一些基本模型。 |
| |
最簡單的方法之一是，一旦我們知道我們關心列表中的哪些詞， |
| |
我們可以將其添加回我們的數據表。 這稱為保存文檔術語矩陣。 在這種情況下，一個簡單的方法就是二進製文件。 所以我在這裡有一個單獨的專欄，你可以在我的右邊看到，在哪裡 |
| |
“洋蔥”有一排，你知道，食譜。 如果不是，則為零，因此您可以在列中獲取零和一。 你可以看到什麼是最重要的。 |
| |
很多時候你試圖為類似的東西建模，如果我被卡住了， |
| |
也許我有這個判斷分數，我可以說，嗯，這是一個與每個食譜相關的數字分數。 我想看看是什麼成分 |
| |
是常見的，導致高分。 這可能是我正在做的事情，所以試著做一些更具預測性的事情。 |
| |
但在這種情況下，我會考慮分組。 我真的很喜歡分組，有點像食譜在一起，看看我奶奶的辣椒落在哪裡。 因此，我將向您展示我們將如何做到這一點。 但是，讓我們首先轉到 JMP，向您展示我們如何在 JMP 中執行這些步驟。 |
| |
所以這是我的原始數據。 |
| |
在這裡的每個文檔中，每一行都是......得到我的非結構化文本，在我的情況下，它只是原始成分。 |
| |
如果我單擊此處的任何一個單元格，您可以看到它實際上是複制的成分。 所以有一個......來自路易斯安那州的 Cajun 辣椒的第一個。 |
| |
它有我關心的詞，比如“番茄”、“辣椒粉”和“蜂蜜”。 它有一些我不關心的詞，比如“可以”。 |
| |
這可能是我不太關心的成分度量，比如“一”、“兩磅”、“茶匙”。 那麼我們將如何處理這個問題呢？ 所以我們要做什麼 |
| |
是我們要去分析，我們要去文本資源管理器，我們只是要把這些成分放在文本列中。 |
| |
我將詢問詞幹，如何為所有術語進行詞幹。 我覺得這很有幫助。 然後我將使用內置的正則表達式。 |
| |
我說好的，現在這是我的初始清單。 |
| |
所以我現在能做的就是我可以去選擇那些我不關心的東西。 我不在乎數字。 所以也許我可以進入這裡並突出顯示它們，右鍵單擊並說添加一個停用詞，然後它會被添加到我不關心的事物列表中。 |
| |
“辣椒粉”呢？ 這聽起來像是需要獨立存在的東西。 所以我要右鍵單擊該短語。 我要說添加短語，它會將其添加進去。 |
| |
所以你去，你這樣做，直到你得到一個精簡的縮小列表。 |
| |
我只是要運行我的 |
| |
我的完成清單由它。 這是從正則表達式中找到的所有單詞，還有 |
| |
我添加的東西 |
| |
和停用詞。 現在，這是我完成的術語和短語列表。 所以我添加了這些短語。 我很在乎。 所以“洋蔥”排名最高，然後是“鹽”，然後是“孜然”，然後是“辣椒粉”。 |
| |
你可以猜到，這將是非常好的可視化，我們確實有一個詞云。 所以這裡是這個詞中所有東西的詞云。 再次在我的紅色三角形選項下，我可以將其更改為訂單，以使其更清晰。 |
| |
如果我保持它居中，那會很有趣。 您知道您可以為數據添加過濾器，您可以做的是，有時您可以直觀地找到答案，而無需執行任何其他操作。 所以在那種情況下，我要深入到我的 |
| |
紅色三角形。 我將獲得一個本地數據過濾器。 我只是看看類型，我會說，好吧，讓我們看看 |
| |
莉蓮奶奶的辣椒是什麼樣子的，你知道“西紅柿”、“芸豆”和“牛肉”之類的東西。 那與卡津辣椒相比如何？ |
| |
好吧，他們分享了辣椒粉和牛肉，但是，你知道，那裡可能有一些不同的東西。 你知道，和辣椒相比， |
| |
你知道，這更像是青辣椒，你知道的。 他們那裡有生辣椒和墨西哥胡椒，雞湯，所有那種東西，雞湯。 |
| |
所以這真的很有趣，但可能不足以讓我弄清楚發生了什麼。 所以我確實去了 |
| |
（這是另一個……你的紅色三角形下面有所有選項）我確實去確保（我可能需要在這裡確保）我關閉了本地數據過濾器，確保所有選項都被選中，我正在查看我的所有條款。 |
| |
我這裡有299。 我要右鍵單擊並說“保存文檔術語矩陣”。 |
| |
當我這樣做的時候，它問我想用什麼樣的方式來保存它，with with with with weights，什麼樣的權重。 它基本上是二進制的，有我可以使用的頻率，有多少項，你知道的，實際在數據表中佔有一席之地的最小詞頻。 我已經這樣做了。 |
| |
所以如果我滑過去看... |
| |
其實 |
| |
我會繼續這樣做並向您展示它的外觀。 所以我只會說“保存文檔術語矩陣”並說“好的”。 |
| |
現在，正如我在幻燈片上向您展示的那樣，現在我得到了我關心的所有術語。 第一個是“洋蔥”。 這是“辣椒粉”的一個，因為它與它們各自有關 |
| |
食譜，你知道的，行。 |
| |
所以我知道哪裡有，我知道這個卡津辣椒有辣椒粉。 |
| |
零的時候， |
| |
這裡的這個看起來像俄克拉荷馬辣椒與否，對不起，新墨西哥辣椒沒有辣椒粉，所以就是這樣，這就是它的工作原理。 這可以用於建模。 因此，您可以轉到分析 JMP 中的擬合模型並採取...並將其實際應用於某種類型的模型。 |
| |
但我要做的是，因為我並不是真的試圖預測，你知道，什麼成分會給我更高的分數。 我沒有任何喜歡，你知道， |
| |
你知道這裡的輸出數據。 我真的很想將它們組合在一起，我聽說在 JMP Pro 中，我實際上可以做到這一點。 所以我要回到這裡的幻燈片。 |
| |
我要談談分析數據。 所以做進一步的分析 |
| |
在 JMP Pro 中，它使您能夠做一些非常好的分組技術，這些是多變量方法，它們專門用於處理文本分析和處理這些文檔術語矩陣是關於文本的。 |
| |
它使用了一種叫做潛在類分析的東西。 這是條款之一。 如果您習慣於使用該技術，這類似於主要組件。 但基本上它會 |
| |
問我們要查看多少組或數據集群。 它將穿越那個多維空間 |
| |
在這些列中的所有內容與此處模型中重要術語的文檔術語矩陣之間，我們得到的重要術語 |
| |
單詞表，對吧？ 它會將它們分組。 就我而言，我能夠將其歸結為三組。 |
| |
所以有一個集群，裡面似乎有很多辣椒食譜，有碎牛肉、番茄醬、辣椒粉和豆類。 |
| |
有一個集群二，和雞肉和青辣椒有很大關係，這裡的生辣椒。 |
| |
然後是第三組，裡面又放了很多辣椒，但它們更多的是紅辣椒，而且它們是以豬肉為基礎的，這很有意義。 |
| |
好的，所以當我創建這些集群時，我能夠逐行使用集群概率，這讓我知道這些個體有多強大 |
| |
食譜，我文檔中的行，對，這些原始的……我的控制食譜，它們落在哪里以及它們的強度如何。 為什麼我將它們分配到任何集群中？ 當我這樣做時， |
| |
22是我奶奶的集群……是我奶奶的控制。 我發現她和其他一些食譜一起聚集在第一組，包括來自密蘇里州堪薩斯城的那些。 |
| |
24 號有一個非常接近。 現在德克薩斯州第三組的食譜，他們有辣椒，香料……裡面有很多香料，而且通常是豬肉，沒有豆子，對吧？ 豆類出現在第一組中，但沒有出現在第三組中，然後...... |
| |
集群二 |
| |
更多是為了，你知道，更多是為了青辣椒， |
| |
更多的是你在新墨西哥州看到的那些東西，你知道，雞肉辣椒，綠辣椒的東西。 |
| |
好吧，所以發生的事情是我能夠做到這一點，我找到了一個食譜。 也是密蘇里州的三個代表之一 |
| |
那實際上叫做堪薩斯城辣椒，它幾乎完全符合莉蓮奶奶的辣椒。 |
| |
所以當我問我媽媽這件事時，我說，“好吧，為什麼會發生這種情況。 我不認為它來自密蘇里州。” 她說，“這一切都說得通。” 她說：“莉蓮奶奶， |
| |
她在密蘇里州聖約瑟夫的一個農場長大，她是唯一的女孩，她有 11-12 個兄弟。 所以她做了很多菜。” |
| |
順便說一句，她是唯一一個接受過大學教育的人，所以在她生活的那段時間裡她是相當進步的，並且是我最喜歡的親戚之一，但她的食譜很能說明這一點。 因此，讓我們向您展示現場直播的樣子。 |
| |
所以如果我去... |
| |
在此刻， |
| |
我回到我製作的數據，在那個熱點下，我將詢問 JMP Pro 可以提供的這些額外模型。 有一個潛在的類分析使用該方法對文檔進行聚類， |
| |
基於二進制方式來記錄術語矩陣。 所以它確實使用了一個文檔......確實使用了那個文檔術語矩陣，是的，所以你甚至不必保存它，它會自動生成它。 |
| |
還有一個潛在的語義分析，它確實......它做了更多的數學，更高級的方法，但它們基本上都在做同樣的事情，我特別喜歡這種潛在的類分析。 所以這是我選擇的。 |
| |
我要了三個集群，你可以用它來看看它是否有所作為。 我確實嘗試了更多的集群，我又回到了三個。 |
| |
並且在其範圍內 |
| |
選項，您可以按行查看集群概率。 |
| |
在所有輸出中，這是最有意義的輸出。 所以請記住，回到我的幻燈片，這有助於我查看我奶奶的辣椒掉在哪裡， |
| |
那是22歲， |
| |
第 22 行。 然後它還與什麼結合得很好。 這就是我能夠進行這種分析的方式。 |
| |
就是這麼簡單。 |
| |
所以， |
| |
這是對在 JMP 中進行 JMP 文本探索的能力以及如何使用 JMP Pro 和 |
| |
找到這些串並放置我奶奶的辣椒並找到匹配的食譜。 所以如果你渴望更多，我有一個博客鏈接 |
| |
在演示文稿中，您可以...您可以點擊或直接進入社區，您只需輸入“奶奶的辣椒”，您就可以找到該博客。 我也會給你，我們也會給你 |
| |
食譜。 所以你也可以做莉蓮奶奶的辣椒。 |
| |
因此，我們很高興今天能夠向您展示這一點。 |
| |
請務必在我們可以回答的問答中留下任何問題。 試試這個，試試看 |
| |
你在工作中，在家裡，在任何有一些非結構化文本數據的地方，在你想探索和提出問題的地方，你會發現這是一種非常棒的方法，非常強大，真的可以幫助你解決這個問題數據的第三維。 |
