|
揚聲器
|
成績單
|
| 史考特·懷斯 |
調查性文本探索。我叫 Scott Wise，是 JMP 教育團隊的高級經理。 |
| |
今天我有一個非常有趣的簡報供我們觀看，該簡報的目標是讓您更加熟悉 |
| |
介紹在 JMP 和 JMP Pro 中進行文字探索的功能和多麼容易，並向您展示看待文本探索的不同方式，例如，我可以像偵探一樣調查一些事情嗎？ |
| |
好的，我們要談談我奶奶的辣椒，以及它與德克薩斯辣椒烹飪的關係。在我們開始之前， |
| |
讓我們揭穿一些有關文本挖掘的術語，對我來說，實際上有五個簡單的步驟。您花時間從字面上總結數據，找出文本中最常出現的單詞，甚至最常出現的單詞組合。 |
| |
所以 ？稱此為“瀏覽非結構化文字”，然後是“這”，這可以是任何東西。這可能是您的客戶給您的關於您的產品或服務的表現的一句話。它可能是... |
| |
它可能是社交媒體，對吧，你知道你可以根據評論找出人們喜歡或不喜歡什麼， |
| |
關於你的產品或服務的東西，也可能是這個人，像是食譜之類的東西。 |
| |
當人們研究人們正在申請專利的流行事物以及我們是否應該這樣做時，我甚至看到了專利方面的做法。 |
| |
所以說真的，總結一下找出其中哪些字是最重要的。現在接下來要做一些準備工作，就是縮小您關心的單字清單。 |
| |
當然，如果我們不對其進行視覺化、分析以及建模，我們就不會成為 JMP。我們甚至可以做一些高階建模。所以我將使用 JMP Pro 來執行此操作，版本 15.1， |
| |
我一定會指出您可以在 JMP 中做什麼，以及我實際上在哪裡添加了一些 Pro 來幫助進一步回答我的問題。 |
| |
文件、語料庫和術語。文件將是那些...... |
| |
你正在分析的那些東西，基本上是單獨的文本正文，文本的每一行。這是我的例子的食譜。 |
| |
對您的產品或服務發表評論的可能是不同的客戶。語料庫實際上是您要處理的非結構化文本，是您要分析的文本的正文。 |
| |
然後這些術語將是您關心的可以幫助您回答問題的單字或單字組合。那我們來談談這個故事吧。你知道嗎，我為什麼要研究辣椒食譜？好吧，這又回到了 |
| |
大約25 年前，當我第一次搬到德克薩斯州時，我來到一家大公司工作，像德克薩斯州的大多數大公司一樣，他們舉辦了一場盛大的德克薩斯辣椒烹飪比賽。 |
| |
我被邀請參加。大家都參加了。但我還被要求做更多的事情，我被要求成為法官。 |
| |
所以我應該拒絕法官。我認為這對新人來說是一種榮譽，但我認為我是他們唯一可以給予的人，我找到了原因。 |
| |
不過我們先來談談我帶來的辣椒的反應。所以我有我家人一直使用的辣椒食譜，它來自我的祖母莉蓮奶奶。 |
| |
這不是辣椒。這不是德克薩斯人所認為的辣椒。 |
| |
現在好消息是我必須帶回家，因為我喜歡吃它。他們考慮了除了辣椒之外的其他東西。他們的辣椒裡面沒有豆子。他們的辣椒不豐盛。天氣非常熱，非常黏稠。 |
| |
我的有牛肉。他們的大部分都是豬肉。他們全力以赴。他們不但不喜歡我奶奶的辣椒，我差點沒能通過評審 |
| |
因為一個真正的德克薩斯人真正的榮譽徽章是做一碗最辣的辣椒。所以你想打敗你的鄰居。你想打敗你的同事。所以他們把各種不敬虔的辣椒和香料丟到這裡。 |
| |
我只是想，只是想嚐嚐它的味道，差點把我的胃弄破一個洞，而你卻喝了所有這些牛奶，試圖散發熱量。所以 |
| |
這是一場火的洗禮。所以我的建議是，除非你喜歡激烈的氣氛，否則不要以評審的身份參與進來，對吧。這不是一個好主意。但我想放置；這一直困擾著我。 |
| |
什麼，為什麼我奶奶做的辣椒不好吃？辣椒真的有不同種類嗎？他們來自哪裡？ |
| |
事實證明，辣椒有著非常酷的歷史。你可以看到一些非常酷的歷史部落格和論文，它很可能來自 |
| |
中美洲，主要是墨西哥。還有一些清淡的菜餚，但是在聖安東尼奧，第一次觀察到它是在該州出售的，我們現在就知道它是辣椒， |
| |
在阿拉莫附近的老聖安東尼奧廣場上。它被用於趕牛，並開始流行起來，然後它在美國中部蔓延到中西部。 |
| |
有人告訴我，你知道，許多食品創新都是在聖路易斯世界博覽會上創造的，你知道，當它們展示時，它們就真正起飛了，這就是其中之一。辣椒已進入 |
| |
聖路易斯世界博覽會確實很受歡迎。 |
| |
所以有不同的品種。所以我的想法是，如果我…我可以對成分和食譜進行文本探索嗎？只要把整個食譜倒進去，看看會發生什麼。 |
| |
我想將它與什麼進行比較？所以我查了一下傳統地區是什麼；我們有幾個，從德克薩斯州一直到密西根州。 |
| |
所以在德克薩斯州，我們有不同的品種。德州碗紅是我品嚐的一種。那是辣椒醬。 A |
| |
油炸玉米餅是您在足球比賽中會得到的東西，但非常受歡迎，路易斯安那州有自己的版本。新墨西哥州有自己的版本，有青辣椒和雞肉。俄克拉荷馬州、堪薩斯市、斯普林菲爾德、 |
| |
伊利諾州、辛辛那提的天際線辣椒，嘿，把它放在義大利麵上。密西根州。康尼島的熱狗，你知道，他們放的辣椒醬是很辣的。 |
| |
白辣椒，不知從何而來。素食辣椒。但現在有很多款式。 |
| |
所以我說，如果我從這些風格中的每一種中取出三個食譜，並將其與控制我奶奶的辣椒進行比較，我能找到我要找的東西嗎？ |
| |
因此，我們將這樣做，我將向您展示，當我逐步完成這些步驟時，我將向您展示這些步驟的摘要，然後我將在後面向您展示我是如何做到的在 JMP 中。 |
| |
第一步是總結數據。我們想找到我們關心的那些字。 |
| |
現在當你輸入時會發生什麼 |
| |
任何文字分析、文字數據，就像我的成分一樣，進入文字瀏覽器，它將透過一個庫運行它 |
| |
正規表示式，並且像正則一樣思考這個詞，只是日常言語的一部分。 |
| |
而且它們並沒有那麼有幫助。如果我的清單中有“the”和“and”，那是沒有幫助的。因此，它會嘗試幫助刪除您不關心的單字。是的，它可以定制。 |
| |
它已經內建了一個非常強大的功能，這就是我所使用的。然後去梗。詞幹擷取就是你要去的地方 |
| |
說出你想如何對待單字——所以“dice”是“dice”，“dicing”，你有複數，不同的......不同的...... |
| |
詞根的不同版本。您想將其全部計入根詞還是希望將其分開？所以這是一個考慮因素。 |
| |
然後我們總結之後。讓我得到這些話。你可以看到我這裡有一個單字清單。後面的未經編輯，然後是前面的 |
| |
實際上我們已經瀏覽過並縮小了單字清單的大小。所以你要做的就是尋找你不關心的單詞，你稱它們為停用詞，基本上就是說，刪除它們。將它們加回我不關心的事物庫。 |
| |
您還可以帶出真正重要的短語。一旦你有了這些，我們就能夠想像一些。 |
| |
我們將能夠看到，就我而言，我對成分非常感興趣。所以我們將能夠看到哪些成分最常出現。 |
| |
而且這裡常會看到詞雲，詞雲，你知道，詞越大，出現的頻率越高。 |
| |
你可以在雲端中查看它，就像......只是一個零星的佈局，或者你可以查看一個訂單，你知道，那裡的第一個東西是最大的單字。這就像 |
| |
投影片前面的圖表。之後，我們將用它做一些事情。所以我們可以創建一些基本模型。 |
| |
最簡單的方法之一是，一旦我們知道清單中我們關心的單詞， |
| |
我們可以將其添加回我們的數據表中。這稱為保存文檔術語矩陣。在這種情況下，一個簡單的方法就是二進位檔案。所以我在這裡有一個單獨的專欄，你可以在我的右邊看到， |
| |
「洋蔥」有一排，你知道，食譜。如果不是，則它為零，因此您可以在此處的列中獲取零和一。你可以看到什麼是最重要的。 |
| |
很多時候你會嘗試為類似的事情建模，如果我被困住了， |
| |
也許我已經有了這個評分，我可以說，好吧，這是與每個食譜相關的數字分數。我想看看有什麼成分 |
| |
很常見，會導致高分。這可能是我正在做的事情，所以嘗試更具預測性。 |
| |
但在這種情況下，我會考慮分組。我真的很感興趣將食譜分組，看看我奶奶的辣椒落在哪裡。所以我將向您展示我們將如何做到這一點。但我們首先轉到 JMP 並向您展示如何在 JMP 中執行這些步驟。 |
| |
這是我的原始數據。 |
| |
在這裡的每個文檔中，每一行都是......得到我的非結構化文本，在我的情況下，它只是原始成分。 |
| |
如果我點擊此處的任何一個單元格，您可以看到它實際上只是成分中的複製。這就是……第一個來自路易斯安那州的卡真辣椒。 |
| |
它有我關心的單詞，例如“番茄”、“辣椒粉”和“蜂蜜”。其中有一些我不關心的詞，例如「可以」。 |
| |
這可能是我不太在意的成分衡量標準，例如「一」、「兩磅」、「茶匙」。那我們該如何處理這個問題呢？那我們要做的 |
| |
我們將進入“分析”，我們將進入“文字資源管理器”，然後將這些成分放入文字列中。 |
| |
我要問詞幹，如何對所有術語進行詞幹提取。我發現這非常有幫助。然後我將使用內建的正規表示式。 |
| |
我說好吧，現在這是我的初始清單。 |
| |
所以我現在能做的就是我可以去選擇那些我不關心的事情。我不在乎數字。所以也許我可以進去這裡突出顯示它們，右鍵單擊，然後說添加一個停止詞，然後它就會添加到我不關心的事情列表中。 |
| |
「辣椒粉」呢？這聽起來像是需要獨立的東西。所以我要右鍵單擊該短語。我要說添加短語，它就會添加它。 |
| |
所以你就繼續這樣做，直到你得到一個精簡的縮小清單。 |
| |
我只是要運行我的 |
| |
我的完成清單就是這樣。這是找到的正規表示式中的所有單詞，還有 |
| |
我添加的東西 |
| |
和停止詞。現在，這是我完成的術語和短語清單。所以我添加了這些短語。我很在乎。因此，“洋蔥”排名最高，然後是“鹽”，然後是“小茴香”，最後是“辣椒粉”。 |
| |
正如您所猜測的，這非常適合可視化，而且我們確實有一個詞雲。這是這個詞雲中所有內容的詞雲。再次在我的紅色三角形選項下，我可以將其更改為訂單，以使結果更加清晰。 |
| |
如果我把它保持在中心位置，那就很有趣。您知道您可以為資料添加過濾器，有時您可以直觀地找到答案，而無需執行任何其他操作。因此，在這種情況下，我將向我的 |
| |
紅色三角形。我要買一個本地資料過濾器。我只是要看看類型，然後我會說，好吧，讓我們看看 |
| |
莉蓮奶奶的辣椒是什麼樣的，你知道「番茄」、「芸豆」和「牛肉」之類的東西。與卡真辣椒相比如何？ |
| |
好吧，他們共享辣椒粉和牛肉，但是，你知道，那裡可能有一些不同的東西。你知道，與辣椒綠相比， |
| |
你知道，這更多的是綠色辣椒，你知道。他們裡面有生辣椒、墨西哥辣椒、雞湯、所有類似的東西、雞湯。 |
| |
所以這真的很有趣，但可能不足以讓我弄清楚發生了什麼事。所以我去了 |
| |
（這是另一個......你在紅色三角形下有所有選項）我確實去確保（並且我可能需要在這裡確保）關閉我的本地數據過濾器，確保選擇所有內容，我正在查看我的所有條款。 |
| |
我這裡有299。我將右鍵單擊，然後說“保存文檔術語矩陣”。 |
| |
當我這樣做時，它問我想要以什麼樣的方式保存它，用帶有權重，什麼樣的權重。它基本上是二進制的，有我可以使用的頻率，有多少個術語，你知道，在資料表中實際獲得一席之地的最小術語頻率。我已經這麼做了。 |
| |
所以如果我滑過並看... |
| |
事實上 |
| |
我會繼續這樣做並向您展示它是什麼樣子。所以我只會說“保存文檔術語矩陣”並說“好的”。 |
| |
現在，正如我在幻燈片上向您展示的那樣，現在我得到了我關心的所有術語。第一個是「洋蔥」。這是“辣椒粉”，因為它與它們各自的相關 |
| |
食譜，你知道，行。 |
| |
所以我知道哪裡有一個，我知道這種卡津辣椒有辣椒粉。 |
| |
當零的時候， |
| |
這裡的這個看起來像俄克拉荷馬辣椒或不是，對不起，新墨西哥辣椒沒有辣椒粉，所以就是這樣，這就是它的工作原理。這可以用於建模。因此，您可以轉到 JMP 中的分析擬合模型並採取...並將其實際應用於某種類型的模型。 |
| |
但我要做的是，因為我並不是真的試圖預測，你知道，什麼成分會給我更高的分數。我沒有任何喜歡的人，你知道， |
| |
你知道這裡的輸出數據。我真的很想將它們組合在一起，而且我在 JMP Pro 中聽說，我實際上可以做到這一點。所以我要回到我的幻燈片。 |
| |
我將討論數據分析。所以要做進一步的分析 |
| |
在 JMP Pro 中，它使您能夠執行一些非常好的分組技術，這些技術是多變量方法，它們專門用於處理文字分析和處理與文字相關的文件術語矩陣。 |
| |
它使用了一種叫做潛在類別分析的東西。這是條款之一。如果您習慣於使用該技術，那麼這與主要組件類似。但基本上它會 |
| |
詢問我們想要查看多少個資料分組或叢集。它將跨越多維空間 |
| |
在這些列中的所有內容和模型中重要術語的文檔術語矩陣之間，我們得到的關於該詞的重要術語 |
| |
單字列表，對嗎？它將把它們分組。就我而言，我能夠將其分為三組。 |
| |
所以有一個集群，裡面似乎有很多辣椒食譜，有碎牛肉、番茄醬、辣椒粉和豆子。 |
| |
有第二組，與雞肉和青辣椒，生辣椒有很大關係。 |
| |
然後是第三組，其中又含有許多辣椒，但它們更多的是紅辣椒，而且是基於豬肉的，這很有意義。 |
| |
好的，所以當我創建這些集群時，我能夠按行使用集群機率，這給了我這些個體的強度 |
| |
食譜，我文檔中的行，對，這些原始的…我的控制食譜，它們落在哪裡以及它們的強度如何。為什麼我將它們分配到任何集群中？當我這樣做時， |
| |
22是我奶奶的集群...是我奶奶的控制。我發現她和其他一些食譜一起聚集在第一組中，包括來自密蘇裡州堪薩斯城的食譜。 |
| |
24號有一個非常接近的。現在德州第三組的食譜，他們有辣椒、香料……裡面有很多香料，而且通常是豬肉，沒有豆子，對嗎？豆類出現在第一組中，但沒有出現在第三組中，然後... |
| |
集群二 |
| |
更多的是，你知道，更多的是青辣椒， |
| |
更多的是你在新墨西哥州看到的東西，你知道，雞肉辣椒，綠辣椒。 |
| |
好吧，所以發生的事情是我能夠進行比賽，並且我找到了一個食譜。密蘇裡州的三個代表之一 |
| |
它實際上被稱為堪薩斯城辣椒，它幾乎與莉蓮奶奶的辣椒一模一樣。 |
| |
所以當我問媽媽這件事時，我說：“嗯，為什麼會發生這種事。我不認為它來自密蘇裡州。”她說：“這一切都是有道理的。”她說：「莉蓮奶奶， |
| |
她在密蘇裡州聖約瑟夫的一個農場長大，她是唯一的女孩，她有大約 11-12 個兄弟。所以她做了很多做飯的事情。 |
| |
順便說一句，她是唯一一個接受過大學教育的人，所以她在她活著的時候相當進步，是我最喜歡的親戚之一，但她的食譜很能說明這一點。讓我們現場向您展示這是什麼樣的。 |
| |
所以如果我去... |
| |
在此刻， |
| |
我返回到我所做的數據，在該熱點下，我將請求 JMP Pro 可以提供的這些附加模型。有一個潛在的類別分析使用該方法對文件進行聚類， |
| |
基於二進位方式來記錄術語矩陣。所以它確實使用了文檔...確實使用了該文檔術語矩陣，是的，所以您甚至不必將其保存出來，它會自動生成它。 |
| |
還有一個潛在的語義分析，它做了更多的數學工作，更先進的方法，但這兩者基本上都在做同樣的事情，我特別喜歡這個潛在的類別分析。這就是我所選擇的。 |
| |
我要求三個集群，你可以玩一下，看看是否有差異。我確實嘗試了更多集群，最後又回到了三個。 |
| |
並在其內 |
| |
選項，您可以按行查看聚類機率。 |
| |
在所有輸出中，這是最有意義的一個。所以請記住，回到我的幻燈片，這幫助我查看了我奶奶的辣椒掉在哪裡， |
| |
那是22， |
| |
第 22 行 然後它還與什麼結合得很好。這就是我能夠進行分析的方式。 |
| |
就是這麼簡單。 |
| |
所以， |
| |
這是一次非常快速的體驗，了解了在 JMP 中進行 JMP 文字探索的功能，以及如何使用 JMP Pro 和 |
| |
找到這些簇並放置我奶奶的辣椒並找到匹配的食譜。因此，如果您想了解更多信息，我有一個博客鏈接 |
| |
在簡報中，您可以...您可以點擊，或直接進入社區，只需輸入“奶奶的辣椒”，您就可以找到該部落格。我也會給你，我們也會給你 |
| |
食譜。所以你也可以做莉蓮奶奶的辣椒。 |
| |
因此，我們很高興今天能夠向您展示這一點。 |
| |
請務必在問答中留下我們可以回答的任何問題。試試這個，嘗試一些東西 |
| |
你在工作中、家裡、任何有非結構化文字資料的地方，當你想探索並提出問題時，你會發現這是一個非常棒的方法，非常強大，確實可以幫助你解決這個問題資料的第三個維度。 |
