在我們的免費線上課程中了解更多:
解決工業問題的統計思維
在本影片中,您將了解如何使用檔案 Pet Owner.jmp 處理非結構化文字資料。 此範例基於 JMP 範例資料庫中的 Pet Survey.jmp 檔案。
在這種情況下,150 名狗和貓的主人被問到:「想想你的貓或狗。 你腦子裡第一個想到的是什麼?”
答案位於「調查答案」欄位。 由於這些資料是非結構化文本,因此應用了建模類型非結構化文字。
為了分析這些數據,我們從 JMP 的分析選單中選擇文字瀏覽器。
我們選擇調查回應作為文字列。
預設語言為英語,但也可以使用其他語言。
有多種用於標記、術語和措辭的選項。
您可以使用短語選項指定每個短語的最大單字數以及要顯示的最大短語數。
您可以使用單字選項來指定最小單字大小和每個單字的最大字元數。
您可以使用詞幹選項自動組合具有相同詞幹的術語。
標記化下有兩個選項:正規表示式和基本單字。 預設為 Regex,或正規表示式。 使用正規表示式時,將使用內建表達式和符號(包括常見標點符號、空格和製表符)來解析文件。 您可以使用「自訂正規表示式」選項來新增您自己的自訂表達式。
我們將使用預設選項並點擊“確定”。
JMP 在幕後對數據進行了代幣化。 標點符號、空格和符號以及“a”、“an”和“the”等基本單字都已被刪除。
頂部的摘要報告了唯一術語的數量、文件(或案例)的數量、標記總數以及每個案例的平均標記數量。
還提供術語列表和短語列表。
有幾個有趣的短語。 例如,短語“鴨子狩獵”比單獨的單字“鴨子”和“狩獵”具有更多含義。
要將最上面的短語新增到術語清單中,我們將選擇短語,右鍵單擊,然後選擇新增短語。
讓我們仔細看看術語列表。 我們將單擊術語列表中的“術語”一詞以按字母順序排序。
當我們滾動列表時,您可以看到一些印刷錯誤。 例如,術語“doggs”應拼寫為“dogs”。
如果您想要修復拼字錯誤,或將具有相同含義的術語合併為術語,您可以選擇術語,右鍵單擊,然後選擇重新編碼。 例如,假設我們要將這兩個術語分組為一個術語「狗」。 我們將選擇這兩個值,按一下“群組”,將群組重新命名為“dogs”,然後按一下“重新編碼”。
那麼術語“狗”和“狗”,或者“鴨子”和“鴨子”呢?這些字有相同的字根或字幹。 如果您想組合具有相同詞幹的術語,可以使用詞幹提取。
為此,我們點擊頂部的紅色三角形,然後選擇術語選項、詞幹,然後選擇詞幹進行組合。
術語末尾的點表示詞幹術語已合併。 當我們將遊標放在這些詞幹術語上時,我們會看到已組合的術語清單。
我們將單擊“計數”列兩次以按降序排序。 請注意,最上面的術語是“貓”和“狗”。 因為我們知道這些數據來自對貓和狗的調查,所以這些術語並不是特別有用。
要刪除這些術語,我們可以將它們新增為停用詞。 為此,我們選擇條款,
按一下滑鼠右鍵,然後選擇新增停用詞。
現在您可以看到最熱門的術語與吠叫、行走、跳躍和影片有關。
我們將此分析的腳本儲存到資料表中,以便稍後可以重複相同的分析。