Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.文本數據對數據分析師提出了特殊的挑戰。 新的培訓課程有助於指導文本探索和分析。
文本是一種常見的數據形式,但它對數據分析師提出了不同尋常的挑戰。
首先,文本有多種文件格式,文本文件中的字符可能使用多種不同編碼中的一種。 必須將各個文件導入到單個 JMP 數據表中以進行處理和分析。
二、文字是非結構化數據. 它的顯示方式與測量(連續變量)、計數或類別不同。 文本數據的單個值稱為文檔. 此值可能是單個句子、幾段或整本書。 該值可能是文本或電子郵件消息、博客文章、餐廳評論或現場保修報告,僅舉幾種可能性。 文檔樣本稱為語料庫. JMP 將整個語料庫存儲在具有字符數據類型和非結構化文本建模類型的單個數據列中。 每個文檔在數據列中佔據一行。
第三,文字是異構的! 一份文檔可能包含多種信息,例如人名、地名、產品、故障或功能;電話號碼;日期和時間;年齡;性別;貨幣;社會安全號碼、產品編號或其他任何信息。 一份文件與另一份文件的信息內容可能不一致。 許多內容可能根本沒有提供信息或有用。 信息是如何找到的? 如何判斷是否是信息?
第四,文字凌亂! 相比之下,結構化數據可以很容易地重新編碼、轉換或合併。 文檔是如何重新編碼的? 如何處理首字母縮寫詞、縮寫詞、同義詞、標點符號和大小寫不一致以及拼寫錯誤?
我們開發了關於在 JMP Pro 14 中使用文本資源管理器探索和分析文本數據的新培訓. (請注意,課程的前半部分只需要 JMP 14。)
文本數據分析的大部分工作是關於策展名單條款. 培訓中的大部分時間都集中在從原始語料庫開始到精選術語列表結束的工作流程上。 此列表成為後續分析的核心,因此列表的質量很重要。 列表完成後,可以導出到原始表或以新的結構化變量的形式作為新數據表。 這些新變量可以單獨探索,也可以與任何其他 JMP 平台的其他結構化變量結合使用。
JMP Pro 中的文本瀏覽器提供了三種強大的多變量方法,用於從術語列表中提取更多信息。 潛在類分析發現具有共同術語模式的文檔集群。 潛在語義分析發現語料庫中的隱含主題。 判別分析將文檔評分到另一個變量提供的類別。
您是否有等待分析的文本數據? 您是否需要通過最佳實踐獲得有關使用文本資源管理器的幫助? 這新課程將在下一次作為會前培訓首映JMP 發現峰會2018 年 10 月 22 日至 23 日,北卡羅來納州卡里,SAS 總部。 到時候那裡見!