JMP 13為 JMP 客戶推出了許多激動人心的新功能。 最受期待的功能之一是 Text Explorer 平台,它允許分析師了解文本數據的結構。 圍繞 Text Explorer 的熱議當然是有道理的,因為該平台有可能從大量文本條目中揭示客觀洞察力,否則個人無法檢測到這些洞察力(尤其是當分析涉及數千或數百萬文本源時)。
隨著 JMP 客戶繼續利用 Text Explorer,JMP 開發團隊努力簡化平台的使用並提高結果的可解釋性。 這些改進專門針對潛在語義分析和主題分析,並且在 JMP Pro 13.2 中可用。 在這篇文章中,我概述了這些努力,並強調了這些變化如何促進分析師對 Text Explorer 平台的使用和解釋。
轉型
潛在語義分析和話題分析是分析文本的兩種方法。 以前,這些分析是在 JMP 中通過奇異值分解“居中和縮放”、“居中”或“非居中”文檔術語矩陣 (DTM) 的 (SVD)。 DTM 是從您的文本數據派生的矩陣,它總結了文本文檔內和跨文本文檔的術語數量。 DTM 上的 SVD 產生了富有洞察力的結果,使 JMP Pro 用戶能夠識別其文本數據背後的關鍵維度(也稱為奇異向量)和描述此類維度含義的值(也稱為術語或文檔奇異向量)。
Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.圖1。 潛在語義分析和主題分析的新外觀,具有更直觀的標籤和值。
該平台的一項關鍵改進——在 13.2 中實現——包括對“居中和縮放”或“居中”DTM 除以 N-1(N = DTM 中的總行數)進行 SVD,或者如果用戶選擇則僅 N “未居中”縮放選項。 重要的是,將 DTM 除以一個常數(N-1 或 N)不會改變平台中結果的模式,但它確實使結果估計更易於解釋。
提高可解釋性
由於 DTM 除以 N-1 或 N,潛在語義分析現在等同於主成分分析(PCA)。 同樣,主題分析現在與旋轉 PCA 相同(參見圖 2,了解兩個平台的選擇輸出)。 因此,Term Singular Vectors 現在與 PCA 上下文中的 Loadings 相同,因此被標記為“Term Topic Loadings”。當用戶在文本資源管理器中選擇“居中和縮放”作為縮放選項(默認設置)時,結果與相關矩陣的 PCA 相同。 類似地,當選擇“居中”時,結果與協方差矩陣的 PCA 相似,而當選擇“非居中”時,結果與非縮放矩陣的 PCA 相似。
Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.圖 2。 主題分析和旋轉主成分分析的並排比較,可以通過主成分平台中的“因子分析”選項訪問。
為什麼這些變化令人興奮?
你熟悉 PCA 嗎?您現在可以將您對 PCA 的了解轉化為文本分析。 這裡有些例子:
- 選擇最佳主題數量:現在可以使用 PCA 的所有指南來選擇適當數量的主題。 例如,尋找肘部碎石地平方奇異值(又名特徵值),或求和平方奇異值的解釋方差的百分比,直到達到合理的百分比,或其他選擇方法。
- 了解主題的重要性:以前稱為“主題部分”的內容現在稱為“每個主題解釋的方差”。值是相同的,但現在對值的解釋更直觀。 如果您的第一個主題解釋了數據中 40% 的差異,那麼您就知道該主題與您的文檔非常相關。
- 解釋主題的含義:當選擇“居中和縮放”或“居中”作為縮放選項時(回想一下,它們分別等同於相關性和協方差上的 PCA),主題術語加載表示特定術語與基礎主題的相關性。 因此,高值(接近 1)指向一個非常具有主題特徵的術語。
- 導出新變量以供進一步分析:就像您可以在 PCA 中計算組件分數以進行二次分析一樣,您可以計算文檔主題分數(以前標記為文檔奇異向量),它包含 DTM 中的絕大多數信息,但結構更加簡潔。
羅塞塔石碑
為了進一步方便 Latent Semantic Analysis/Topic Analysis 和 PCA/Rotated PCA 之間的翻譯,我創建了下面的插圖,我稱之為 Text Explorer 的羅塞塔石碑(如埃及石這有助於歷史學家理解像形文字)。 我包括用於文本資源管理器和 PCA 平台的面板,這些面板具有在具有相同含義的報告中使用的關鍵字,並且我包括用於因子分析的面板,因為因子分析的特殊情況與旋轉 PCA 相同(共同性 == 1 的情況,請參閱我關於這個主題的帖子).
Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.圖 3。 文本資源管理器、主成分和因子分析平台的羅塞塔石碑。 每個面板中的關鍵字等同於其他面板同一行中的關鍵字。 *在平台中不可用,因為這些通常不被使用。圖 3 幫助人們了解一個平台的行話與另一個平台的行話之間的關係。
所以不要拖延更新到 JMP Pro 13.2 並利用此改進和其他改進JMP !