JMP 13为 JMP 客户推出了许多激动人心的新功能。 最受期待的功能之一是 Text Explorer 平台,它允许分析师了解文本数据的结构。 围绕 Text Explorer 的热议当然是有道理的,因为该平台有可能从大量文本条目中揭示客观洞察力,否则个人无法检测到这些洞察力(尤其是当分析涉及数千或数百万文本源时)。
随着 JMP 客户继续利用 Text Explorer,JMP 开发团队努力简化平台的使用并提高结果的可解释性。 这些改进专门针对潜在语义分析和主题分析,并且在 JMP Pro 13.2 中可用。 在这篇文章中,我概述了这些努力,并强调了这些变化如何促进分析师对 Text Explorer 平台的使用和解释。
转型
潜在语义分析和话题分析是分析文本的两种方法。 以前,这些分析是在 JMP 中通过奇异值分解“居中和缩放”、“居中”或“非居中”文档术语矩阵 (DTM) 的 (SVD)。 DTM 是从您的文本数据派生的矩阵,它总结了文本文档内和跨文本文档的术语数量。 DTM 上的 SVD 产生了富有洞察力的结果,使 JMP Pro 用户能够识别其文本数据背后的关键维度(也称为奇异向量)和描述此类维度含义的值(也称为术语或文档奇异向量)。
Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.图1。 潜在语义分析和主题分析的新外观,具有更直观的标签和值。
该平台的一项关键改进——在 13.2 中实现——包括对“居中和缩放”或“居中”DTM 除以 N-1(N = DTM 中的总行数)进行 SVD,或者如果用户选择则仅 N “未居中”缩放选项。 重要的是,将 DTM 除以一个常数(N-1 或 N)不会改变平台中结果的模式,但它确实使结果估计更易于解释。
提高可解释性
由于 DTM 除以 N-1 或 N,潜在语义分析现在等同于主成分分析(PCA)。 同样,主题分析现在与旋转 PCA 相同(参见图 2,了解两个平台的选择输出)。 因此,Term Singular Vectors 现在与 PCA 上下文中的 Loadings 相同,因此被标记为“Term Topic Loadings”。当用户在文本资源管理器中选择“居中和缩放”作为缩放选项(默认设置)时,结果与相关矩阵的 PCA 相同。 Similarly, when “Centered” is chosen, the results parallel those of PCA of a covariance matrix, and when “Uncentered” is selected, the results will be just like PCA of an unscaled matrix.
Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.图 2。 主题分析和旋转主成分分析的并排比较,可以通过主成分平台中的“因子分析”选项访问。
为什么这些变化令人兴奋?
你熟悉 PCA 吗?您现在可以将您对 PCA 的了解转化为文本分析。 这里有些例子:
- 选择最佳主题数量:现在可以使用 PCA 的所有指南来选择适当数量的主题。 例如,寻找肘部碎石地平方奇异值(又名特征值),或求和平方奇异值的解释方差的百分比,直到达到合理的百分比,或其他选择方法。
- 了解主题的重要性:以前称为“主题部分”的内容现在称为“每个主题解释的方差”。值是相同的,但现在对值的解释更直观。 如果您的第一个主题解释了数据中 40% 的差异,那么您就知道该主题与您的文档非常相关。
- 解释主题的含义: When “Centered and Scaled” or “Centered” are selected as the scaling options (recall these are equivalent to PCA on Correlation and on Covariances, respectively), Topic Term Loadings represent the correlation of the particular term with the underlying topic. 因此,高值(接近 1)指向一个非常具有主题特征的术语。
- 导出新变量以供进一步分析:就像您可以在 PCA 中计算组件分数以进行二次分析一样,您可以计算文档主题分数(以前标记为文档奇异向量),它包含 DTM 中的绝大多数信息,但结构更加简洁。
罗塞塔石碑
为了进一步方便 Latent Semantic Analysis/Topic Analysis 和 PCA/Rotated PCA 之间的翻译,我创建了下面的插图,我称之为 Text Explorer 的罗塞塔石碑(如埃及石这有助于历史学家理解象形文字)。 我包括用于文本资源管理器和 PCA 平台的面板,这些面板具有在具有相同含义的报告中使用的关键字,并且我包括用于因子分析的面板,因为因子分析的特殊情况与旋转 PCA 相同(共同性 == 1 的情况,请参阅我关于这个主题的帖子).
Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.图 3。 文本资源管理器、主成分和因子分析平台的罗塞塔石碑。 每个面板中的关键字等同于其他面板同一行中的关键字。 *在平台中不可用,因为这些通常不被使用。图 3 帮助人们了解一个平台的行话与另一个平台的行话之间的关系。
所以不要拖延更新到 JMP Pro 13.2 并利用此改进和其他改进JMP !