JMP 13向 JMP 客户介绍了许多令人兴奋的新功能。 最受期待的功能之一是文本资源管理器平台,它允许分析师了解文本数据的结构。 围绕文本资源管理器的嗡嗡声当然是有道理的,因为该平台有可能从大量文本条目中揭示客观的洞察力,否则个人无法检测到(尤其是当分析涉及数千或数百万个文本源时)。
随着 JMP 客户继续利用 Text Explorer,JMP 开发团队努力简化平台的使用并提高结果的可解释性。 这些改进专门针对潜在语义分析和主题分析,在 JMP Pro 13.2 中可用。 在这篇文章中,我概述了这些努力,并强调这些变化如何促进分析师对文本资源管理器平台的使用和解释。
转型
潜在语义分析和话题分析是分析文本的两种方法。 以前,这些分析是在 JMP 中通过奇异值分解(SVD) 的“居中和缩放”、“居中”或“未居中”文档术语矩阵 (DTM)。 DTM 是从您的文本数据派生的矩阵,它总结了文本文档内和跨文本文档的术语数量。 DTM 上的 SVD 产生了富有洞察力的结果,使 JMP Pro 用户能够识别其文本数据和描述此类维度含义的值(也称为术语或文档奇异向量)的关键维度(也称为奇异向量)。
Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.图1。 潜在语义分析和主题分析的新外观,具有更直观的标签和值。
该平台的一项关键改进——在 13.2 中实现——包括对“居中和缩放”或“居中”DTM 进行 SVD 除以 N-1(N = DTM 中的总行数),或者如果用户选择,则只需 N “未居中”缩放选项。 重要的是,将 DTM 除以一个常数(N-1 或 N)不会改变平台中结果的模式,但它确实使结果估计更易于解释。
改进的可解释性
由于 DTM 除以 N-1 或 N,潜在语义分析现在与主成分分析(PCA)。 同样,主题分析现在与旋转 PCA 相同(参见图 2 以了解两个平台的选择输出)。 因此,术语奇异向量现在与 PCA 上下文中的加载相同,因此被标记为“术语主题加载”。当用户在 Text Explorer 中选择“Centered and Scaled”作为缩放选项(这是默认设置)时,结果与相关矩阵的 PCA 相同。 Similarly, when “Centered” is chosen, the results parallel those of PCA of a covariance matrix, and when “Uncentered” is selected, the results will be just like PCA of an unscaled matrix.
Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.图 2。 主题分析和旋转主成分分析的并排比较,可以通过主成分平台中的“因子分析”选项进行访问。
为什么这些变化令人兴奋?
你熟悉 PCA 吗?您现在可以将您所了解的有关 PCA 的所有信息转化为文本分析。 这里有些例子:
- 选择最佳主题数量:现在可以使用 PCA 的所有指南来选择适当数量的主题。 例如,寻找肘部碎石图平方奇异值(又名特征值),或求和平方奇异值的解释方差的百分比,直到达到合理的百分比,或其他选择方法。
- 了解主题的重要性:过去被称为“主题部分”的东西现在是“每个主题解释的差异”。这些值是相同的,但现在对这些值的解释更加直观。 如果您的第一个主题解释了数据中 40% 的差异,那么您就知道该主题与您的文档非常相关。
- 解释一个主题的含义: When “Centered and Scaled” or “Centered” are selected as the scaling options (recall these are equivalent to PCA on Correlation and on Covariances, respectively), Topic Term Loadings represent the correlation of the particular term with the underlying topic. 因此,高值(接近 1)指向一个非常具有主题特征的术语。
- 导出新变量以进行进一步分析:就像您可以在 PCA 中计算组件分数以进行二次分析一样,您可以计算文档主题分数(以前标记为文档奇异向量),它包含 DTM 中的绝大多数信息,但结构更加简洁。
罗塞塔石碑
为了进一步促进潜在语义分析/主题分析和 PCA/旋转 PCA 之间的转换,我创建了以下插图,我称之为文本资源管理器的罗塞塔石碑(如在埃及石这有助于历史学家理解象形文字)。 我包括用于文本资源管理器和 PCA 平台的面板,其中包含具有相同含义的报告中使用的关键字,并且我包括用于因子分析的面板,因为因子分析的特殊情况与旋转 PCA 相同(社区的情况 == 1,请参阅我关于这个话题的帖子)。
Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.图 3。 文本资源管理器、主成分和因子分析平台的罗塞塔石碑。 每个面板中的关键字与其他面板同一行中的关键字相同。 *在平台中不可用,因为这些通常不使用。图 3 有助于了解一个平台的术语与另一个平台的行话之间的关系。
所以不要耽误更新到 JMP Pro 13.2 并利用此改进和其他改进JMP !