JMP13は、JMP のお客様に多くのエキサイティングな新機能を導入しました。 最も期待されていた機能の 1 つは、アナリストがテキスト データの構造を理解できるようにする Text Explorer プラットフォームでした。 テキスト エクスプローラーの話題は確かに正当化されます。なぜなら、このプラットフォームは、他の方法では個人が検出することが不可能な多数のテキスト エントリから客観的な洞察を明らかにする可能性があるためです (特に、分析に数千または数百万のテキスト ソースが含まれる場合)。
JMP のお客様が引き続き Text Explorer を利用する中、JMP 開発チームは、プラットフォームの使用を簡素化し、結果の解釈可能性を向上させる努力をしてきました。 これらの改善は、特に潜在意味分析とトピック分析に焦点を当てており、JMP Pro 13.2 で利用できます。 この投稿では、これらの取り組みの概要を説明し、この変更によって、アナリストによる Text Explorer プラットフォームの使用と解釈がどのように容易になるかを強調します。
変革
潜在意味解析とトピック分析は、テキストを分析するための 2 つのアプローチです。 以前は、これらの分析は JMP で実行されていました。特異値分解(SVD) の "Centered and Scaled"、"Centered"、または "Uncentered" 文書用語マトリックス (DTM)。 DTM は、テキスト データから派生したマトリックスであり、テキスト ドキュメント内およびテキスト ドキュメント全体の用語の数を要約します。 DTM の SVD は洞察力に富んだ結果をもたらし、JMP Pro ユーザーは、テキスト データの基礎となる重要な次元 (別名特異ベクトル) と、そのような次元の意味を説明する値 (別名、用語またはドキュメントの特異ベクトル) を特定できるようになりました。
Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.図1。 より直感的なラベルと値を備えた潜在意味分析とトピック分析の新しい外観。
13.2 で実装されたプラットフォームの重要な改善点は、「中心化およびスケーリング」または「中心化」DTM の SVD を N-1 (N = DTM の行の総数) で割るか、ユーザーが選択した場合は単に N で割ることで構成されていました。 「Uncentered」スケーリング オプション。 重要なのは、DTM を定数 (N-1 または N) で割っても、プラットフォームの結果のパターンは変わらないが、結果の推定値がより解釈しやすくなることです。
解釈性の向上
N-1 または N で除算される DTM のおかげで、潜在的意味分析は現在、主成分分析(PCA)。 同様に、Topic Analysis は Rotated PCA と同じになりました (両方のプラットフォームからの出力の選択については、図 2 を参照してください)。 したがって、用語特異ベクトルは、PCA コンテキストの Loading と同一になり、その結果、「Term Topic Loadings」というラベルが付けられます。ユーザーがテキスト エクスプローラーのスケーリング オプションとして [中央揃えおよびスケーリング] を選択すると (これがデフォルト)、結果は相関行列の PCA と同じになります。 同様に、「Centered」を選択すると、結果は共分散行列の PCA の結果と同等になり、「Uncentered」を選択すると、結果はスケーリングされていない行列の PCA のようになります。
Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.図 2. 主成分分析プラットフォームの「因子分析」オプションからアクセスできる、トピック分析と回転主成分分析の比較。
これらの変化がエキサイティングなのはなぜですか？
PCAをご存知ですか？PCA について知っていることはすべて、テキスト分析に変換できるようになりました。 ここではいくつかの例を示します。
- 最適な数のトピックを選択する: PCA のすべてのガイドラインを使用して、適切な数のトピックを選択できるようになりました。 たとえば、スクリープロット特異値の 2 乗 (別名固有値) を計算するか、特異値の 2 乗の説明された分散のパーセントを妥当なパーセンテージに達するまで合計するか、その他の方法を選択します。
- トピックの重要性を理解する:以前は「トピック部分」と呼ばれていましたが、現在は「トピックごとに説明された分散」です。値は同じですが、値の解釈がより直感的になりました。 最初のトピックがデータの分散の 40% を説明している場合、このトピックがドキュメントに非常に関連していることがわかります。
- トピックの意味の解釈:スケーリングオプションとして「中心化およびスケーリング」または「中心化」が選択されている場合 (これらは、それぞれ相関および共分散の PCA に相当することを思い出してください)、トピック用語負荷は、特定の用語と基礎となるトピックとの相関を表します。 したがって、高い値 (1 に近づく) は、トピックに非常に特徴的な用語を示します。
- さらなる分析のための新しい変数の導出:二次分析に使用するために PCA でコンポーネント スコアを計算できるのと同じように、ドキュメント トピック スコア (以前はドキュメント特異ベクトルと呼ばれていました) を計算できます。これには、DTM の情報の大部分が含まれていますが、より簡潔な構造になっています。
ロゼッタ・ストーン
潜在的セマンティック分析/トピック分析と PCA/回転 PCA の間の変換をさらに容易にするために、次の図を作成しました。これをテキスト エクスプローラーのロゼッタ ストーンと呼んでいます (エジプトの石歴史家が象形文字を理解するのに役立ちました)。 同等の意味を持つレポートで使用されるキーワードを使用して、テキスト エクスプローラーと PCA プラットフォームのパネルを含めます。また、因子分析の特殊なケースがローテーション PCA と同じであるため、因子分析のパネルを含めます (共通性 == 1 のケースを参照してください)。このトピックに関する私の投稿）。
Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.図 3. テキスト エクスプローラー、主成分分析、因子分析プラットフォームのロゼッタ ストーン。 各パネルのキーワードは、他のパネルの同じ行のキーワードと同等です。 *これらは通常使用されないため、プラットフォームでは使用できません。図 3 は、あるプラットフォームの専門用語が他のプラットフォームの専門用語とどのように関連しているかを理解するのに役立ちます。
遅れないでアップデートJMP Pro 13.2 にアップグレードし、これとその他の改善点を利用してJMP !
