コンピュータ サイエンティストは、さまざまなテキスト ドキュメントから情報を抽出できる方法論から長い間利益を得てきました。 彼らの方法論は、テキスト内の用語やフレーズを集計するだけでなく、構造を明らかにし、テキストの内容への洞察を提供します。 一方、ほとんどの社会科学者は—アンケートやインタビューの記録などのコメント フィールドに大量のテキスト データを持っている人 — これらの方法に頼っていないようです (言語を勉強したり、コンピューター科学者と協力したりする人はまれな例外です)。
この投稿では、社会科学者に、テキスト分析が提供できるさまざまな可能性を探求することをお勧めします。 そのために、潜在意味分析 (LSA) とトピック分析 (TA) という 2 つのテキスト分析手法について簡単に説明します。 すぐに明らかになるように、多変量統計のバックグラウンドを持つ社会科学者は、LSA と TA を簡単に使用、適用、および解釈できるようになります (この投稿だけで準備が整うかもしれません!) 私の説明は、2 つの統計に依存しています。社会科学でよく知られている手法: 主成分分析 (PCA) と因子分析 (FA)。
主成分分析の復習
PCA は、データから最大の変動性の無相関次元を特定して抽出できるようにする方法です。 これは、データの相関行列の固有値分解によって行われます。 図 1 は、固有値分解に含まれる手順と、PCA の解釈に役立つ後続の手順を示しています (このレビューを容易にするために、図は単純化しすぎていることに注意してください)。
Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.図1。 主成分分析に含まれる手順の描写。
相関行列は、多次元空間の「データ クラウド」を表します。 固有値分解は、このクラウド内で互いに直交する主な次元を特定するのに役立ち、次の 2 つの重要な情報を生成します。固有ベクトル、主な寸法の方向を示し、固有値、各次元の大きさを識別し、次元の分散です。 いくつかの次元だけがデータの変動性の大部分を捉えている場合 (つまり、最初の 2 つの固有値が他のすべての値よりも大きい場合)、アナリストは最初の 2 つの固有ベクトルと固有値を保持して、必要な変数の数を減らすことを選択する場合があります。分析します。 すべての固有ベクトルは単位長ですが、固有値によって提供される情報を使用して「サイズ変更」できます。 これらの再スケーリングされた固有ベクトルは、負荷として知られています。
負荷ベクトルには、対応する固有値に等しい変動性があります。 さらに、負荷係数は、次元 (主成分) と対応する変数の間の関連付けを表す相関係数です。 このため、負荷量は、主成分が何を表しているかを理解するために重要です。 ただし、ローディング マトリックスは、いくつかの次元にわたる中程度の大きさのローディングなど、識別が難しいパターンを持つ場合があります (図 1 のローディング マトリックスを参照)。 したがって、分析者は、コンポーネントの解釈を改善するために、ローディング マトリックスを回転させることを選択する場合があります。 ほとんどの場合、直交回転が使用され (Varimax など)、ローディングのパターンが単純になる傾向があります (Thurstone、1947 年に「単純構造」と呼ばれています)。 つまり、特定のコンポーネントの負荷は非常に高く、他のすべてのコンポーネントの負荷はほぼゼロです。 回転負荷行列の単純な構造 (図 1 を参照) は、各主成分が何を表しているかを明確に識別するのに役立ちます。
主成分分析 == 潜在意味分析
PCA が頭に浮かんだので、朗報です。潜在意味解析 (LSA) は、テキスト用語の相関行列に対して実行される単純な PCA です (ただし、ローテーションは含まれません)。 つまり、分析の変数は、テキスト ドキュメント全体での用語の出現率を示す列です。 この一連の変数はドキュメント ターム マトリックス (DTM、図 2 を参照) と呼ばれ、ドキュメント内のタームと同じ数の列と、ドキュメントの数と同じ数の行を持ちます。 バイナリ DTM が必要な場合、各セル エントリは、特定の用語が特定のドキュメントに含まれているかどうかに応じて、0 または 1 になります。 頻度 DTM では、各エントリが特定のドキュメントに用語が出現する回数のカウントである必要があります。 DTM を構築する方法は他にもあります。文献 (Ramos、2003 年) で推奨される方法は、TF-IDF (用語頻度 - 逆ドキュメント頻度) と呼ばれ、次のように実装できます。 JMPボタンをクリックするだけで！
Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.図 2. 3 つのドキュメントの Document Term Matrix (DTM) のサンプル。
図 2 の最初のドキュメントには「from」という単語が含まれていますが、この用語は DTM には表示されません。 これは、DTM を作成するための重要な準備手順があるためです。 次にそれらを見てみましょう！
分析用のテキスト データの設定
テキスト分析は、測定単位を識別することから始まります。 具体的には、「ドキュメント」を構成するものを決定する必要があります。ドキュメントは、文、段落、記事、本など、さまざまな選択肢があります。 次のステップでは、ドキュメント全体で関連する用語を特定します。 これを行うには、「ストップ ワード」（「the」、「and」、「from」、「is」、「 of 、」など）。 さらに、類似した用語を 1 つに要約することを選択する場合もあります。 たとえば、図 2 の列「analysis」と「analytics」は冗長であり、1 つの列「analy」に結合できます。これをステミングと呼びます。 最後に、テキスト内のすべての単語を分割する必要はありません。 図 2 の最初の行の「社会科学者」はその一例です。 DTM を作成する前に、これらの単語を 1 つの用語に結合できます (「むかしむかし」などの語句でも同じことができます)。
上記のすべての手順は、確実な分析にとって重要です。 幸いなことに、テキスト エクスプローラー プラットフォームJMP を使用すると、これらのタスクが簡単になります。 [分析] > [テキスト エクスプローラー] メニューで、ドキュメントを含むデータ テーブルの列を [テキスト列] として割り当てます (図 3 を参照)。 起動ウィンドウでステミングのオプションをカスタマイズすることもできます。 Text Explorer を起動した後、用語と見なす語句をさらに選択できます。
Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).図 3. テキスト エクスプローラーの起動ウィンドウ (左) とテキスト エクスプローラーの起動からの初期レポート (右)。
すべての準備手順が完了したら、DTM を作成し、それを使用して PCA を実行できます。 ただし、DTM の大きさによっては (かなり大きくなる傾向があります)、上記の PCA は実行に時間がかかり、大量のメモリが必要になる場合があります。 幸いなことに、JMP では固有値分解の代わりに特異値分解を使用して、この分析を非常に効率的にしています。 今後の投稿で、固有値分解と特異値分解の同等性について説明しますが、現時点では、両方のアプローチで同じ結果が得られることを信じてください。
トピック分析
もう 1 つの重要なテキスト分析手法は、トピック分析 (TA) です。 この手法は、TA が負荷行列の Varimax 回転を伴う単純な PCA であることを明確にすることで、社会科学者にも簡単に翻訳できます。 TA は LSA と同様に、固有値分解ではなく特異値分解で実行され、より効率的になります。 ローディングのローテーションのため、TA からの結果は LSA からの結果よりも解釈しやすい可能性があります。 トピックは、テキスト データの可変性の主な次元になります。 ローディングにより、トピックが何を表しているかを解釈できます。 さらに、トピック (またはコンポーネント) のスコアを計算して、二次分析で使用することができます。
TA で何ができるかを理解するために、231,657 ジョークのデータセットで TA を実行しました*。 読者の気分を害することを避けるために、分析から出てきた 3 つのトピックの結果のみを示しています (図 4)。
Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.図 4。 231,657 ジョークのデータ テーブルに対して実行されたトピック分析 (TA) からトピックを選択します。
読者は、図 4 の各トピックが表すジョークの種類には明確な違いがあることに同意するかもしれません。 テキスト分析のより説得力のある例については、以下を参照してください。この郵便受け将来の株価を予測したり、ソーシャル メディア データを使用して最近の出版物を読んだりします (Kern et al., 2016)。 または見るこの動画.
因子分析について
冒頭のセクションで、PCA と FA に関する社会科学者の知識に頼ると言いました。 しかし、これまでは PCA についてのみ説明してきました。 あなたのトレーニングが私のものと少しでも似ていれば、PCA と FA には重要な違いがあることをご存知でしょう。 の以前の投稿、これらの違いについて説明しましたが、1 つの重要な類似点についても言及しました。検討中のデータ マトリックスのサイズが大きくなるにつれて、PCA と FA の結果はますます類似するようになります (FA について復習したい場合は、投稿を読む）。 実際、テキスト分析では、データ マトリックスは次のようになる傾向があります。とても大きい。 の中にサンプル ドキュメント用語マトリックス上記のように、DTM には既に 10 個の変数があります。 ジョークの例には、4,316 個の変数を持つ DTM があります!)。 したがって、LSA と TA のトピックまたはコンポーネントは、潜在変数の近似と考えることができ、無数の研究課題に取り組むために効果的に使用できます。
閉じるには…
あまりにも多くの場合、統計ツールキットが調査の設計と分析を決定することを許してしまいます (時にはうっかり!)。 したがって、この投稿が社会科学 (およびその他の分野) における新しい研究課題への扉を開くことを願っています。これらの課題は、テキスト分析で独自に取り組むことができます。
キーポイント
- テキスト分析は、社会科学者によく知られている統計手法に依存しているという事実にもかかわらず、社会科学では十分に活用されていません。
- 潜在意味分析は、文書用語マトリックスで行われる主成分分析と同等です。
- ドキュメント ターム マトリックスには、ドキュメントと同じ数の行と、ドキュメント内の用語と同じ数の列があります。 セルには、特定のドキュメントでの用語の出現率が含まれています。
- トピック分析は、トピックの解釈を支援するために成分ローディングを回転させた主成分分析と同等です。 ただし、一部のクラスタリング手法は、トピック分析と呼ばれることもあります。
- ドキュメント ターム マトリックスは非常に大きくなる傾向があるため、社会科学者は主成分を潜在変数または潜在トピックのかなり適切な近似と考えることができます。
テキスト分析については、まだまだ語るべきことがたくさんあります。 から始めることをお勧めしますこのオンデマンド Web キャスト、より多くの詳細を説明するのに優れています。 あなたも見ることができます私の投稿JMP の Text Explorer プラットフォーム、特にロゼッタストーン部これにより、PCA と LSA/TA の間の関連性がさらに明確になります。
参考文献
- カーン、ML、 パーク、G. アイヒシュテット、JC、 シュワルツ, HA, サップ、M.、 スミス、LK、 & Ungar, LH （2016）。 ソーシャル メディア言語から洞察を得る: 方法論と課題。 心理学的方法。 先行オンライン公開。 http://dx.doi.org/10.1037/met0000091
- Ramos, J. (2003 年 12 月)。 tf-idf を使用して、ドキュメント クエリで単語の関連性を判断します。 の機械学習に関する最初の教育会議の議事録(Vol. 242、pp. 133-142)。
- サーストーン, LL （1947）。 多因子分析. シカゴ: シカゴ大学出版局、1947 年。
* このファイルをここで自由に利用できるようにしてくれた amoudgl に感謝します。 https://github.com/amoudgl/short-jokes-dataset
