計算機科學家長期以來一直受益於允許他們從各種文本文檔中提取信息的方法。 他們的方法不僅可以統計文本中的術語和短語，還可以揭示結構並提供對文本內容的洞察力。 另一方面，大多數社會科學家—在調查、訪談記錄等的評論字段中擁有大量文本數據的人——似乎並不依賴這些方法（那些學習語言或與計算機科學家合作的人是極少數例外）。
在這篇文章中，我鼓勵社會科學家探索文本分析所能提供的可能性範圍。 為此，我簡要介紹了兩種文本分析技術：潛在語義分析 (LSA) 和主題分析 (TA)。 很快就會很明顯，具有多元統計背景的社會科學家將能夠毫不費力地使用、應用和解釋 LSA 和 TA（可能只需要這篇文章就可以讓你開始運行！）我的解釋依賴於兩個統計社會科學中眾所周知的技術：主成分分析（PCA）和因子分析（FA）。
主成分分析綜述
PCA 是一種允許我們從數據中識別和提取最大變異性的不相關維度的方法。 這是通過數據相關矩陣的特徵值分解完成的。 圖 1 描述了特徵值分解中涉及的步驟和隨後的步驟，以幫助解釋 PCA（注意該圖被過度簡化以方便本次審查）。
Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.圖1。 描述主成分分析中涉及的步驟。
相關矩陣表示多維空間中的“數據云”。 特徵值分解有助於識別該雲中相互垂直的主要維度，並產生兩個關鍵信息：特徵向量, 表示主要維度的方向，以及特徵值，它標識每個維度的大小，並且是維度的方差。 如果只有幾個維度捕獲了數據中的大部分可變性（即前兩個特徵值相對於所有其他維度都很大），那麼分析師可能會選擇保留前兩個特徵向量和特徵值以減少他們必須分析的變量數量分析。 所有特徵向量都是單位長度的，但可以使用特徵值提供的信息“調整大小”。 這些重新縮放的特徵向量稱為載荷。
加載向量的可變性等於其對應的特徵值。 此外，加載係數是描述維度（主成分）與相應變量之間關聯的相關係數。 因此，載荷對於理解主成分代表什麼至關重要。 但是，加載矩陣可能具有難以辨別的模式，例如跨多個維度的中等大小的加載（參見圖 1 中的加載矩陣）。 因此，分析人員可能會選擇旋轉加載矩陣，以努力改進對組件的解釋。 大多數情況下，採用正交旋轉（例如，Varimax），這往往會導致加載的簡單模式（Thurstone 將其稱為“簡單結構”，1947 年）。 也就是說，給定組件的負載非常高，而所有其他組件的負載幾乎為零。 旋轉加載矩陣的簡單結構（參見圖 1）有助於清楚地識別每個主要組件代表什麼。
主成分分析 == 潛在語義分析
現在您對 PCA 記憶猶新，好消息是潛在語義分析 (LSA) 只是在文本術語的相關矩陣上完成的 PCA（但不涉及任何旋轉）。 換句話說，分析中的變量是指示術語在文本文檔中出現的列。 這組變量稱為文檔術語矩陣（DTM；參見圖 2），它的列數與文檔中的術語數一樣多，行數與文檔數一樣多。 如果我們想要二進制 DTM，每個單元格條目可以是 0 或 1，具體取決於給定術語是否在給定文檔中。 頻率 DTM 要求每個條目都是該術語在給定文檔中出現的次數的計數。 還有其他構建 DTM 的方法；文獻中的首選方法 (Ramos, 2003) 稱為 TF-IDF（詞頻-逆文檔頻率），您可以在JMP點擊一個按鈕！
Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.圖 2。 三個文檔的示例文檔術語矩陣 (DTM)。
請注意圖 2 中的第一個文檔有“來自”一詞，但該詞並未出現在 DTM 中。 這是因為創建 DTM 有重要的預備步驟。 讓我們看看接下來的那些！
設置用於分析的文本數據
文本分析從識別度量單位開始。 具體來說，您必須確定什麼將構成“文檔”。文檔可以是句子、段落、文章或書籍，以及許多其他選擇。 下一步涉及識別文檔中的相關術語。 您可以通過過濾掉“停用詞”（那些不太可能幫助揭示文本語料庫中的結構的極其常見的詞，例如“the”、“and”、“from”、“is”、“of”）來做到這一點，“ ETC。）。 此外，您可能會選擇將相似的術語壓縮為一個。 例如，圖 2 中的“分析”和“分析”兩列是多餘的，可以合併為一列“分析”。這稱為詞幹提取。 最後，並非文本中的所有單詞都應該分開。 圖 2 第一行中的“社會科學家”就是一個例子。 在創建 DTM 之前，您可以將這些詞組合成一個術語（您可以對諸如“曾幾何時”之類的短語執行相同的操作）。
上述所有步驟對於可靠分析都是至關重要的。 幸運的是，文本瀏覽器平台在 JMP 中，這些任務變得輕而易舉！ 在 Analyze > Text Explorer 菜單下，將包含文檔的數據表中的列指定為文本列（參見圖 3）。 您還可以在啟動窗口中自定義詞幹提取選項。 啟動 Text Explorer 後，您可以進一步選擇要視為術語的短語。
Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).圖 3。 文本資源管理器啟動窗口（左）和啟動文本資源管理器的初始報告（右）。
完成所有初步步驟後，您可以創建 DTM 並使用它執行 PCA。 但是，根據您的 DTM 有多大（而且它們往往非常大），如上所述的 PCA 可能需要很長時間才能運行並且需要大量內存。 幸運的是，JMP 使用奇異值分解代替特徵值分解，使該分析非常高效！ 在以後的帖子中，我將解釋特徵值分解和奇異值分解之間的等價性，但現在，您必須相信我，這兩種方法都會產生相同的結果。
話題分析
另一種有價值的文本分析技術是主題分析 (TA)。 通過闡明 TA 只是具有加載矩陣的 Varimax 旋轉的 PCA，這種技術也可以很容易地轉化為社會科學家。 與LSA類似，TA是用奇異值分解代替特徵值分解來進行的，以使其更有效。 由於載荷的旋轉，TA 的結果可能比 LSA 的結果更容易解釋。 主題將是文本數據可變性的主要維度。 負載允許您解釋主題代表的內容。 此外，可以計算主題（或組件）分數並將其用於二次分析。
為了了解 TA 可以做什麼，我對 231,657 個笑話* 的數據集進行了 TA。 為避免冒犯任何讀者，我只展示了分析得出的三個主題的結果（圖 4）。
Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.圖 4。 從對包含 231,657 個笑話的數據表執行的主題分析 (TA) 中選擇主題。
讀者可能同意圖 4 中每個主題所代表的笑話類型之間存在明顯區別。 有關文本分析的更多引人注目的示例，請參閱這個帖子關於預測未來股票價格，或閱讀最近使用社交媒體數據發表的文章（Kern 等人， 2016 年）。 或觀看這個視頻.
因子分析備註
在開頭部分，我說過我會依賴社會科學家對 PCA 和 FA 的了解。 但到目前為止，我只討論了 PCA。 如果您的培訓與我的完全相似，您就會知道 PCA 和 FA 之間存在重要差異。 在以前的帖子，我描述了這些差異，但我也提到了一個關鍵的相似性：PCA 和 FA 的結果隨著所考慮的數據矩陣大小的增加而變得越來越相似（如果你想複習 FA，我建議你閱讀帖子). 事實上，在文本分析中，數據矩陣往往是非常大。 在裡面示例文檔術語矩陣上面，DTM 已經有 10 個變量！ 這個笑話示例有一個包含 4,316 個變量的 DTM！）。 因此，LSA 和 TA 的主題或成分可以被認為是潛在變量的近似值，可以有效地用於解決無數的研究問題！
關閉…
很多時候，我們允許我們的統計工具包來確定我們研究的設計和分析（有時是無意的！）。 因此，我希望這篇文章為社會科學（和其他領域）中可以通過文本分析獨特解決的新研究問題打開大門。
關鍵點
- 文本分析在社會科學中未得到充分利用，儘管它依賴於社會科學家眾所周知的統計技術。
- 潛在語義分析等同於對文檔術語矩陣進行的主成分分析。
- 文檔術語矩陣的行數與文檔數一樣多，列數與文檔中的術語數一樣多。 單元格包含給定文檔中術語的出現率。
- 主題分析等同於主成分分析，通過旋轉成分載荷來幫助解釋主題。 但請注意，某些聚類方法有時也被描述為主題分析。
- 由於文檔術語矩陣往往非常大，社會科學家可以將主成分視為潛在變量或潛在主題的非常好的近似值。
關於文本分析還有很多話要說！ 我建議從這個點播網絡廣播，它在描述更多細節方面做得很好。 你還可以看到我的帖子關於 JMP 中的 Text Explorer 平台，尤其是羅塞塔石碑部分，這闡明了 PCA 和 LSA/TA 之間的更多聯繫。
參考
- 克恩，毫升， 公園，G.， 艾希施泰特，JC， 施瓦茨，哈， 樹液，M.， 史密斯，LK， & Ungar, LH (2016)。 從社交媒體語言中獲得見解：方法論和挑戰。 心理方法。 提前在線發布。 http://dx.doi.org/10.1037/met0000091
- Ramos, J.（2003 年 12 月）。 使用 tf-idf 確定文檔查詢中的單詞相關性。 在第一屆機器學習教學會議論文集（第 242 卷，第 133-142 頁）。
- 瑟斯通，LL （1947 年）。 多因素分析. 芝加哥：芝加哥大學出版社，1947 年。
* 感謝 amoudgl 在此處免費提供此文件： https://github.com/amoudgl/short-jokes-dataset
