我應該在工作中使用主成分分析 (PCA) 還是探索性因子分析 (EFA)？這是社會科學家、消費者研究人員或工程師等處理多變量資料的分析師經常遇到的問題。
在這篇文章中，我分享了我最喜歡的一個範例，用於解釋PCA和EFA之間的一個關鍵差異。這個差異為解釋其他重要差異打開了大門，並有助於確定哪種技術最適合特定的應用。選擇不當可能會導致誤導性的結果或對數據的理解不正確。
一個說明性的例子
首先，我們建立一些服從標準常態分佈的資料（如果您想繼續學習，本文附帶了所有分析的 JSL 腳本）。具體來說，我建立了一個資料表，其中包含四個互不相關的變數的 1000 個觀測值。
我們可以使用跳轉中的「多元」平台來查看變數之間的相關性，並確認它們是獨立的。我特別喜歡使用「相關性」顏色圖來說明非對角線中的零相關性：
Figure 1. Correlation coefficients and corresponding heat map for four simulated variables.圖 1. 四個模擬變數的相關係數和對應的熱圖。現在，我們可以問自己一個重要的問題：如果我對這些資料使用 PCA，結果會是什麼樣子？如果我改用 EFA，結果又會是什麼樣子？如果您不確定，請繼續閱讀。
讓我們使用JMP中的因子分析平台對這些數據同時進行主成分分析 (PCA) 和擴展因子分析 (EFA)。由於變數數量較少，我只保留一個成分/因子。這樣也無需進行任何旋轉。
分析得出的成分或因子負荷對於我們理解成分或因子的含義至關重要；載荷較高的變數（通常定義為絕對值 0.4 或更高，因為這表明測量變數變異數的至少 16% 與因子變異數重疊）最能代表該成分或因子。下面，我們可以將所得的成分載重（首先顯示）與因子負荷（其次顯示）進行比較。
Figure 2. Component and factor loadings from a principal components analysis and exploratory factor analysis on four simulated variables that are uncorrelated.圖 2. 對四個不相關的模擬變數進行主成分分析和探索性因子分析所得的成分負荷和因子負荷。
我們可以看到結果截然不同！ PCA 給了三個絕對值大於 0.4 的載重，而 EFA 卻一個也沒有。為什麼？因為當我們進行 EFA 時，我們隱式地請求對簡化相關矩陣進行分析，而該矩陣對角線上的 1 已被平方多重相關(SMC) 取代。事實上，快速瀏覽一下簡化相關矩陣的相關性顏色圖，就能明白為什麼會得到如此不同的結果：
Figure 3. Heat map of reduced correlation matrix, where unities in the diagonal have been replaced by squared multiple correlations.圖 3. 簡化相關矩陣的熱圖，其中對角線上的單位已被平方多重相關所取代。
本例中，簡化相關矩陣中的每個元素都非常小（接近零！實際值為 0.002、0.002、0.004 和 0.001）。 PCA 方法對全相關矩陣（圖 1）進行了特徵值分解，而 EFA 方法則對簡化相關矩陣（圖 3）進行了特徵值分解。所分析數據的差異有助於解釋不同分析之間的差異，但這些差異並不能從實際角度告訴我們這些差異意味著什麼…
分析完全相關矩陣與簡化相關矩陣的實質意義
PCA 和 EFA 的目標不同：PCA 是一種降低資料維度的技術，而 EFA 是一種識別和測量無法直接測量的變數（即潛在變數或因子）的技術。因此，在 PCA 中，資料中的所有變異數（由全相關矩陣反映）都用於獲得解，而最終的成分是變數預期測量值和其他變異數來源（例如測量誤差）的混合（見圖 4 左圖）。
相較之下，在擴展因子分析 (EFA) 中，資料中的變異數並非全部來自潛在變數（見圖 4 右側圖）。此特性在 EFA 演算法中體現為以 SMC 值「約化」相關矩陣。這是合理的，因為 SMC 是對潛在因子在給定變數中解釋的變異數（也稱為共同性）的估計。如果我們在對角線上取 1 的 EFA，那麼我們就隱含地認為這些因子解釋了測量變數中的所有方差，這樣我們就是在進行主成分分析 (PCA)，而不是 EFA。
Figure 4. Graphic comparison of principal components analysis and exploratory factor analysis.圖4.主成分分析與探索性因子分析的圖形比較。
圖 4 也展示了 PCA 和 EFA 之間的另一個重要差異。請注意，PCA 中的箭頭從測量變數指向主成分，而 EFA 中則相反。箭頭表示因果關係，即 PCA 中測量變數的變異性會導致主成分的變異。這與 EFA 形成了對比，在 EFA 中，潛在因子被視為導致測量變數之間變異性和相關模式的原因 (Marcoulides & Hershberger, 1997)。
為了清楚起見，我必須再概述幾個觀察。首先，大多數多變量資料都具有一定程度的相關性，因此 PCA 和 EFA 之間的差異往往不如本例中那麼明顯。其次，隨著分析中涉及的變數數量的增加，PCA 和 EFA 的結果會越來越相似。研究人員認為，至少包含 40 個變項的分析會導致細微的差異（Snook & Gorsuch，1989）。第三，如果測量變數的共同性很高（即接近 1），那麼 PCA 和 EFA 之間的結果也會相似。最後，我最喜歡的這個例子依賴於使用「主軸」因式分解方法，但其他估計方法的結果也會有所不同。分析師在 EFA 和 PCA 之間進行選擇時，必須考慮所有這些觀察結果。但對於心理測量學家（最初開發 EFA 的人）來說，也許最重要的是 EFA 提出了一個關於被分析變數的理論；該理論可以追溯到斯皮爾曼 (1904) 提出，該理論認為未觀察到的因素決定了我們能夠直接測量的內容。
我在下面列出了一些關鍵點，但請注意，繼續了解主題的一個很好的來源是 Widaman (2007)。
關鍵點
- PCA 有助於減少變數的數量，同時保留資料中的大部分信息，而 EFA 有助於測量未觀察到的（潛在的）、無錯誤的變數。
- 當變數沒有任何共同點時，如上例所示，EFA 將無法找到明確的潛在因素，但 PCA 會找到明確定義的主成分，以解釋資料中的最大變異數。
- 當目標是測量一個無誤差的潛在變量，但使用了主成分分析 (PCA) 時，成分負荷很可能會高於使用擴展因子分析 (EFA) 的情況。這會誤導分析師認為他們得到了一個定義明確、無誤差的因子，而實際上他們得到的是一個定義明確的成分，它是數據中所有變異源的混合。
- 當目標是取得一小部分變量，使其保留資料中最大的變異性時，如果使用 EFA，因子負荷可能會低於使用 PCA 的情況。這會誤導分析師認為他們保留了數據中的最大方差，而實際上他們保留的是所有測量變量中共同的方差。
- PCA 和 EFA 之間的差異與擴展這些技術的分析相關，例如結構方程模型(SEM)。偏最小平方法 SEM (PLS-SEM) 建模的是組成變數之間的結構關係，而基於協方差的 SEM 建模的是無誤差潛變數之間的結構關係。
參考
Marcoulides，GA，& Hershberger，SL（1997）。 多元統計方法：入門課程。心理出版社。
Snook, SC, & Gorsuch, RL (1989).成分分析與公因子分析：蒙特卡羅研究。 《心理學公報》 106，148-154 。
Spearman, C. (1904).“一般智力”，透過客觀測定和測量。 美國心理學雜誌， 15，201-293 。
Widaman, KF (2007).共同因素與組成部分：主要因素與原則、錯誤與誤解。 100 的因子分析：歷史發展與未來方向，177-203。
@勞拉CS ， 謝謝。 我重讀了你的解釋。 我發現多次閱讀有關複雜主題的詳盡解釋是有益的。
@彼得_赫什我認為更恰當的說法是，多重對應分析（MCA）類似於分類變數的 PCA。 此外，項目反應理論 (IRT) 與分類[觀察]變數的[驗證]因子分析 (CFA) 相當，LCA 類似於 IRT，但具有分類潛在變數。
進一步澄清，在 EFA 中，人們並不先驗地知道資料的「配置」結構。 也就是說，哪些觀測變數是由潛在變數引起的？ 相比之下，這在 CFA 中是已知的，並且分析師根據該知識指定模型。 後者對於 IRT 和 LCA 也是如此。
我們還可以根據所有這些技術估計潛在變數的能力來區分它們。 從這個角度來看，EFA、CFA、IRT和LCA都是估計「合法」潛在變數的模型。 我使用“合法”這個詞是因為這些模型中的潛在變數導致了觀察到的變數。 另一方面，MCA 和 PCA 是降維模型，沒有理解未觀察/潛在變數導致觀察到的變數。
謝謝勞拉，
我知道答案。說 MDS 與類別變數的 PCA 類似，而 LCA 與類別變數的 EFA 相當，這樣說是否正確？
嗨彼得（@phersh），
關鍵的差異在於潛在變數的概念化。 也就是說，在 EFA 中，因素是連續的，而在 LCA 中，因素是分類的。 此外，EFA 中用於提取因素的變數也是連續的，但在 LCA 中它們是分類的。 由於 LCA 估計分類潛在變量，因此它用於分類。 我使用 JMP 中的測量等級圖示製作了下圖，以進一步推動這一點。 希望這可以幫助！
嘿勞拉，
我喜歡這個比較 PCA 和 EFA 的例子。我想知道您是否可以評論潛在類別分析和 EFA 之間的差異？
超有幫助。 事實上，這些想法非常有幫助，我將把這些想法納入即將到來的珊瑚工作撥款中！
年輕的，
我很高興您發現最後一張圖表很有幫助。 我為這篇文章創建了該圖像，但不知道其他來源有類似的東西。
最好的，
~勞拉
嗨勞拉，
最後一張 EFA 和 PCA 的比較圖非常有助於理解。如果這是來自其他地方，您能否告訴我一個來源，以便在我的簡報中使用它？
謝謝你！
最好的，
年輕的
勞拉，我真的很感謝您花時間解釋這些技術之間的差異。 這篇文章寫得很好，內容豐富，我喜歡你用圖表來說明你的觀點。 謝謝你！
