仕事では主成分分析（PCA）と探索的因子分析（EFA）のどちらを使用すべきでしょうか？これは、社会科学者、消費者研究者、エンジニアなど、多変量データを扱うアナリストが日常的に直面するよくある質問です。
この記事では、PCAとEFAの重要な違いを説明するために、私のお気に入りの例を紹介します。この違いは、他の重要な違いを説明する上でも役立ち、特定のアプリケーションにどの手法が最も適しているかを判断する際に役立ちます。不適切な選択は、誤解を招く結果やデータの誤った理解につながる可能性があります。
具体例
まず、標準正規分布に従うデータを作成しましょう（この記事のすべての分析に使えるJSLスクリプトが添付されているので、そちらを使ってください）。具体的には、互いに相関のない4つの変数について、1,000個の観測値を持つデータテーブルを作成します。
ジャンプの多変量プラットフォームを使えば、変数間の相関関係を調べ、それらが独立していることを確認できます。特に、非対角成分における帰無相関を示すために、「相関のカラーマップ」を使用するのが便利です。
Figure 1. Correlation coefficients and corresponding heat map for four simulated variables.図1. 4つのシミュレートされた変数の相関係数と対応するヒートマップ。ここで、重要な疑問が生じます。これらのデータにPCAを適用した場合、結果はどうなるでしょうか？また、代わりにEFAを適用した場合、結果はどうなるでしょうか？よくわからない場合は、読み進めてください。
JMPの因子分析プラットフォームを使って、これらのデータに対してPCAとEFAを同時に実行してみましょう。変数の数が少ないため、1つの成分／因子のみを保持します。これにより、回転も不要になります。
分析から得られる成分負荷量または因子負荷量は、その成分または因子が何を表しているかを理解する上で非常に重要です。高い負荷量を持つ変数（通常、絶対値が0.4以上と定義されます。これは、測定された変数の分散の少なくとも16%が因子の分散と重なり合っていることを示唆するためです）は、その成分または因子を最もよく表しています。以下では、得られた成分負荷量（最初に表示）と因子負荷量（2番目に表示）を比較できます。
Figure 2. Component and factor loadings from a principal components analysis and exploratory factor analysis on four simulated variables that are uncorrelated.図 2. 相関のない 4 つのシミュレートされた変数に対する主成分分析と探索的因子分析からの成分負荷と因子負荷。
結果が著しく異なることがわかります。PCAでは絶対値が0.4を超える負荷量が3つありましたが、EFAでは1つもありませんでした。なぜでしょうか？EFAを行う際、暗黙的に縮約相関行列での分析を要求しているため、対角線上の負荷量は2乗多重相関（SMC）に置き換えられているからです。実際、縮約相関行列の相関カラーマップをざっと見てみると、なぜこれほど異なる結果が得られるのかが明らかになります。
Figure 3. Heat map of reduced correlation matrix, where unities in the diagonal have been replaced by squared multiple correlations.図 3. 対角線の 1 が多重相関の 2 乗に置き換えられた、縮小相関行列のヒート マップ。
この例では、縮約された相関行列の各エントリは非常に小さく（ほぼゼロです！実際の値は0.002、0.002、0.004、0.001です）。PCAでは相関行列全体（図1）の固有値分解が行われますが、EFAでは縮約された相関行列（図3）の固有値分解が行われます。分析されたデータの違いは、分析間の差異を説明するのに役立ちますが、実用的な観点からその差異が何を意味するのかは分かりません…。
完全相関行列と縮小相関行列の分析の実際的な意味
PCAとEFAの目的は異なります。PCAはデータの次元を削減する手法であるのに対し、EFAは直接測定できない変数（潜在変数や因子など）を特定し測定する手法です。したがって、PCAでは、相関行列全体に反映されるデータのすべての分散を用いて解を求めます。その結果得られる要素は、変数が測定しようとした値と、測定誤差などの他の分散要因が混在したものになります（図4の左パネルを参照）。
対照的に、EFAでは、データ内の分散のすべてが基礎となる潜在変数に由来するわけではありません（図4の右パネルを参照）。この特徴は、EFAアルゴリズムにおいて相関行列をSMC値で「縮減」することで反映されています。SMCは、基礎となる因子が特定の変数（いわゆる共通性）において説明する分散の推定値であるため、これは適切な判断です。対角線に1を代入してEFAを実行すると、暗黙的に因子が測定変数の分散のすべてを説明すると解釈することになり、EFAではなくPCAを実行することになります。
Figure 4. Graphic comparison of principal components analysis and exploratory factor analysis.図 4. 主成分分析と探索的因子分析のグラフ比較。
図4は、PCAとEFAのもう一つの重要な違いも示しています。PCAの矢印は測定変数から主成分を指しているのに対し、EFAではその逆であることに注目してください。矢印は因果関係を表しており、PCAにおける測定変数の変動が主成分の変動を引き起こします。これは、潜在因子が測定変数間の変動と相関パターンを引き起こすと考えられるEFAとは対照的です（Marcoulides & Hershberger, 1997）。
明確にするために、さらにいくつかの観察事項を概説することが重要です。まず、ほとんどの多変量データはある程度相関しているため、PCA と EFA の違いはこの例ほど顕著ではない傾向があります。次に、分析に含まれる変数の数が増えるにつれて、PCA と EFA の結果はますます似てきます。研究者は、少なくとも 40 個の変数を使用した分析ではわずかな違いが生じると主張しています (Snook & Gorsuch、1989)。3 つ目に、測定された変数の共通性が高い (つまり、1 に近い) 場合、PCA と EFA の結果も似てきます。最後に、この私のお気に入りの例は「主軸」因子分解法を使用していますが、結果が異なる推定方法も存在します。アナリストが EFA と PCA のどちらかを選択する際には、これらすべての観察事項を考慮する必要があります。しかし、心理測定学者（EFA を最初に開発した人々）にとっておそらく最も重要なのは、EFA が分析対象の変数についての理論を前提としているという事実です。この理論は Spearman (1904) にまで遡り、観測されない要因によって直接測定できるものが決まると示唆しています。
以下にいくつかの重要なポイントを挙げますが、このトピックについてさらに学ぶための優れた情報源は Widaman (2007) です。
要点
- PCA は、データ内の情報量を最大化しながら変数の数を減らすのに役立ちますが、EFA は観測されていない (潜在的な)、エラーのない変数を測定するのに役立ちます。
- 上記の例のように、変数に共通点がない場合、EFA では明確に定義された基礎要因は見つかりませんが、PCA では、データ内の最大量の分散を説明する明確に定義された主成分が見つかります。
- エラーのない潜在変数を測定することが目的であるにもかかわらず、PCAが使用される場合、要素負荷量はEFAを使用した場合よりも高くなる可能性が高くなります。これにより、分析者は、データ内のあらゆる分散源を融合した、明確に定義された要素が存在するにもかかわらず、エラーのない明確な因子が存在すると誤解してしまう可能性があります。
- データの変動性を最大限に保持する変数の小さなサブセットを取得することが目標であるにもかかわらず、EFA を使用すると、因子負荷量は PCA を使用した場合よりも低くなる可能性があります。これにより、分析者はデータの変動性を最大限に保持したと誤解する可能性がありますが、実際には測定対象変数に共通する変動性を保持しています。
- PCAとEFAの違いは、構造方程式モデリング（SEM）などのこれらの手法を拡張した分析に関係します。偏最小二乗法SEM（PLS-SEM）は構成変数間の構造関係をモデル化し、共分散ベースのSEMは誤差のない潜在変数間の構造関係をモデル化します。
参考文献
Marcoulides, GA、Hershberger, SL（1997）。 多変量統計手法：入門コース。心理学出版社。
Snook, SC, Gorsuch, RL (1989). 成分分析と共通因子分析：モンテカルロ法による研究. 心理学速報、 106、148-154頁。
スピアマン、C.（1904）「一般知能」は客観的に決定され測定される。 アメリカ心理学ジャーナル、 15、201-293 。
Widaman, KF (2007). 共通要因と構成要素：原理と原則、誤りと誤解. 因子分析100：歴史的発展と将来の方向、177-203。
@Laura 、 ありがとう。 あなたの説明を読み直しました。 複雑なトピックについての徹底的な説明を複数回読むことは有益であると感じています。
@ピーター・ハーシュ多重対応分析 (MCA) はカテゴリ変数の PCA に似ていると言った方が適切だと思います。 また、項目反応理論 (IRT) は、カテゴリカルな [観測] 変数に対する [確認的] 因子分析 (CFA) に相当し、LCA は IRT に似ていますが、カテゴリカルな潜在変数を使用します。
さらに明確にするために、EFA ではデータの「構成」構造をアプリオリに知りません。 つまり、どの観測変数が潜在変数によって引き起こされるのかということです。 対照的に、これは CFA では既知であり、分析者はその知識に従ってモデルを指定します。 後者は IRT と LCA にも当てはまります。
これらすべての手法は、潜在変数を推定する能力に基づいて区別することもできます。 この観点から見ると、EFA、CFA、IRT、LCA はすべて、「正当な」潜在変数を推定するためのモデルです。 これらのモデルの潜在変数が観測変数を引き起こすため、正当という言葉を使用しています。 一方、MCA と PCA は、観測されていない/潜在的な変数が観測された変数を引き起こすという理解なしに、次元を削減するためのモデルです。
ローラさん、ありがとう
答えはわかります。MDS はカテゴリ変数の PCA に似ており、LCA はカテゴリ変数の EFA に相当すると言うのは正しいですか?
こんにちはピーター (@phersh)、
主な違いは、潜在変数の概念化です。 つまり、EFA では因子は連続的ですが、LCA では因子はカテゴリー的です。 さらに、EFA では因子を抽出するために使用される変数も連続的ですが、LCA ではカテゴリー的です。 LCA はカテゴリ潜在変数を推定するため、分類に使用されます。 ポイントをさらに進めるために、JMP の測定レベル アイコンを使用して以下の画像を作成しました。 お役に立てれば！
やあ、ローラ、
私は、PCA と EFA を比較したこの例が大好きです。潜在クラス分析と EFA の違いについてコメントしていただけないでしょうか?
とても助かりました。 実際、とても役に立ったので、これらのアイデアをサンゴ活動に関する今後の助成金に組み込む予定です。
若い、
最後の図がお役に立ててうれしいです。 私はこの投稿用にその画像を作成しましたが、同様の画像が含まれている他のソースを知りません。
最高、
〜ローラ
こんにちは、ローラさん
EFA と PCA を比較するための最後の図は、理解するのに非常に役立ちます。私のプレゼンテーションで使用するために、他の場所からのソースを教えていただけますか?
ありがとう！
最高、
若い
ローラ、これらのテクニックの違いについて説明するために時間を割いていただき、本当に感謝しています。 これは非常によく書かれていて有益であり、ポイントを説明するためにグラフや図を使用していることが気に入りました。 ありがとう！
