제 업무에 주성분 분석(PCA)과 탐색적 요인 분석(EFA) 중 어떤 것을 사용해야 할까요? 이는 사회과학자, 소비자 연구원, 엔지니어 등 다변량 데이터를 다루는 분석가들이 정기적으로 직면하는 일반적인 질문입니다.
이 글에서는 PCA와 EFA의 주요 차이점을 설명하는 데 제가 가장 좋아하는 예시를 공유합니다. 이러한 구분은 다른 중요한 차이점들을 설명하는 데 도움이 되며, 특정 응용 분야에 가장 적합한 기법을 파악하는 데 도움이 됩니다. 잘못된 기법을 선택하면 잘못된 결과를 얻거나 데이터를 잘못 이해할 수 있습니다.
설명적인 예
표준 정규 분포를 따르는 데이터를 생성하는 것부터 시작해 보겠습니다(이 글의 모든 분석에 대한 JSL 스크립트가 첨부되어 있으니, 따라 하실 수 있습니다). 구체적으로, 서로 상관관계가 없는 네 개의 변수에 대한 1,000개의 관측치를 포함하는 데이터 테이블을 생성합니다.
제이엠피 의 다변량 플랫폼을 사용하여 변수 간의 상관관계를 살펴보고 서로 독립적인지 확인할 수 있습니다. 저는 특히 상관관계에 대한 색상 맵을 사용하여 비대각선에서의 귀무 상관관계를 보여주는 것을 좋아합니다.
Figure 1. Correlation coefficients and corresponding heat map for four simulated variables. 그림 1. 네 가지 시뮬레이션 변수에 대한 상관계수와 해당 열지도. 이제 중요한 질문을 던져 보겠습니다. 이 데이터에 PCA를 사용하면 결과는 어떻게 될까요? 그리고 EFA를 사용하면 결과는 어떻게 될까요? 잘 모르겠다면 계속 읽어보세요.
JMP 의 요인 분석 플랫폼을 사용하여 이 데이터에 대해 주성분 분석(PCA)과 추정값 분석(EFA)을 동시에 수행해 보겠습니다. 변수 수가 적으므로 하나의 구성 요소/요인만 유지하겠습니다. 이렇게 하면 회전도 필요 없게 됩니다.
분석에서 나타나는 성분 또는 요인 적재량은 해당 성분 또는 요인이 무엇을 나타내는지 이해하는 데 매우 중요합니다. 높은 적재량(일반적으로 절대값이 .4 이상인 경우로 정의되며, 이는 측정된 변수 분산의 최소 16%가 요인 분산과 겹친다는 것을 의미함)을 갖는 변수가 해당 성분 또는 요인을 가장 잘 나타냅니다. 아래에서는 결과 성분 적재량(첫 번째 표시)과 요인 적재량(두 번째 표시)을 비교해 보겠습니다.
Figure 2. Component and factor loadings from a principal components analysis and exploratory factor analysis on four simulated variables that are uncorrelated.그림 2. 상관관계가 없는 4개의 시뮬레이션 변수에 대한 주성분 분석과 탐색적 요인 분석의 구성 요소 및 요인 로딩량.
결과가 현저히 다르다는 것을 알 수 있습니다! PCA는 절대값이 0.4보다 큰 세 가지 적재량을 제공했지만, EFA는 전혀 제공하지 않았습니다. 왜 그럴까요? EFA를 수행할 때 대각선에 있는 적재량들이 제곱 다중상관 (SMC)으로 대체된 축소 상관 행렬에 대한 분석을 암묵적으로 요청하기 때문입니다. 실제로 축소 상관 행렬의 상관관계에 대한 색상 지도를 살펴보면 왜 이렇게 다른 결과가 나오는지 알 수 있습니다.
Figure 3. Heat map of reduced correlation matrix, where unities in the diagonal have been replaced by squared multiple correlations.그림 3. 대각선의 단위가 제곱 다중 상관 관계로 대체된 축소 상관 행렬의 열 지도입니다.
이 예시에서 축소 상관 행렬의 모든 항목은 매우 작습니다(거의 0! 실제 값은 0.002, 0.002, 0.004, 0.001). 전체 상관 행렬(그림 1)의 고유값 분해는 PCA에서 수행되지만, EFA에서는 축소 상관 행렬(그림 3)에 대해 고유값 분해가 수행됩니다. 분석된 데이터의 차이는 분석 간의 차이점을 설명하는 데 도움이 되지만, 이러한 차이가 실제적인 관점에서 무엇을 의미하는지는 알려주지 않습니다.
완전 상관 행렬과 감소 상관 행렬 분석의 실제적 의미
PCA와 EFA는 서로 다른 목표를 가지고 있습니다. PCA는 데이터의 차원을 축소하는 기법인 반면, EFA는 직접 측정할 수 없는 변수(즉, 잠재 변수 또는 요인)를 식별하고 측정하는 기법입니다. 따라서 PCA에서는 전체 상관 행렬에 반영된 데이터의 모든 분산을 사용하여 해를 구하며, 그 결과 구성 요소는 변수가 측정하고자 하는 것과 측정 오차와 같은 다른 분산 요인이 혼합된 형태입니다(그림 4의 왼쪽 패널 참조).
반면, EFA에서는 데이터의 모든 분산이 기저 잠재 변수에서 비롯되는 것은 아닙니다(그림 4의 오른쪽 패널 참조). 이러한 특징은 상관 행렬을 SMC 값으로 "축소"함으로써 EFA 알고리즘에 반영됩니다. 이는 SMC가 기저 요인이 주어진 변수에서 설명하는 분산의 추정치(공통성)이기 때문에 적절합니다. 대각선에 단위가 있는 EFA를 수행한다면, 요인이 측정 변수의 모든 분산을 설명한다고 암묵적으로 말하게 되며, 이는 EFA가 아닌 PCA를 수행하는 것과 같습니다.
Figure 4. Graphic comparison of principal components analysis and exploratory factor analysis.그림 4. 주성분 분석과 탐색적 요인 분석의 그래픽 비교.
그림 4는 PCA와 EFA의 또 다른 중요한 차이점을 보여줍니다. PCA의 화살표는 측정 변수에서 주성분을 가리키는 반면, EFA에서는 그 반대입니다. 화살표는 인과 관계를 나타내며, PCA에서 측정 변수의 변동성이 주성분의 변동성을 유발합니다. 이는 잠재 요인이 측정 변수 간의 변동성과 상관관계 패턴을 유발하는 것으로 간주되는 EFA와는 대조적입니다(Marcoulides & Hershberger, 1997).
명확성을 위해 몇 가지 관찰 결과를 더 간략하게 설명하겠습니다. 첫째, 대부분의 다변량 데이터는 어느 정도 상관관계가 있으므로 PCA와 EFA의 차이는 이 예시처럼 두드러지지 않는 경향이 있습니다. 둘째, 분석에 포함된 변수의 수가 증가함에 따라 PCA와 EFA의 결과는 점점 더 유사해집니다. 연구자들은 최소 40개의 변수를 포함하는 분석에서는 사소한 차이가 발생한다고 주장해 왔습니다(Snook & Gorsuch, 1989). 셋째, 측정 변수의 공통성이 높으면(즉, 1에 가까워지면) PCA와 EFA의 결과도 유사합니다. 마지막으로, 제가 가장 좋아하는 이 예시는 "주축" 인수분해 방법을 사용하지만, 결과가 달라질 수 있는 다른 추정 방법도 있습니다. 분석가가 EFA와 PCA 중 하나를 선택할 때 이러한 모든 관찰 결과를 고려해야 합니다. 하지만 심리측정학자(처음에 EFA를 개발한 사람)에게 가장 중요한 점은 EFA가 분석 대상 변인에 대한 이론을 제시한다는 사실입니다. 이 이론은 스피어먼(1904)으로 거슬러 올라가며, 관찰되지 않은 요인이 우리가 직접 측정할 수 있는 것을 결정한다고 제시합니다.
아래에 몇 가지 주요 사항을 나열했지만, 이 주제에 대해 계속해서 학습하기 위한 훌륭한 출처는 Widaman(2007)입니다.
핵심 포인트
- PCA는 데이터에서 최대한 많은 정보를 유지하면서 변수의 수를 줄이는 데 유용한 반면, EFA는 관찰되지 않은(잠재적) 오류가 없는 변수를 측정하는 데 유용합니다.
- 위의 예처럼 변수 간에 공통점이 없는 경우, EFA는 명확하게 정의된 기저 요인을 찾지 못하지만, PCA는 데이터의 분산을 최대로 설명하는 명확하게 정의된 주성분을 찾습니다.
- 오류가 없는 잠재 변수를 측정하는 것이 목표이지만 PCA를 사용하는 경우, 성분 로딩량은 EFA를 사용했을 때보다 높을 가능성이 높습니다. 이는 분석가가 데이터의 모든 분산 원인을 혼합하여 잘 정의된 성분을 가지고 있음에도 불구하고, 잘 정의되고 오류가 없는 요인을 가지고 있다고 오해하게 만듭니다.
- 데이터에서 가장 큰 변동성을 유지하는 소수의 변수만을 추출하는 것이 목표이지만, EFA를 사용하면 요인 적재량이 PCA를 사용했을 때보다 낮아질 가능성이 높습니다. 이는 분석가가 측정된 변수 전체에서 공통적으로 나타나는 분산을 유지하면서도 데이터의 최대 분산을 유지했다고 착각하게 만듭니다.
- PCA와 EFA의 차이점은 구조 방정식 모델링 (SEM)과 같이 이러한 기법을 확장하는 분석과 관련이 있습니다. 부분 최소 제곱 SEM(PLS-SEM)은 구성 변수 간의 구조적 관계를 모델링하는 반면, 공분산 기반 SEM은 오류가 없는 잠재 변수 간의 구조적 관계를 모델링합니다.
참고문헌
Marcoulides, GA, & Hershberger, SL(1997). 다변량 통계적 방법: 첫 번째 과정 . 심리학 출판부.
Snook, SC, & Gorsuch, RL (1989). 성분 분석 대 공통 요인 분석: 몬테카를로 연구. 심리학 게시판 , 106 , 148-154.
Spearman, C. (1904). "일반 지능"은 객관적으로 결정되고 측정된다. 미국 심리학 저널 , 15 , 201-293.
위다만, KF (2007). 공통 요인 대 구성 요소: 원칙과 원리, 오류와 오해. 100세 시점의 요인 분석: 역사적 발전과 미래 방향 , 177-203.
@Peter_Hersh 범주형 변수에 대해서는 다중 대응 분석(MCA)이 PCA와 유사하다고 말하는 것이 더 적절할 것 같습니다. 또한 IRT(항목 반응 이론)는 범주형 [관찰] 변수에 대한 [확증] 요인 분석(CFA)과 유사하며, LCA는 IRT와 비슷하지만 범주형 잠재 변수가 있습니다.
더 명확히 하자면, EFA에서는 데이터의 "구성" 구조를 선험적으로 알 수 없습니다. 즉, 잠재변수에 의해 어떤 관측변수가 발생하는가? 대조적으로, 이는 CFA에 알려져 있으며 분석가는 해당 지식에 따라 모델을 지정합니다. 후자는 IRT와 LCA에도 적용됩니다.
또한 잠재 변수를 추정하는 능력을 기반으로 이러한 모든 기술을 구별할 수 있습니다. 이러한 관점에서 EFA, CFA, IRT 및 LCA는 모두 "적법한" 잠재 변수를 추정하는 모델입니다. 이 모델의 잠재 변수가 관찰된 변수를 유발하기 때문에 합법적이라는 단어를 사용합니다. 반면, MCA와 PCA는 관찰되지 않은/잠재 변수가 관찰된 변수를 유발한다는 점을 이해하지 못한 채 차원 축소를 위한 모델입니다.
Laura님, 시간을 내어 이러한 기술의 차이점을 설명해 주셔서 정말 감사드립니다. 이 글은 매우 잘 쓰여졌고 유익했으며, 요점을 설명하기 위해 그래프와 다이어그램을 사용하신 점이 마음에 들었습니다. 감사합니다!
