Dovrei usare l'analisi delle componenti principali (PCA) o l'analisi fattoriale esplorativa (EFA) per il mio lavoro? Questa è una domanda comune che gli analisti che lavorano con dati multivariati, come scienziati sociali, ricercatori sui consumatori o ingegneri, si pongono regolarmente.
In questo post, condivido il mio esempio preferito per spiegare una differenza fondamentale tra PCA ed EFA. Questa distinzione apre le porte alla spiegazione di altre importanti differenze ed è utile per capire quale tecnica sia più appropriata per una determinata applicazione. Una scelta errata potrebbe portare a risultati fuorvianti o a una comprensione errata dei dati.
Un esempio illustrativo
Iniziamo creando alcuni dati che seguono una distribuzione normale standard (in allegato troverete uno script JSL per tutte le analisi di questo post, se volete seguirlo). Nello specifico, creo una tabella dati con 1.000 osservazioni su quattro variabili non correlate tra loro.
Possiamo utilizzare la piattaforma Multivariata di JMP per esaminare le correlazioni tra le variabili e confermarne l'indipendenza. In particolare, mi piace utilizzare la Mappa dei colori sulle correlazioni per illustrare le correlazioni nulle nella diagonale esterna:
Figure 1. Correlation coefficients and corresponding heat map for four simulated variables. Figura 1. Coefficienti di correlazione e mappa di calore corrispondente per quattro variabili simulate. Ora, possiamo porci una domanda importante: come apparirebbero i risultati se utilizzassi la PCA su questi dati? E come apparirebbero i risultati se utilizzassi invece l'EFA? Se non siete sicuri, continuate a leggere.
Utilizziamo la piattaforma di analisi fattoriale di JMP per eseguire simultaneamente una PCA e un'EFA su questi dati. Manterrò solo un componente/fattore perché abbiamo un numero limitato di variabili. Questo elimina anche la necessità di qualsiasi rotazione.
I pesi delle componenti o dei fattori derivanti dalle analisi sono fondamentali per aiutarci a comprendere cosa rappresenti la componente o il fattore; le variabili con pesi elevati (solitamente definiti come 0,4 in valore assoluto o superiori, poiché ciò suggerisce che almeno il 16% della varianza della variabile misurata si sovrappone alla varianza del fattore) sono le più rappresentative della componente o del fattore. Di seguito, possiamo confrontare i pesi delle componenti risultanti (visualizzati per primi) con i pesi dei fattori (visualizzati per secondi).
Figure 2. Component and factor loadings from a principal components analysis and exploratory factor analysis on four simulated variables that are uncorrelated.Figura 2. Carico dei componenti e dei fattori da un'analisi delle componenti principali e da un'analisi fattoriale esplorativa su quattro variabili simulate non correlate.
Possiamo vedere che i risultati sono sorprendentemente diversi! PCA ci ha fornito tre carichi maggiori di 0,4 in valore assoluto, mentre EFA non ne ha fornito nessuno. Perché? Perché quando eseguiamo EFA richiediamo implicitamente un'analisi su una matrice di correlazione ridotta , per la quale quelli nella diagonale sono stati sostituiti da correlazioni multiple al quadrato (SMC). In effetti, una rapida occhiata alla Mappa dei Colori sulle Correlazioni della matrice di correlazione ridotta fa luce sul perché si otterrebbero risultati così diversi:
Figure 3. Heat map of reduced correlation matrix, where unities in the diagonal have been replaced by squared multiple correlations.Figura 3. Mappa termica della matrice di correlazione ridotta, in cui le unità nella diagonale sono state sostituite da correlazioni multiple al quadrato.
Ogni elemento nella matrice di correlazione ridotta, in questo esempio, è molto piccolo (quasi zero! I valori effettivi sono 0,002, 0,002, 0,004 e 0,001). In PCA viene eseguita una scomposizione agli autovalori della matrice di correlazione completa (Figura 1), mentre per EFA la scomposizione agli autovalori viene eseguita sulla matrice di correlazione ridotta (Figura 3). Le differenze nei dati analizzati aiutano a spiegare le differenze tra le analisi, ma nulla di tutto ciò ci dice cosa significhino tali differenze da un punto di vista pratico…
Significato pratico dell'analisi di una matrice di correlazione completa rispetto a una ridotta
PCA ed EFA hanno obiettivi diversi: la PCA è una tecnica per ridurre la dimensionalità dei dati, mentre l'EFA è una tecnica per identificare e misurare variabili che non possono essere misurate direttamente (ovvero variabili latenti o fattori). Pertanto, nella PCA tutta la varianza dei dati – riflessa dalla matrice di correlazione completa – viene utilizzata per ottenere una soluzione, e le componenti risultanti sono un mix di ciò che le variabili intendevano misurare e di altre fonti di varianza come l'errore di misurazione (vedere il pannello sinistro della Figura 4).
Al contrario, nell'EFA non tutta la varianza dei dati deriva dalla variabile latente sottostante (vedi riquadro destro della Figura 4). Questa caratteristica si riflette nell'algoritmo EFA "riducendo" la matrice di correlazione con i valori SMC. Questo è appropriato perché una SMC è la stima della varianza che il/i fattore/i sottostante/i spiegano in una data variabile (ovvero la comunanza). Se eseguissimo l'EFA con unità nella diagonale, affermeremmo implicitamente che i fattori spiegano tutta la varianza nelle variabili misurate e staremmo eseguendo un'analisi per componenti (PCA) anziché un'EFA.
Figure 4. Graphic comparison of principal components analysis and exploratory factor analysis.Figura 4. Confronto grafico tra l'analisi delle componenti principali e l'analisi fattoriale esplorativa.
La Figura 4 illustra anche un'altra importante distinzione tra PCA ed EFA. Si noti che le frecce in PCA puntano dalle variabili misurate alla componente principale, mentre in EFA avviene il contrario. Le frecce rappresentano relazioni causali, tali che la variabilità delle variabili misurate in PCA causa la varianza nella componente principale. Questo è in contrasto con EFA, dove il fattore latente è visto come causa della variabilità e del modello di correlazioni tra le variabili misurate (Marcoulides & Hershberger, 1997).
Per chiarezza, è importante sottolineare alcune ulteriori osservazioni. In primo luogo, la maggior parte dei dati multivariati è correlata in una certa misura, quindi le differenze tra PCA ed EFA tendono a non essere così marcate come quelle in questo esempio. In secondo luogo, all'aumentare del numero di variabili coinvolte nell'analisi, i risultati di PCA ed EFA diventano sempre più simili. I ricercatori hanno sostenuto che le analisi con almeno 40 variabili portano a differenze minori (Snook & Gorsuch, 1989). In terzo luogo, se la comunanza delle variabili misurate è elevata (ovvero, si avvicina a 1), anche i risultati tra PCA ed EFA sono simili. Infine, questo mio esempio preferito si basa sull'utilizzo del metodo di fattorizzazione "Asse Principale", ma esistono altri metodi di stima per i quali i risultati varierebbero. Tutte queste osservazioni devono essere prese in considerazione quando gli analisti effettuano la scelta tra EFA e PCA. Ma forse la cosa più importante per gli psicometrici (coloro che hanno sviluppato l'EFA in primo luogo) è il fatto che l'EFA postula una teoria sulle variabili analizzate; una teoria che risale a Spearman (1904) e suggerisce che fattori non osservati determinano ciò che siamo in grado di misurare direttamente.
Di seguito elenco alcuni punti chiave, ma tengo a sottolineare che un'ottima fonte per continuare ad approfondire questo argomento è Widaman (2007).
Punti chiave
- La PCA è utile per ridurre il numero di variabili mantenendo al contempo la maggior quantità di informazioni nei dati, mentre l'EFA è utile per misurare variabili non osservate (latenti) e prive di errori.
- Quando le variabili non hanno nulla in comune, come nell'esempio precedente, l'EFA non troverà un fattore sottostante ben definito, mentre la PCA troverà una componente principale ben definita che spiega la quantità massima di varianza nei dati.
- Quando l'obiettivo è misurare una variabile latente priva di errori ma si utilizza l'analisi delle componenti (PCA), i carichi delle componenti saranno molto probabilmente più elevati di quanto sarebbero stati se si fosse utilizzato l'analisi delle componenti (EFA). Ciò indurrebbe gli analisti a credere di avere un fattore ben definito e privo di errori, quando in realtà hanno una componente ben definita che è un amalgama di tutte le fonti di varianza nei dati.
- Quando l'obiettivo è ottenere un piccolo sottoinsieme di variabili che mantenga la massima variabilità nei dati, ma si utilizza l'analisi fattoriale a fattori (EFA), i pesi fattoriali saranno probabilmente inferiori a quelli che sarebbero stati se si fosse utilizzata l'analisi per componenti principali (PCA). Ciò indurrebbe gli analisti a credere di aver mantenuto la massima varianza nei dati, quando in realtà hanno mantenuto la varianza comune tra le variabili misurate.
- La differenza tra PCA ed EFA è rilevante per le analisi che estendono queste tecniche, come la modellazione di equazioni strutturali (SEM). La modellazione di equazioni strutturali a minimi quadrati parziali (PLS-SEM) modella le relazioni strutturali tra le variabili componenti, mentre la modellazione di equazioni strutturali basata sulla covarianza modella le relazioni strutturali tra variabili latenti prive di errori.
Riferimenti
Marcoulides, GA, e Hershberger, SL (1997). Metodi statistici multivariati: un primo corso . Psychology Press.
Snook, SC e Gorsuch, RL (1989). Analisi dei componenti contro analisi dei fattori comuni: uno studio Monte Carlo. Bollettino psicologico , 106 , 148-154.
Spearman, C. (1904). "Intelligenza generale", determinata e misurata oggettivamente. La rivista americana di psicologia , 15 , 201-293.
Widaman, KF (2007). Fattori comuni contro componenti: principi e principi, errori e idee sbagliate. Analisi fattoriale a 100: sviluppi storici e direzioni future , 177-203.
@Peter_Hersh Penso che sarebbe più appropriato dire che l'analisi delle corrispondenze multiple (MCA) è simile alla PCA per le variabili categoriali. Inoltre, la teoria della risposta agli elementi (IRT) è paragonabile all'analisi fattoriale [confermativa] (CFA) per le variabili categoriali [osservate], e la LCA è come l'IRT ma con variabili latenti categoriali.
Per chiarire ulteriormente, negli EFA non si conosce a priori la struttura “configurabile” dei dati. Cioè, quali variabili osservate sono causate dalle variabili latenti? Al contrario, questo è noto nel CFA e l'analista specifica il modello in base a tale conoscenza. Quest'ultimo vale anche per IRT e LCA.
Possiamo anche distinguere tutte queste tecniche in base alla loro capacità di stimare le variabili latenti. Da questo punto di vista, EFA, CFA, IRT e LCA sono tutti modelli per stimare le variabili latenti "legittime". Uso la parola legittimo perché le variabili latenti in questi modelli causano le variabili osservate. D'altra parte, MCA e PCA sono modelli per la riduzione della dimensione, senza la comprensione che una variabile non osservata/latente causa le variabili osservate.
