Soll ich für meine Arbeit die Hauptkomponentenanalyse (PCA) oder die explorative Faktorenanalyse (EFA) verwenden? Diese Frage wird Analysten, die mit multivariaten Daten arbeiten, wie Sozialwissenschaftlern, Verbraucherforschern oder Ingenieuren, regelmäßig gestellt.
In diesem Beitrag erkläre ich anhand meines Lieblingsbeispiels einen wichtigen Unterschied zwischen PCA und EFA. Diese Unterscheidung eröffnet die Möglichkeit, weitere wichtige Unterschiede zu erklären und hilft bei der Entscheidung, welche Technik für eine bestimmte Anwendung am besten geeignet ist. Eine falsche Wahl kann zu irreführenden Ergebnissen oder einem falschen Verständnis der Daten führen.
Ein anschauliches Beispiel
Beginnen wir mit der Erstellung einiger Daten, die einer Standardnormalverteilung folgen (ein JSL-Skript für alle Analysen in diesem Beitrag ist beigefügt, falls Sie mitmachen möchten). Konkret erstelle ich eine Datentabelle mit 1.000 Beobachtungen zu vier Variablen, die nicht miteinander korreliert sind.
Wir können die multivariate Plattform in JMP nutzen, um die Korrelationen zwischen Variablen zu untersuchen und ihre Unabhängigkeit zu bestätigen. Ich verwende besonders gerne die Farbkarte für Korrelationen, um die Nullkorrelationen in der Nebendiagonalen zu veranschaulichen:
Figure 1. Correlation coefficients and corresponding heat map for four simulated variables. Abbildung 1. Korrelationskoeffizienten und zugehörige Heatmap für vier simulierte Variablen. Nun können wir uns eine wichtige Frage stellen: Wie würden die Ergebnisse aussehen, wenn ich PCA auf diese Daten anwende? Und wie würden die Ergebnisse aussehen, wenn ich stattdessen EFA verwende? Wenn Sie sich nicht sicher sind, lesen Sie weiter.
Nutzen wir die Faktorenanalyse-Plattform in JMP, um gleichzeitig eine PCA und eine EFA für diese Daten durchzuführen. Ich behalte nur eine Komponente/einen Faktor bei, da wir nur wenige Variablen haben. Dadurch entfällt auch die Notwendigkeit einer Rotation.
Die Komponenten- oder Faktorladungen aus den Analysen sind entscheidend für das Verständnis der Komponenten oder Faktoren. Variablen mit hohen Ladungen (normalerweise definiert als ein absoluter Wert von 0,4 oder höher, da dies darauf hindeutet, dass mindestens 16 % der gemessenen Variablenvarianz mit der Varianz des Faktors überlappen) sind am repräsentativsten für die Komponenten oder Faktoren. Unten können wir die resultierenden Komponentenladungen (zuerst angezeigt) mit den Faktorladungen (zuerst angezeigt) vergleichen.
Figure 2. Component and factor loadings from a principal components analysis and exploratory factor analysis on four simulated variables that are uncorrelated.Abbildung 2. Komponenten- und Faktorladungen aus einer Hauptkomponentenanalyse und einer explorativen Faktorenanalyse für vier simulierte Variablen, die nicht korreliert sind.
Wir sehen, dass die Ergebnisse deutlich unterschiedlich sind! Die PCA ergab drei Ladungen mit einem Absolutwert von über 0,4, die EFA hingegen keine. Warum? Weil wir bei der EFA implizit eine Analyse einer reduzierten Korrelationsmatrix anfordern, bei der die Diagonalen durch quadrierte multiple Korrelationen (SMC) ersetzt wurden. Ein kurzer Blick auf die Farbkarte der Korrelationen der reduzierten Korrelationsmatrix verdeutlicht, warum man so unterschiedliche Ergebnisse erhält:
Figure 3. Heat map of reduced correlation matrix, where unities in the diagonal have been replaced by squared multiple correlations.Abbildung 3. Heatmap der reduzierten Korrelationsmatrix, wobei Einheiten in der Diagonale durch quadrierte Mehrfachkorrelationen ersetzt wurden.
Jeder Eintrag in der reduzierten Korrelationsmatrix ist in diesem Beispiel sehr klein (nahezu null! Die tatsächlichen Werte sind 0,002, 0,002, 0,004 und 0,001). Bei der PCA wird eine Eigenwertzerlegung der vollständigen Korrelationsmatrix (Abbildung 1) durchgeführt, bei der EFA hingegen erfolgt die Eigenwertzerlegung auf der reduzierten Korrelationsmatrix (Abbildung 3). Unterschiede in den analysierten Daten helfen, Unterschiede zwischen den Analysen zu erklären, aber nichts davon sagt uns, was die Unterschiede aus praktischer Sicht bedeuten…
Praktische Bedeutung der Analyse einer vollständigen vs. reduzierten Korrelationsmatrix
PCA und EFA verfolgen unterschiedliche Ziele: PCA ist eine Technik zur Reduzierung der Dimensionalität von Daten, während EFA eine Technik zur Identifizierung und Messung von Variablen ist, die nicht direkt gemessen werden können (d. h. latente Variablen oder Faktoren). Daher wird bei der PCA die gesamte Varianz der Daten – widergespiegelt durch die vollständige Korrelationsmatrix – zur Lösungsfindung genutzt. Die resultierenden Komponenten sind eine Mischung aus den zu messenden Variablen und anderen Varianzquellen wie Messfehlern (siehe linkes Feld in Abbildung 4).
Im Gegensatz dazu stammt bei der EFA nicht die gesamte Varianz der Daten aus der zugrunde liegenden latenten Variable (siehe rechter Bereich von Abbildung 4). Diese Eigenschaft spiegelt sich im EFA-Algorithmus wider, indem die Korrelationsmatrix mit den SMC-Werten „reduziert“ wird. Dies ist sinnvoll, da ein SMC die Schätzung der Varianz ist, die die zugrunde liegenden Faktoren in einer gegebenen Variable erklären (auch bekannt als Kommunalität). Würden wir die EFA mit Einheiten in der Diagonale durchführen, würden wir implizit sagen, dass die Faktoren die gesamte Varianz in den gemessenen Variablen erklären, und wir würden eine PCA statt einer EFA durchführen.
Figure 4. Graphic comparison of principal components analysis and exploratory factor analysis.Abbildung 4. Grafischer Vergleich der Hauptkomponentenanalyse und der explorativen Faktorenanalyse.
Abbildung 4 veranschaulicht einen weiteren wichtigen Unterschied zwischen PCA und EFA. Beachten Sie, dass die Pfeile bei der PCA von den Messvariablen zur Hauptkomponente zeigen, bei der EFA ist es umgekehrt. Die Pfeile stellen kausale Zusammenhänge dar, sodass die Variabilität der Messvariablen bei der PCA die Varianz der Hauptkomponente verursacht. Dies steht im Gegensatz zur EFA, bei der der latente Faktor als Ursache für die Variabilität und das Korrelationsmuster der Messvariablen angesehen wird (Marcoulides & Hershberger, 1997).
Der Klarheit halber möchte ich noch einige weitere Beobachtungen darlegen. Erstens sind die meisten multivariaten Daten bis zu einem gewissen Grad korreliert, sodass die Unterschiede zwischen PCA und EFA tendenziell nicht so ausgeprägt sind wie in diesem Beispiel. Zweitens gleichen sich die Ergebnisse von PCA und EFA immer mehr an, je mehr Variablen in die Analyse einbezogen werden. Forscher haben argumentiert, dass Analysen mit mindestens 40 Variablen zu geringen Unterschieden führen (Snook & Gorsuch, 1989). Drittens sind die Ergebnisse von PCA und EFA ebenfalls ähnlich, wenn die Kommunalität der gemessenen Variablen hoch ist (d. h. bei Ansatz 1). Und schließlich beruht dieses von mir bevorzugte Beispiel auf der Verwendung der Hauptachsen-Faktorisierungsmethode; es gibt jedoch auch andere Schätzmethoden, deren Ergebnisse variieren würden. Alle diese Beobachtungen müssen berücksichtigt werden, wenn Analysten die Wahl zwischen EFA und PCA treffen. Aber am wichtigsten für Psychometriker (diejenigen, die EFA überhaupt erst entwickelt haben) ist vielleicht die Tatsache, dass EFA eine Theorie über die analysierten Variablen aufstellt; eine Theorie, die auf Spearman (1904) zurückgeht und besagt, dass unbeobachtete Faktoren bestimmen, was wir direkt messen können.
Ich liste unten einige wichtige Punkte auf, beachten Sie jedoch, dass Widaman (2007) eine ausgezeichnete Quelle für weitere Informationen zu diesem Thema ist.
Wichtige Punkte
- PCA ist nützlich, um die Anzahl der Variablen zu reduzieren und gleichzeitig die größtmögliche Menge an Informationen in den Daten beizubehalten, während EFA nützlich ist, um unbeobachtete (latente), fehlerfreie Variablen zu messen.
- Wenn Variablen nichts gemeinsam haben, wie im obigen Beispiel, findet EFA keinen klar definierten zugrunde liegenden Faktor, aber PCA findet eine klar definierte Hauptkomponente, die die maximale Varianz in den Daten erklärt.
- Wenn das Ziel darin besteht, eine fehlerfreie latente Variable zu messen, aber PCA verwendet wird, sind die Komponentenladungen höchstwahrscheinlich höher als bei Verwendung von EFA. Dies würde Analysten zu der Annahme verleiten, sie hätten einen wohldefinierten, fehlerfreien Faktor, obwohl sie in Wirklichkeit eine wohldefinierte Komponente haben, die eine Mischung aller Varianzquellen in den Daten darstellt.
- Wenn das Ziel darin besteht, eine kleine Teilmenge von Variablen zu erhalten, die die größte Variabilität in den Daten beibehalten, aber EFA verwendet wird, sind die Faktorladungen wahrscheinlich niedriger als bei Verwendung von PCA. Dies würde Analysten zu der Annahme verleiten, sie hätten die maximale Varianz in den Daten beibehalten, während sie in Wirklichkeit die Varianz beibehalten haben, die allen gemessenen Variablen gemeinsam ist.
- Der Unterschied zwischen PCA und EFA ist für Analysen relevant, die diese Techniken erweitern, wie etwa die Strukturgleichungsmodellierung (SEM). Die Partial Least Squares SEM (PLS-SEM) modelliert strukturelle Beziehungen zwischen Komponentenvariablen, während die kovarianzbasierte SEM strukturelle Beziehungen zwischen fehlerfreien latenten Variablen modelliert.
Verweise
Marcoulides, GA, & Hershberger, SL (1997). Multivariate statistische Methoden: Ein erster Kurs . Psychology Press.
Snook, SC, & Gorsuch, RL (1989). Komponentenanalyse versus gemeinsame Faktorenanalyse: Eine Monte-Carlo-Studie. Psychologisches Bulletin , 106 , 148-154.
Spearman, C. (1904). „Allgemeine Intelligenz“, objektiv bestimmt und gemessen. Das amerikanische Journal der Psychologie , 15 , 201-293.
Widaman, KF (2007). Gemeinsame Faktoren versus Komponenten: Prinzipien und Grundsätze, Fehler und Missverständnisse. Faktorenanalyse bei 100: Historische Entwicklungen und zukünftige Richtungen , 177-203.
@Peter_Hersh Ich denke, es wäre angemessener zu sagen, dass die Multiple Correspondence Analysis (MCA) der PCA für kategoriale Variablen ähnelt. Außerdem ist die Item-Response-Theorie (IRT) mit der [Bestätigungs-]Faktorenanalyse (CFA) für kategoriale [beobachtete] Variablen vergleichbar, und LCA ist wie IRT, jedoch mit kategorialen latenten Variablen.
Zur weiteren Verdeutlichung: In EFA kennt man nicht a priori die „konfigurale“ Struktur der Daten. Das heißt, welche beobachteten Variablen werden durch die latenten Variablen verursacht? Im Gegensatz dazu ist dies bei CFA bekannt und der Analyst spezifiziert das Modell entsprechend diesem Wissen. Letzteres gilt auch für IRT und LCA.
Wir können alle diese Techniken auch anhand ihrer Fähigkeit zur Schätzung latenter Variablen unterscheiden. Aus dieser Perspektive sind EFA, CFA, IRT und LCA allesamt Modelle zur Schätzung „legitimer“ latenter Variablen. Ich verwende das Wort legitim, weil die latenten Variablen in diesen Modellen die beobachteten Variablen verursachen. Andererseits sind MCA und PCA Modelle zur Dimensionsreduktion, ohne das Verständnis, dass eine unbeobachtete/latente Variable die beobachteten Variablen verursacht.
