Dois-je utiliser l'analyse en composantes principales (ACP) ou l'analyse factorielle exploratoire (AFE) pour mon travail ? C'est une question fréquente à laquelle sont confrontés les analystes travaillant avec des données multivariées, tels que les spécialistes en sciences sociales, les chercheurs en consommation ou les ingénieurs.
Dans cet article, je partage mon exemple préféré pour expliquer une différence essentielle entre l'ACP et l'EFA. Cette distinction ouvre la voie à d'autres différences importantes et permet de déterminer la technique la plus adaptée à une application donnée. Un mauvais choix peut entraîner des résultats trompeurs ou une mauvaise compréhension des données.
Un exemple illustratif
Commençons par créer des données suivant une distribution normale standard (un script JSL pour toutes les analyses de cet article est joint si vous souhaitez suivre). Plus précisément, je crée un tableau de données contenant 1 000 observations sur quatre variables non corrélées entre elles.
Nous pouvons utiliser la plateforme multivariée de JMP pour examiner les corrélations entre les variables et confirmer leur indépendance. J'aime particulièrement utiliser la carte de couleurs des corrélations pour illustrer les corrélations nulles hors diagonale :
Figure 1. Correlation coefficients and corresponding heat map for four simulated variables. Figure 1. Coefficients de corrélation et carte thermique correspondante pour quatre variables simulées. Posons-nous maintenant une question importante : quels seraient les résultats si j'utilisais l'ACP sur ces données ? Et quels seraient les résultats si j'utilisais l'AFE ? En cas de doute, poursuivez votre lecture.
Utilisons la plateforme d'analyse factorielle de JMP pour réaliser simultanément une ACP et une AFE sur ces données. Je ne conserverai qu'une seule composante/un seul facteur, car nous disposons d'un nombre réduit de variables. Cela élimine également toute rotation.
Les pondérations des composantes ou des facteurs issues des analyses sont essentielles pour comprendre leur représentation. Les variables présentant des pondérations élevées (généralement définies comme égales ou supérieures à 0,4 en valeur absolue, car cela suggère qu'au moins 16 % de la variance mesurée de la variable chevauche la variance du facteur) sont les plus représentatives de la composante ou du facteur. Ci-dessous, nous pouvons comparer les pondérations des composantes (affichées en premier) aux pondérations des facteurs (affichées en second).
Figure 2. Component and factor loadings from a principal components analysis and exploratory factor analysis on four simulated variables that are uncorrelated.Figure 2. Charges des composantes et des facteurs à partir d’une analyse en composantes principales et d’une analyse factorielle exploratoire sur quatre variables simulées qui ne sont pas corrélées.
On constate que les résultats sont remarquablement différents ! L'ACP nous a donné trois loadings supérieurs à 0,4 en valeur absolue, tandis que l'AFE n'en a donné aucun. Pourquoi ? Parce que l'AFE exige implicitement une analyse sur une matrice de corrélation réduite , pour laquelle les corrélations diagonales ont été remplacées par des corrélations multiples au carré (CMC). En effet, un rapide coup d'œil à la carte des couleurs des corrélations de la matrice de corrélation réduite permet de comprendre pourquoi on obtient des résultats aussi différents :
Figure 3. Heat map of reduced correlation matrix, where unities in the diagonal have been replaced by squared multiple correlations.Figure 3. Carte thermique de la matrice de corrélation réduite, où les unités de la diagonale ont été remplacées par des corrélations multiples au carré.
Dans cet exemple, chaque entrée de la matrice de corrélation réduite est très petite (quasiment nulle ! Les valeurs réelles sont 0,002, 0,002, 0,004 et 0,001). Une décomposition en valeurs propres de la matrice de corrélation complète (figure 1) est effectuée en ACP, tandis que pour l'AFE, la décomposition en valeurs propres est effectuée sur la matrice de corrélation réduite (figure 3). Les différences entre les données analysées contribuent à expliquer les différences entre les analyses, mais rien de tout cela ne nous dit ce que ces différences signifient d'un point de vue pratique…
Signification pratique de l'analyse d'une matrice de corrélation complète ou réduite
L'ACP et l'AFE ont des objectifs différents : l'ACP est une technique permettant de réduire la dimensionnalité des données, tandis que l'AFE permet d'identifier et de mesurer des variables non mesurables directement (variables ou facteurs latents). Ainsi, en ACP, toute la variance des données , reflétée par la matrice de corrélation complète, est utilisée pour obtenir une solution, et les composantes résultantes sont un mélange de ce que les variables sont censées mesurer et d'autres sources de variance, comme l'erreur de mesure (voir le panneau de gauche de la figure 4).
En revanche, dans l'AFE, la variance des données ne provient pas entièrement de la variable latente sous-jacente (voir le panneau de droite de la figure 4). Cette caractéristique se reflète dans l'algorithme de l'AFE en « réduisant » la matrice de corrélation avec les valeurs du CMS. Ceci est pertinent car un CMS est l'estimation de la variance expliquée par le ou les facteurs sous-jacents dans une variable donnée (communauté). Si nous effectuions l'AFE avec des unités dans la diagonale, nous dirions implicitement que les facteurs expliquent toute la variance des variables mesurées, et nous ferions alors une ACP plutôt qu'une AFE.
Figure 4. Graphic comparison of principal components analysis and exploratory factor analysis.Figure 4. Comparaison graphique de l’analyse en composantes principales et de l’analyse factorielle exploratoire.
La figure 4 illustre également une autre distinction importante entre l'ACP et l'AFE. Notez que les flèches de l'ACP pointent des variables mesurées vers la composante principale, tandis que l'AFE est l'inverse. Les flèches représentent les relations causales, de sorte que la variabilité des variables mesurées en ACP est à l'origine de la variance de la composante principale. Ceci contraste avec l'AFE, où le facteur latent est considéré comme responsable de la variabilité et du schéma de corrélation entre les variables mesurées (Marcoulides et Hershberger, 1997).
Par souci de clarté, il est important de souligner quelques observations supplémentaires. Premièrement, la plupart des données multivariées sont corrélées dans une certaine mesure, de sorte que les différences entre l'ACP et l'AFE ne sont généralement pas aussi marquées que dans cet exemple. Deuxièmement, à mesure que le nombre de variables impliquées dans l'analyse augmente, les résultats de l'ACP et de l'AFE deviennent de plus en plus similaires. Des chercheurs ont avancé que les analyses comportant au moins 40 variables entraînent des différences mineures (Snook et Gorsuch, 1989). Troisièmement, si la communauté des variables mesurées est élevée (c'est-à-dire proche de 1), les résultats entre l'ACP et l'AFE sont également similaires. Enfin, mon exemple préféré repose sur l'utilisation de la méthode de factorisation de l'« axe principal », mais il existe d'autres méthodes d'estimation pour lesquelles les résultats varieraient. Toutes ces observations doivent être prises en compte lorsque les analystes font leur choix entre l'AFE et l'ACP. Mais le plus important peut-être pour les psychométriciens (ceux qui ont développé l'AFE en premier lieu) est le fait que l'AFE postule une théorie sur les variables analysées ; une théorie qui remonte à Spearman (1904) et qui suggère que des facteurs non observés déterminent ce que nous sommes capables de mesurer directement.
Je liste ci-dessous quelques points clés, mais notez qu’une excellente source pour continuer à en apprendre davantage sur ce sujet est Widaman (2007).
Points clés
- L'ACP est utile pour réduire le nombre de variables tout en conservant la plus grande quantité d'informations dans les données, tandis que l'EFA est utile pour mesurer des variables non observées (latentes) et sans erreur.
- Lorsque les variables n'ont rien en commun, comme dans l'exemple ci-dessus, l'EFA ne trouvera pas de facteur sous-jacent bien défini, mais l'ACP trouvera une composante principale bien définie qui explique la quantité maximale de variance dans les données.
- Lorsque l'objectif est de mesurer une variable latente sans erreur, mais que l'ACP est utilisée, les saturations des composantes seront probablement plus élevées qu'elles ne l'auraient été avec l'AFE. Cela pourrait induire les analystes en erreur en leur faisant croire qu'ils disposent d'un facteur bien défini et sans erreur, alors qu'en réalité, ils disposent d'une composante bien définie, qui regroupe toutes les sources de variance des données.
- Lorsque l'objectif est d'obtenir un petit sous-ensemble de variables conservant la plus grande variabilité dans les données, mais que l'analyse économique fonctionnelle est utilisée, les pondérations factorielles seront probablement inférieures à celles obtenues avec l'analyse en composantes principales. Cela pourrait induire les analystes en erreur en leur faisant croire qu'ils ont conservé la variance maximale des données, alors qu'en réalité, ils ont conservé la variance commune aux variables mesurées.
- La différence entre l'ACP et l'AFE est pertinente pour les analyses qui étendent ces techniques, comme la modélisation par équations structurelles (MES). La MES par les moindres carrés partiels (PLS-MES) modélise les relations structurelles entre les variables composantes, tandis que la MES basée sur la covariance modélise les relations structurelles entre les variables latentes sans erreur.
Références
Marcoulides, GA, et Hershberger, SL (1997). Méthodes statistiques multivariées : un premier cours . Psychology Press.
Snook, SC, et Gorsuch, RL (1989). Analyse en composantes versus analyse factorielle commune : une étude de Monte-Carlo. Bulletin psychologique , 106 , 148-154.
Spearman, C. (1904). « Intelligence générale », objectivement déterminée et mesurée. La Revue Américaine de Psychologie , 15 , 201-293.
Widaman, KF (2007). Facteurs communs versus composantes : principes, erreurs et idées fausses. Analyse factorielle à 100 ans : développements historiques et orientations futures , 177-203.
@Peter_Hersh Je pense qu'il serait plus approprié de dire que l'analyse des correspondances multiples (MCA) est similaire à l'ACP pour les variables catégorielles. De plus, la théorie de la réponse aux éléments (IRT) est comparable à l'analyse factorielle [confirmatoire] (CFA) pour les variables catégorielles [observées], et l'ACV est comme l'IRT mais avec des variables latentes catégorielles.
Pour clarifier davantage, dans EFA, on ne connaît pas a priori la structure « configurée » des données. Autrement dit, quelles variables observées sont causées par les variables latentes ? En revanche, cela est connu en CFA et l'analyste précise le modèle en fonction de cette connaissance. Ce dernier point est également vrai pour l’IRT et l’ACV.
On peut également distinguer toutes ces techniques en fonction de leur capacité à estimer des variables latentes. De ce point de vue, EFA, CFA, IRT et LCA sont tous des modèles permettant d'estimer des variables latentes « légitimes ». J'utilise le mot légitime parce que les variables latentes dans ces modèles provoquent les variables observées. D'un autre côté, MCA et PCA sont des modèles de réduction de dimension, sans comprendre qu'une variable inobservée/latente est à l'origine des variables observées.
