Les informaticiens ont longtemps profité de la méthodologie qui leur permet d'extraire des informations à partir d'une variété de documents texte. Leur méthodologie non seulement comptabilise les termes et les phrases dans les textes, mais elle découvre également la structure et donne un aperçu du contenu des textes. D'autre part, la plupart des spécialistes des sciences sociales — qui ont beaucoup de données textuelles dans les champs de commentaires des enquêtes, des transcriptions d'entretiens, etc. - ne semblent pas s'appuyer sur ces méthodes (ceux qui étudient la langue ou collaborent avec des informaticiens sont les rares exceptions).
Dans cet article, j'encourage les spécialistes des sciences sociales à explorer l'éventail des possibilités que l'analyse de texte peut offrir. Je le fais en fournissant une brève explication de deux techniques d'analyse de texte : l'analyse sémantique latente (LSA) et l'analyse thématique (TA). Comme cela deviendra bientôt évident, les spécialistes des sciences sociales ayant une formation en statistiques multivariées seront en mesure d'utiliser, d'appliquer et d'interpréter LSA et TA sans effort (il suffira peut-être de cet article pour vous permettre d'être opérationnel !) Mon explication repose sur deux statistiques techniques bien connues en sciences sociales : l'analyse en composantes principales (ACP) et l'analyse factorielle (AF).
Un examen de l'analyse en composantes principales
L'ACP est une méthode qui nous permet d'identifier et d'extraire des dimensions non corrélées de la variabilité maximale de nos données. Cela se fait par une décomposition des valeurs propres de la matrice de corrélation des données. La figure 1 décrit les étapes impliquées dans la décomposition des valeurs propres et les étapes qui en découlent pour faciliter l'interprétation de l'ACP (notez que la figure est trop simplifiée pour faciliter cet examen).
Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Description des étapes impliquées dans l'analyse en composantes principales.
La matrice de corrélation représente un « nuage de données » dans un espace multidimensionnel. La décomposition des valeurs propres permet d'identifier les principales dimensions perpendiculaires les unes aux autres au sein de ce nuage et produit deux informations clés : vecteurs propres , qui indiquent les directions des dimensions principales, et les valeurs propres , qui identifient la magnitude de chaque dimension et sont les variances des dimensions. Si seulement quelques dimensions capturent la majeure partie de la variabilité des données (c'est-à-dire que les deux premières valeurs propres sont grandes par rapport à toutes les autres), les analystes peuvent choisir de conserver les deux premiers vecteurs propres et valeurs propres pour réduire le nombre de variables qu'ils doivent analyser. Tous les vecteurs propres sont de longueur unitaire mais peuvent être « redimensionnés » en utilisant les informations fournies par les valeurs propres. Ces vecteurs propres remis à l'échelle sont appelés chargements.
Les vecteurs de chargement ont une variabilité égale à leur valeur propre correspondante. De plus, les coefficients de chargement sont des coefficients de corrélation qui décrivent l'association entre la dimension (composante principale) et la variable correspondante. Pour cette raison, les chargements sont essentiels pour comprendre ce que représente une composante principale. Cependant, une matrice de chargement peut avoir un schéma difficile à discerner, comme des chargements d'amplitude modérée sur plusieurs dimensions (voir Matrice de chargement dans la Figure 1). Ainsi, les analystes peuvent choisir de faire pivoter la matrice de chargement dans le but d'améliorer l'interprétation des composants. Le plus souvent, une rotation orthogonale est utilisée (par exemple, Varimax), qui tend à se traduire par un modèle simple de chargements (appelé « structure simple » par Thurstone, 1947). Autrement dit, les chargements sont très élevés pour un composant donné et presque nuls pour tous les autres composants. La structure simple de la matrice de chargement pivotée (voir la figure 1) permet d'identifier avec clarté ce que représente chaque composante principale.
Analyse en composantes principales == Analyse sémantique latente
Maintenant que l'ACP est fraîche dans votre esprit, la bonne nouvelle est que l'analyse sémantique latente (LSA) est simplement une APC effectuée sur une matrice de corrélation de termes de texte (mais sans aucune rotation impliquée). En d'autres termes, les variables de l'analyse sont des colonnes qui indiquent l'incidence d'un terme dans les documents textuels. Cet ensemble de variables est appelé une matrice de termes de document (DTM ; voir Figure 2), qui comporte autant de colonnes qu'il y a de termes dans les documents et autant de lignes qu'il y a de documents. Si nous voulons un DTM binaire, chaque entrée de cellule peut être un 0 ou un 1 selon que le terme donné se trouve dans le document donné. Un DTM de fréquence exige que chaque entrée soit un décompte du nombre de fois où le terme apparaît dans le document donné. Il existe d'autres façons de construire le DTM ; une méthode préférée dans la littérature (Ramos, 2003) est appelée TF-IDF (term frequency-inverse document frequency), que vous pouvez implémenter dans JMP d'un simple clic !
Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Exemple de matrice de termes de document (DTM) de trois documents.
Remarquez que le premier document de la figure 2 contient le mot « de » et pourtant ce terme n'apparaît pas dans le DTM. En effet, il existe d'importantes étapes préliminaires à la création d'un DTM. Voyons ceux-là ensuite !
Configuration des données textuelles pour l'analyse
L'analyse de texte commence par l'identification de l'unité de mesure. Plus précisément, vous devez déterminer ce qui constituera un « document ». Un document peut être une phrase, un paragraphe, un article ou un livre, parmi de nombreux autres choix. L'étape suivante consiste à identifier les termes pertinents dans les documents. Pour ce faire, filtrez les « mots vides » (ces mots extrêmement courants qui ne sont pas susceptibles d'aider à dévoiler la structure dans le corpus de texte, tels que « le », « et », « de », « est », « de » ," etc.). De plus, vous pouvez choisir de condenser des termes similaires en un seul. Par exemple, les colonnes « analyse » et « analyse » de la figure 2 sont redondantes et peuvent être combinées en une seule colonne « analyse ». C'est ce qu'on appelle le stemming. Enfin, tous les mots d'un texte ne doivent pas être séparés. « Scientifiques sociaux » dans la première ligne de la figure 2 en est un exemple. Vous pouvez combiner ces mots en un seul terme avant de créer le DTM (vous pouvez faire la même chose avec des phrases comme "il était une fois").
Toutes les étapes ci-dessus sont essentielles pour une analyse solide. Heureusement, le Plate-forme Explorateur de texte dans JMP facilite ces tâches ! Dans le menu Analyser > Explorateur de texte, affectez la colonne de la table de données contenant les documents en tant que colonne de texte (voir la figure 3). Vous pouvez également personnaliser les options de stemming dans la fenêtre de lancement. Après avoir lancé Text Explorer, vous pouvez encore sélectionner des phrases à considérer comme des termes.
Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Fenêtre de lancement de Text Explorer (à gauche) et rapport initial du lancement de Text Explorer (à droite).
Une fois toutes les étapes préliminaires terminées, vous pouvez créer le DTM et effectuer une PCA avec celui-ci. Cependant, selon la taille de votre DTM (et ils ont tendance à être assez volumineux), un PCA comme je l'ai décrit ci-dessus peut prendre beaucoup de temps à s'exécuter et nécessiter beaucoup de mémoire. Heureusement, JMP utilise la décomposition en valeurs singulières à la place de la décomposition en valeurs propres pour rendre cette analyse très efficace ! Dans un prochain article, j'expliquerai les équivalences entre la décomposition en valeurs propres et la décomposition en valeurs singulières, mais pour l'instant, vous devrez me croire que les deux approches conduiront aux mêmes résultats.
Analyse du sujet
Une autre technique d'analyse de texte intéressante est l'analyse thématique (AT). Cette technique peut également être facilement transposée aux spécialistes des sciences sociales en précisant que TA est simplement PCA avec une rotation Varimax de la matrice de chargement. Semblable à LSA, TA est effectué avec une décomposition en valeurs singulières au lieu d'une décomposition en valeurs propres pour le rendre plus efficace. Les résultats de TA sont susceptibles d'être plus faciles à interpréter que ceux de LSA en raison de la rotation des chargements. Les sujets seront les principales dimensions de la variabilité de vos données textuelles. Les chargements permettent d'interpréter ce que représente le sujet. De plus, les scores des sujets (ou composants) peuvent être calculés et utilisés dans des analyses secondaires.
Pour donner une idée de ce que TA peut faire, j'ai effectué TA sur un ensemble de données de 231 657 blagues*. Pour éviter d'offenser les lecteurs, je ne montre que les résultats de trois sujets issus de l'analyse (Figure 4).
Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Sélectionnez des sujets à partir d'une analyse de sujet (TA) effectuée sur un tableau de données de 231 657 blagues.
Les lecteurs conviendront peut-être qu'il existe une distinction claire entre les types de blagues représentés par chacun des sujets de la figure 4. Pour des exemples plus convaincants d'analyse de texte, voir ce post sur la prévision des cours boursiers futurs, ou lisez une publication récente utilisant des données de médias sociaux (Kern et al., 2016). Ou regarder cette vidéo .
Remarques sur l'analyse factorielle
Dans la section d'ouverture, j'ai dit que je m'appuierais sur les connaissances des spécialistes des sciences sociales sur l'ACP et l'AF. Mais jusqu'à présent, je n'ai parlé que de PCA. Si votre formation était similaire à la mienne, vous savez qu'il existe des différences importantes entre PCA et FA. Dans un message précédent , j'ai décrit ces différences, mais j'ai également mentionné une similitude clé : les résultats de l'ACP et de la FA deviennent de plus en plus similaires à mesure que la matrice de données considérée augmente en taille (si vous voulez un rappel sur la FA, je vous recommande lire le message ). En effet, dans l'analyse de texte, les matrices de données ont tendance à être très grande. Dans le Exemple de matrice de termes de document ci-dessus, le DTM a déjà 10 variables ! Et l'exemple de blague a un DTM avec 4 316 variables !). Ainsi, les sujets ou composants de LSA et TA peuvent être considérés comme des approximations de variables latentes et peuvent être utilisés efficacement pour aborder une myriade de questions de recherche !
Fermer…
Trop souvent, nous permettons à notre trousse d'outils statistiques de déterminer la conception et l'analyse de notre recherche (parfois par inadvertance !). Ainsi, j'espère que cet article ouvre la porte à de nouvelles questions de recherche en sciences sociales (et dans d'autres domaines) qui peuvent être abordées de manière unique avec l'analyse de texte.
Points clés
- L'analyse de texte est sous-utilisée dans les sciences sociales malgré le fait qu'elle s'appuie sur des techniques statistiques bien connues des spécialistes des sciences sociales.
- L'analyse sémantique latente est équivalente à l'analyse en composantes principales effectuée sur une matrice de termes de document.
- Une matrice de termes de document comporte autant de lignes qu'il y a de documents et autant de colonnes qu'il y a de termes dans les documents. Les cellules contiennent l'incidence des termes dans un document donné.
- L'analyse de sujet est équivalente à l'analyse en composantes principales avec une rotation des chargements des composants pour faciliter l'interprétation des sujets. Mais notez que certaines méthodes de regroupement sont parfois également décrites comme une analyse de sujet.
- Étant donné que les matrices de termes de document ont tendance à être assez volumineuses, les spécialistes des sciences sociales peuvent considérer les composants principaux comme de très bonnes approximations de variables latentes ou de sujets latents.
Il y a bien plus à dire sur l'analyse de texte ! Je propose de commencer par ce webcast à la demande , qui fait un excellent travail pour décrire beaucoup plus de détails. Vous pouvez également voir mon message à propos de la plate-forme Text Explorer dans JMP, en particulier Rubrique Pierre de Rosette , qui clarifie davantage les liens entre PCA et LSA/TA.
Références
- Kern, ML, Parc, G., Eichstaedt, JC, Schwartz, HA, Sap, M., Smith, LK, & Ungar, LH (2016). Obtenir des informations à partir du langage des médias sociaux : méthodologies et défis. Méthodes psychologiques. Publication en ligne anticipée. http://dx.doi.org/10.1037/met0000091
- Ramos, J. (2003, décembre). Utilisation de tf-idf pour déterminer la pertinence des mots dans les requêtes de documents. Dans Actes de la première conférence pédagogique sur l'apprentissage automatique (Vol. 242, p. 133-142).
- Thurstone, LL (1947). Analyse factorielle multiple . Chicago: University of Chicago Press, 1947.
* Merci à amoudgl qui a rendu ce fichier librement disponible ici : https://github.com/amoudgl/short-jokes-dataset
