Lors de l'examen des relations dans des données multivariées, l'analyse en composantes principales (ACP) est utilisée pour réduire les dimensions à environ deux ou trois dimensions et examiner les relations entre les données.) est souvent utilisé.
Cependant, ces dernières années, des méthodes telles que UMAP et t-SNE ont attiré l'attention en tant que méthodes de réduction de dimensionnalité. Il s'agit de méthodes de réduction de dimension non linéaire et sont considérées comme efficaces même lorsque la structure des données ne peut pas être correctement exprimée à l'aide de l'analyse en composantes principales, qui est une méthode de réduction de dimension linéaire.
Ces méthodes sont également des méthodes de réduction de dimensionnalité, ce qui vous permet de réduire les données multidimensionnelles à deux ou trois dimensions et d'examiner visuellement les modèles dans les données.
Dans le domaine de l'apprentissage automatique, UMAP et t-SNE sont également largement utilisés à des fins de réduction de dimensionnalité. Par exemple, il est utile dans diverses applications telles que la reconnaissance d’images, la classification de textes et l’analyse génétique.
JMP Pro dispose d'une plate-forme appelée « Multivariate Embedding », qui inclut les techniques UMAP et t-SNE.
Exemple de regroupement d'échantillons utilisant t-SNE
Dans ce blog, nous utilisons des données spectrales pour réduire la dimensionnalité et visualiser les relations entre les données à l'aide des techniques d'analyse en composantes principales, UMAP et t-SNE. À ce moment-là, nous vérifierons si les données comportant des étiquettes peuvent être séparées avec succès.
Données spectrales utilisées
Ce que nous utiliserons cette fois, ce sont les données du spectre infrarouge moyen de l'huile d'olive. *
Les spectres de 60 types d'huile d'olive ont été collectés par échantillonnage. Des informations sur le pays sont ajoutées à chaque échantillon. Nous examinerons si le pays d'origine (Grèce, Italie, Portugal, Espagne) peut être classé à partir de ces données à spectre multivarié.
En apprentissage automatique, les informations sur le pays d'origine sont équivalentes à une « étiquette » et constituent des données supervisées. L'analyse qui suit portera sur la question de savoir s'il peut être classé selon l'étiquette.
J'ai utilisé "Graph Builder" pour représenter graphiquement les spectres par pays d'origine. Il affiche l'intensité de chaque numéro d'onde et vous permet de vérifier visuellement les caractéristiques du spectre de chaque pays et les différences par rapport aux autres pays, telles que les pics à des numéros d'onde spécifiques et ceux présentant des fluctuations d'intensité grandes ou petites.
*La source de données:
Données pour : Classification de données Spectra avec Kernel Extreme Learning - Mendeley Data
Réduction de la dimensionnalité à l'aide de l'analyse en composantes principales
Tout d’abord, nous effectuons une analyse en composantes principales (ACP) sur ces données spectrales et visualisons les deux premières composantes dans un graphique de score.
Puisque nous mesurons l’intensité à un nombre d’onde de 570, nous avons réduit la dimension 570 à 2 dimensions.
En regardant le graphique des scores, vous pouvez voir que les différents points du graphique se chevauchent beaucoup, ce qui indique que le pays d'origine de l'huile d'olive n'est pas bien séparé. La réduction de dimensionnalité effectuée par l'analyse en composantes principales est basée sur une transformation linéaire, donc si les données sont distribuées de manière non linéaire, il se peut qu'elles ne soient pas en mesure de bien capturer la structure des données.
Réduction de dimensionnalité à l'aide de UMAP, t-SNE
Ensuite, nous effectuerons UMAP et t-SNE sur les données sur l'huile d'olive.
Dans JMP Pro, sélectionnez Analyser > Multivarié > Intégration multivariée .
- Dans la boîte de dialogue de démarrage, spécifiez une colonne continue (dans cet exemple, 570 colonnes représentant l'intensité en nombres d'onde) comme [Y, Column].
- En option, vous pouvez sélectionner la méthode, les dimensions après réduction des dimensions, etc.
- Vous pouvez sélectionner [UMAP] ou [t-SNE] dans « Méthode ». La valeur par défaut est [UMAP].
- Vous pouvez sélectionner Dimension après la réduction des dimensions. La valeur par défaut est « 2 » (deux dimensions).
Les tracés lorsque UMAP et t-SNE sont exécutés avec ces opérations sont affichés (en bas à gauche : UMAP, en bas à droite : t-SNE).
Une comparaison avec le diagramme de score de l'analyse en composantes principales montre que les pays d'origine de l'huile d'olive peuvent être séparés dans une certaine mesure. En particulier, la couleur orange de l'Espagne se distingue presque clairement des autres pays d'origine.
Ensuite, définissons la "dimension après réduction de dimension" sur 3 et visualisons-la en 3D. Les rapports d'intégration multivariés affichent des tracés en trois dimensions. Ce tracé peut être déplacé en faisant glisser le curseur, et il est bien classé incluant la troisième dimension.Vous pouvez considérer ce qui est fait.
Dans le tracé bidimensionnel du t-SNE, il n'a pas été possible de classer toutes les couleurs autres que l'orange (Espagne), mais dans le tracé tridimensionnel, il a été possible de classer le vert (Italie), le rouge (Grèce), et bleu (Portugal) dans une certaine mesure.
UMAP et t-SNE sont des méthodes de réduction de dimension non linéaire qui réduisent la dimensionnalité afin que les relations entre des points de données proches dans un espace de grande dimension puissent être maintenues même dans de faibles dimensions. Cela en fait un excellent moyen de regrouper visuellement les données.
Cependant, alors que l'analyse en composantes principales interprète les axes des rapports tels que les tracés de chargement, les méthodes UMAP et t-SNE se concentrent sur la recherche de relations entre les données (échantillons), leur division en groupes et la recherche de modèles. Par conséquent, il peut être difficile d'interpréter la signification. des axes.
Par exemple, dans le graphique UMAP ci-dessus, une grande partie des données orange pour l'Espagne sont tracées en bas à droite, mais il est difficile de préciser ce qu'indique la position en bas à droite des coordonnées bidimensionnelles.
Comparaison de l'UMAP et du t-SNE
UMAP aurait une vitesse de calcul plus rapide que le t-SNE. On dit aussi que le réglage des paramètres est plus facile avec UMAP.
En fait, dans cet exemple de données spectrales, lorsque t-SNE était exécuté avec les paramètres par défaut, un avertissement concernant le calcul de convergence était affiché. Comme mentionné dans le message, ce problème a été résolu en assouplissant le critère de convergence (1e-8⇒1e-4) et en augmentant le nombre maximum d'itérations (1000⇒10000).
En comparant UMAP et t-SNE, on dit que UMAP est généralement meilleur, mais en pratique, il est préférable d'essayer à la fois UMAP et t-SNE et de comparer les résultats. Cependant, dans le cas du t-SNE, lorsqu’il s’agit de données à grande échelle, les calculs peuvent prendre du temps et les paramètres peuvent devoir être ajustés dans certains cas.
par Naoyu Masukawa (JMP Japon)
Naohiro Masukawa - Communauté d'utilisateurs JMP
