Bei der Untersuchung von Beziehungen in multivariaten Daten wird die Hauptkomponentenanalyse (PCA) verwendet, um die Dimensionen auf etwa zwei oder drei Dimensionen zu reduzieren und die Beziehungen zwischen den Daten zu untersuchen.) wird häufig verwendet.
In den letzten Jahren haben jedoch Methoden wie UMAP und t-SNE als Methoden zur Dimensionsreduktion Aufmerksamkeit erregt. Hierbei handelt es sich um nichtlineare Dimensionsreduktionsmethoden, die auch dann wirksam sind, wenn die Hauptkomponentenanalyse der linearen Dimensionsreduktionsmethode die Datenstruktur nicht gut darstellen kann.
Bei diesen Methoden handelt es sich auch um Dimensionsreduktionsmethoden, sodass Sie mehrdimensionale Daten auf zwei oder drei Dimensionen reduzieren und Muster in den Daten visuell untersuchen können.
Im Bereich des maschinellen Lernens werden UMAP und t-SNE auch häufig zur Dimensionsreduktion eingesetzt. Es ist beispielsweise in einer Vielzahl von Anwendungen wie Bilderkennung, Textklassifizierung und genetischer Analyse wirksam.
JMP Pro verfügt einfach über eine Plattform namens „Multivariate Embedding“ und ist mit UMAP- und t-SNE-Techniken ausgestattet.
Beispiel für die Probengruppierung mit t-SNE
In diesem Blog verwenden wir Spektraldaten, um die Dimensionalität zu reduzieren und Datenbeziehungen mithilfe von Hauptkomponentenanalyse-, UMAP- und t-SNE-Techniken zu visualisieren. Zu diesem Zeitpunkt prüfen wir, ob die Daten mit Beschriftungen erfolgreich getrennt werden können.
Verwendete Spektraldaten
Was wir dieses Mal verwenden werden, sind Daten des mittleren Infrarotspektrums von Olivenöl. *
Durch Probenahmen wurden die Spektren von 60 Olivenölsorten erfasst. Jeder Stichprobe werden Länderinformationen hinzugefügt. Wir werden prüfen, ob das Herkunftsland (Griechenland, Italien, Portugal, Spanien) anhand dieser multivariaten Spektrumsdaten klassifiziert werden kann.
Beim maschinellen Lernen entsprechen Informationen zum Herkunftsland einem „Etikett“ und sind überwachte Daten. Die folgende Analyse konzentriert sich auf die Frage, ob es anhand der Kennzeichnung klassifiziert werden kann.
Ich habe „Graph Builder“ verwendet, um die Spektren nach Herkunftsland grafisch darzustellen. Es zeigt die Intensität für jede Wellenzahl an, sodass Sie die Eigenschaften des Spektrums jedes Landes und die Unterschiede zu anderen Ländern, wie Spitzen bei bestimmten Wellenzahlen, große und kleine Schwankungen der Intensität usw., visuell überprüfen können.
*Datenquelle:
Daten für: Klassifizierung von Spektrendaten mit Kernel Extreme Learning – Mendeley Data
Dimensionsreduktion mittels Hauptkomponentenanalyse
Zunächst führen wir eine Hauptkomponentenanalyse (PCA) dieser Spektraldaten durch und visualisieren die ersten beiden Komponenten in einem Score-Plot.
Da wir die Intensität bei einer Wellenzahl von 570 messen, haben wir die 570er-Dimension auf 2 Dimensionen reduziert.
Wenn Sie sich das Bewertungsdiagramm ansehen, können Sie erkennen, dass sich die verschiedenen Diagrammpunkte stark überschneiden, was darauf hindeutet, dass das Herkunftsland des Olivenöls nicht gut getrennt ist. Die durch die Hauptkomponentenanalyse durchgeführte Dimensionsreduzierung basiert auf einer linearen Transformation. Wenn die Daten also nichtlinear verteilt sind, kann die Struktur der Daten möglicherweise nicht gut erfasst werden.
Dimensionsreduktion mit UMAP, t-SNE
Als nächstes führen wir UMAP und t-SNE für die Olivenöldaten durch.
Wählen Sie in JMP Pro Analysieren > Multivariat > Multivariate Einbettung aus .
- Geben Sie im Startdialog eine kontinuierliche Spalte (in diesem Beispiel 570 Spalten, die die Intensität in Wellenzahlen darstellen) als [Y, Spalte] an.
- Optional können Sie die Methode, Abmessungen nach Dimensionsreduzierung usw. auswählen.
- Unter „Methode“ können Sie [UMAP] oder [t-SNE] auswählen. Der Standardwert ist [UMAP].
- Sie können Dimension nach Dimensionsreduzierung auswählen. Der Standardwert ist „2“ (zwei Dimensionen).
Es werden die Diagramme angezeigt, wenn sowohl UMAP als auch t-SNE mit diesen Operationen ausgeführt werden (unten links: UMAP, unten rechts: t-SNE).
Ein Vergleich mit dem Score-Plot der Hauptkomponentenanalyse zeigt, dass die Herkunftsländer von Olivenöl einigermaßen getrennt werden können. Insbesondere die orange Farbe Spanien lässt sich nahezu deutlich von anderen Herkunftsländern unterscheiden.
Als nächstes setzen wir die „Dimension nach Dimensionsreduktion“ auf 3 und visualisieren sie in 3D. Multivariate Einbettungsberichte zeigen dreidimensionale Diagramme an. Dieser Plot kann durch Ziehen des Cursors verschoben werden und ist auch in der dritten Dimension gut klassifiziert.Sie können darüber nachdenken, was getan wird.
Im zweidimensionalen Diagramm von t-SNE war es nicht möglich, alle Farben außer Orange (Spanien) zu klassifizieren, aber im dreidimensionalen Diagramm war es möglich, Grün (Italien), Rot (Griechenland) zu klassifizieren. und blau (Portugal) bis zu einem gewissen Grad.
Sowohl UMAP als auch t-SNE sind nichtlineare Dimensionsreduktionsmethoden, die die Dimensionalität reduzieren, sodass Beziehungen zwischen nahegelegenen Datenpunkten in einem hochdimensionalen Raum auch in niedrigen Dimensionen aufrechterhalten werden können. Dies macht es zu einer großartigen Möglichkeit, Daten visuell zu gruppieren.
Während die Hauptkomponentenanalyse jedoch Achsen aus Berichten wie Ladediagrammen interpretiert, konzentrieren sich UMAP- und t-SNE-Methoden darauf, Beziehungen zwischen Daten (Stichproben) zu finden, sie in Gruppen zu unterteilen und Muster zu finden. Daher kann es schwierig sein, die Bedeutung zu interpretieren der Achsen.
Im obigen UMAP-Diagramm sind beispielsweise viele der orangefarbenen Daten für Spanien unten rechts dargestellt, es ist jedoch schwierig anzugeben, was die Position unten rechts in den zweidimensionalen Koordinaten bedeutet.
Vergleich von UMAP und t-SNE
UMAP soll eine schnellere Berechnungsgeschwindigkeit als t-SNE haben. Es heißt auch, dass das Anpassen von Parametern mit UMAP einfacher sei.
Tatsächlich wurde in diesem Beispiel von Spektraldaten eine Warnung bezüglich der Konvergenzberechnung angezeigt, als t-SNE mit den Standardparametereinstellungen ausgeführt wurde. Wie in der Nachricht erwähnt, wurde das Problem durch Lockerung des Konvergenzkriteriums (1e-8⇒1e-4) und Erhöhung der maximalen Anzahl von Iterationen (1000⇒10000) gelöst.
Beim Vergleich von UMAP und t-SNE heißt es, dass UMAP im Allgemeinen besser ist, in der Praxis ist es jedoch besser, sowohl UMAP als auch t-SNE auszuprobieren und die Ergebnisse zu vergleichen. Im Fall von t-SNE können die Berechnungen jedoch bei der Verarbeitung großer Datenmengen einige Zeit in Anspruch nehmen und in einigen Fällen müssen möglicherweise Parameter angepasst werden.
von Naoyu Masukawa (JMP Japan)
Naohiro Masukawa – JMP-Benutzergemeinschaft
