PCA + Clusteranalyse für SpektraldatenHallo!
Ich habe mich gefragt, ob mir jemand bei den Schritten zur Durchführung einer PCA- und Clusteranalyse von Spektraldaten helfen kann.
Ich habe bereits alle meine Spektraldaten (Intensitäten) normalisiert. Ich habe Proben, die sich in ihrer Zusammensetzung unterscheiden, und dann durchläuft jede von ihnen unterschiedliche Verarbeitungsschritte. Ich hoffe, dass mir multivariate Techniken helfen können, indem sie diskutieren, was in Bezug auf die Clusterung von Proben besser ist (Zusammensetzung oder Verarbeitungsschritt).
Falls es hilfreich ist, habe ich eine Kurzfassung meiner Daten angehängt.
Dank im Voraus!!
Mariana
Erweiterte statistische ModellierungBetreff: PCA + Clusteranalyse für SpektraldatenHallo @Mariana_Aguilar ,
Ich sehe mindestens zwei Möglichkeiten, Ihren Kurvendatensatz zu erkunden (eine mit JMP, die zweite mit JMP Pro):
- Mit JMP : Sie können die Plattform „Kurve anpassen “ mit einem gestapelten Datenformat verwenden, indem Sie „Normale Intensität“ als Y, „Wellenlänge (nm)“ als X und „Probe“ als By-Variablen festlegen. Anschließend können Sie einen Skew Normal Peak (verfügbar in Peak-Modellen im roten Dreieck) an Ihre 4 Proben anpassen und die Parameter der angepassten Kurven extrahieren: Position , Skalierung , Schiefe und Spitzenwert (klicken Sie mit der rechten Maustaste auf die Tabelle „Parameterschätzungen“ und klicken Sie auf „Kombinierte Datentabelle erstellen“). Eine neue Tabelle wird in einem Stapelformat geöffnet.
Sie können diese Tabelle aufteilen und die Parameterschätzungen in der PCA-Plattform verwenden, um zu beurteilen, wie ähnlich/unterschiedlich die beiden Prozesse und Zusammensetzungen sind:
Die meisten Abweichungen scheinen prozessbedingt zu sein, wobei die erste Hauptkomponente für etwa 95 % der Abweichungen in den Parameterwerten verantwortlich ist und mit dem Prozess zusammenhängt.
Durch hierarchisches Clustering wird auch deutlich, dass die größten Unterschiede zwischen den Proben auf einen Unterschied im Verfahren zurückzuführen sein könnten (Pasteurisierung vs. Dispersion, erste Aufteilung im Clustering):
-
Mit JMP Pro : Sie können den Functional Data Explorer mit einem gestapelten Datenformat verwenden, indem Sie „Intensität normalisiert“ als Y, Ausgabe, „Wellenlänge (nm)“ als X, Eingabe und „Probe“ als ID, Funktionsvariablen festlegen.
Sie können dann ein B-Spline-Modell an Ihre Kurvendaten anpassen, und ein kubisches Modell mit 17 Splines sollte gut funktionieren:
Sie können sich dann direkt das Score-Diagramm ansehen, um Ihre Beispiele mit einer oder zwei funktionalen Hauptkomponenten zu visualisieren:
Sie werden erneut feststellen, dass dieser Prozess den größten Unterschied in den Kurvenprofilen Ihrer Probe zu verursachen scheint (entsprechend FPC1, das für 99,8 % der Variation in den Kurvendaten verantwortlich ist).
Diese Schlussfolgerung hinsichtlich der Prozesswichtigkeit kann auch leicht mit dem Graph Builder visualisiert werden (die IDs der beiden Stichproben sind sehr ähnlich, aber die Änderung der Kurve kann größtenteils auf Prozessunterschiede zurückgeführt werden):
In der beigefügten Datentabelle finden Sie Skripte zum Durchführen der hier beschriebenen Analyse.
Ich hoffe, diese beiden Lösungen können Ihnen helfen,
Betreff: PCA + Clusteranalyse für SpektraldatenHallo @Mariana_Aguilar ,
Ich würde vorschlagen, dass Sie einen Blick auf die folgenden Ressourcen zur multivariaten Analyse von Spektraldaten von @Bill_Worley werfen. Sie vermitteln Ihnen ein gutes Verständnis der relevanten Tools in JMP, die Ihnen dabei helfen:
https://www.jmp.com/en_be/articles/analyzing-spectral-data-multivariate-methods.html
https://community.jmp.com/t5/Mastering-JMP/Building-Predictive-Models-for-Corlated-and-High-Dimensional/ta-p/618888
https://community.jmp.com/t5/Discovery-Summit-Americas-2020/Using-Multivariate-Tools-in-JMP-for-Analysis-of-Spectral-Data/ta-p/281561
Danke,
Ben
Betreff: PCA + Clusteranalyse für SpektraldatenHallo Victor, vielen Dank für Ihre freundliche und ausführliche Antwort.
Wenn es Ihnen nichts ausmacht, habe ich noch ein paar Fragen …
1. Für die erste Option (über das Menü „Kurve anpassen“). Ich kann die Skew Normal Peaks im Menü „Peak Models“ nicht finden. Ich habe es mit Gaussian (grün) versucht, aber zumindest optisch scheint es keine gute Anpassung zu sein. Dann habe ich es mit ExGaussian versucht, was besser zu sein scheint, aber ich bin mir nicht sicher, ob ich dadurch meine angepassten Kurvenparameter komplexer gestalten würde?
Und meine zweite Frage betrifft die zweite Option.
Wissen Sie, wie ich die erhaltenen Hauptkomponenten der Functional Data Explorer-Plattform speichern kann, damit ich mit dem hierarchischen Clustering fortfahren kann? (Oder ob es innerhalb der Plattform eine andere Option gibt, um mit dem Clustering fortzufahren?)
Vielen Dank!
Mariana
Betreff: PCA + Clusteranalyse für SpektraldatenOh, noch ein Zweifel, wenn ich darf!
Worin besteht in der Plattform des funktionalen Daten-Explorers der Unterschied zwischen der Vorverarbeitung der Daten mit B-Spline und der direkten Verwendung von Direct Functional PCA im Modellmenü (unter dem roten Dreieck):
Danke!
Betreff: PCA + Clusteranalyse für SpektraldatenHallo @Mariana_Aguilar ,
Zu Ihren Fragen:
- Ich glaube, dieser neue Modelltyp „ Skew Normal Peak “ wurde erst in JMP 18 eingeführt. Wenn Sie also mit JMP 17 arbeiten, haben Sie nur Zugriff auf die drei von Ihnen genannten Optionen: Fit Curve Options
Wenn Sie JMP 18 momentan nicht haben können, stimme ich zu, dass ExGaussian eine geeignetere Modellierungsoption sein könnte, da Ihre Spitzen anscheinend etwas verzerrt sind. Das Gaußsche Spitzenmodell ist geeigneter, wenn Sie symmetrische Gaußsche Spitzen haben.
Ich verstehe nicht, wie ExGaussian dem Modell mehr „Komplexität“ hinzufügen könnte, da es zwischen ExGaussian und Gaussian nur einen Unterschied in der Modellkomplexität von einem Parameter gibt. Wenn man sich die Informationskriterien AICc und BIC ansieht, kann man sehen, dass das Hinzufügen eines Parameters die Modellierung tatsächlich verbessert, es besteht ein besseres Gleichgewicht zwischen Modellanpassung und Modellkomplexität (je niedriger das Informationskriterium AICc/BIC, desto besser).
- In der Plattform „Functional Data Explorer“ können Sie die funktionalen Hauptkomponenten speichern: Gehen Sie in den Bereich „ Funktionszusammenfassungen “, klicken Sie auf das rote Dreieck und von dort aus können Sie die Funktionzusammenfassungen und FPCs anpassen und speichern:
Sie können Ihre Proben mit den FPCs direkt in einem 2D-Diagramm visualisieren, wenn Sie das Score-Diagramm betrachten:
Ich hoffe, diese ergänzenden Antworten werden Ihnen helfen,
Betreff: PCA + Clusteranalyse für SpektraldatenHallo @Mariana_Aguilar ,
Der Unterschied liegt, wie Sie erwähnen, in der Verwendung und Vorverarbeitung der Daten: Bei einem B-Spline oder P-Spline verwenden Sie zunächst ein Modell, das Ihren Rohkurvendaten entspricht, und können dann auf der Grundlage dieses Modells die funktionalen Hauptkomponenten berechnen (Näherung).
Mit direkten Modellen wie der direkten funktionalen PCA führen Sie direkt eine Singulärwertzerlegung (SVD) an Ihren Rohdaten durch, um Eigenwerte und Eigenfunktionen zu extrahieren. Weitere Informationen finden Sie hier: Arten von funktionalen Modellanpassungen
Um zu bestimmen, was eine geeignete Option wäre, können Sie verschiedene Modelle anpassen und sie anhand statistischer Metriken (wie den Informationskriterien AICc und BIC) und mit den Visualisierungen der Diagnosediagramme bewerten, um die Eignung/Präzision des Modells zu bewerten. In Ihrem Fall scheint es eine gute Option zu sein, B-Splines anzuwenden, bevor Sie mit Ihren Kurvendaten funktionale Hauptkomponenten extrahieren, da die Residuen der Modelle im Gegensatz zu denen der direkten funktionalen PCA sehr niedrig und homogen sind:
Diagnosediagramme für B-Splines:
Diagnosediagramme für Direct FPCA:
Hoffe, diese Antwort wird Ihnen helfen,
Betreff: PCA + Clusteranalyse für SpektraldatenDanke, Victor!
