In unseren beiden vorherigen Blogbeiträgen hat Jeremy Ash ( @JeremyAshJMP ) und ich präsentierte JMP Spektralanalyse- und Visualisierungsfunktionen durch Analyse eines beliebten Spektroskopiedatensatzes von Martens et al. 1 Wir zeigten verschiedene Möglichkeiten zur Visualisierung von Spektraldaten Und einige Vorverarbeitungsschritte Dadurch konnten wir das Signal-Rausch-Verhältnis in den Daten für die weitere Analyse und Modellierung erheblich verbessern.
In diesem dritten Abschnitt der Blogserie zeigen wir verschiedene Möglichkeiten, wie Spektraldaten in JMP modelliert werden können.Partial Least Squares (PLS) ist das gebräuchlichste Werkzeug zur Analyse von Spektraldaten, und PLS kann sowohl mit JMP als auch mit JMP durchgeführt werden JMP Pro . JMP Pro bietet außerdem eine mit Elastic Net bestrafte Regression, neuronale Netzmodellierung und erweiterte Entscheidungsbaummethoden wie Bootstrap Forest.
Die Bootstrap-Forest- und Elastic-Net-Techniken ermöglichen ein schnelles und einfaches Auffinden der wichtigsten Wellenlängen einzelner Verbindungen sowie der Wellenlängen, die Komponenten in Mischungen definieren. Diese Modellierungstechniken können mit Rohdaten oder verarbeiteten Daten verwendet werden. In diesem Beitrag zeigen Jeremy und ich die Unterschiede zwischen der Modellierung der Rohdaten und der vorverarbeiteten Daten, um die allgemeine Verbesserung der Vorhersagefähigkeit nach der Vorverarbeitung aufzuzeigen. Um Klarheit im Gesamtvergleich der Methoden zu schaffen, wurde für alle Analysen dieselbe zweistufige Validierungsspalte mit 20 % der Daten als Validierungssatz verwendet.
Modellierungsmethoden
Teilweise kleinste Quadrate
Die Methode der partiellen kleinsten Quadrate ist die Standardmethode zur Analyse von Spektren. PLS verarbeitet sowohl große als auch große Datenmengen und eignet sich besonders gut für den Umgang mit stark korrelierten Faktoren. Diese Fähigkeit verheißt Gutes für Spektren, da Spektraldaten häufig stark korrelierte Absorptionsgrade aufweisen, was dazu führt, dass jede nachfolgende Wellenlänge von der unmittelbar davor liegenden Wellenlänge abhängig ist. Aufgrund dieser Abhängigkeit wird PLS häufig zur Analyse roher Spektraldaten mit sehr guten Ergebnissen verwendet. Wie oben erwähnt, verbessert die Vorverarbeitung jedoch das resultierende Vorhersagemodell so weit, dass es einen Zeit- und Arbeitsaufwand für die Vorverarbeitung der Daten rechtfertigt. Denken Sie daran, dass es sich bei den Probendaten um eine Gruppe von Mischungen aus Gluten und Stärke handelt, und im Fall von PLS leistet es wirklich gute Arbeit bei der Entwicklung eines Modells, das die Gluten- und Stärkeverhältnisse für alle zukünftigen Proben gut vorhersagt.
Das PLS-Modell wurde mit zwei latenten Faktoren erstellt, da in der vorherigen Hauptkomponentenanalyse zwei Hauptkomponenten verwendet wurden. Auch Q 2 über zwei Faktoren hinaus verbessert sich nicht viel, und das Hinzufügen weiterer Faktoren erschwert die Modellinterpretation.
Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Abbildung 1. Einrichtung und Ausgabe des Modells der partiellen kleinsten Quadrate.
Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Abbildung 1. Einrichtung und Ausgabe des Modells der partiellen kleinsten Quadrate.
Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figur 2. Modell der partiellen kleinsten Quadrate mit Rohdaten.
Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figur 3. Modell der partiellen kleinsten Quadrate mit vorverarbeiteten Daten.
Nachfolgend finden Sie einen Vergleich des tatsächlichen mit dem vorhergesagten Diagramm für beide PLS-Modelle. Die linke Seite ist für die Rohdaten und die rechte Seite verwendet die vorverarbeiteten Daten. Wie Sie sehen, ergibt sich durch die Verwendung der vorverarbeiteten Daten eine deutliche Verbesserung des Modells.
Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figur 4. Vergleich des Modells der partiellen kleinsten Quadrate mit Roh- und vorverarbeiteten Daten.
Generalisierte Regression (Gen Reg)
Verallgemeinerte Regressionstechniken finden sich in JMP Pro . Gen Reg bietet Ihnen mindestens zwei Dinge, die Sie mit gewöhnlichen Least Squares nicht erreichen werden. Zum einen müssen Ihre Daten mit Gen Reg nicht normalverteilt sein. Sie haben Optionen für viele verschiedene Arten von Verteilungen. Ein weiterer Unterschied besteht darin, dass Gen Reg die Penalized Regression-Technik beinhaltet und stark korrelierte Daten sehr gut verarbeitet. Gen Reg bietet Ridge, Lasso und Elastic Net. Elastic Net ist ein guter Kompromiss für die Modellierung von Spektraldaten, da Sie den Elastic Net Alpha (ENA)-Strafwert anpassen können, um eine Unteranpassung eines Modells zu verhindern, indem Sie viele stark korrelierte Faktoren ausschließen, die für das Modell wichtig sind. Der Standardwert von 0,99 ENA wurde zum Erstellen eines ersten Modells verwendet. Dieses Modell schien eher spärlich und möglicherweise unzureichend geeignet zu sein. Eine erweiterte Option in Gen Reg wurde verwendet, um den Bereich der Alpha-Werte zu scannen, um zu sehen, ob es ein besseres Modell gibt. Dieser Scan ergab eine bessere Anpassung mit einem ENA-Wert von 0,55. Sie können den Unterschied in der Anpassung der beiden ENA-Werte in den Lösungspfaden unten sehen.
Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Abbildung 5 – Elastic Net-Lösungspfade für Rohdaten.
Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Abbildung 6 – Anpassungsstatistik für Gen Reg mit Rohdaten.
Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Abbildung 7 – Elastic Net-Lösungspfade für vorverarbeitete Daten.
Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Abbildung 8 – Anpassungsstatistik für Gen Reg mit vorverarbeiteten Daten.
Ohne näher ins Detail zu gehen, wurden für die Anpassung der Rohdaten 10 Wellenlängen verwendet, wenn das Elastic Net Alpha (ENA) 0,99 betrug, und 37 Wellenlängen, wenn ENA 0,55 betrug.
Die vorverarbeiteten Daten haben ein deutlich anderes Ergebnis. Bei erneuter Verwendung von Elastic Net wurden 22 signifikante Wellenlängen bei einer ENA von 0,99 und 53 signifikante Wellenlängen bei einer ENA von 0,55 gefunden. Während eine große Anzahl, 37 und 53, signifikanter Wellenlängen mit einer ENA von 0,55 identifiziert wurden, liegen beide Ergebnisse deutlich unter denen der PLS-Modelle. Die Überprüfung der Anpassungsstatistiken für beide Modellsätze zeigt, dass die vorverarbeiteten Daten das insgesamt bessere Vorhersagemodell aufweisen. Wenn Sie jedoch nur Rohdaten verwenden würden, könnten Sie immer noch ein einigermaßen gutes Vorhersagemodell erstellen.
Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Abbildung 9 – Modellvergleich für Gen Reg mit Roh- und vorverarbeiteten Daten.
Ein Vergleich von PLS- und ELN-Modellen anhand verarbeiteter Daten zeigt, dass ELN-Modelle auf Basis von R nur geringfügig besser sind 2 . Allerdings sind die ELN-Modelle einfacher und leichter zu interpretieren.
Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Abbildung 10 – Vergleich der PLS- und ELN-Modellierungstechniken für verarbeitete Daten.
Bedeutet das, dass Sie für Ihre gesamte Spektralanalyse Elastic Net-Modelle verwenden sollten? Sie sollten es als brauchbaren Kandidaten in Betracht ziehen, aber es kommt wirklich darauf an, welche Modellierungsplattform(en) Ihnen zur Verfügung stehen und ob neben der Vorhersageleistung auch die Interpretierbarkeit des Modells wünschenswert ist.
Weitere Modellierungsoptionen
Neuronale Netzmodelle
Zu Demonstrationszwecken können Sie auch neuronale Netzmodelle verwenden, die in diesem Fall extrem gute Anpassungen zeigen, aber sehr komplexe Modelle sind.
Der Prediction Profiler in JMP ermöglicht es Benutzern jedoch, selbst die komplexesten, nichtlinearen Modelle zu interpretieren. Der Profiler kann überwältigend sein, wenn alle Wellenlängen zur Vorhersage verwendet werden. Um das neuronale Netzmodell einfacher zu halten, können Sie im Modelldialog die mit Gen Reg ausgewählten Wellenlängen angeben.
Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Abbildung 11 – Vergleich der neuronalen Netzanpassungen für Roh- und vorverarbeitete Daten.
In beiden Fällen wurden die Daten mit einer verborgenen Ebene und drei Knoten mit einer hyperbolischen Tangens-Aktivierungsfunktion unter Verwendung einer festen 20 %-Validierungsspalte zur Kreuzvalidierung angepasst.
Bootstrap-Wald
Die Verwendung eines Bootstrap-Forest-Ansatzes liefert die signifikantesten Wellenlängen für einen bestimmten Satz von Spektren. Es ist auch ein klarer Hinweis darauf, dass die Vorverarbeitung ein viel besseres Modell ergibt. Der Unterschied basiert auf dem Validation R 2 für jeden Datensatz. Die Validierung R 2 für die Rohdaten beträgt 0,805 und für die verarbeiteten Daten beträgt der Validierungs-R 2 ist 0,987. Die folgenden Modelle wurden mithilfe fester 20 % der Daten als Validierungssatz angepasst, um eine zufällige Auswahl des Validierungssatzes zu vermeiden.
Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Abbildung 12 – Vergleich der Bootstrap-Forest-Anpassungen für Roh- und vorverarbeitete Daten.
Unterstützen Sie die Vektorregression
Die Support Vector Regression (SVR)-Modellierung ist auch in JMP Pro verfügbar und eine weitere gute Alternative für die Analyse von Spektraldaten. SVR ist ein leistungsstarker und flexibler grenzbasierter Algorithmus für maschinelles Lernen, mit dem Vorhersagemodelle für eine kontinuierliche Reaktion erstellt werden. Bei unserem Datensatz zeigt SVR auch eine deutliche Verbesserung bei der Analyse verarbeiteter Daten.
Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Abbildung 13 – Vergleich der SVR-Modellanpassungen für Roh- und vorverarbeitete Daten.
In JMP und JMP Pro gibt es weitere Modellierungstechniken, die Sie zum Modellieren von Spektraldaten verwenden können. Wenn Sie also keine gefunden haben, die Sie verwenden möchten oder verwendet haben, lassen Sie es uns bitte wissen und wir werden dafür sorgen, dass wir darauf eingehen ein zukünftiger Blogbeitrag.
1) " Lichtstreuung und Lichtabsorption getrennt durch erweiterte multiplikative Signalkorrektur. Anwendung auf die Nahinfrarot-Transmissionsanalyse von Pulvermischungen " Analytische Chemie 2003 Feb1;75(3):394-404
