| Lautsprecher |
Transkript |
| Jeremy Ash, JMP |
Hallo und vielen Dank, dass Sie zu unserem Vortrag gekommen sind. Ich bin Jeremy Ash. Ich bin Statistiker in der JMP-Forschung und -Entwicklung und Bill Worley ist hier. Er ist leitender Systemingenieur. Wir werden über die Analyse von Nahinfrarotspektroskopiedaten in JMP sprechen. |
| |
Dies ist nicht der erste Vortrag zu diesem Thema. Bill hat mehrere ähnliche Vorträge gehalten, die Sie in der Community finden können. |
| |
Ich habe hier Links zu einigen davon, die sich auf ergänzendes Material beziehen und |
| |
Bill hält einen Vortrag über FDE und DOE zur effizienten Modellierung multivariater Kalibrierungsmodelle mit weniger Experimenten und geht auch ausführlicher auf die Vorverarbeitung von Spektren ein. |
| |
Anfang des Jahres bei Discovery Europe. Bill und ich haben außerdem eine Blogserie zu diesem Thema geschrieben, die auf der Community zu finden ist. Hier sind die Themen, die wir bisher behandelt haben. Außerdem haben wir ein JMP-Add-In entwickelt, dessen Verwendung ich später demonstrieren werde. |
| |
Ein häufiger Anwendungsfall der Nahinfrarotspektroskopie ist die Bestimmung der chemischen Zusammensetzung einer Mischung. Rechts zeige ich ein Beispiel für Nahinfrarotspektren. |
| |
Und es wird ein gewisses Maß an Absorption über einen Wellenlängenbereich gesammelt und die Spektren hier stellen eine Getreidepulverprobe dar, die eine Mischung aus mehreren zugrunde liegenden chemischen Komponenten ist. |
| |
Und die Spektren für die reinen Komponenten sind unten, und die Spektren für die Mischung sind oben. Und aufgrund von Phänomenen wie |
| |
Obertöne und Kombinationsbänder, die Spitzen für die einzelnen Komponenten sind oft breit und überlappend, und das macht die Dekonvolution der Spektren in die zugrunde liegenden Komponenten schwierig. |
| |
Stattdessen werden Modelle erstellt, die die Zusammensetzung als Funktion der Absorption bei vielen Wellenlängen vorhersagen. Dadurch werden die Daten hochdimensional und die Variablen sind oft stark korreliert. |
| |
Eine der größten Herausforderungen bei der Analyse von Nahinfrarotspektren besteht darin, dass das Signal-Rausch-Verhältnis oft niedrig ist, was auf unkontrollierte Schwankungen zurückzuführen ist. |
| |
verursacht durch Lichtstreuungseffekte. Diese müssen bereinigt werden, bevor ein zuverlässiges Modell erstellt werden kann. Daher werden die Daten oft umfangreichen Vorverarbeitungstransformationen unterzogen, und es gibt mehrere häufige Rauschquellen, die hier rechts dargestellt sind. |
| |
Die wahren Spektren werden in Schwarz angezeigt und die Spektren in Grün weisen eine konstante Basislinienverschiebung oder einen additiven Effekt auf. |
| |
Und dann haben die blauen Spektren einen additiven und einen multiplikativen Effekt. Multiplikative Effekte treten auf, wenn die Verzerrung bei größeren Absorptionen größer ist, und dann haben die violetten Spektren einen additiven Effekt, einen multiplikativen Effekt und eine Verschiebung der Steigung zur Basislinie. |
| |
Als Nächstes zeige ich einige Vorverarbeitungsmethoden zur Bereinigung dieser Rauschquellen. Alle diese Methoden werden in unseren Blogbeiträgen ausführlicher erläutert, aber ich werde einige davon in der Demo zeigen. Die erste Ableitung von Savitzky-Golay bereinigt additive Effekte. |
| |
Und dann bereinigt ein Filter der zweiten Ableitung auch die schrägen Basislinienverschiebungen. Und das sind häufig verwendete und effektive Methoden, aber das Problem besteht darin, dass die Transformation viel schwieriger zu interpretieren ist als das ursprüngliche Spektrum. |
| |
Die anderen Vorverarbeitungsmethoden, die ich hier erwähne, leisten also einen besseren Beitrag zur Wahrung dieser Interpretierbarkeit. Die |
| |
Standardmäßige Normalisierung der Variablenzentren und -skalen, sodass es in jedem Spektrum einen Mittelwert von Null in der Einheitsvarianz gibt. Dies ist eine einfache Normalisierung, die jedoch sowohl additive als auch multiplikative Effekte effektiv bereinigt. |
| |
Und dann die multiplikative Streukorrektur. Dabei wird ein lineares Modell verwendet, um jedes Spektrum wie ein Referenzspektrum aussehen zu lassen. Oft ist keine Referenz verfügbar, sodass stattdessen Durchschnittsspektren verwendet werden. |
| |
Und dann ist die erweiterte multiplikative Streukorrektur die einzige Methode, die alle drei Rauschquellen bereinigt. Dabei handelt es sich um eine fortgeschrittenere Methode, die Referenzspektren für jede Komponente in einer Mischung erfordert. |
| |
Und wir werden später sehen, wie das funktioniert. |
| |
Da die Daten hochdimensional sind und die Variablen stark korreliert sind, sind viele multivariate Methoden anwendbar. Alle aufgeführten Analysen können in JMP durchgeführt werden. |
| |
Für die Visualisierung der Daten sind Methoden zur Dimensionsreduktion unerlässlich. Gängige Methoden sind die Hauptkomponentenanalyse oder die multidimensionale Skalierung. |
| |
Und dann sind die funktionalen Hauptkomponenten im funktionalen Daten-Explorer hier eine besonders nützliche Methode. |
| |
JMP ist unter den verfügbaren Programmen für die Spektralanalyse einzigartig und verfügt über eine benutzerfreundliche Plattform zur funktionalen Datenanalyse. Da Spektren eine funktionale Form haben, bietet FDE zahlreiche potenzielle Einsatzmöglichkeiten für Spektren. |
| |
Und wir fangen gerade erst an, diese Möglichkeiten zu erkunden. Clustering ist weit verbreitet. Besonders nützlich ist hierarchisches Clustering in JMP. |
| |
Und dann wird normalerweise eine Ausreißeranalyse durchgeführt, |
| |
und dazu wird zunächst ein PCA- oder PLS-Modell erstellt und anschließend werden Ausreißer in den T-Quadrat- und DModX-Diagrammen identifiziert. |
| |
Und all dies kann in der modellgesteuerten multivariaten Kontrollkartenplattform durchgeführt werden. Und dann gibt es Vorhersagemodelle, die die chemische Zusammensetzung als Funktion von Spektren vorhersagen. Diese werden als multivariate Kalibrierungsmodelle bezeichnet und diese Modelle behandeln Fälle, in denen es mehr Variablen als Beobachtungen gibt. |
| |
Und dies lässt sich gut mit PLS oder bestrafter Regression in GenReg oder auch dem funktionalen Daten-Explorer durchführen. |
| |
Okay, ich wechsle also zu JMP und starte meine Demo. |
| |
Zuerst zeige ich, wie man Spektraldaten mit dem Add-In „Spectral Tools“ einliest. |
| |
Für durch Text getrennte Dateien ist das von uns bereitgestellte Add-In lediglich ein Wrapper für den Mehrfachdateiimporter, der hier verfügbar ist. |
| |
Das Add-In bietet jedoch einige der nützlichsten Funktionen. Außerdem gibt es einen JCAMP-DX-Importer, der neu in JMP ist. Und im Allgemeinen: |
| |
Das meiste davon kann bereits in JMP erledigt werden, aber mein Ziel war es, einige Wrapper zu schreiben, die den Workflow für Spektren etwas rationalisieren. Und ich sollte auch erwähnen, dass dies in JMP 17 verbessert wird, sodass dieses Add-In hoffentlich bald obsolet wird, aber |
| |
Dies kann vorübergehend nützlich sein, wenn Sie Spektralmodelle erstellen. |
| |
Ich habe also eine |
| |
Ordner mit CSV-Dateien, eine Datei pro Spektrum, und in diesen Dateien ist die erste Spalte die X-Variable und die zweite Spalte die Y-Variable. Also werde ich dieses Verzeichnis in JMP importieren. |
| |
Wählen Sie diesen Ordner aus. |
| |
Und ich möchte im gestapelten Format einlesen, da dies das Format ist, das das Add-In verwendet. |
| |
Und dann habe ich einen Header in diesen Dateien; ich wähle diese Option aus. Und ich kann dies auch verwenden, um nur CSV-Dateien auszuwählen. |
| |
Dadurch werden die Spektren in einem gestapelten Format eingelesen. |
| |
Und ich habe hier auch einige Metadaten in einer JMP-Tabelle |
| |
die ich dieser Datentabelle hinzufügen möchte. Und ich werde das mit einem Join in der Spektrenspalte tun. |
| |
Aber ich habe in den Dateinamen mit Dateierweiterung gelesen, also verwenden Sie Text zu Spalten hier zu |
| |
Entfernen Sie diese Erweiterungen. |
| |
Ich gebe dem einen aussagekräftigeren Dateinamen. |
| |
Und ich werde eine Tabellenaktualisierung verwenden und die Spektrenspalten abgleichen. |
| |
Und das Letzte, was ich zeigen werde, ist ... |
| |
oder ich verschiebe diese Spektrumspalte hierher. |
| |
Okay, so habe ich diese Datentabelle eingerichtet |
| |
und es den Beispieldaten im Add-In hinzugefügt. |
| |
Ich werde mir also zunächst die Daten ansehen und dazu den Befehl „Graph Builder starten“ im Add-In verwenden. |
| |
Ich werde nach Gluten färben. |
| |
Und hier links richtet das Spektralwerkzeug einige lokale Datenfilter ein, die einige hilfreiche Steuerelemente bieten, sodass Sie nach Wellenlänge filtern können, um sich auf die relevanten Bereiche zu konzentrieren. Wenn ich mich also nur auf diesen Peak hier konzentrieren möchte und |
| |
Wenn ich alle Spalten in der Datentabelle ausgewählt habe, kann ich den Befehl „Teilmenge anzeigen“ verwenden und damit einfach eine Teilmenge mit diesem Interessenbereich erstellen. |
| |
Ich kann hier auch einzelne Spektren mit diesem Filter darstellen und |
| |
Es ist praktisch, nach Spektren zu suchen, um nur Teilmengen darzustellen. |
| |
Und als letztes zeige ich die Animationssteuerung. |
| |
aber dazu sperre ich die Achsen, sonst passen sie sich den einzelnen Spektren an. |
| |
Hier ... ich werde es etwas beschleunigen, damit wir das ganz schnell durchsehen können. |
| |
Und diese Funktion ist besonders nützlich, wenn Sie Spektren zu verschiedenen Zeitpunkten gesammelt haben, beispielsweise bei der Reaktionsüberwachung. |
| |
Und Sie können auch unsere 3D-Streudiagramme im Diagramm verwenden, um diese Daten zu visualisieren. |
| |
Okay, ich werde |
| |
klar das |
| |
Filter. |
| |
Eine Sache, an die Sie denken sollten, wenn Sie |
| |
die Handlung so einzurichten, wie Sie es möchten, können Sie diese speichern |
| |
Skript zurück zur Datentabelle, sodass Sie das Diagramm später neu erstellen können, wenn Sie neue Daten einfügen möchten, beispielsweise nachdem Sie eine Vorverarbeitung durchgeführt haben. |
| |
Ich wollte noch die Visualisierung der Variabilität und einige Diagnosediagramme zeigen. Dazu entferne ich die Gruppierungsvariablen |
| |
und das gibt mir eine Zusammenfassung der Spektren insgesamt. Und ich kann Boxplots verwenden. Diese sind |
| |
Nützlich, um eine Vorstellung davon zu bekommen, ob die Variation über Wellenlängen hinweg konstant ist und spezifisch für bestimmte Wellenlängen ist. Wenn sie konstant ist, deutet dies auf die Notwendigkeit einer weiteren Vorverarbeitung hin. Wenn sie jedoch wellenlängenspezifisch ist, handelt es sich oft um echte chemische Effekte, daher sind diese nützlich. |
| |
Eine weitere Möglichkeit, Variabilität zu visualisieren, besteht darin, |
| |
Balkendiagramme. Ich verwende gerne schwebende Balkendiagramme. Sie können auch Gruppierungsvariablen hinzufügen, wenn Sie die Variabilität in verschiedenen Untergruppen betrachten möchten. |
| |
Das ist alles, was ich zur Visualisierung zeigen werde. Und noch etwas möchte ich erwähnen: Wie man JCAMP-DX-Dateien einliest. |
| |
Also habe ich ein Verzeichnis |
| |
Das |
| |
enthält zwei JCAMP-DX-Dateien, die von der JCAMP-DX-Standard-Website stammen. Ich war nicht zufrieden |
| |
Dateien freigeben, die wir zum Testen des Add-Ins verwenden, da diese von Kunden stammen. Ich habe einfach eine Testdatei von dieser Website genommen und sie zweimal dupliziert, um zu zeigen, wie wir sie einlesen können. |
| |
Mehrere Dateien. Wir unterstützen nur das gängigste Format, nämlich Dateien mit einer X/Y-Variablenliste ohne Komprimierung. Pro Datei wird nur ein Spektren unterstützt. Ich glaube, das ist das gängigste Format. Wenn Sie jedoch ein anderes Format benötigen, lassen Sie es uns wissen. |
| |
Also werde ich das zusammen mit ... vorlesen. |
| |
hier mit den Standardoptionen. |
| |
Und nur um Ihnen zu zeigen, dass |
| |
dies wurde richtig eingelesen, |
| |
Zeichnen Sie es im Graph Builder. |
| |
Dies zeigt die gleichen Spektren, es handelt sich tatsächlich um NMR-Spektren, aber dies ist auch ein gängiges Format für NIR-Spektren. |
| |
Das ist alles, was ich zeigen werde |
| |
mit Datenimport. |
| |
Als nächstes zeige ich einige der einfachen Vorverarbeitungsmethoden, die in Spectral Tools enthalten sind. Ziel war es, eine grundlegende Vorverarbeitung bereitzustellen, die es Benutzern ermöglicht, mit einfachen Kalibrierungsmodellen wie PLS zu beginnen. |
| |
damit wir Feedback zum Arbeitsablauf erhalten können. Wir planen jedoch eine umfassendere Suite von Vorverarbeitungsmethoden in FDE in JMP 17, die nur in der Pro-Version verfügbar sein wird. Wir ermutigen Benutzer jedoch, FDE zu verwenden, da diese Plattform wirklich auf die Modellierung funktionaler Daten wie Spektren spezialisiert ist. |
| |
Also werde ich zuerst zeigen |
| |
Savitzky-Golay-Glättung. |
| |
Sie können den Grad des hier verwendeten Polynoms ändern. Sie können die Größe des gleitenden Fensters ändern; eine größere Größe führt zu einer stärkeren Glättung. Mit dem Trimmen werden unausgeglichene gleitende Fenster entfernt. |
| |
Und Savitzky-Golay ist eigentlich ein Sonderfall der lokalen Kernel-Regression, also könnten Sie die anderen Optionen dafür ausprobieren |
| |
im Graph Builder, wie z. B. verschiedene Möglichkeiten zum Definieren Ihres gleitenden Fensters und verschiedene Gewichtungsfunktionen. Und sobald Sie die gewünschten Parameter ausgewählt haben, können Sie die Spektren wieder in der Tabelle speichern. |
| |
Als nächstes zeige ich die Standardnormalvariable, angewendet auf |
| |
die glatten Spektren. |
| |
Und |
| |
Dabei wird jedes Spektrum einzeln zentriert und skaliert. Dies ist auch mit einer Spaltenformel möglich. Bill wird dies in seinem Vortrag zur Vorverarbeitung zeigen. |
| |
Jetzt werde ich das Vorher und Nachher visualisieren |
| |
Verwenden Sie dies. Starten Sie Graph Builder. |
| |
Farbe durch Gluten. |
| |
Sie können sehen, dass wir allein mit diesen einfachen Vorverarbeitungsmethoden viel zur Bereinigung des Rauschens in den Spektren beigetragen haben. In den Untergruppen ist immer noch etwas Rauschen vorhanden. |
| |
Bill hat in seinem Vortrag gezeigt, wie man die Daten noch weiter bereinigen kann, wenn man einen Savitzky-Golay-Filter für die erste Ableitung verwendet. Das ist ein weiteres Add-In, das wir im Blogbeitrag ausprobiert haben, aber darauf werde ich hier nicht näher eingehen. |
| |
Das Wichtigste, was man wissen muss (und Bill wird das zeigen), ist, dass man zuerst einen Filter für die erste Ableitung durchführt und dann mit einer Standardnormalvariable alle verbleibenden multiplikativen Effekte bereinigt. |
| |
Es stellt sich also heraus, dass Sie es noch besser machen können |
| |
Vorverarbeitung dieser Spektren mithilfe der sogenannten erweiterten multiplikativen Streukorrektur. |
| |
Also, ich habe dieses Setup hier. |
| |
Diese Daten stammen aus einem Artikel, in dem die erweiterte multiplikative Streukorrektur (von nun an einfach EMSC genannt) vorgestellt wurde. |
| |
Um die Vorteile dieser Vorverarbeitungsmethode zu veranschaulichen, verwende ich ein Streueffektdiagramm. Dazu muss ich jedoch die durchschnittliche Absorption bei jeder Wellenlänge berechnen. |
| |
Und das kann ich hier mit einer Spaltenformel tun. |
| |
Und dann stelle ich dies im Graph Builder dar. |
| |
Das Streueffektdiagramm stellt die durchschnittliche Absorption bei jeder Wellenlänge durch die einzelnen Absorptionen dar, und die Steigungen auf der Y-Achse weisen auf einen additiven Effekt hin, während |
| |
Änderungen in |
| |
Die Steigung der einzelnen Spektren zeigt sich in diesen Diagrammen als Auffächerung, was auf einen multiplikativen Effekt hindeutet. Chemische Effekte zeigen sich in diesen Diagrammen interessanterweise als Schleifen. |
| |
Hier liegt also eindeutig ein großer additiver Effekt vor. Um diesen zu bereinigen, kann ich einen Savitzky-Golay-Filter der ersten Ableitung verwenden. Die Daten liegen mir hier vor. |
| |
Dadurch wird der additive Effekt erheblich reduziert, es bleibt jedoch immer noch eine gewisse Auffächerung in diesem Diagramm übrig. Sie können dies also mit der Standardnormalvariable bereinigen. |
| |
Stattdessen entfernt der EMSC die additiven und multiplikativen Effekte in einem Schritt und erfordert keine Ableitungstransformation, was nützlich ist, da die resultierenden Spektren dadurch leichter zu interpretieren sind. |
| |
Und im Wesentlichen trennt das EMSC die Variationen in den Spektren, die auf chemische Effekte zurückzuführen sind, von den Variationen, die auf Rauschen zurückzuführen sind. |
| |
Und dann subtrahiert es die Variation aufgrund von Rauschen. Dies geschieht mit einem linearen Modell. Ich habe also die Terme, die ich für das Modell brauche, hier festgelegt. Und |
| |
Wir behandeln die Details dazu im Blog. Ich sage nur, dass Sie Fit-Modell verwenden können |
| |
um das EMSC-Modell anzupassen. Dies ist ein sehr nützliches Lehrmittel, um zu verstehen, wie das Vorverarbeitungsmodell angewendet wird, sodass es keine Blackbox mehr ist. Hier im Modell haben wir also ein separates Modell für jedes Spektrum und die geschätzten Koeffizienten |
| |
werden bei der Korrektur verwendet, und Sie können...Sie können auch |
| |
relaunchen |
| |
Modell mit unterschiedlichen Effekten, um zu sehen, welche Veränderungen das mit sich bringt. |
| |
Ich habe hier also die letzte Korrektur vorgenommen und zeige nur das Vorher und Nachher. |
| |
Also |
| |
Die Spektren sind nun bemerkenswert frei von Streueffekten, und der Effekt auf die Spektren ist |
| |
aufgrund der Änderung der Gemischzusammensetzung ist nun klar. Das ist alles, was ich behandeln werde, und ich übergebe an Bill, der einige der Modellierungsmethoden erläutern kann. |
| Bill Worley |
Hey, danke, Jeremy. |
| |
Lassen Sie uns hier die Bildschirme wechseln. |
| |
Und Sie sollten jetzt meine Datentabelle sehen. Ich hoffe, sobald ich darauf klicke. |
| |
Kann jeder meine Datentabelle sehen? |
| Jeremy Ash, JMP |
Ja. |
| Bill Worley |
Okay, also los geht’s. Dies sind dieselben Daten, die Jeremy verwendet hat, nur dass wir sie hier im Breitformat haben. Ich möchte Sie nur darauf hinweisen, dass Sie die Daten auf beide Arten analysieren können. Manche Leute bevorzugen das Stapelformat, andere das Breitformat. |
| |
Also wissen Sie einfach, dass es möglich ist. Das Eine... das Erste, was ich Ihnen zeigen möchte, ist, |
| |
Jeremy hat vorhin darüber gesprochen, wie wir die Daten im Rohformat betrachten und dann die erste Ableitung nach Savitzky-Golay und anschließend die Standardglättung mit Standardnormalvariablen durchführen können. Und noch einmal: Dies geschieht im Breitformat. |
| |
Okay, ich zeige Ihnen also, dass das dort möglich ist. |
| |
Als nächstes möchte ich zeigen, |
| |
Hauptkomponentenanalyse. Dies ist für die meisten Leute, die Spektraldaten verwenden oder analysieren, ziemlicher Standard. |
| |
Was wir...es ist sehr machbar in JMP. Es ist, wissen Sie, Sie gehen zur Analyse, |
| |
multivariate Methoden und Hauptkomponenten. Das habe ich bereits getan. Ich habe bereits gezeigt, dass wir mit zwei Hauptkomponenten die gesamte Variation größtenteils erklären können. Wenn wir uns dieses Score-Diagramm hier ansehen, |
| |
Sie können die Untergruppierung der verschiedenen Gruppen der Mischungen sehen, die wir haben, das Gluten und die Stärke. |
| |
Wir haben... |
| |
Nun, wir können diese Untergruppierung sehen. Das ist gut gemacht. Außerdem sieht man, dass Jeremy von hochkorrelierten Daten gesprochen hat. |
| |
Wir zeigen das in diesem anderen Komponentendiagramm hier. Wir können die Variablen aktivieren, aber... Beschriftungen aktivieren, aber das würde etwas durcheinander bringen |
| |
Hier unten sehen Sie ein Diagramm der Ausreißeranalyse, also ein T-Quadrat-Diagramm, und wir verwenden die beiden Hauptkomponenten aus der Analyse. Es zeigt, dass einige unserer Spektren möglicherweise etwas außerhalb liegen... |
| |
das könnten Ausreißer sein, aber in den meisten Fällen ... in den meisten Fällen würden wir sowieso nicht alle Daten verwenden; es ist einfach eine Art, die Daten einzugrenzen, okay. |
| |
Als nächstes möchte ich etwas zeigen, das als modellgesteuerte multivariate Kontrollkarte bezeichnet wird. Dies ist praktisch dasselbe, was ich mit den Hauptkomponenten gemacht habe, nur in einer |
| |
anders. Wir betrachten also die gleichen beiden Hauptkomponenten |
| |
Hier oben sehen wir die Gruppierung der Untergruppen. Und wenn wir hier unten schauen, sehen wir etwas, das sich normalisiertes DModX nennt. Das ist eine andere Möglichkeit, den Ausreißer zu betrachten ... |
| |
potenzielle Ausreißer in Ihren Daten. Sie müssen wissen, dass es sie gibt. Die modellgesteuerten multivariaten Kontrollkarten bieten außerdem eine Möglichkeit, Ihre Daten zu vergleichen. |
| |
Was ich hier gemacht habe, ist, dass ich die Proben 13, 46, 95 und 45 ausgewählt habe, um die Unterschiede zwischen |
| |
diese vier Spektren, richtig. Jetzt können wir also sehen, dass diese ... aus diesen Gruppen sind sie ziemlich unterschiedlich, richtig, die Spektren sind ziemlich unterschiedlich. |
| |
Sie können diesen Vergleich auch hier unten über das Punktediagramm durchführen. Ich wähle den Buchstaben L aus, wodurch ich mein Lasso-Werkzeug erhalte. |
| |
Und ich werde das so gut wie möglich einkreisen, ohne die anderen Daten zu erfassen, und daraus die Gruppe A machen. Und dann hier unten in der roten Gruppe, dieser letzten roten Gruppe, |
| |
Wählen Sie das aus. Es ist meine B-Gruppe. Vergleichen Sie dann. So können Sie die Daten erneut effektiv vergleichen. |
| |
Während ich das mache, kann ich sehen, was in den verschiedenen Gruppierungen ausgewählt wird, wenn ich die Spektren auswähle. Das ist einfach eine coole Art, die Daten zu visualisieren. |
| |
Okay. Ich gehe zum nächsten über. Das sind also Rohdaten, okay. Der nächste Schritt betrifft die vorverarbeiteten Daten. Es sind also praktisch dieselben Daten, die Sie zuvor gesehen haben. |
| |
Aber ich habe die Vorverarbeitung durchgeführt, also bin ich den ganzen Weg von den Rohdaten bis zur Standardnormalverteilung gegangen. Und wieder verwende ich die beiden Hauptkomponenten, |
| |
Wir sehen, dass die Daten etwas besser gruppiert sind. Es gibt etwas... viel weniger Rauschen, viel weniger Variation als im T-Quadrat-Diagramm. Und ich schwöre, ich habe das nicht mit Absicht gemacht, aber die Daten sehen jetzt etwas fröhlicher aus, richtig. Es ist ein kleines Lächeln. |
| |
Jede dieser kleinen Gruppierungen hier unten besteht aus 20 Spektren. Wenn ich mit der Maus darüberfahre, kann ich die Spektren darstellen und herausziehen. |
| |
und schau dir das an, wenn ich es so will, okay. Ich kann dieselbe Gruppierung machen, die ich mir vorher angesehen habe, also lass es uns versuchen. Markieren Sie dies |
| |
Das macht es etwas einfacher, weil ich das Zeichenwerkzeug nicht verwenden muss, da die Daten besser gruppiert sind. Im selben Fall kann ich das Gleiche tun wie zuvor: die Daten markieren und dann |
| |
Vergleiche nach Bedarf durchführen, okay. Das ist also die Verwendung von Hauptkomponenten. Es gibt eine andere Möglichkeit, die gleiche Art von Analyse durchzuführen, indem man |
| |
Partielle Kleinste Quadrate. Sie speichern die Partielle Kleinste Quadrate X-Werte und verwenden diese Daten dann, um daraus das modellbasierte multivariate Kontrolldiagramm zu erstellen. Und auch das sieht wieder sehr sauber aus. Dies sind die vorverarbeiteten Daten. Die Gruppierung ist sehr gut, wir können sie also von dort aus sehen. |
| |
Wir können uns die |
| |
DModX. Es ist immer noch ein wenig verrauscht, aber nicht annähernd so verrauscht wie die Daten, wenn wir die Rohdaten mit den Hauptkomponenten betrachten, okay. Gehen wir also zurück zu |
| |
Betrachten wir eine andere Analysemethode, und zwar die höhere...hierarchische Clusterung. Jeremy hatte dies erwähnt |
| |
zunächst und beim Betrachten der Daten, |
| |
Wir schauen uns an, wie die Clusterbildung erfolgt. Wenn wir die Rohdaten betrachten, können wir sehen, dass es viele kleinere Cluster gibt. |
| |
Und die eigentlichen Daten scheinen in verschiedenen Gruppen verteilt zu sein. Ich meine, sie sind nicht so gruppiert, wie man es sich vielleicht wünschen würde. Also haben wir das genommen |
| |
Wir haben die Daten vorverarbeitet und die gleiche Analyse durchgeführt und eine wirklich schöne Gruppierung erhalten. Und jede davon ist in fünf Cluster unterteilt, das sehen Sie hier. |
| |
Stärke und Gluten sind hier also sehr gut getrennt. Wenn Sie diese Daten über die Funktion „Cluster speichern“ wieder in Ihrer Datentabelle speichern, |
| |
Sie können dies tatsächlich in Ihrer Modellierung verwenden, wenn Sie dies wünschen. Sie können auch die Formel für den nächstgelegenen Cluster speichern. Alle neuen Daten, die Sie erhalten, werden dann |
| |
in den Cluster einfügen, dem es am nächsten ist. |
| |
Okay, das sind nur einige Möglichkeiten, Ihre Daten einzugeben, zu betrachten und für die Modellierung vorzubereiten. Der nächste Schritt wäre dann die Modellierung. Als Nächstes zeige ich Ihnen die Methode der partiellen kleinsten Quadrate. Das ist typischerweise oder ... Entschuldigung, das ist eine verallgemeinerte Regression. |
| |
Dies ist also ein verallgemeinertes Regressionsmodell, das wir den Leuten zeigen möchten, richtig, und |
| |
das ist |
| |
wo wir vielleicht einige Dinge sehen, die vor sich gingen. Und es sieht so aus, als hätten sich bei mir ein paar Dinge geändert. |
| |
Ich möchte... da, da. Es ist meine partielle Kleinstquadrate-Methode, und das zeigt, dass ich die Daten tatsächlich auf eine Weise analysiert habe, die hoffentlich |
| |
Geben Sie mir ein gutes Modell. Und ich zeige Ihnen, wie das geht. Sie gehen zur Analyse, und dies ist die JMP Pro-Version. Wie gesagt, vieles von dem, was ich Ihnen zeige, lässt sich auch in JMP Pro durchführen. Wenn ich zu multivariaten Methoden gehe, |
| |
Mit der Methode der partiellen kleinsten Quadrate kann ich die gleiche Analyse durchführen, aber ich verwende die JMP Pro-Version. Und ich wähle Stärke und Gluten aus. |
| |
Ich wähle meine Rohdaten aus, füge sie hinzu und führe das Ganze dann von dort aus aus. |
| |
richtig. Und ich habe das falsche Setup eingegeben, aber los geht's |
| |
zurück zu |
| |
die Analyse, die wir hier eingerichtet haben. Und ich kann Ihnen hier unten ein paar verschiedene Dinge zeigen. Dies wurde mit vorverarbeiteten Daten durchgeführt. |
| |
Also, die Passform sieht wirklich gut aus und ich werde Ihnen gleich einen Vergleich dieser Passformen zeigen. Also |
| |
Wir haben unsere partiellen kleinsten Quadrate für die Rohdaten, den Teil ... und dann die vorverarbeiteten Daten. Und wenn ich diese vergleichen möchte, |
| |
Ich kann sehen, wie diese Modelle funktionieren, richtig. Was ich hier jetzt zeige, ist ein Vergleich der Rohdaten links und der vorverarbeiteten Daten rechts. Mit vorverarbeiteten Daten erhalten wir eine viel bessere Übereinstimmung. Das geht also zurück auf das, was Jeremy vorhin gesagt hat. |
| |
Wir müssen diese Daten bereinigen, um die bestmöglichen Vorhersagemodelle zu erhalten und hoffentlich herauszubekommen, okay. |
| |
Eine weitere Sache, die ich Ihnen zeigen möchte, ist |
| |
Die... |
| |
mal sehen, wo ich hier stehe. |
| |
Ich möchte Ihnen den funktionalen Daten-Explorer zeigen. |
| |
Und das ist |
| |
eine Möglichkeit ... die neueste Art der Modellierung oder, zumindest für JMP, die neueste Art der Modellierung von Spektraldaten, da Sie die Daten kontinuierlich analysieren können. |
| |
Okay, ich zeige Ihnen, wie das geht. Das zeigt, dass wir die Rohdaten mit zwei funktionalen Hauptkomponenten analysieren können. |
| |
genau wie wir es mit der Hauptkomponentenanalyse gemacht haben, und wir können ein ziemlich gutes Modell erhalten. Das Einzige, was es ... Sie werden jedoch feststellen, ist, dass dies eher ... dies ist eine multivariate Kalibrierungsmethode, aber es ist eine inverse multivariate Methode. |
| |
Lassen Sie uns diese Analyse einfach durchgehen. |
| |
Analysieren. |
| |
Und dann müssen wir zur spezialisierten Modellierung gehen und werden zum funktionalen Daten-Explorer gehen. |
| |
Da ich die Daten im Breitformat habe, muss ich Zeilen als Funktionen verwenden. |
| |
Ich werde meine |
| |
Stärke und Gluten als zusätzliche Variablen. Spectra ist meine ID, und ich werde die Rohdaten erfassen. |
| |
Okay. |
| |
Und Sie können jetzt im Functional Data Explorer eine Menge mit den Daten machen, sie bereinigen und eine Vorverarbeitung durchführen, aber das wird, wie Jeremy sagte, in JMP 17 nur noch besser. |
| |
Von hier aus wollten wir modellieren oder daraus ein Modell erstellen. Wir wollten alle Daten anpassen, |
| |
also werden wir zu Modellen übergehen, direkter funktionaler PCA. |
| |
Und wenn wir uns das hier ansehen, bedeutet das, dass wir fünf funktionale Hauptkomponenten verwenden könnten, aber das wäre fast eine Verschwendung von Aufwand, weil wir ... |
| |
Mit zwei passen wir tatsächlich alle Daten an, 100 % der Daten der Variation, richtig. Also schiebe ich das zurück, räume es ein wenig auf und gehe dann wieder nach unten. |
| |
Und schauen wir uns hier die Punkteübersicht an. |
| |
Dies zeigt uns die Daten, wie die Rohdaten in ihren Untergruppen, wie wir zuvor gesehen haben, und alle anderen Score-Plots. Und das Schöne daran ist, wenn ich mit der Maus darüber fahre, kann ich diese einzelnen Spektren herausziehen |
| |
und vergleichen Sie sie einfach visuell, okay. |
| |
Weiter unten haben wir den funktionalen Hauptkomponenten-Profiler und er ist schön. Wir können sehen, was mit dem |
| |
Kurven, wenn wir die funktionalen Hauptkomponenten ändern, aber versuchen, den Leuten zu sagen, wissen Sie, ändern Sie die funktionale Hauptkomponente 2 |
| |
Die gewünschte Kurve zu erhalten, wird nicht...kommt nicht gut an. Deshalb wurde eine Funktion namens funktionale DOE-Analyse hinzugefügt. Damit können Sie |
| |
Schauen Sie sich die Möglichkeiten an... oder wie sich die Kurven ändern, basierend auf den von mir hinzugefügten Komponenten, den Zusatzkomponenten, unseren gemischten Komponenten. Lassen Sie mich hier noch etwas hinzufügen: Ich werde die lineare Funktion ändern. Ich werde eine Einschränkung hinzufügen. |
| |
Und |
| |
ändern Sie dies. |
| |
Okay, und sagen Sie OK. Und wenn wir uns dann unsere Gruppierungen hier ansehen, wenn ich den Stärkegehalt reduziere, steigt der Glutengehalt. Diese Einschränkung ermöglicht es uns, zu betrachten |
| |
Wie die verschiedenen Gruppierungen oder Mischungen im Vergleich aussehen und was mit den Kurven passiert, wenn wir die verschiedenen Stärke- und Glutenwerte ändern. Und das ist wiederum ein Kontinuum. Was wir mit den Daten gemacht haben, ist, wissen Sie, sehr definiert. |
| |
Teile der Daten, damit wir eine Vorstellung davon bekommen, was passieren wird, auch wenn die Mischungen nicht genau so sind, wie wir es in den Daten gezeigt haben, okay. |
| |
Okay, das war's mit den Rohdaten, und mal sehen, ob das hier ... mein nächster Schritt ist ... das hier ist praktisch dasselbe. |
| |
Und ich möchte sicherstellen, dass ich hier das Richtige habe. Dies geschieht mit den vorverarbeiteten Daten, also mit demselben funktionalen Daten-Explorer. |
| |
Entschuldigen Sie, wenn Sie die vorverarbeiteten Daten verwenden, können Sie die Unterschiede bereits erkennen. |
| |
Und die Kurven, wenn die vorverarbeiteten Daten eintreffen, passen wir die Modelle an und erhalten zwei funktionale Hauptkomponenten. Und was wir hier unten sehen wollen, ist, dass die |
| |
Score-Diagramm. Und wir können wieder sehen, wie diese Gruppierung der Variablen die Tatsache sind, dass die verschiedenen Versionen oder die verschiedenen |
| |
Gruppierungen oder Mischungen aus Gluten und Stärke sind hier viel besser gruppiert, okay. Und dann können Sie wieder verschiedene herausspringen lassen, so sieht das also aus. |
| |
Das Letzte, was ich zeigen oder besprechen möchte, ist die Betrachtung einer sogenannten generalisierten Regression. |
| |
Und wenn dies |
| |
seien Sie nett zu mir, das ist die verallgemeinerte Regressionsanpassung der Rohdaten, richtig. Und ich habe dies mithilfe einer elastischen Netzanpassung mit einer k-fachen Kreuzvalidierung erreicht. |
| |
Ich habe das elastische Netto-Alpha auf .56 eingestellt, um eine, wie ich es nenne, optisch ansprechendere Anpassung zu erhalten. Dadurch können verschiedene... oder mehr Gruppen der |
| |
Wellenlängen, die zur Modellanpassung hinzugefügt werden. Dies schränkt nicht nur die Gesamtanpassung Ihres Modells ein. |
| |
Wenn ich das täte, wenn ich diese Elastizität, dieses Alpha, einschränken würde, würde ich eine Passform erhalten, die eher so aussieht. Und jetzt ist es ein viel kleineres Modell, ein viel einfacheres Modell, aber Sie erhalten auch ... Sie könnten einige der additiven oder |
| |
additive Effekte, die Ihnen helfen könnten, eine bessere Gesamtanpassung zu erzielen. Sie haben also die Wahl, das einfachere Modell wird Ihnen auf lange Sicht helfen, |
| |
Wenn Sie verschiedene Gruppen benötigen, hilft Ihnen das bei der Suche nach verschiedenen Gruppen, wenn Sie eine Mischung aus mehreren Komponenten haben. Sie müssen jedoch wissen, dass die Übereinstimmung mit der |
| |
Ein niedrigeres elastisches Netto-Alpha ermöglicht die Einbeziehung von mehr Faktoren, mehr Variablen und mehr Wellenlängen in das Modell, okay. |
| |
Und das mit den Rohdaten. Mal sehen, ob mir das weiterhilft ... |
| |
wir werden einfach sehen, ob wir... und dann ist das die Passform mit dem |
| |
vollständig vorverarbeitete Daten, es ist also praktisch dasselbe. |
| |
Es ist nur so, dass Sie ein anderes Gesamtergebnis sehen, |
| |
richtig. Sie sehen ein anderes Modell, es sieht ganz anders aus. Auch hier werden die verschiedenen elastischen Netz-Alpha- und |
| |
Was wir letztendlich tun wollen, ist, diese Dinge einfach zu vergleichen. Wenn ich das vergleiche … |
| |
Wenn man die PLS-Rohdaten mit den vorverarbeiteten Daten vergleicht, ergibt sich eine deutlich bessere Anpassung. Wenn ich mir die verallgemeinerte Regression anschaue, im Vergleich dazu... das sind also partielle Kleinstquadrate-Daten für |
| |
vorverarbeitet, vorverarbeitet mit generalisierter Regression bei einem kleineren elastischen Netto-Alpha und dann dem höheren elastischen Netto-Alpha. Wir erhalten überall gute Anpassungen, also schadet es nicht, dies mit dem |
| |
generalisierte Regression in JMP Pro im Vergleich zu Ihren partiellen kleinsten Quadraten. Tatsächlich erhalten Sie einige wirklich gute Modelle und |
| |
Es ist einfach eine großartige Möglichkeit, Ihre Daten zu analysieren und Vorhersagemodelle für zukünftige Vergleiche oder für den Erhalt zukünftiger Daten zu erstellen. |
| |
In diesem Sinne möchte ich mich bedanken. Jeremy, vielen Dank für deinen Beitrag. Wir hoffen, es gefällt euch allen. Bitte gebt uns Feedback. Wir freuen uns über euer Feedback. Wir möchten wissen, was die Leute von diesen neuen Funktionen halten. |
