Lautsprecher
|
Transkript
|
| Jeremy Ash, JMP |
Hallo, und danke, dass Sie zu unserem Gespräch gekommen sind. Ich bin Jeremy Ash. Ich bin Statistiker bei JMP R&D und Bill Worley ist hier. Er ist leitender Systemingenieur. Wir werden über die Analyse von Nah-IR-Spektroskopiedaten in JMP sprechen. |
| |
Dies ist also nicht der erste Vortrag zu diesem Thema. Bill hat mehrere verwandte Vorträge, die Sie in der Community finden können. |
| |
Ich habe hier Links zu einigen davon, die sich auf kostenlosem Material befinden und |
| |
Bill hält einen Vortrag über FDE und DOE, um multivariate Kalibrierungsmodelle mit weniger Experimenten effizient zu modellieren, und er hat auch die Spektrenvorverarbeitung ausführlicher behandelt |
| |
in Discovery Europe Anfang dieses Jahres. Und dann haben Bill und ich eine Blogserie zu diesem Thema geschrieben, und zwar in der Community. Hier sind die Themen, die wir bisher behandelt haben, und wir haben ein JMP-Add-In erstellt, dessen Verwendung ich später demonstrieren werde. |
| |
Ein häufiger Anwendungsfall der Nah-IR-Spektroskopie besteht also darin, die chemische Zusammensetzung einer Mischung zu bestimmen, und ich zeige rechts ein Beispiel für Nah-IR-Spektren. |
| |
Und ein gewisses Maß an Extinktion wird über einen Wellenlängenbereich gesammelt, und die Spektren hier stellen eine pulverisierte Getreideprobe dar, die eine Mischung aus mehreren zugrunde liegenden chemischen Komponenten ist. |
| |
Und die Spektren für die reinen Komponenten sind unten und die Spektren für die Mischung oben. Und aufgrund von Phänomenen wie |
| |
Obertönen und Kombinationsbändern sind die Peaks für die einzelnen Komponenten oft breit und überlappen, was die Entfaltung der Spektren in die darunterliegenden Komponenten erschwert. |
| |
Stattdessen besteht der Weg, den Menschen gehen, darin, Modelle zu erstellen, die die Zusammensetzung als Funktion der Absorption bei vielen Wellenlängen vorhersagen, und dies macht die Daten hochdimensional und die Variablen sind oft stark korreliert. |
| |
Eine der größten Herausforderungen bei der Analyse von Nah-IR-Spektren besteht also darin, dass das Signal-Rausch-Verhältnis oft niedrig ist und dies auf unkontrollierte Variationen zurückzuführen ist |
| |
verursacht durch Lichtstreuungseffekte. Und diese müssen bereinigt werden, bevor ein zuverlässiges Modell gebaut werden kann. Daher unterliegen die Daten häufig einigen großen Vorverarbeitungstransformationen, und es gibt mehrere häufige Rauschquellen, die hier rechts dargestellt sind. |
| |
Die wahren Spektren werden in Schwarz dargestellt und dann haben die Spektren in Grün eine konstante Basislinienverschiebung oder einen additiven Effekt. |
| |
Und dann wirken die Spektren in Blau additiv und multiplikativ. Multiplikative Effekte sind, wenn die Verzerrung bei größeren Extinktionen größer ist, und dann haben die violetten Spektren einen additiven Effekt, einen multiplikativen Effekt und eine Verschiebung der Neigung zur Basislinie. |
| |
Als nächstes zeige ich einige der Vorverarbeitungsmethoden zum Bereinigen dieser Rauschquellen. All dies wird in unseren Blog-Posts ausführlicher besprochen, aber ich werde einige in der Demo zeigen und das erste Derivat von Savitzky-Golay wird additive Effekte beseitigen. |
| |
Und dann bereinigt ein Filter der zweiten Ableitung auch geneigte Basislinienverschiebungen. Dies sind häufig verwendete und effektive Methoden, aber das Problem besteht darin, dass die Transformation viel schwieriger zu interpretieren ist als das ursprüngliche Spektrum. |
| |
Die anderen Vorverarbeitungsmethoden, die ich erwähne, leisten also eine bessere Arbeit, um diese Interpretierbarkeit aufrechtzuerhalten. Die |
| |
Standard-Normalvariate-Zentren und -Skalen, so dass es einen Nullmittelwert der Einheitsvarianz entlang jedes Spektrums gibt, und dies ist eine einfache Normalisierung, die jedoch sowohl additive als auch multiplikative Effekte effektiv beseitigt. |
| |
Und dann die multiplikative Streuungskorrektur, die ein lineares Modell verwendet, um jedes Spektren wie ein Referenzspektren aussehen zu lassen, und oft ist keine Referenz verfügbar, so dass stattdessen Mittelspektren verwendet werden. |
| |
Und dann ist die erweiterte multiplikative Streuungskorrektur die einzige Methode, die alle drei Rauschquellen bereinigt, und dies ist eine fortschrittlichere Methode, die Referenzspektren für jede Komponente in einer Mischung erfordert. |
| |
Und wir werden später sehen, wie das funktioniert. |
| |
Und da die Daten hochdimensional sind und die Variablen stark korreliert sind, sind viele multivariate Methoden anwendbar. Alle aufgeführten Analysen können in JMP durchgeführt werden. |
| |
Für die Visualisierung der Daten sind Methoden zur Dimensionsreduktion unerlässlich. Gängige Methoden sind die Hauptkomponentenanalyse oder die mehrdimensionale Skalierung. |
| |
Und dann sind die funktionalen Hauptkomponenten im funktionalen Datenexplorer hier eine besonders nützliche Methode. |
| |
Und JMP ist einzigartig unter den verfügbaren Softwares für die Spektralanalyse und verfügt über eine benutzerfreundliche funktionale Datenanalyseplattform. Und da Spektren eine funktionale Form haben, bietet FDE viele Verwendungsmöglichkeiten für Spektren. |
| |
Und wir fangen gerade erst an, diese Fähigkeiten zu erkunden. Und dann ist Clustering üblich. Hierarchisches Clustering in JMP ist besonders nützlich. |
| |
Und dann wird in der Regel eine Ausreißeranalyse durchgeführt, |
| |
und erstellen Sie dazu zuerst ein PCA- oder PLS-Modell und dann werden Ausreißer in den T-Quadrat- und DModX-Diagrammen identifiziert. |
| |
Und dies alles kann in der modellgesteuerten Plattform für multivariate Regelkarten durchgeführt werden. Und dann Vorhersagemodelle, die die chemische Zusammensetzung als Funktion von Spektren vorhersagen, diese werden als multivariate Kalibrierungsmodelle bezeichnet, und diese Modelle behandeln Fälle, in denen es mehr Variablen als Beobachtungen gibt. |
| |
Und das geht auch gut mit PLS oder Penalized Regression in GenReg oder dem funktionalen Datenexplorer. |
| |
Okay, ich werde also zu JMP wechseln und meine Demo starten. |
| |
Zuerst zeige ich, wie man Spektraldaten mit dem Spektralwerkzeug-Add-In einliest. |
| |
Für Dateien mit Texttrennzeichen ist das von uns bereitgestellte Add-In nur ein Wrapper für den Importer für mehrere Dateien, der hier verfügbar ist. |
| |
Aber das Add-In bietet einige der nützlichsten Funktionen. Und dann haben wir auch noch einen JCAMP-DX-Importer, was bei JMP neu ist. Und allgemein, |
| |
Das meiste davon kann bereits in JMP erledigt werden, aber mein Ziel war es, einige Wrapper zu schreiben, die den Workflow für Spektren ein wenig rationalisieren. Und ich sollte auch beachten, dass dies in JMP 17 verbessert wird, also wird dieses Add-In hoffentlich bald veraltet sein, aber |
| |
Dies kann derzeit nützlich sein, wenn Sie Spektralmodelle erstellen. |
| |
Also ich habe eine |
| |
Ordner mit csv-Dateien, eine Datei pro Spektren, und in diesen Dateien ist die erste Spalte die X-Variable und die zweite Spalte die Y-Variable. Also werde ich dieses Verzeichnis in JMP importieren. |
| |
Wählen Sie diesen Ordner aus. |
| |
Und ich möchte im gestapelten Format einlesen, weil das das Format ist, das das Add-In verwendet. |
| |
Und dann habe ich einen Header in diesen Dateien; Ich werde diese Option auswählen. Und ich kann damit auch nur CSV-Dateien auswählen. |
| |
Dies liest also die Spektren in einem gestapelten Format ein. |
| |
Und ich habe auch einige Metadaten in einer JMP-Tabelle hier |
| |
die ich dieser Datentabelle hinzufügen möchte. Und das mache ich mit einem Join in der Spektrenspalte. |
| |
Aber ich habe die Dateinamen mit Dateierweiterung eingelesen, also verwenden Sie hier Text in Spalten, um |
| |
Entfernen Sie diese Erweiterungen. |
| |
Ich gebe diesem einen informativeren Dateinamen. |
| |
Und ich werde eine Tabellenaktualisierung verwenden und die Spektrenspalten abgleichen. |
| |
Und das Letzte, was ich zeigen werde, ist... |
| |
oder ich werde diese Spektrumspalte hierher verschieben. |
| |
Okay, so habe ich diese Datentabelle eingerichtet |
| |
und fügte es den Beispieldaten im Add-In hinzu. |
| |
Ich werde mir also einen ersten Blick auf die Daten werfen und dazu den Befehl zum Starten von Graph Builder im Add-In verwenden. |
| |
Ich werde nach Gluten färben. |
| |
Und auf der linken Seite richtet das Spektralwerkzeug einige lokale Datenfilter ein, die einige hilfreiche Steuerelemente haben, sodass Sie nach Wellenlänge filtern können, um sich nur auf interessierende Bereiche zu konzentrieren. Wenn ich mich also nur auf diesen Gipfel hier konzentrieren wollte und |
| |
Wenn alle Spalten in der Datentabelle ausgewählt sind, kann ich den Befehl show subset verwenden, und das wird nur eine Teilmenge mit diesem interessierenden Bereich erstellen. |
| |
Ich kann hier mit diesem Filter auch einzelne Spektren plotten, und |
| |
es ist praktisch, nach Spektren zu suchen, um nur Teilmengen darzustellen. |
| |
Und das letzte, was ich zeigen werde, ist die Animationssteuerung, |
| |
aber dazu werde ich die Achsen sperren, sonst passen sie sich den einzelnen Spektren an. |
| |
Hier ... ich werde es ein wenig beschleunigen, damit wir diese ganz schnell durchsuchen können. |
| |
Und diese Funktion ist besonders nützlich, wenn Sie Spektren zu verschiedenen Zeitpunkten gesammelt haben, wie bei der Reaktionsüberwachung. |
| |
Und Sie können auch unsere 3D-Streudiagramme in Diagrammen verwenden, um diese Daten zu visualisieren. |
| |
Okay, also werde ich |
| |
lösch das |
| |
Filter. |
| |
Eine Sache, an die Sie sich erinnern sollten, wenn Sie haben |
| |
die Handlung so eingerichtet, wie Sie es möchten, können Sie dies speichern |
| |
Skript zurück in die Datentabelle, sodass Sie das Diagramm später neu erstellen können, wenn Sie neue Daten austauschen möchten, z. B. nachdem Sie eine Vorverarbeitung durchgeführt haben. |
| |
Die eine andere Sache, die ich zeigen wollte, ist die Visualisierung der Variabilität und einiger diagnostischer Diagramme. Dazu entferne ich die Gruppierungsvariablen |
| |
und das gibt mir eine Zusammenfassung der Spektren insgesamt. Und ich kann Boxplots verwenden. Diese sind |
| |
nützlich, um eine Vorstellung davon zu bekommen, ob die Variation über die Wellenlängen hinweg konstant ist, sind spezifisch für bestimmte Wellenlängen. Wenn sie konstant ist, weist dies auf die Notwendigkeit weiterer Vorverarbeitung hin, aber wenn sie spezifisch für Wellenlängen ist, sind dies oft echte chemische Effekte, also sind diese nützlich. |
| |
Und eine andere Möglichkeit, Variabilität zu visualisieren, ist mit |
| |
Balkendiagramme. Ich verwende gerne Floating-Bar-Plots und dann können Sie auch Gruppierungsvariablen hinzufügen, wenn Sie die Variabilität in verschiedenen Untergruppen betrachten möchten. |
| |
Und das ist alles, was ich mit Visualisierung zeigen werde. Und die eine andere Sache, die ich erwähnen wollte, ist das Einlesen von JCAMP-DX-Dateien. |
| |
Also habe ich ein Verzeichnis |
| |
das |
| |
enthält zwei JCAMP-DX-Dateien, die von der JCAMP-DX-Standardwebsite stammen. Ich habe mich nicht wohl gefühlt |
| |
Freigeben von Dateien, die wir zum Testen des Add-Ins verwenden, da diese von Kunden stammen. Also habe ich gerade eine Testdatei von dieser Website genommen und sie zweimal dupliziert, um zu zeigen, wie wir einlesen können |
| |
mehrere Dateien. Und wir unterstützen nur das gängigste Format und das sind Dateien mit einer X/Y-Variablenliste ohne Komprimierung und wir unterstützen nur ein Spektrum pro Datei. Und ich glaube, dies ist das gebräuchlichste Format, aber wenn Sie etwas anderes benötigen, lassen Sie es uns wissen. |
| |
Also lese ich das mit... |
| |
hier mit den Standardoptionen. |
| |
Und nur um dir das zu zeigen |
| |
das wurde richtig eingelesen, |
| |
Plotten Sie es im Graph Builder. |
| |
Dies zeigt die gleichen Spektren, dies sind eigentlich NMR-Spektren, aber dies ist auch ein gängiges Format für NIR-Spektren. |
| |
Das ist alles, was ich zeigen werde |
| |
mit Datenimport. |
| |
Und als nächstes werde ich einige der einfachen Vorverarbeitungsmethoden zeigen, die in Spektralwerkzeugen enthalten sind. Die Absicht war, einige grundlegende Vorverarbeitungen bereitzustellen, die es Benutzern ermöglichen, mit einigen einfachen Kalibrierungsmodellen mit etwas wie PLS . zu beginnen |
| |
damit wir Feedback zum Workflow erhalten können, aber wir planen eine umfassendere Suite von Vorverarbeitungsmethoden in FDE in JMP 17, die nur Pro sein wird, aber wir ermutigen die Benutzer, FDE zu verwenden, da diese Plattform wirklich auf die Modellierung funktionaler Daten spezialisiert ist wie Spektren. |
| |
Also zuerst werde ich es zeigen |
| |
Savitzky-Golay-Glättung. |
| |
Und Sie können den Grad des hier verwendeten Polynoms ändern. Sie können die Größe des Schiebefensters ändern; größere Größe wird aggressiver geglättet. Und dann schneidet die Verkleidung hier unausgeglichene Schiebefenster ab. |
| |
Und Savitzky-Golay ist eigentlich ein Sonderfall der lokalen Kernal-Regression, also können Sie die anderen Optionen dafür ausprobieren |
| |
im Graph Builder, wie verschiedene Möglichkeiten zum Definieren Ihres Schiebefensters und verschiedene Gewichtungsfunktionen. Und sobald Sie die gewünschten Parameter ausgewählt haben, können Sie die Spektren wieder in der Tabelle speichern. |
| |
Als nächstes zeige ich die Standardvariate "Normal", auf die angewendet wird |
| |
die glatten Spektren. |
| |
Und |
| |
dies zentriert und skaliert einfach jedes Spektren einzeln, und Sie können dies auch mit einer Spaltenformel tun. Bill wird das in seinem Preprocessing-Talk zeigen. |
| |
Jetzt visualisiere ich das Vorher und Nachher |
| |
diese verwenden. Starten Sie den Graph-Builder. |
| |
Farbe durch Gluten. |
| |
Sie können sehen, dass wir mit diesen einfachen Vorverarbeitungsmethoden viel getan haben, um das Rauschen in den Spektren zu beseitigen. Es gibt immer noch etwas Rauschen in den Untergruppen. |
| |
Und dann hat Bill in seinem Vortrag vorhin gezeigt, wie man die Daten noch weiter bereinigen kann, wenn man einen Savitzky-Golay-Filter der ersten Ableitung verwendet. Und das ist in einem anderen Add-In, das wir im Blogbeitrag ausprobiert haben, aber ich werde hier nicht darauf eingehen. |
| |
Die Hauptsache zu wissen, Bill wird dies zeigen, ist, dass zuerst ein Filter der ersten Ableitung durchgeführt wird und dann eine normale normale Variable alle verbleibenden multiplikativen Effekte bereinigt. |
| |
Es stellt sich also heraus, dass Sie es noch besser machen können |
| |
Vorverarbeitung dieser Spektren unter Verwendung der sogenannten erweiterten multiplikativen Streuungskorrektur. |
| |
Also ich habe dieses Setup hier. |
| |
Diese Daten stammen also tatsächlich aus einem Papier, das die erweiterte multiplikative Streuungskorrektur einführte (von hier an einfach EMSC nennen) und |
| |
Um die Vorteile dieser Vorverarbeitungsmethode zu zeigen, verwende ich ein Streueffektdiagramm. Aber dazu muss ich die durchschnittliche Extinktion bei jeder Wellenlänge berechnen. |
| |
Und das kann ich mit einer Spaltenformel hier tun. |
| |
Und dann zeichne ich dies im Graph Builder. |
| |
Das Streueffektdiagramm zeigt also die durchschnittliche Extinktion bei jeder Wellenlänge durch die einzelnen Extinktionen, und Steigungen auf der Y-Achse zeigen einen additiven Effekt an, während |
| |
Änderungen in |
| |
Steigung der einzelnen Spektren zeigt sich in diesen Plots als Auffächerung, was auf einen multiplikativen Effekt hindeutet. Und dann zeigen sich chemische Effekte interessanterweise als Schleifen in diesen Diagrammen. |
| |
Und so gibt es hier eindeutig einen großen additiven Effekt. Um das zu bereinigen, kann ich einen ersten abgeleiteten Savitzky-Golay-Filter verwenden. Ich habe diese Daten hier. |
| |
Das reinigt also den additiven Effekt dramatisch, aber es gibt immer noch etwas übriggebliebenes Auffächern in dieser Handlung. Sie können das also mit Standard-Normalvariate bereinigen. |
| |
Stattdessen entfernt der EMSC die additiven und multiplikativen Effekte in einem Schritt und erfordert keine abgeleitete Transformation, was nützlich ist, da die resultierenden Spektren dadurch einfacher zu interpretieren sind. |
| |
Und im Wesentlichen trennt der EMSC die Variation in den Spektren aufgrund chemischer Effekte und die Variation aufgrund von Rauschen. |
| |
Und dann subtrahiert es die Variation aufgrund von Rauschen und tut dies mit einem linearen Modell, also habe ich hier die Terme eingerichtet, die ich für das Modell benötige. Und |
| |
Details dazu finden Sie im Blog. Alles, was ich sagen werde, ist, dass Sie das Fit-Modell verwenden können |
| |
an das EMSC-Modell anzupassen, und dies ist ein sehr nützliches Lehrmittel, um zu verstehen, wie das Vorverarbeitungsmodell angewendet wird, damit es keine Blackbox mehr ist. Hier im Modell haben wir also für jedes Spektren ein separates Modell und die geschätzten Koeffizienten |
| |
werden in der Korrektur verwendet, und Sie können ... Sie können auch |
| |
starte das neu |
| |
Modell mit verschiedenen Effekten, um zu sehen, wie sich die Dinge ändern. |
| |
Also habe ich hier die letzte Korrektur angewendet und zeige nur das Vorher und Nachher. |
| |
So |
| |
die Spektren sind jetzt bemerkenswert frei von Streueffekten, und der Effekt auf die Spektren ist |
| |
durch Änderung der Gemischzusammensetzung ist nun klar. Das ist alles, was ich behandeln werde, und ich übergebe es Bill und er kann einige der Modellierungsmethoden behandeln. |
| Bill Worley |
Hey, danke, Jeremy. |
| |
Lassen Sie uns hier die Bildschirme wechseln. |
| |
Und Sie sollten jetzt meine Datentabelle sehen. Ich hoffe, sobald ich darauf klicke. |
| |
Sehen alle meine Datentabelle? |
| Jeremy Ash, JMP |
Jawohl. |
| Bill Worley |
Okay, also los geht's. Dies sind die gleichen Daten, die Jeremy verwendet hat, außer in diesem Fall haben wir sie ... ich habe sie im Großformat. Lassen Sie Sie nur wissen, dass Sie die Daten in beide Richtungen analysieren können. Manche Leute bevorzugen das Stack-Format, manche bevorzugen das Breitformat. |
| |
Also wissen Sie einfach, dass es machbar ist. Das eine ... das erste, was ich dir zeigen möchte, ist, |
| |
worüber Jeremy vorher gesprochen hat, ist, wie wir die Daten im Rohformat betrachten und dann die erste Ableitung von Savitzky-Golay und dann die endgültige Standard-Normalvariaten-Glättung durchführen können. Und wieder wissen Sie nur, dass dies im Breitformat geschieht. |
| |
Okay, also zeigen Sie, dass das dort möglich ist. |
| |
Als nächstes möchte ich zeigen, ist |
| |
Hauptkomponentenanalyse. Dies ist für die meisten Leute, die Spektraldaten verwenden oder analysieren, ziemlich Standard. |
| |
Was wir...es ist in JMP sehr machbar. Es ist, weißt du, du gehst zu analysieren, |
| |
multivariate Methoden und Hauptkomponenten. Also ich habe das schon gemacht. Ich habe bereits festgestellt, dass wir hier zeigen, dass wir größtenteils mit zwei Hauptkomponenten alle Variationen erklären können, die vor sich gehen. Wenn wir uns dieses Score-Plot hier ansehen, |
| |
Sie können sehen, dass die Untergliederung der verschiedenen Gruppen der Mischungen, die wir haben, das Gluten und die Stärke. |
| |
Wir haben... |
| |
Nun, wir können nur diese Untergruppierung sehen. Da ist es schön gemacht. Was Sie außerdem sehen können, ist, dass Jeremy von hochkorrelierten Daten gesprochen hat. |
| |
Wir zeigen das in diesem anderen Komponentendiagramm hier. Wir können die Variablen aktivieren, aber ... Labels, aber es wäre irgendwie durcheinander |
| |
zu betrachten. Hier unten ist ein Ausreißeranalysediagramm, also ein T-Quadrat-Diagramm, und wir verwenden die beiden Hauptkomponenten der Analyse. Und es zeigt, dass, ja, vielleicht haben wir einige der Spektren, die vielleicht ein bisschen außerhalb... |
| |
das könnten Ausreißer sein, aber in den meisten Fällen ... in den meisten Fällen würden wir sowieso nicht alle Daten verwenden; Es ist nur eine Art, die Daten auszuloten, okay. |
| |
Als nächstes möchte ich etwas zeigen, das als modellgesteuerte multivariate Regelkarte bezeichnet wird, und das ist praktisch dasselbe, was ich mit den Hauptkomponenten nur in a . gemacht habe |
| |
anders. Wir betrachten also dieselben zwei Hauptkomponenten |
| |
hier oben, und wir haben die Gruppierung der Untergruppen hier. Und wenn wir hier nach unten schauen, haben wir etwas namens normalisiertes DModX, was eine andere Art ist, den Ausreißer zu betrachten ... |
| |
potenzielle Ausreißer in Ihren Daten. Weiß nur, dass das da ist. Die andere Sache, die die modellgesteuerten multivariaten Regelkarten bieten, ist eine Möglichkeit, Ihre Daten zu vergleichen. |
| |
Was ich hier gemacht habe, ist, dass ich die Proben 13, 46, 95 und 45 ausgewählt habe, um die Unterschiede zwischen zu zeigen |
| |
diese vier Spektren, richtig. Jetzt können wir also sehen, dass diese ... aus diesen Gruppen ziemlich unterschiedlich sind, richtig, die Spektren sind ziemlich unterschiedlich. |
| |
Die andere Möglichkeit, diesen Vergleich durchzuführen, ist hier unten durch das Score-Plot. Ich wähle den Buchstaben L aus, der mir mein Lasso-Werkzeug gibt. |
| |
Und ich werde dies so gut wie möglich einkreisen, ohne die anderen Daten zu erfassen, und dies zur A-Gruppe machen. Und dann hier unten in der roten Gruppe, dieser letzten roten Gruppe, |
| |
nimm das und wähle das aus. Es ist meine B-Gruppe und dann vergleiche, richtig. Und dann können Sie die Daten wieder effektiv vergleichen. |
| |
Während ich dies tue, kann ich sehen, wie, wissen Sie, während ich die Spektren auswähle, was in den verschiedenen Gruppierungen ausgewählt wird, richtig, das ist also nur eine coole Art, die Daten zu visualisieren. |
| |
In Ordung. Ich gehe zum nächsten über. Das sind also Rohdaten, okay. Der nächste Schritt ist mit den vorverarbeiteten Daten, es sind also praktisch die gleichen Daten, die Sie zuvor gesehen haben. |
| |
aber ich habe die Vorverarbeitung durchgeführt, also bin ich den ganzen Weg von den Rohdaten zum normalen Standardvariaten gegangen. Und wieder unter Verwendung der beiden Hauptkomponenten hier, |
| |
Wir sehen, dass die Daten etwas besser gruppiert sind. Es gibt ein wenig ... viel weniger Rauschen, viel weniger Variation als dieses T-Quadrat-Diagramm. Und ich schwöre, dass ich das nicht mit Absicht getan habe, aber die Daten sehen jetzt ein bisschen glücklicher aus, richtig. Es ist ein kleines Lächeln. |
| |
Jede dieser kleinen Gruppierungen hier unten besteht aus 20 Spektren. Wenn ich den Mauszeiger darüber bewege, kann ich diese Spektren tatsächlich darstellen, diese Spektren ausblenden, |
| |
und sieh dir das an, wenn ich will, okay. Ich kann die gleiche Gruppierung machen, die ich mir zuvor angesehen habe, also versuchen wir es damit. Markieren Sie dies |
| |
und das macht es ein wenig einfacher, weil ich nicht das ... dieses Zeichenwerkzeug verwenden muss, weil die Daten ein bisschen besser gruppiert sind, richtig. In diesem Fall kann ich das tun, was ich zuvor getan habe, die Daten markieren und dann |
| |
Vergleiche nach Bedarf, okay. Das sind also die Hauptkomponenten. Es gibt eine andere Möglichkeit, dieselbe Art von Analyse durchzuführen, indem Sie verwenden |
| |
partielle kleinste Quadrate. Sie speichern die partiellen X-Scores der kleinsten Quadrate und verwenden diese Daten dann, um von dort aus die modellgesteuerte multivariate Regelkarte zu erstellen. Und das sieht wieder richtig sauber aus. Dies sind die vorverarbeiteten Daten. Die Gruppierung ist wirklich schön, also können wir es von dort aus sehen. |
| |
Wir können uns das anschauen |
| |
DModX. Es ist immer noch ein bisschen verrauscht, aber nicht annähernd so verrauscht wie die Daten, wenn wir die Rohdaten mit den Hauptkomponenten betrachten, okay. Also gehen wir zurück zu |
| |
Betrachten Sie eine andere Analysemethode, und dies ist die Betrachtung der höheren...hierarchischen Clusterung. Jeremy hatte das erwähnt |
| |
zunächst und beim Betrachten der Daten, |
| |
Schauen Sie sich an, wie die Clusterbildung stattfindet. Wenn wir die Rohdaten erstellen, können wir sehen, dass es viele kleinere Cluster gibt. |
| |
Und die tatsächlichen Daten sind... scheinen in verschiedenen Gruppen verteilt zu sein. Ich meine, sie... sie sind nicht so gruppiert, wie man es sich erhoffen würde, richtig. Also haben wir das genommen |
| |
vorverarbeitete Daten, die gleiche Analyse durchgeführt und wir haben wirklich eine wirklich schöne Gruppierung erhalten. Und jeder davon befindet sich in fünf Clustern, also sehen Sie es hier. |
| |
Stärke und Gluten werden hier also sehr schön getrennt. Wenn Sie diese Daten über die Funktion zum Speichern von Clustern wieder in Ihrer Datentabelle speichern, |
| |
Sie können dies tatsächlich in Ihrer Modellierung verwenden, wenn Sie dies wünschen. Sie können auch die Formel für den nächsten Cluster speichern und dann werden alle neuen Daten, die Sie eingeben, |
| |
in den Cluster einfügen, dem es am nächsten ist. |
| |
Okay, das sind also nur ein paar Möglichkeiten, um Ihre Daten einzubringen, sie sich anzusehen, sie für die Modellierung einzurichten, und dann wäre der nächste Schritt die Modellierung. Und was ich Ihnen als Nächstes zeigen werde, sind die partiellen kleinsten Quadrate, die normalerweise oder ... Es tut mir leid, dies ist eine verallgemeinerte Regression. |
| |
Dies ist also ein verallgemeinertes Regressionsmodell, das wir den Leuten zeigen möchten, richtig, und |
| |
das ist |
| |
wo wir einige Dinge sehen könnten, die vor sich gehen. Und es sieht so aus, als ob sich bei mir ein paar Dinge geändert haben. |
| |
Ich möchte greifen ... dort, dort. Es sind meine partiellen kleinsten Quadrate, und das zeigt, dass ich die Daten tatsächlich so analysiert habe, dass dies hoffentlich gelingt |
| |
gib mir ein gutes modell. Und was ich getan habe, ich zeige Ihnen nur, wie das geht. Sie gehen zu analysieren, und dies ist die JMP Pro-Version. Wie ich schon sagte, es gibt ... viele der Dinge, die ich Ihnen zeige, können in regulärem JMP erledigt werden. Wenn ich zu multivariaten Methoden gehe, |
| |
partielle kleinste Quadrate, ich kann die gleiche Analyse durchführen, aber ich werde die JMP Pro-Version machen, richtig. Und ich werde Stärke und Gluten auswählen. |
| |
Ich wähle meine Rohdaten aus und füge sie hinzu und führe sie dann von dort aus. |
| |
rechts. Und ich habe das falsche Setup eingegeben, aber los geht's |
| |
zurück zu |
| |
die Analyse, die wir hier eingerichtet haben. Und ich kann Ihnen hier unten ein paar verschiedene Dinge zeigen. Dies geschah mit vorverarbeiteten Daten. |
| |
Richtig, die Passform sieht also wirklich gut aus und ich zeige dir gleich einen Vergleich dieser Passformen. So |
| |
Wir haben unsere Daten der partiellen kleinsten Quadrate für die Rohdaten, den Teil ... und dann die vorverarbeiteten Daten. Und wenn ich die vergleichen möchte, |
| |
Ich kann sehen, wie diese Modelle funktionieren, richtig. Was ich hier jetzt zeige, ist ein Vergleich der Rohdaten auf der linken Seite und dann der vorverarbeiteten Daten auf der rechten Seite, und wir erhalten eine viel bessere Übereinstimmung mit vorverarbeiteten Daten, also geht dies nur auf das zurück, was Jeremy vorhin gesagt hat. |
| |
Wir müssen diese Daten bereinigen, um die besten Vorhersagemodelle zu erhalten, die wir hoffentlich bekommen können, okay. |
| |
Eine andere Sache, die ich dir zeigen möchte, ist |
| |
das... |
| |
mal sehen wo ich hier bin. |
| |
Ich möchte Ihnen zeigen, dass es der funktionale Daten-Explorer ist. |
| |
Und das ist |
| |
eine Möglichkeit ... die neueste Art der Modellierung oder, zumindest für JMP, die neueste Art der Modellierung von Spektrendaten, da Sie die Daten kontinuierlich analysieren können. |
| |
Okay, ich zeige dir, wie das geht. Aber was dies zeigt, ist, dass wir, wenn ich mir nur die Rohdaten ansehe, diese mit zwei funktionalen Hauptkomponenten analysieren können: |
| |
genau wie wir es bei der Hauptkomponentenanalyse getan haben, und wir können ein ziemlich anständiges Modell erhalten. Die einzige Sache, die es wird ... Sie werden feststellen, dass dies mehr ist ... dies ist eine multivariate Kalibrierungsmethode, aber es ist eine inverse multivariate Methode. |
| |
Lassen Sie uns diese Analyse einfach durchgehen. |
| |
Analysieren. |
| |
Und dann müssen wir zur spezialisierten Modellierung gehen und wir gehen zum funktionalen Daten-Explorer. |
| |
Da ich die Daten im Breitformat habe, muss ich Zeilen als Funktionen verwenden. |
| |
Werde meine benutzen |
| |
Stärke und Gluten als zusätzliche Variablen. Spectra ist meine ID, und ich werde mir die Rohdaten holen. |
| |
Okay. |
| |
Und es gibt eine Menge Dinge, die Sie jetzt im funktionalen Daten-Explorer mit den Daten machen können, bis hin zum Bereinigen und Vorverarbeiten, aber das wird, wie Jeremy sagte, in JMP 17 nur besser werden. |
| |
Von hier aus wollten wir etwas modellieren oder ein Modell daraus bauen. Wir wollen alle Daten anpassen, |
| |
Also gehen wir zu Modellen, direkter funktionaler PCA. |
| |
Und wenn wir uns das hier ansehen, bedeutet dies, dass wir fünf funktionale Hauptkomponenten verwenden könnten, aber es ist fast eine Verschwendung von Mühe, denn wir haben... |
| |
mit zwei passen wir tatsächlich alle Daten an, 100 % der Daten, der Variation, richtig. Also werde ich das zurückschieben, ein wenig aufräumen und dann wieder nach unten gehen. |
| |
Und schauen wir uns den Punkteplan hier an. |
| |
Dies zeigt uns die Daten als Rohdaten in den Untergruppen, wie wir zuvor gesehen haben, und alle anderen Score-Plots. Und das Schöne daran ist, wenn ich darüber schwebe, kann ich diese einzelnen Spektren ausblenden |
| |
und vergleichen Sie sie nur visuell, okay. |
| |
Weiter unten haben wir den funktionalen Hauptkomponenten-Profiler und es ist schön. Wir können uns ansehen, was mit den |
| |
Kurven, wenn wir die funktionalen Hauptkomponenten ändern, aber versuchen, den Leuten zu sagen, dass sie die funktionale Hauptkomponente ändern müssen 2 |
| |
Die gewünschte Kurve zu bekommen, wird nicht ... geht nicht gut. Was also hinzugefügt wurde, ist eine Funktion namens funktionale DOE-Analyse, okay. Und damit kannst du |
| |
Sehen Sie sich die Leistungsfähigkeit von ... oder wie sich die Kurven ändern, basierend auf den Komponenten, die ich hinzugefügt habe, den zusätzlichen Komponenten, unseren gemischten Komponenten. Lassen Sie mich hier eine Sache hinzufügen und ich werde das Lineare ändern. Ich werde eine Einschränkung hinzufügen. |
| |
und |
| |
ändere das. |
| |
In Ordnung, und sagen Sie OK. Und dann, wenn wir unsere Gruppierungen hier betrachten, als ... wenn ich in Stärke nach unten gehe, wird das Gluten steigen, so dass diese Einschränkung es uns ermöglicht, zu sehen |
| |
wie sich die verschiedenen Gruppierungen oder Mischungen vergleichen und was mit den Kurven passiert, wenn wir die verschiedenen Stärke- und Glutengehalte ändern, okay. Und das wiederum ist auf einem Kontinuum, was wir in den Daten gemacht haben, ist, wissen Sie, sehr definiert |
| |
Teile der Daten, damit wir eine Vorstellung davon bekommen, was passieren wird, auch wenn die Mischungen nicht genau so sind, wie wir es in den Daten gezeigt haben, okay. |
| |
In Ordnung, das sind also die Rohdaten, und mal sehen, ob das... mein nächster Schritt ist... das ist praktisch dasselbe. |
| |
Und ich möchte sichergehen, dass ich hier den richtigen habe. Dies geschieht mit den vorverarbeiteten Daten, das ist also der gleiche funktionale Daten-Explorer, |
| |
mit den vorverarbeiteten Daten, entschuldigen Sie, und Sie können die Unterschiede bereits sehen. |
| |
Und die Kurven, wenn die vorverarbeiteten Daten eintreffen, tun wir ... wir passen die Modelle an, wir erhalten zwei funktionale Hauptkomponenten. Und was wir hier unten sehen wollen, ist, dass die |
| |
Score-Plot. Und wir können wieder sehen, wie diese Gruppierung der Variablen die Tatsache ist, dass die verschiedenen Versionen oder die unterschiedlichen sind |
| |
Gruppierungen oder Mischungen aus Gluten und Stärke sind hier so viel schöner gruppiert, in Ordnung. Hin und wieder können Sie verschiedene herausnehmen, also sehen Sie sich das an. |
| |
Das Letzte, was ich zeigen oder worüber ich sprechen möchte, ist etwas, das als generalisierte Regression bezeichnet wird. |
| |
Und wenn das so ist |
| |
Spielen Sie gut mit mir, das ist die verallgemeinerte Regressionsanpassung der Rohdaten, richtig. Und ich habe dies mit einer elastischen Netzpassung mit einer K-Falten-Kreuzvalidierung getan. |
| |
Ich habe das elastische Netto-Alpha auf 0,56 eingestellt, um eine ... was ich eine für das Auge angenehmere Passform nenne. Was es tut, ist, dass verschiedene ... oder mehr Gruppen der |
| |
Wellenlängen, die der Modellanpassung hinzugefügt werden sollen. Es wird nicht nur die allgemeine Modellanpassung einschränken. |
| |
Wenn ich das täte, wenn ich diese Elastizität, dieses Alpha begrenzen würde, würde ich eine Passform bekommen, die eher so aussieht. Und jetzt ist es ein viel kleineres Modell, ein viel einfacheres Modell, aber Sie bekommen auch ... Sie verpassen vielleicht etwas von dem Zusatz oder |
| |
additive Effekte, die Ihnen helfen können, eine bessere Gesamtanpassung zu erzielen. Sie haben also die Wahl, das einfachere Modell hilft Ihnen auf Dauer, |
| |
Wenn Sie verschiedene Gruppen benötigen, können Sie verschiedene Gruppen finden, wenn Sie eine Mischung aus mehreren Komponenten haben |
| |
Ein niedrigeres elastisches Netto-Alpha ermöglicht mehr Faktoren und mehr Variablen, mehr Wellenlängen, um Teil des Modells zu sein, okay. |
| |
Und das mit den Rohdaten. Mal sehen, ob mir das hilft... |
| |
mal sehen ob wir das bekommen...und dann passt das zum |
| |
vollständig vorverarbeitete Daten, also ist es praktisch dasselbe. |
| |
Sie sehen nur eine andere Gesamtausgabe, |
| |
rechts. Sie sehen ein anderes Modell, es sieht ganz anders aus. Dies geschieht wiederum unter Verwendung der unterschiedlichen elastischen Netze Alpha und |
| |
Was zum ... letztendlich wollen wir nur diese Dinge vergleichen. Wenn ich die vergleiche... |
| |
Betrachtet man die PLS-Rohdaten im Vergleich zu den vorverarbeiteten Daten, so erhalten sie eine deutlich verbesserte Anpassung. Wenn ich mir die verallgemeinerte Regression im Vergleich zu ... anschaue, sind dies partielle Kleinste-Quadrate-Daten für |
| |
vorverarbeitet, vorverarbeitet mit generalisierter Regression bei einem kleineren elastischen Netto-Alpha und dann dem höheren elastischen Netto-Alpha. Wir bekommen überall gute Passformen, richtig, also schadet es nicht, mit dem zu recherchieren |
| |
generalisierte Regression in JMP Pro im Vergleich zu Ihren partiellen kleinsten Quadraten. Eigentlich bekommt man ein paar richtig gute Modelle und |
| |
Es ist einfach eine großartige Möglichkeit, Ihre Daten zu analysieren und Vorhersagemodelle für zukünftige Vergleiche oder zukünftige Daten zu erstellen. |
| |
Damit sage ich Danke. Jeremy, vielen Dank für deinen Beitrag dazu. Und wir hoffen, es gefällt euch allen. Bitte geben Sie uns Feedback. Wir suchen Feedback. Wir möchten wissen, was die Leute von diesen neueren Fähigkeiten halten. |
