Lautsprecher
|
Transkript
|
| Jeremy Ash, JMP |
Hallo und vielen Dank, dass Sie zu unserem Gespräch gekommen sind. Ich bin Jeremy Ash. Ich bin Statistiker bei JMP R&D und Bill Worley ist hier. Er ist ein leitender Systemingenieur. Wir werden über die Analyse von Nah-IR-Spektroskopiedaten in JMP sprechen. |
| |
Dies ist also nicht der erste Vortrag, der zu diesem Thema geführt wird. Bill hat mehrere verwandte Vorträge, die Sie in der Community finden können. |
| |
Ich habe hier Links zu einigen davon, die sich auf kostenloses Material beziehen und |
| |
Bill hält einen Vortrag über FDE und DOE zur effizienten Modellierung multivariater Kalibrierungsmodelle mit weniger Experimenten und geht außerdem ausführlicher auf die Spektrenvorverarbeitung ein |
| |
in Discovery Europe Anfang dieses Jahres. Und dann haben Bill und ich eine Blogserie zu diesem Thema geschrieben, und zwar auf der Communit. Hier sind die Themen, die wir bisher behandelt haben, und wir haben ein JMP-Add-In erstellt, dessen Verwendung ich später demonstrieren werde. |
| |
Ein häufiger Anwendungsfall der Nah-IR-Spektroskopie ist die Bestimmung der chemischen Zusammensetzung einer Mischung. Rechts zeige ich ein Beispiel für Nah-IR-Spektren. |
| |
Darüber hinaus wird ein gewisses Maß an Absorption über einen Bereich von Wellenlängen erfasst, und die Spektren stellen hier eine pulverisierte Getreideprobe dar, bei der es sich um eine Mischung aus mehreren zugrunde liegenden chemischen Komponenten handelt. |
| |
Und die Spektren für die reinen Komponenten sind unten und die Spektren für die Mischung sind oben. Und aufgrund von Phänomenen wie |
| |
Bei Obertönen und Kombinationsbändern sind die Peaks der einzelnen Komponenten oft breit und überlappen sich, was die Zerlegung der Spektren in die zugrunde liegenden Komponenten erschwert. |
| |
Der Weg, den man stattdessen einschlägt, besteht darin, Modelle zu erstellen, die die Zusammensetzung als Funktion der Absorption bei vielen Wellenlängen vorhersagen. Dadurch werden die Daten hochdimensional und Variablen sind oft stark korreliert. |
| |
Eine der größten Herausforderungen bei der Analyse von Nah-IR-Spektren besteht darin, dass das Signal-Rausch-Verhältnis häufig niedrig ist, was auf unkontrollierte Schwankungen zurückzuführen ist |
| |
verursacht durch Lichtstreueffekte. Und diese müssen bereinigt werden, bevor ein zuverlässiges Modell erstellt werden kann. Daher werden die Daten häufig erheblichen Vorverarbeitungstransformationen unterzogen, und es gibt mehrere häufige Rauschquellen, die hier rechts dargestellt sind. |
| |
Die wahren Spektren werden in Schwarz angezeigt, und die Spektren in Grün weisen eine konstante Grundlinienverschiebung oder einen additiven Effekt auf. |
| |
Und dann haben die Spektren in Blau eine additive Wirkung und eine multiplikative Wirkung. Bei multiplikativen Effekten ist die Verzerrung bei größeren Absorptionen größer und die violetten Spektren haben dann einen additiven Effekt, einen multiplikativen Effekt und eine Verschiebung der Steigung zur Basislinie. |
| |
Als nächstes zeige ich einige der Vorverarbeitungsmethoden zum Bereinigen dieser Rauschquellen. All dies wird in unseren Blog-Beiträgen ausführlicher besprochen, aber ich werde einige in der Demo zeigen und die erste Ableitung von Savitzky-Golay wird additive Effekte bereinigen. |
| |
Und dann bereinigt ein zweiter Ableitungsfilter auch geneigte Basislinienverschiebungen. Dabei handelt es sich um häufig verwendete und wirksame Methoden. Das Problem besteht jedoch darin, dass die Transformation viel schwieriger zu interpretieren ist als das ursprüngliche Spektrum. |
| |
Die anderen Vorverarbeitungsmethoden, die ich erwähnen werde, können diese Interpretierbarkeit besser aufrechterhalten. Der |
| |
Standard-Normalvariablenzentren und -skalen, so dass entlang jedes Spektrums ein Mittelwert von Null in der Einheitsvarianz vorliegt. Dies ist eine einfache Normalisierung, die jedoch sowohl additive als auch multiplikative Effekte effektiv bereinigt. |
| |
Und dann die multiplikative Streuungskorrektur, bei der ein lineares Modell verwendet wird, um jedes Spektren wie ein Referenzspektren aussehen zu lassen, und oft ist keine Referenz verfügbar, sodass stattdessen mittlere Spektren verwendet werden. |
| |
Und dann ist die erweiterte multiplikative Streukorrektur die einzige Methode, die alle drei Rauschquellen bereinigt, und dies ist eine fortgeschrittenere Methode, die Referenzspektren für jede Komponente in einer Mischung erfordert. |
| |
Und wir werden später sehen, wie das funktioniert. |
| |
Und da die Daten hochdimensional sind und die Variablen stark korrelieren, sind viele multivariate Methoden anwendbar. Alle aufgeführten Analysen können in JMP durchgeführt werden. |
| |
Methoden zur Dimensionsreduktion sind für die Visualisierung der Daten unerlässlich. Gängige Methoden sind die Hauptkomponentenanalyse oder die mehrdimensionale Skalierung. |
| |
Und dann sind die funktionalen Hauptkomponenten im funktionalen Daten-Explorer hier eine besonders nützliche Methode. |
| |
Und JMP ist unter den für die Spektralanalyse verfügbaren Software einzigartig und verfügt über eine benutzerfreundliche funktionale Datenanalyseplattform. Und da Spektren eine funktionale Form haben, bietet die FDE viele Einsatzmöglichkeiten für Spektren. |
| |
Und wir fangen gerade erst an, diese Möglichkeiten zu erkunden. Und dann ist Clustering üblich. Hierarchisches Clustering in JMP ist besonders nützlich. |
| |
Und dann wird normalerweise eine Ausreißeranalyse durchgeführt, |
| |
Dazu erstellen Sie zunächst ein PCA- oder PLS-Modell und identifizieren dann Ausreißer in den T-Quadrat- und DModX-Diagrammen. |
| |
Und das alles kann in der modellgesteuerten multivariaten Kontrollkartenplattform durchgeführt werden. Und dann Vorhersagemodelle, die die chemische Zusammensetzung als Funktion von Spektren vorhersagen. Diese werden multivariate Kalibrierungsmodelle genannt und diese Modelle behandeln Fälle, in denen es mehr Variablen als Beobachtungen gibt. |
| |
Und das lässt sich gut mit PLS oder bestrafter Regression in GenReg oder auch dem Functional Data Explorer bewerkstelligen. |
| |
Okay, also werde ich zu JMP wechseln und meine Demo starten. |
| |
Zuerst zeige ich, wie man Spektraldaten mit dem Spectral Tools-Add-In einliest. |
| |
Für durch Text getrennte Dateien ist das von uns bereitgestellte Add-In nur ein Wrapper für den Importer für mehrere Dateien, der hier verfügbar ist. |
| |
Aber das Add-in bietet einige der nützlichsten Funktionen. Und dann haben wir auch einen JCAMP-DX-Importer, was für JMP neu ist. Und allgemein, |
| |
Das meiste davon kann bereits in JMP erledigt werden, aber mein Ziel war es, einige Wrapper zu schreiben, die den Workflow für Spektren ein wenig rationalisieren. Und ich sollte auch beachten, dass dies in JMP 17 verbessert wird, sodass dieses Add-In hoffentlich bald veraltet sein wird, aber |
| |
Dies könnte vorerst nützlich sein, wenn Sie Spektralmodelle erstellen. |
| |
Also ich habe eine |
| |
Ordner mit CSV-Dateien, eine Datei pro Spektre, und in diesen Dateien ist die erste Spalte die X-Variable und die zweite Spalte die Y-Variable. Also werde ich dieses Verzeichnis in JMP importieren. |
| |
Wählen Sie diesen Ordner aus. |
| |
Und ich möchte im gestapelten Format einlesen, weil das das Format ist, das das Add-In verwendet. |
| |
Und dann habe ich einen Header in diesen Dateien; Ich werde diese Option auswählen. Und ich kann dies auch verwenden, um nur CSV-Dateien auszuwählen. |
| |
Dies liest also die Spektren in einem gestapelten Format ein. |
| |
Und ich habe hier auch einige Metadaten in einer JMP-Tabelle |
| |
die ich dieser Datentabelle hinzufügen möchte. Und das mache ich mit einem Join in der Spektrenspalte. |
| |
Aber ich habe die Dateinamen mit der Dateierweiterung eingelesen, also verwenden Sie hier Text in den Spalten |
| |
Entfernen Sie diese Erweiterungen. |
| |
Ich gebe dieser Datei einen aussagekräftigeren Namen. |
| |
Und ich werde eine Tabellenaktualisierung verwenden und die Spektrenspalten abgleichen. |
| |
Und das Letzte, was ich zeigen werde, ist... |
| |
oder ich werde diese Spektrumspalte hierher verschieben. |
| |
Okay, so habe ich diese Datentabelle eingerichtet |
| |
und fügte es den Beispieldaten im Add-In hinzu. |
| |
Ich werde also einen ersten Blick auf die Daten werfen und dazu den Befehl „Graph Builder starten“ im Add-In verwenden. |
| |
Ich werde mit Gluten färben. |
| |
Und hier links richtet das Spektraltool einige lokale Datenfilter ein, die über einige hilfreiche Steuerelemente verfügen, sodass Sie nach Wellenlänge filtern können, um sich nur auf interessierende Bereiche zu konzentrieren. Wenn ich mich also nur auf diesen Gipfel hier konzentrieren wollte |
| |
Wenn ich alle Spalten in der Datentabelle ausgewählt habe, kann ich den Befehl „show subset“ verwenden und dadurch nur eine Teilmenge mit diesem interessierenden Bereich erstellen. |
| |
Ich kann hier mit diesem Filter auch einzelne Spektren darstellen, und |
| |
Es ist praktisch, nach Spektren zu suchen, um nur Teilmengen darzustellen. |
| |
Und das Letzte, was ich zeigen werde, sind die Animationssteuerelemente. |
| |
Aber dazu werde ich die Achsen sperren, sonst passen sie sich den einzelnen Spektren an. |
| |
Hier ... Ich werde es etwas beschleunigen, damit wir diese ganz schnell durchsehen können. |
| |
Und diese Funktion ist besonders nützlich, wenn Sie Spektren zu verschiedenen Zeitpunkten gesammelt haben, wie zum Beispiel bei der Reaktionsüberwachung. |
| |
Und Sie können auch unsere 3D-Streudiagramme in Diagrammen verwenden, um diese Daten zu visualisieren. |
| |
Okay, also werde ich es tun |
| |
klar das |
| |
Filter. |
| |
Eine Sache, an die Sie sich erinnern sollten, wenn Sie es getan haben |
| |
Wenn Sie die Handlung so eingerichtet haben, wie Sie es möchten, können Sie diese speichern |
| |
Skript zurück in die Datentabelle, damit Sie das Diagramm später neu erstellen können, wenn Sie neue Daten einwechseln möchten, beispielsweise nachdem Sie einige Vorverarbeitungen durchgeführt haben. |
| |
Das Einzige, was ich noch zeigen wollte, ist die Visualisierung der Variabilität und einiger diagnostischer Darstellungen. Dazu entferne ich die Gruppierungsvariablen |
| |
und das gibt mir eine Zusammenfassung der Spektren insgesamt. Und ich kann Boxplots verwenden. Diese sind |
| |
nützlich, um eine Vorstellung davon zu bekommen, ob die Variation über Wellenlängen hinweg konstant ist, und sind spezifisch für bestimmte Wellenlängen. Wenn es konstant ist, weist das darauf hin, dass eine weitere Vorverarbeitung erforderlich ist. Wenn es sich jedoch um spezifische Wellenlängen handelt, handelt es sich oft um echte chemische Effekte, die also nützlich sind. |
| |
Und eine andere Möglichkeit, Variabilität zu visualisieren, ist mit |
| |
Balkendiagramme. Ich verwende gerne schwebende Balkendiagramme und dann können Sie auch Gruppierungsvariablen hinzufügen, wenn Sie die Variabilität in verschiedenen Untergruppen betrachten möchten. |
| |
Und das ist alles, was ich mit der Visualisierung zeigen werde. Und das Einzige, was ich noch erwähnen wollte, ist das Einlesen von JCAMP-DX-Dateien. |
| |
Ich habe also ein Verzeichnis |
| |
Das |
| |
enthält zwei JCAMP-DX-Dateien, die von der JCAMP-DX-Standard-Website stammen. Ich fühlte mich nicht wohl |
| |
Teilen von Dateien, die wir zum Testen des Add-Ins verwenden, da diese von Kunden stammen. Deshalb habe ich gerade eine Testdatei von dieser Website genommen und sie zweimal dupliziert, um zu zeigen, wie wir sie einlesen können |
| |
mehrere Dateien. Und wir unterstützen nur das gängigste Format und das sind Dateien mit einer X/Y-Variablenliste ohne Komprimierung und wir unterstützen nur ein Spektren pro Datei. Und ich glaube, dass dies das gebräuchlichste Format ist, aber wenn Sie etwas anderes benötigen, lassen Sie es uns wissen. |
| |
Also werde ich das mit... lesen. |
| |
hier mit den Standardoptionen. |
| |
Und nur um Ihnen das zu zeigen |
| |
das wurde richtig eingelesen, |
| |
Zeichnen Sie es im Graph Builder. |
| |
Dies zeigt die gleichen Spektren, das sind eigentlich NMR-Spektren, aber das ist auch ein übliches Format für NIR-Spektren. |
| |
Das ist alles, was ich zeigen werde |
| |
mit Datenimport. |
| |
Und als nächstes zeige ich einige der einfachen Vorverarbeitungsmethoden, die in Spektraltools verfügbar sind. Die Absicht bestand darin, eine grundlegende Vorverarbeitung bereitzustellen, die es Benutzern ermöglicht, mit einigen einfachen Kalibrierungsmodellen mit etwas wie PLS zu beginnen |
| |
Damit wir Feedback zum Workflow erhalten können, planen wir jedoch eine umfassendere Suite von Vorverarbeitungsmethoden in FDE in JMP 17, die nur Pro sein wird. Wir ermutigen Benutzer jedoch, FDE zu verwenden, da diese Plattform wirklich auf die Modellierung funktionaler Daten spezialisiert ist wie Spektren. |
| |
Also werde ich es zuerst zeigen |
| |
Savitzky-Golay-Glättung. |
| |
Und Sie können den Grad des hier verwendeten Polynoms ändern. Sie können die Größe des Schiebefensters ändern; Eine größere Größe wird aggressiver geglättet. Und dann wird die Zierleiste hier unausgeglichene Schiebefenster abschneiden. |
| |
Und Savitzky-Golay ist eigentlich ein Sonderfall der lokalen Kernal-Regression, also probieren Sie vielleicht auch die anderen Optionen dafür aus |
| |
im Graph Builder, wie verschiedene Möglichkeiten zum Definieren Ihres Schiebefensters und verschiedene Gewichtungsfunktionen. Und sobald Sie die gewünschten Parameter ausgewählt haben, können Sie die Spektren wieder in der Tabelle speichern. |
| |
Als nächstes werde ich die Standard-Normalvariable zeigen, auf die sie angewendet wird |
| |
die glatten Spektren. |
| |
Und |
| |
Dadurch wird lediglich jedes Spektrum einzeln zentriert und skaliert, und Sie können dies auch mit einer Spaltenformel tun. Bill wird das in seinem Vorverarbeitungsvortrag zeigen. |
| |
Jetzt werde ich mir das Vorher und Nachher vorstellen |
| |
dies nutzen. Starten Sie Graph Builder. |
| |
Farbe durch Gluten. |
| |
Sie sehen, dass wir allein mit diesen einfachen Vorverarbeitungsmethoden viel getan haben, um das Rauschen in den Spektren zu beseitigen. Es gibt immer noch etwas Lärm in den Untergruppen. |
| |
Und dann hat Bill in seinem Vortrag vorhin gezeigt, wie man die Daten noch weiter bereinigen kann, wenn man einen Savitzky-Golay-Filter der ersten Ableitung verwendet. Und das ist in einem anderen Add-In, das wir im Blogbeitrag ausprobiert haben, aber darauf werde ich hier nicht näher eingehen. |
| |
Das Wichtigste, was Sie wissen müssen, ist, wie Bill zeigen wird, dass zuerst ein Filter der ersten Ableitung und dann eine Standardnormalvariable alle verbleibenden multiplikativen Effekte bereinigt. |
| |
Es stellt sich also heraus, dass Sie es noch besser machen können |
| |
Vorverarbeitung dieser Spektren mithilfe der sogenannten erweiterten multiplikativen Streukorrektur. |
| |
Also ich habe dieses Setup hier. |
| |
Diese Daten stammen also tatsächlich aus einem Artikel, in dem die erweiterte multiplikative Streuungskorrektur (im Folgenden einfach EMSC genannt) eingeführt wurde |
| |
Um die Vorteile dieser Vorverarbeitungsmethode zu veranschaulichen, verwende ich ein Streueffektdiagramm. Dazu muss ich jedoch die durchschnittliche Absorption bei jeder Wellenlänge berechnen. |
| |
Und das kann ich hier mit einer Spaltenformel machen. |
| |
Und dann werde ich das im Graph Builder grafisch darstellen. |
| |
Das Streueffektdiagramm stellt also die durchschnittliche Absorption bei jeder Wellenlänge durch die einzelnen Absorptionen dar, und Steigungen auf der Y-Achse weisen auf einen additiven Effekt hin |
| |
Änderungen in |
| |
Die Steigung der einzelnen Spektren zeigt sich in diesen Diagrammen als Fächerung, was auf einen multiplikativen Effekt hinweist. Und dann zeigen sich chemische Effekte interessanterweise als Schleifen in diesen Diagrammen. |
| |
Hier gibt es also eindeutig einen großen additiven Effekt. Um das zu bereinigen, kann ich einen Savitzky-Golay-Filter erster Ableitung verwenden. Ich habe diese Daten hier. |
| |
Dadurch wird der additive Effekt deutlich bereinigt, aber in dieser Handlung ist immer noch etwas Auffächerung übrig. Sie können das also mit der Standard-Normalvariablen bereinigen. |
| |
Stattdessen entfernt der EMSC die additiven und multiplikativen Effekte in einem Schritt und erfordert keine Ableitungstransformation, was nützlich ist, da die resultierenden Spektren dadurch einfacher zu interpretieren sind. |
| |
Und im Wesentlichen trennt das EMSC die Variationen in den Spektren aufgrund chemischer Effekte und die Variationen aufgrund von Rauschen. |
| |
Und dann subtrahiert es die durch Rauschen verursachte Variation und macht dies mit einem linearen Modell, also habe ich hier die Terme eingerichtet, die ich für das Modell benötige. Und |
| |
Die Details dazu behandeln wir im Blog. Ich sage nur, dass Sie das Fit-Modell verwenden können |
| |
an das EMSC-Modell anzupassen, und dies ist ein sehr nützliches Lehrmittel, um zu verstehen, wie das Vorverarbeitungsmodell angewendet wird, sodass es keine Blackbox mehr ist. Und so haben wir hier im Modell ein separates Modell für jedes Spektrum und die geschätzten Koeffizienten |
| |
werden bei der Korrektur verwendet, und Sie können...Sie können auch |
| |
Starten Sie dies neu |
| |
Modell mit unterschiedlichen Effekten, um zu sehen, wie sich die Dinge dadurch verändern. |
| |
Deshalb habe ich hier die letzte Korrektur vorgenommen und zeige nur das Vorher und Nachher. |
| |
Also |
| |
Die Spektren sind jetzt bemerkenswert frei von Streueffekten, und die Auswirkung auf die Spektren ist auch der Fall |
| |
aufgrund der Änderung der Gemischzusammensetzung ist nun klar. Das ist also alles, was ich behandeln werde, und ich übergebe es Bill, damit er einige der Modellierungsmethoden behandeln kann. |
| Bill Worley |
Hey, danke, Jeremy. |
| |
Lassen Sie uns hier die Bildschirme wechseln. |
| |
Und Sie sollten jetzt meine Datentabelle sehen. Ich hoffe, sobald ich darauf klicke. |
| |
Sieht jeder meine Datentabelle? |
| Jeremy Ash, JMP |
Ja. |
| Bill Worley |
Okay, also los geht's. Dies sind die gleichen Daten, die Jeremy verwendet hat, außer dass wir sie in diesem Fall haben ... Ich habe sie im Breitformat. Ich möchte Sie nur darüber informieren, dass Sie die Daten in beide Richtungen analysieren können. Manche Leute bevorzugen das Stapelformat, andere bevorzugen das Breitformat. |
| |
Seien Sie sich also bewusst, dass es möglich ist. Das Einzige ... das Erste, was ich Ihnen zeigen möchte, ist: |
| |
Worüber Jeremy zuvor gesprochen hat, ist, wie wir die Daten im Rohformat betrachten und dann die erste Savitzky-Golay-Ableitung und dann die eventuelle Glättung der Standard-Standardvariablen durchführen können. Und noch einmal: Beachten Sie, dass dies im Breitformat geschieht. |
| |
Okay, ich zeige Ihnen, dass das dort möglich ist. |
| |
Als nächstes möchte ich es zeigen |
| |
Hauptkomponentenanalyse. Dies ist für die meisten Leute, die Spektraldaten verwenden oder analysieren, ziemlich normal. |
| |
Was wir ... es ist in JMP sehr gut machbar. Es ist, wissen Sie, Sie gehen zur Analyse, |
| |
Multivariate Methoden und Hauptkomponenten. Also das habe ich schon gemacht. Ich habe bereits dargelegt, was wir hier zeigen, ist, dass wir größtenteils mit zwei Hauptkomponenten alle auftretenden Variationen erklären können. Wenn wir uns diesen Score-Plot hier ansehen, |
| |
Sie können sehen, dass die Untergruppierung der verschiedenen Gruppen der Mischungen, die wir haben, das Gluten und die Stärke. |
| |
Wir haben... |
| |
Nun, wir können diese Untergruppierung einfach sehen. Da ist es schön gemacht. Was Sie außerdem sehen können, ist, dass Jeremy über stark korrelierte Daten gesprochen hat. |
| |
Wir zeigen das in diesem anderen Komponentendiagramm hier. Wir können die Variablen einschalten, aber ... die Beschriftungen einschalten, aber das wäre irgendwie durcheinander |
| |
zu betrachten. Hier unten sehen Sie ein Diagramm der Ausreißeranalyse, es handelt sich also um ein T-Quadrat-Diagramm, und wir verwenden die beiden Hauptkomponenten der Analyse. Und es zeigt, dass wir vielleicht einige der Spektren haben, die vielleicht ein wenig außerhalb von ... liegen. |
| |
Das mögen Ausreißer sein, aber in den meisten Fällen...in den meisten Fällen würden wir ohnehin nicht alle Daten nutzen; Es ist nur eine Art, die Daten auszuloten, okay. |
| |
Als nächstes möchte ich etwas zeigen, das als modellgesteuerte multivariate Kontrollkarte bezeichnet wird, und das ist praktisch dasselbe, was ich gerade mit den Hauptkomponenten gemacht habe |
| |
anders. Wir betrachten also dieselben zwei Hauptkomponenten |
| |
hier oben, und wir haben hier die Gruppierung der Untergruppen. Und wenn wir hier nach unten schauen, haben wir etwas namens normalisiertes DModX, was eine andere Sichtweise auf den Ausreißer ist ... |
| |
potenzielle Ausreißer in Ihren Daten. Wisse einfach, dass das da ist. Das andere, was die modellgesteuerten multivariaten Kontrollkarten bieten, ist eine Möglichkeit, Ihre Daten zu vergleichen. |
| |
Was ich hier gemacht habe, ist, dass ich die Beispiele 13, 46, 95 und 45 ausgewählt habe, um die Unterschiede zwischen ihnen zu zeigen |
| |
diese vier Spektren, richtig. Jetzt können wir also sehen, dass diese ... aus diesen Gruppen ziemlich unterschiedlich sind, richtig, die Spektren sind ziemlich unterschiedlich. |
| |
Die andere Möglichkeit, diesen Vergleich durchzuführen, ist hier unten im Punktediagramm. Ich wähle den Buchstaben L aus, der mir mein Lasso-Werkzeug gibt. |
| |
Und ich werde dies so gut wie möglich einkreisen, ohne die anderen Daten zu erfassen, und daraus die A-Gruppe machen. Und dann hier unten in der roten Gruppe, dieser letzten roten Gruppe, |
| |
Schnapp dir das und wähle es aus. Es ist meine B-Gruppe und dann vergleiche, richtig. Und so können Sie die Daten dann noch einmal effektiv vergleichen. |
| |
Während ich das mache, kann ich sehen, wie, wissen Sie, wenn ich die Spektren auswähle, was in den verschiedenen Gruppierungen ausgewählt wird, richtig, das ist einfach eine coole Möglichkeit, die Daten zu visualisieren. |
| |
In Ordnung. Ich werde mit dem nächsten fortfahren. Das sind also Rohdaten, okay. Der nächste Schritt betrifft die vorverarbeiteten Daten. Es handelt sich also praktisch um dieselben Daten, die Sie zuvor gesehen haben. |
| |
aber ich habe die Vorverarbeitung durchgeführt, also bin ich von den Rohdaten bis zur Standard-Normalvariable übergegangen. Und noch einmal, unter Verwendung der beiden Hauptkomponenten hier: |
| |
Wir können sehen, dass die Daten etwas besser gruppiert sind. Es gibt etwas ... viel weniger Rauschen, viel weniger Variation als bei diesem T-Quadrat-Diagramm. Und ich schwöre, ich habe das nicht mit Absicht gemacht, aber die Daten scheinen jetzt etwas glücklicher zu sein, oder? Es ist ein kleines Lächeln. |
| |
Jede dieser kleinen Gruppierungen hier unten besteht aus 20 Spektren. Wenn ich mit der Maus darüber fahre, kann ich die Spektren tatsächlich zeichnen, herausblenden, |
| |
Und schau dir das an, wenn ich das möchte, okay. Ich kann die gleiche Gruppierung durchführen, die ich mir zuvor angesehen habe, also versuchen wir es mal. Markieren Sie dies |
| |
Und das macht es ein wenig einfacher, weil ich das Zeichenwerkzeug nicht verwenden muss, weil die Daten etwas besser gruppiert sind, richtig. Im selben Fall kann ich das tun, was ich zuvor getan habe: die Daten hervorheben und dann |
| |
Führen Sie bei Bedarf Vergleiche durch, okay. Das sind also die verwendeten Hauptkomponenten. Es gibt eine andere Möglichkeit, die gleiche Art von Analyse durchzuführen: |
| |
partielle kleinste Quadrate. Sie speichern die partiellen X-Werte der kleinsten Quadrate und verwenden diese Daten dann, um von dort aus das modellgesteuerte multivariate Kontrolldiagramm zu erstellen. Und wieder sieht es wirklich sauber aus. Dies sind die vorverarbeiteten Daten. Die Gruppierung ist wirklich schön, sodass wir sie von dort aus sehen können. |
| |
Wir können uns das ansehen |
| |
DModX. Es ist immer noch etwas verrauscht, aber nicht annähernd so verrauscht wie die Daten, wenn wir uns die Rohdaten mit den Hauptkomponenten ansehen, okay. Also lasst uns zurückgehen |
| |
Betrachten wir eine andere Analysemethode, und dabei geht es um die höhere...hierarchische Clusterbildung. Jeremy hatte das erwähnt |
| |
Zunächst und beim Betrachten der Daten, |
| |
Schauen Sie sich an, wie die Clusterbildung erfolgt. Wenn wir die Rohdaten betrachten, können wir sehen, dass es viele kleinere Cluster gibt. |
| |
Und die tatsächlichen Daten scheinen auf verschiedene Gruppen verteilt zu sein. Ich meine, sie ... sie sind nicht so gruppiert, wie man es sich erhoffen würde, richtig. Also haben wir das genommen |
| |
Wir haben die Daten vorverarbeitet, die gleiche Analyse durchgeführt und eine wirklich schöne Gruppierung erhalten. Und jedes davon ist in fünf Cluster unterteilt, also sehen Sie es hier hier. |
| |
Stärke und Gluten werden hier also wirklich gut getrennt. Wenn Sie diese Daten über die Funktion zum Speichern von Clustern wieder in Ihrer Datentabelle speichern, |
| |
Sie können dies tatsächlich bei Ihrer Modellierung verwenden, wenn Sie möchten. Sie können die Formel auch für den nächstgelegenen Cluster speichern und dann alle neuen Daten, die Sie erhalten, speichern |
| |
Fügen Sie es in den Cluster ein, dem es am nächsten liegt. |
| |
Okay, das sind also nur ein paar Möglichkeiten, Ihre Daten einzubringen, sie anzusehen, sie für die Modellierung einzurichten, und dann wäre der nächste Schritt, mit der Modellierung fortzufahren. Und was ich Ihnen als Nächstes zeigen werde, sind partielle kleinste Quadrate, was typischerweise oder ... Es tut mir leid, das ist eine verallgemeinerte Regression. |
| |
Das ist also ein verallgemeinertes Regressionsmodell, das wir den Leuten zeigen wollen, richtig, und |
| |
das ist |
| |
wo wir einige Dinge sehen könnten, die vor sich gingen. Und es sieht so aus, als hätten sich bei mir ein paar Dinge verändert. |
| |
Ich möchte greifen ... da, da. Es sind meine partiellen kleinsten Quadrate, und das zeigt, dass ich die Daten tatsächlich auf eine Weise analysiert habe, die hoffentlich funktioniert |
| |
Gib mir ein gutes Modell. Und was ich getan habe, ich zeige Ihnen nur, wie das geht. Sie gehen zur Analyse und dies ist die JMP Pro-Version. Wie ich schon sagte, es gibt ... viele der Dinge, die ich Ihnen zeige, können in regulärem JMP durchgeführt werden. Wenn ich zu multivariaten Methoden gehe, |
| |
Teilweise kleinste Quadrate, ich kann die gleiche Analyse durchführen, aber ich werde die JMP Pro-Version durchführen, richtig. Und ich werde Stärke und Gluten auswählen. |
| |
Ich wähle meine Rohdaten aus, füge sie hinzu und führe sie dann von dort aus aus. |
| |
Rechts. Und ich habe das falsche Setup eingegeben, aber los geht's |
| |
zurück zu |
| |
die Analyse, die wir hier erstellt haben. Und ich kann Ihnen hier unten ein paar verschiedene Dinge zeigen. Dies geschah mit vorverarbeiteten Daten. |
| |
Richtig, die Passform sieht wirklich gut aus und ich werde Ihnen gleich einen Vergleich dieser Passformen zeigen. Also |
| |
Wir haben unsere partiellen Daten der kleinsten Quadrate für die Rohdaten, den Teil ... und dann die vorverarbeiteten Daten. Und wenn ich diese vergleichen möchte, |
| |
Ich kann sehen, wie diese Modelle funktionieren, richtig. Was ich hier jetzt zeige, ist ein Vergleich der Rohdaten auf der linken Seite und dann der vorverarbeiteten Daten auf der rechten Seite. Mit den vorverarbeiteten Daten erhalten wir eine viel bessere Übereinstimmung. Dies geht also nur auf das zurück, was Jeremy zuvor gesagt hat. |
| |
Wir müssen diese Daten bereinigen, um die besten Vorhersagemodelle zu erhalten, die wir bekommen können, hoffentlich rauskommen, okay. |
| |
Eine andere Sache, die ich Ihnen zeigen möchte, ist |
| |
Die... |
| |
mal sehen, wo ich hier stehe. |
| |
Ich möchte Ihnen zeigen, dass es sich um den funktionalen Daten-Explorer handelt. |
| |
Und das ist |
| |
eine Möglichkeit ... der neuesten Art der Modellierung oder, zumindest in JMP, der neuesten Art der Modellierung von Spektrendaten, da Sie die Daten kontinuierlich analysieren können. |
| |
Okay, ich zeige Ihnen, wie das geht. Aber was das zeigt, ist, dass wir, wenn ich mir jetzt nur die Rohdaten ansehe, diese mit zwei funktionalen Hauptkomponenten analysieren können: |
| |
Genau wie wir es bei der Hauptkomponentenanalyse gemacht haben, können wir ein ziemlich gutes Modell erhalten. Das Einzige, was Ihnen auffallen wird, ist jedoch, dass dies mehr ist... Dies ist eine multivariate Kalibrierungsmethode, aber es ist eine inverse multivariate Methode. |
| |
Lassen Sie uns diese Analyse einfach durchgehen. |
| |
Analysieren. |
| |
Und dann müssen wir zur spezialisierten Modellierung übergehen und zum Funktionsdaten-Explorer gehen. |
| |
Da ich die Daten im Breitformat habe, muss ich Zeilen als Funktionen verwenden. |
| |
Ich werde meine benutzen |
| |
Stärke und Gluten als ergänzende Variablen. Spectra ist meine ID und ich werde mir die Rohdaten holen. |
| |
Okay. |
| |
Und es gibt viele Dinge, die Sie jetzt im funktionalen Daten-Explorer mit den Daten machen können, etwa sie bereinigen und etwas vorverarbeiten, aber das wird, wie Jeremy sagte, in JMP 17 nur noch besser. |
| |
Von hier aus wollten wir etwas modellieren oder daraus ein Modell bauen. Wir wollen alle Daten anpassen, |
| |
Also wenden wir uns den Modellen zu, der direkten funktionalen PCA. |
| |
Und wenn wir uns das hier ansehen, heißt das, dass wir fünf funktionale Hauptkomponenten verwenden könnten, aber das ist fast eine Verschwendung von Mühe, weil wir … |
| |
Mit zwei passen wir tatsächlich alle Daten, 100 % der Daten, der Variation an, richtig. Also werde ich das nach hinten schieben, ein wenig aufräumen und dann wieder nach unten bewegen. |
| |
Und schauen wir uns hier den Score-Plot an. |
| |
Dies zeigt uns die Daten als Rohdaten in ihren Untergruppen, wie wir zuvor gesehen haben, und alle anderen Bewertungsdiagramme. Und das Schöne daran ist, dass ich diese einzelnen Spektren hervorheben kann, wenn ich mit der Maus darüber fahre |
| |
und vergleichen Sie sie nur visuell, okay. |
| |
Weiter unten haben wir den funktionalen Hauptkomponenten-Profiler und er ist nett. Wir können schauen, was mit dem passieren wird |
| |
Kurven, während wir die funktionalen Hauptkomponenten ändern, aber ich versuche den Leuten zu sagen, dass sie die funktionale Hauptkomponente 2 ändern sollen |
| |
Die Kurve zu bekommen, die Sie wollen, wird nicht ... kommt nicht gut an. Was also hinzugefügt wurde, ist eine Funktion namens funktionale DOE-Analyse, okay. Und damit können Sie es |
| |
Schauen Sie sich die Leistungsfähigkeit von ... oder wie sich die Kurven ändern, basierend auf den Komponenten an, die ich hinzugefügt habe, den ergänzenden Komponenten, unseren gemischten Komponenten. Lassen Sie mich hier etwas hinzufügen und ich werde die Linearität ändern. Ich werde eine Einschränkung hinzufügen. |
| |
Und |
| |
ändere das. |
| |
Alles klar, und sagen Sie OK. Und wenn wir uns dann unsere Gruppierungen hier ansehen, wie ... wenn ich in der Stärke sinke, wird das Gluten zunehmen, so dass diese Einschränkung es uns ermöglicht, es zu betrachten |
| |
Wie vergleichen sich die verschiedenen Gruppierungen oder Mischungen und was passiert mit den Kurven, wenn wir die unterschiedlichen Stärke- und Glutenwerte ändern? Okay. Und das ist wiederum ein Kontinuum. Was wir in den Daten gemacht haben, ist, wissen Sie, sehr definiert |
| |
Teile der Daten, damit wir eine Vorstellung davon bekommen können, was passieren wird, sogar über ... selbst wenn die Mischungen nicht genau so sind, wie wir es in den Daten gezeigt haben, okay. |
| |
Okay, das ist also mit den Rohdaten, und mal sehen, ob das … mein nächster Schritt ist … das ist praktisch dasselbe. |
| |
Und ich möchte sicherstellen, dass ich hier das Richtige habe. Dies geschieht mit den vorverarbeiteten Daten, es handelt sich also um denselben funktionalen Daten-Explorer. |
| |
Entschuldigen Sie, wenn Sie die vorverarbeiteten Daten verwenden, können Sie die Unterschiede bereits erkennen. |
| |
Und wenn die vorverarbeiteten Daten eingehen, machen wir die Kurven ... passen wir die Modelle an, erhalten wir zwei funktionale Hauptkomponenten. Und worauf wir hier unten achten wollen, ist, dass |
| |
Score-Plot. Und wir können wieder sehen, wie diese Gruppierung der Variablen auf die unterschiedlichen Versionen oder Unterschiede zurückzuführen ist |
| |
Gruppierungen oder Mischungen von Gluten und Stärke sind hier viel schöner, in Ordnung. Hin und wieder kann man auch verschiedene herausnehmen, das ist also eine Art Betrachtung. |
| |
Das Letzte, worüber ich zeigen oder sprechen möchte, ist die Betrachtung von etwas, das als generalisierte Regression bezeichnet wird. |
| |
Und wenn das so ist |
| |
Spielen Sie gut mit mir, das ist die verallgemeinerte Regressionsanpassung der Rohdaten, richtig. Und ich habe dies mithilfe einer elastischen Netzanpassung mit einer k-fachen Kreuzvalidierung erreicht. |
| |
Ich habe den Alpha-Wert des elastischen Netzes auf 0,56 eingestellt, um eine, wie ich es nenne, angenehmere Passform für das Auge zu erreichen. Was es tut, ist, verschiedene ... oder mehr Gruppen davon zu ermöglichen |
| |
Wellenlängen, die zur Modellanpassung hinzugefügt werden sollen. Es schränkt nicht nur die allgemeine Passform Ihres Modells ein. |
| |
Wenn ich das tun würde, wenn ich die Elastizität, den Alpha-Wert begrenzen würde, würde ich eine Passform bekommen, die eher so aussieht. Und jetzt ist es ein viel kleineres Modell, ein viel einfacheres Modell, aber Sie erhalten auch ... möglicherweise fehlt Ihnen etwas von dem Additiv oder |
| |
additive Effekte, die Ihnen helfen könnten, eine bessere Gesamtanpassung zu erzielen. Sie haben also die Wahl, das einfachere Modell wird Ihnen auf lange Sicht helfen, |
| |
Wenn Sie unterschiedliche Gruppen benötigen, hilft Ihnen das bei der Suche nach verschiedenen Gruppen, wenn Sie eine Mischung aus mehreren Komponenten haben, aber wissen Sie nur, dass sie zu ihnen passen |
| |
Ein niedrigeres elastisches Netto-Alpha ermöglicht die Einbindung von mehr Faktoren und Variablen sowie mehr Wellenlängen in das Modell, okay. |
| |
Und zwar mit den Rohdaten. Mal sehen, ob mir das etwas bringen wird... |
| |
Wir werden einfach sehen, ob wir ... und dann passt das zusammen |
| |
Da es sich um vollständig vorverarbeitete Daten handelt, handelt es sich praktisch um dasselbe. |
| |
Es ist nur so, dass Sie eine andere Gesamtausgabe sehen, |
| |
Rechts. Sie sehen ein anderes Modell, es sieht ganz anders aus. Dabei werden wiederum die unterschiedlichen elastischen Netto-Alpha- und -Werte verwendet |
| |
Was zum ... letztendlich wollen wir diese Dinge einfach vergleichen. Wenn ich das vergleiche... |
| |
Betrachtet man wiederum die PLS-Rohdaten im Vergleich zu den vorverarbeiteten Daten, ergibt sich eine deutlich bessere Übereinstimmung. Wenn ich mir die verallgemeinerte Regression versus ... ansehe, handelt es sich also um partielle Daten der kleinsten Quadrate für |
| |
vorverarbeitet, vorverarbeitet unter Verwendung einer verallgemeinerten Regression bei einem kleineren elastischen Netto-Alpha und dann dem höheren elastischen Netto-Alpha. Wir bekommen überall gute Anfälle, richtig, es schadet also nicht, die Verwendung des zu untersuchen oder zu untersuchen |
| |
verallgemeinerte Regression in JMP Pro im Vergleich zu Ihren partiellen kleinsten Quadraten. Eigentlich bekommt man einige wirklich gute Modelle und |
| |
Es ist einfach eine großartige Möglichkeit, Ihre Daten zu analysieren und Vorhersagemodelle für zukünftige Vergleiche zu erstellen, oder wenn Sie zukünftige Daten erhalten. |
| |
Damit möchte ich mich bedanken. Jeremy, vielen Dank für deinen Beitrag dazu. Und wir hoffen, dass es Ihnen allen gefällt. Bitte geben Sie uns Feedback. Wir sind auf der Suche nach Feedback. Wir möchten wissen, was die Leute von diesen neueren Funktionen halten. |
