Bei Waters haben wir mit Wissenschaftlern und Ingenieuren in Bioprozesslaboren gesprochen und ihr Interesse an der Nutzung fortschrittlicher Analytik zur Gewinnung von Erkenntnissen für die Bioprozessentwicklung bekundet. Als Haupthindernis wurde uns der Zeitaufwand für die Datenerfassung und die Gewinnung von Erkenntnissen aus dieser fortschrittlichen Analytik genannt. Wenn wir über Bioprozesstechnik sprechen, konzentrieren wir uns auf die vorgelagerte Bioprozesstechnik und sind uns bewusst, dass viele Zuhörer auf diesem Gebiet nicht allzu viel wissen. Ich dachte, einige Fotos veranschaulichen die Art der Labore, über die wir sprechen, und die Aktivitäten, bei denen die Proben erzeugt werden.
Die Labore, die vorgelagerten Bioprozessentwicklungslabore und die Klonselektionslabore, verwenden typischerweise entweder automatisierte Bioreaktoren (siehe Foto oben links) oder Tischbioreaktoren mit einem Fassungsvermögen von einigen Litern, manchmal sogar fünf Litern. Ein Bioprozesstechniker, der diese Experimente durchführt, arbeitet normalerweise an einem Tag, an dem die Experimente durchgeführt werden. Normalerweise dauert ein Versuch etwa zwei Wochen. Jeden Morgen kommen die Mitarbeiter vorbei, entnehmen Proben aus den Bioreaktoren, wie Sie auf den Bildern sehen können, und führen anschließend Analysen durch.
Routineanalysen, also grundlegende chemische Analysen wie pH-Wert, Metallionen usw., werden vom Bioprozesstechniker direkt durchgeführt. Fortgeschrittene Analysen werden jedoch in der Regel an ein zentrales Analyselabor weitergeleitet. Dann kommt es, wie bereits erwähnt, zu einer Verzögerung von mehreren Wochen, bis die Ergebnisse und Daten vorliegen. Das passt nicht wirklich zum Rhythmus für die Planung neuer Experimente.
Bei Waters versuchen wir, dies zu ändern, sodass Prozessingenieure erweiterte Analysen idealerweise während der Zellkultur selbst durchführen können. So können sie die Erkenntnisse aus diesen Daten für die Planung des nächsten Experiments nutzen und davon profitieren. Bei Waters entwickeln wir neue LCMS-Systeme, die auch von Nicht-Analytikern, also Ingenieuren, Chemikern usw., verwendet werden können. Das BioAccord LC-MS-System, das unserer Meinung nach besonders für Bioprozesslabore geeignet ist und von Nicht-Analytikern bedient werden kann, ist das System.
Wenn sie dies nun in einem Bioprozesslabor tun, haben sie den Vorteil, dass sie ein viel umfassenderes Bild davon bekommen, was während ihrer Experimente vor sich geht. Zusätzlich zu den routinemäßigen chemischen Untersuchungen und Zellmessungen erhalten sie auch viel mehr Informationen darüber, was in den Zellen, in den Bioreaktoren passiert: was sie viel verbrauchen, was sie weniger verbrauchen, welche Metaboliten und Nebenprodukte sie produzieren, und sie erhalten viel mehr Informationen über die Produkte und die Produktqualität während des Zellkulturprozesses.
Sie können eine Menge zusätzlicher Daten gewinnen, die unserer Meinung nach sehr wertvoll sind. Die Kehrseite ist jedoch: Je mehr verschiedene Instrumente und Methoden sie verwenden, desto mehr Daten müssen sie bereinigen und aggregieren, bevor sie daraus Erkenntnisse gewinnen können. Ich übergebe an meinen Kollegen bei CSL.
Hallo, ich bin Lalit. Ich gehöre zu CSL Seqirus und arbeite als Wissenschaftler im Upstream-Team. Als Nutzer des BioAccord möchte ich meine Erfahrungen mit Ihnen teilen. Bei CSL verwenden wir für unsere Experimente einen daten- bzw. DoE-basierten Ansatz. Wir verwenden hauptsächlich Amber 15 und Amber 250, zwei Hochdurchsatzgeräte. Amber 15 verfügt über 48 Bioreaktoren mit einem Arbeitsvolumen von 15 ml. Amber 250 hat 24 Reaktoren mit einem Arbeitsvolumen von 200 ml. Mit den DoE-Designs generieren wir große Datenmengen, die in das BioAccord LC-MS eingespeist werden. Es ist sehr praktisch für die Identifizierung und Quantifizierung von Komponenten, da es mehr als 200 Komponenten aus seiner Bibliothek erkennen kann. Dadurch ist es viel einfacher, kein anderes Gerät zu verwenden.
Gleichzeitig kann die Verwendung von BioAccord LC-MS aufgrund der Datenmenge eine große Herausforderung darstellen. Es ist zwar sehr nützlich, und Sie können alle Daten einsehen, aber es ist schwierig, anhand des Volumens Rückschlüsse zu ziehen. Hier ist das JMP-Add-In von Waters sehr praktisch. Sie können die Daten mit dem Add-In anpassen und die Metaboliten anhand ihrer Stoffwechselwege trennen. Dadurch wird es einfacher, die einzelnen Komponenten zu betrachten und sie mit den DoE-Prozessparametern zu verknüpfen, die zur weiteren Verbesserung oder Optimierung Ihres Prozesses verwendet werden können. Insgesamt ist das Add-In von BioAccord LC-MS und JMP von Waters für Upstream-Wissenschaftler sehr nützlich.
Die Datenvisualisierung und -analyse, die meine Kollegen von JMP Ihnen demonstrieren, wurde in einem Experiment erstellt, über das wir hier einen Überblick geben. Die Zellkulturexperimente wurden auf dem Amber 250-System durchgeführt, von dem ich Ihnen zuvor ein Bild gezeigt habe. Es handelte sich um ein Achtwegesystem, also um acht verschiedene Bioreaktoren. Die Studie dauerte 14 Tage. Jeden Morgen wurden aus jedem Bioreaktor Proben entnommen und auf dem Nova BioProfile FLEX2-System und dem BioAccord LC-MS-System analysiert.
Der Versuchsaufbau war recht einfach. Es wurden die Gaszufuhrrate, die Luftüberlagerungsrate und die Pufferkonzentration variiert. Die Beschickung der Bioreaktorstruktur war für jeden Bioreaktor identisch, nur die Faktoren Gaszufuhr und Puffer wurden verändert. Das Amber 250-System verfügt über integrierte Sensoren für Online-Temperatur, Gas und pH-Wert. Mit dem FLEX2-System werden Werte wie Zellzahl, Zelllebensfähigkeit, Ammoniak, pH-Wert usw. gemessen. Das BioAccord-System wurde zur Titermessung verwendet, wobei die Protein-A-Chromatographie der Goldstandard ist. Aggregate sind sowohl hochmolekulare als auch niedermolekulare Verunreinigungen.
Glykoprofile: Wir untersuchten, welche Glykoformen während des Zellkulturexperiments gebildet wurden. Ich hätte sagen sollen, dass es sich um eine CHO-Zelllinie handelte, die zur Expression eines monoklonalen Antikörpers entwickelt wurde. Es gibt verschiedene Glykoformen dieses Antikörpers, die wichtige Qualitätsmerkmale darstellen. Dann das verbrauchte Medium, also das Medium, das die Zellen umgibt und die Nährstoffe und Metaboliten enthält, die von den Zellen ausgeschieden wurden. Wir messen darin Dinge wie Aminosäuren, Vitamine, TCA-Metaboliten, also die Metaboliten des Krebs-Zyklus, und auch Metaboliten anderer Stoffwechselwege. Unsere Kollegen von JMP zeigen Ihnen die Analyse und Visualisierung dieser Daten.
Um die Datenanalyse und -visualisierung zu vereinfachen, haben wir mit Hilfe unserer Kollegen von JMP ein Bioprozess-Monitor-Add-In für JMP entwickelt, das im Marketplace erhältlich ist. Mit diesem Add-In können Sie die Datendateien aus den verschiedenen Analysegeräten importieren. Es fügt automatisch die Metadaten hinzu, bereinigt die Daten und aggregiert alles in einer Tabelle, die dann zur Erstellung von Visualisierungen verwendet wird.
Das Add-In erstellt Visualisierungen für den Einstieg in Balken- und Liniendiagramme. Um Sie auf die multivariate Analyse vorzubereiten, erstellt es abschließend eine MVA-Tabelle, die mit einer Spalte pro Analyt optimal für die MVA-Analyse geeignet ist. Nun übergebe ich an meinen Kollegen von JMP.
Danke, Pat. Mein Name ist Greg Flexman. Ich bin Systemingenieur bei JMP und werde jetzt mit der Bedienung von JMP beginnen. Der Waters Biopress Process Monitor ist im JMP Marketplace erhältlich und bietet eine vollständige PDF-Dokumentation mit Anweisungen zum Datenimport und zur Erstellung von Dateien. Pat hat ein sehr hilfreiches Video erstellt, das ich mir aber erst später ansehen werde.
Nach dem Import aller Daten erhalten Sie eine Reihe von Berichten. Sie können zwischen Balkendiagrammen und Liniendiagrammen wählen. Hier zeigt sich die große Bandbreite an Analyten, die BioAccord messen kann, denn wir haben hier ein DoE mit acht Bioreaktoren. Wir sehen nicht nur den Titer zu allen Zeitpunkten, sondern auch alle Vorgänge, die zur Produktivität der Zellen beitragen.
Wir sehen die Fragmente und Aggregate sowie die Hauptzellen. Wir sehen all diese verschiedenen Zyklen, DNA-Synthese und Glykosylierungen. Das Durchsuchen Ihrer Daten ist wirklich hilfreich. Im Folgenden sehen Sie, dass dies in einem hohen Datenformat erfolgte. Wir werden uns das nur kurz ansehen. 12.000 Zeilen, deutlich weniger Spalten, und es sieht aus wie eine LIMS-Datenbank. Hier werden die verschiedenen gemessenen Analyten und ihre Werte in einer hohen Tabelle dargestellt.
Das Add-In generiert außerdem eine umfangreiche Tabelle, die sogenannte multivariate Analyse. Das Skript endet standardmäßig damit. Dies bietet Ihnen die Möglichkeit, Streudiagramme zu erstellen, beispielsweise um den Titer nach metabolischem Stress zu betrachten und die in unseren Daten vorhandenen Zusammenhänge zu untersuchen. Dies ist auch ein hervorragender Ausgangspunkt für weitere Analysen.
Ich beginne mit dieser breiten Tabelle, die ich zuvor erweitert und um Formelspalten erweitert habe. Wir können sie grafisch darstellen. Wir könnten den Titer im Zeitverlauf betrachten. Auch hier geht es darum, die Zusammenhänge zu verstehen. Ich habe einen berechneten Wert für den inkrementellen Titer erstellt. Dies ist der Anteil des Wachstums von Tag zu Tag. Wir sehen also, dass einige bis zu 80 % wachsen, in späteren Tagen jedoch nur noch etwa 10 %, also ein Zyklus von 1,1 pro Tag.
Mir ist dieser große Ausreißer am siebten Tag aufgefallen. Nur zum Spaß werde ich eine frühe und eine späte Phase definieren. Ich werde außerdem den relativen Titeranstieg pro Zeit berechnen, indem ich alle diese Zeitpunkte mittele. Wir können uns beispielsweise ansehen, dass unser Bioreaktor mit der schlechtesten Leistung in dieser frühen Phase deutlich schlechter war als die anderen und auch in der späten Phase niedriger.
Unser bestes Produkt war anfangs recht gut, da zeigte es seine volle Wirkung. Später lag es etwas näher am Mittelfeld, aber dieses V7 ist ziemlich interessant. Es zeigte sich anfangs sehr stark, ließ dann aber nach. Ich frage mich, welches Potenzial es gehabt hätte, wenn die richtigen Bedingungen für eine kontinuierliche Produktion dieser Zellen gegeben gewesen wären.
JMP bietet uns zahlreiche Tools zum Verständnis dieser verschiedenen Prozessbedingungen. Wir können Y-Achsen-Anpassungen durchführen, aber es gibt einfach zu viele Parameter. Wir wenden ein Screening-Tool namens Response Screening an. Ich zeige Ihnen zunächst, worauf es basiert, und rufe dann die Analyseplattform auf. Wenn wir eine ganze Reihe von Y-Achsen-Anpassungen durchführen würden, hätte ich hier nur zwei mit einer bivariablen Früh- und Spätvariable. Wir sehen diese Isozitronensäure: sehr starkes R-Quadrat früh, sehr hohe Signifikanz früh, aber weniger später.
Wir könnten uns auch dieses andere Nicotinamid ansehen, das in der Spätphase sehr stark ist und später eine sehr hohe statistische Signifikanz aufweist, in der Frühphase jedoch weniger. Die Werte für r² und p sagen uns viel über die Stärke der Beziehung (r). Wenn wir wirklich nur versuchen, die Hebelwirkung dieser vielen Parameter zu verstehen, wird dies sehr hilfreich sein. Ich werde jetzt diese Response-Screening-Plattform ausführen und wir werden das r² und den p-Wert für viele dieser Parameter sehen. Bei so vielen Vergleichen müssen wir mit einigen Fehltreffern rechnen.
Es gibt eine Korrektur, die sogenannte Falscherkennungsrate. Wir haben den P-Wert der Falscherkennungsrate. Da dieser P-Wert bei so kleinen Zahlen schwer zu ermitteln ist, ist es praktisch, den Logarithmus zu betrachten. Der Logarithmus ist also sehr einfach zu erkennen. 0,05 entspricht zwei. Wir können die Grenze zwischen dem Signifikanzniveau erkennen. Es gibt die Isozytrik für die frühen Werte, und wir können sie auch für die späten Werte betrachten. Sie werden feststellen, dass die Rangfolge für die frühen und späten Werte unterschiedlich ist. Ich werde jetzt ein Paralleldiagramm erstellen. Dazu verwende ich ein Skript. Als Hinweis: Ich habe eine kombinierte Datentabelle erstellt und anschließend eine Teilungsoperation durchgeführt. So, hier ist die Pointe. Wir wiederholen das hier im Skript. Dadurch erhalten wir ein Paralleldiagramm. Anschließend habe ich die Tabelle aus unserer Zusammenfassung aktualisiert, um die Analytklasse einzufügen.
Das wird sich zeigen. Wir sehen, dass die frühe und späte Phase im Vergleich zum Log-Wert von zwei signifikanten Werten die statistisch signifikanteste ist. Der stärkste Parameter darin ist wiederum die Isozitronensäure. In der späten Phase ändern sich diese Beziehungen deutlich. Hier sieht die Sache ganz anders aus. Es gibt Nicotinamid und einige andere Vitamine, die weniger wichtig sind. Dies ist nur ein Beispiel für die grafischen Analysen, die hier durchgeführt werden können.
Jetzt möchte ich ein weiteres Konzept vorstellen und wechsele dazu per JMP zu einer anderen Datentabelle. Diese stammt zwar nicht aus BioAccord, aber ich zeige Ihnen kurz ein Lehrbeispiel für den funktionalen Datenexplorer, eine Funktion von JMP Pro. Stellen Sie sich vor, wir hätten einen sehr einfachen Bioreaktor mit 20 verschiedenen Durchläufen und würden nur die Trübung im Zeitverlauf untersuchen. Wir möchten verstehen, wie sich einige dieser Variablen verändern. Vielleicht haben wir eine Versuchsplanung für pH-Wert und Temperatur erstellt. Wir haben diese Durchläufe unter verschiedenen Prozessbedingungen durchgeführt. Sie sehen, wie die hervorgehobenen Zeilen hin und her springen – ein Hinweis auf ein DoE. Ich rufe den funktionalen Datenexplorer auf, und das ist wirklich toll. Er wird all diese Kurven untersuchen, diese Wavelet-Modelle verwenden und versuchen, einen Großteil der Variabilität zu beschreiben.
Ich habe das Ganze auf drei gekürzt, aber Sie können JMP selbst entscheiden lassen, wo es hingehört. JMP Pro bestimmt die Hauptkomponenten und stellt Ihnen einen Profiler zur Verfügung, der zeigt, wie diese Hauptkomponenten die Form des Prozesses beeinflussen. Und hier kommt die tolle Pointe: Jetzt können wir sehen, wie diese Zusatzvariablen die Form beeinflussen. Dies ist sozusagen eine Einführung in den funktionalen Daten-Explorer, in dem wir sehen können, wie Zusatzvariablen die Form beeinflussen. Ich mache hier eine Pause und übergebe an meinen Freund Ben, der das wirklich cool zusammenfasst.
Mein Name ist Ben Barroso-Ingham. Ich bin Systemingenieur bei JMP und an diesem Projekt beteiligt, da ich viel Erfahrung mit Bioprozessen habe. Ich konzentriere mich darauf, dass uns das Waters-Add-In viele dieser Analyten in einem übersichtlichen Format zur Verfügung stellt. Wir arbeiten häufig mit Versuchsplanungen, bei denen wir diese Faktoren und Bedingungen ändern. Wir möchten sehen, ob sich diese Analyten ändern und wie sie sich ändern.
Die Herausforderung dabei besteht darin, dass wir beispielsweise bei den vielen Analyten, die aus dem Gerät kommen, über 70 Analyten untersuchen müssen. Wenn wir einen sehr manuellen Prozess durchführen möchten, können wir beispielsweise bei einem unserer DoE-Faktoren untersuchen, was passiert, wenn wir bei diesen Faktoren von niedrigen auf hohe Einstellungen wechseln, und sehen, ob sich die Form meines Analyten im Laufe der Zeit ändert.
Diejenigen, die sich nicht ändern, halten wir möglicherweise für unwichtig. Diejenigen, die sich ändern, werden durch unsere Faktoren verursacht. Vielleicht haben sie eine wichtige biologische Bedeutung. Vielleicht ist es etwas, das wir intrinsisch mit einem wichtigen Produktionsmerkmal im größeren Maßstab verknüpfen können, etwas, auf das wir achten sollten.
Das per Augenmaß zu tun, ist sehr zeitaufwändig. Bei über 70 Analyten werden wir wochenlang damit beschäftigt sein, alles durchzugehen. Ich sah diesen Datensatz und dachte sofort über die Möglichkeiten von JMP-Zeilen mit einer funktionalen Datenexploration nach. Das ist im Wesentlichen eine sehr schnelle Möglichkeit, Formen zu betrachten, diese Liste zu finden und die wichtigsten Änderungen im Prozess einzugrenzen.
Ich möchte das Endziel erreichen. Bei all diesen vielen Analyten brauche ich eigentlich zwei Werkzeuge. Erstens möchte ich eine eingegrenzte Liste der Analyten, die sich bei der Änderung eines Faktors verändert haben. Zweitens wollen wir diese Analyten und ihre Formveränderungen untersuchen. Was passiert, wenn wir die Faktoreinstellungen in diesem Prozess ändern?
Mit JMP Up erhalten wir ein Ergebnis wie dieses: Unten sind alle meine DoE-Faktoren aufgeführt. In diesem Fall die Flächenüberlagerungsrate, die Pufferkonzentrationen, die Wechselwirkungen dieser Effekte und die Analyten, die signifikant von diesen Faktoren beeinflusst wurden. Ich habe über 70 Analyten. Hier sehen Sie eine eingegrenzte Liste mit den Veränderungen der Form im Verlauf.
Ich könnte mir zum Beispiel Glukose ansehen. Wenn sich die Luftüberlagerungsrate ändert, ändert sich auch die Form. Wir können mit der Maus darüberfahren und sehen: Ja, die Form hat sich in diesem Prozess geändert. Vielleicht können wir uns auch die Isozitronensäure ansehen. Wir sehen, dass sowohl die Pufferkonzentration als auch die Luftüberlagerungsrate diese beeinflussen.
Ein Vorteil der FDE besteht darin, dass wir eine Analyse und Visualisierung ähnlich einem Log-Worth-Diagramm in einem Standardverfahren der kleinsten Quadrate erhalten, um herauszufinden, welche Faktoren relevant sind. In diesem Fall, welches Amyloid sich verändert hat. Ergänzend dazu können wir auch ein funktionales DoE verwenden. Wir sind wahrscheinlich mit dem Profiler-Tool bestens vertraut. Mit einem Profiler können wir tatsächlich Formen und Veränderungen im Zeitverlauf untersuchen.
In diesem Fall habe ich einen Analyten. Es handelt sich um eine Hydroxyglutarsäure (zweiwertige Hydroxyglutarsäure), deren Form sich unter bestimmten Bedingungen mit der Zeit verändert. Wie sieht es aus, wenn ich meine Überlagerungsrate oder meine Pufferkonzentration ändere? Welche Auswirkungen hat das auf das Profil? Ich kann das ganz gut mit meiner Visualisierung hier kombinieren und sagen: „Mein Glukosewert hat sich aufgrund der Überlagerungsrate verändert.“
Ich könnte eine Liste aller Analyten filtern und sie hier anzeigen lassen. Jetzt schaue ich mir den Glukosewert an. Ich kann sehen, welchen Einfluss meine Luftüberlagerungsrate auf diesen Prozess hat. Ich kann auch sehen, welche Effekte keine Auswirkungen haben. Wenn ich die Pufferkonzentration ändere, hat das in diesem Prozess keine Auswirkungen auf meinen Glukosewert.
Die Funktionsweise ähnelt weitgehend der von mir beschriebenen: Wir betrachten visuell, ob sich die Form verändert hat oder nicht. JMP Pro verwendet FPC-Werte, eine quantitative Methode zur Messung der Formveränderung. Ein FPC-Wert von 0, der plötzlich auf 10 steigt, deutet auf eine Formveränderung im Prozess hin. Mit JMP und der Möglichkeit, diese Werte zu ermitteln, erhalten wir schnell eine Liste der Formveränderungen und einen Überblick über die Auswirkungen, auch wenn wir viele Analyten untersuchen müssen.
Der Ablauf ist folgender: Für jeden Analyten, der beispielsweise aus dem Wasserzusatz stammt, verwenden wir den Functional Data Explorer, um die Formen anzupassen. Wir erhalten die Werte, die Grundlage der Formwerte. Dann gehen wir wie bei einem Standard-DoE vor: Wir fragen: Beeinflussen die von uns verwendeten DoE-Begriffe die FPC-Werte? Verändern sie diese? Gibt es einen signifikanten Effekt?
Als kurzes Beispiel habe ich einen der Analyten ausgewählt, der für diesen Bioreaktor untersucht wurde. Ich zeige Ihnen nun das Endziel einer FDE: Wir nehmen diesen Analyten und jeden Bioreaktor im Prozess und fügen hier eine Anpassungsgerade hinzu. Jeder Bioreaktor wird so genau wie möglich an die Daten angepasst, die aus diesem Prozess stammen.
Anschließend wird dies in FPC-Werte umgewandelt. Werte für jeden Bioreaktor, bei denen der Formwert 0 ist, sind 100 in diesem Prozess oder was auch immer. Wir können uns die Funktionszusammenfassungen ansehen und sehen, dass ich einen FPC-Wert von minus 6.000 für den ersten Bioreaktor habe. Der andere liegt bei 13.000 für Bioreaktor 2. Es gibt einen Unterschied in dieser Form.
Wir nutzen die DoEs, um dies zu verknüpfen und zu klären, ob die Form durch die von uns verwendeten Faktoren verursacht wird. Wenn wir ein funktionales DoE ausführen, prüfen wir standardmäßig, ob der Term einen signifikanten Einfluss auf die FPC hat. Wenn ich mir FPC 1 in diesem Indikator ansehe und ein Modell, ein funktionales DoE, ausführe, zeigt es mir: Ja, es gibt einen signifikanten Effekt. Die Luftüberlagerungsrate verändert diesen Wert. Es ist nicht nur die Form, die tatsächliche Änderung wird durch einen unserer DoE-Faktoren verursacht.
Das ist im Wesentlichen das, was ich zu Beginn des Prozesses getan habe. Ich führe die gesamte Tabelle jedes Mal aus, sammle alle Informationen zu den aktiven Termen in diesem Prozess und visualisiere sie dann. Wenn ein Term vorhanden ist, ist er von Bedeutung in diesem Prozess. Außerdem erhalten wir automatisch eine Vorhersageformel, mit der wir, wie ich bereits gezeigt habe, die Auswirkungen jedes Faktors auf die Form jedes Analyten betrachten können.
Alle diese Informationen werden grundsätzlich für jeden Analyten in diesem Prozess gesammelt, um das angezeigte Endwerkzeug zusammenzustellen, wobei eine Visualisierung und das Profil für das Werkzeug betrachtet werden. Letztendlich ermöglicht dies eine sehr schnelle Möglichkeit, herauszufinden, wo sich diese Analyten geändert haben, und gibt Ihnen die Möglichkeit, einzugrenzen, wo diese Faktoränderungen zu einer Veränderung der Analyten geführt haben, die sich auf den Produktionsprozess auswirken kann.
Vielleicht beobachten wir eine unerwartete Veränderung in der Analytbeziehung. Vielleicht gibt es einen Schlüsselfaktor, der einen unserer Analyten verändert und damit auch unsere Produktionsprozesse beeinflusst. Mit diesem Tool können wir das im Grunde analysieren. Das Journal – ich sage es nur kurz – könnte interessant sein. Das Journal wird bei Interesse verfügbar sein. Sie können sich den Prozess ansehen und weitere Details dazu erfahren.
Vielen Dank! Dieser Datensatz ist wirklich umfangreich und enthält viele interessante Aspekte. Ich möchte unseren Workflow noch um einige weitere Punkte erweitern. Bisher haben wir gesehen, wie Waters die Daten des Instruments zusammenfasst und in eine ansprechende Form für Analyse und JMP bringt. Außerdem haben wir einige grundlegende Möglichkeiten kennengelernt, ansprechende Grafiken zu erstellen, die eine Geschichte erzählen und die verschiedenen Beziehungen zwischen den Variablen aufzeigen.
Ben hat uns außerdem einen wirklich interessanten Einblick in einen eher auf funktionalen Kurven basierenden Ansatz gegeben, bei dem ich gerne noch tiefere Einblicke in mögliche Zusammenhänge gewinnen würde, insbesondere zwischen den DoE-Faktoren und allem anderen, was wir messen. Zum Abschluss möchte ich noch ein paar zusätzliche Dinge vorstellen, die meiner Meinung nach im JMP-Framework äußerst leistungsstark sind und sehr wertvoll sein könnten, um sowohl zu erfahren, was im System passiert, als auch um tatsächlich wichtige Entscheidungen zu treffen, beispielsweise über die Änderung einiger Faktoren oder Vorhersagen, und dann vielleicht No-Go-Entscheidungen an bestimmten Schlüsselpunkten im Prozess zu treffen.
Beginnen wir hier mit der … Dies ist die Tabelle, die aus dem Waters-Add-In stammt. Ein wichtiger Punkt, den ich erwähnen wollte, ist mein erstes Hauptthema. Beachten Sie, dass die Tabelle insgesamt 120 Zeilen enthält. Beachten Sie jedoch, dass wir eine Gruppierungsvariable haben, den Bioreaktor. Die ersten 15 Zeilen, die ich gerade hervorgehoben habe, stammen alle aus dem ersten Bioreaktor. Dies ist in der Statistik als Split-Plot-Design bekannt, da die DoE-Faktoren, die hier Luftüberlagerungsrate und Sprührate über der Konzentration liegen, hier berücksichtigt werden.
Sie sind über den gesamten Bioreaktor konstant. Sie sind für die gesamte Dauer festgelegt, und die 15 Punkte entsprechen 15 Tagen. Dies könnte auch aus der Perspektive einer Zeitreihe betrachtet werden. Genau darauf zielte Ben mit seinen Kurven ab. Allerdings nur aus der Perspektive des rein experimentellen Designs. Bei der statistischen Modellierung müssen wir auf die Designstruktur achten.
Insbesondere JMP ist sehr leistungsstark, und wir bei SAS verwenden seit vielen Jahren traditionell ein sogenanntes gemischtes Modell. Dieses Modell besteht sowohl aus sogenannten fixen als auch aus zufälligen Effekten. Wir haben heute keine Zeit, uns eingehend mit der Theorie gemischter Modelle zu befassen, aber die grundlegende Erkenntnis ist, dass der Bioreaktor unser gemischtes Modell ist. Der Zufallseffekt, unser sogenanntes Whole Plot in einem Split Plot-Szenario, wird auch als schwer veränderbarer Faktor in unseren DoE-Plattformen bezeichnet.
Das Konzept besteht darin, dass wir, wenn wir Schlussfolgerungen ziehen wollen, beispielsweise kausale Schlussfolgerungen zu diesen DoE-Faktoren, ein gemischtes Modell verwenden müssen, um sicherzustellen, dass die statistischen Schlussfolgerungen das experimentelle Design korrekt widerspiegeln. Das ist einfach. Man kann hier leicht in eine Falle tappen. Nehmen wir an, Sie ignorieren das einfach und beginnen mit einer einfachen ANOVA der DoE-Faktoren im Vergleich zu engeren oder einem anderen Ergebnis, das Sie interessiert, und führen einfach eine naive einseitige oder faktorielle ANOVA durch.
Die daraus abgeleiteten Schlussfolgerungen sind statistisch gesehen verzerrt, da nicht berücksichtigt wurde, dass alle Messgruppen korreliert oder gruppiert sind, da sie im selben Bioreaktor auftreten. Ein angemessener Ansatz ist das gemischte Modell. Auch dies ist ein etwas komplexes Thema, aber wir werden heute nur ein sehr einfaches Beispiel behandeln.
Als weitere Referenz, die wir bereits haben, gibt es ein gutes Buch mit dem Titel „JMP für gemischte Modelle“, das ich Ihnen empfehlen kann, wenn Sie sich wirklich damit befassen möchten. Es ist sehr praxisorientiert, und sobald Sie dies erkennen, tauchen gemischte Modelle überall auf, einfach weil Daten und Experimente nicht nur die klassischen unabhängigen Beobachtungen darstellen, die wir in Statistik 101 annehmen. Normalerweise gibt es Clustering-Faktoren, wie hier beim Bioreaktor.
Um dies einzurichten, verwenden wir eine einfache Idee: Wir erstellen ein gemischtes Modell und JMP. Die Anpassung ist sowohl in JMP als auch in JMP Pro möglich. Nehmen wir die Pro-Plattform. Die Pro-Plattform bietet einige zusätzliche Funktionen. Gehen Sie in die Modellanpassung. Wir modellieren die Antwort genauer und setzen dann unsere Faktoren ein, die wir als sogenannte feste Effekte einsetzen. Fügen wir nun einige Fakultätsterme hinzu. Wir berücksichtigen alle Haupteffekte und alle Wechselwirkungen.
Und hier kommt der entscheidende Teil. Um in den gemischten Modellmodus zu wechseln, wählen Sie die gemischte Modellpersönlichkeit. Beachten Sie, dass dadurch diese zusätzlichen Registerkarten ausgelöst werden. Es gibt zwei Arten gemischter Modelle: die eine, die wir heute verwenden, bei der wir Zufallseffekte nutzen, und eine ganz andere Klasse, bei der wir wiederholte Messungen mit unterschiedlichen Strukturen durchführen. Diesen letzteren Typ werden wir heute nicht behandeln, aber Sie sehen, dass hier ein Teil der Komplexität entsteht.
Lassen Sie uns zunächst das wohl einfachste gemischte Modell verwenden, das für ein Split-Plot-Setup wie dieses geeignet ist. Wir nehmen unseren Bioreaktor (ich habe ihn als nominale Variable, nicht kontinuierlich, eingestellt) und fügen ihn als Zufallseffekt hinzu. Wir haben drei feste Effekte oder DoE-Faktoren mit ihren Wechselwirkungen und dann diesen Zufallseffekt. Dies ist das Setup, das Sie für jede Art der statistischen Modellierung solcher Daten verwenden sollten.
Lassen Sie uns das ausführen. Es läuft schnell. Um Ihnen eine Vorstellung davon zu geben, was Sie sehen werden: Sie können es an dieser Stelle wie eine Varianzanalyse behandeln, aber Sie werden feststellen, dass es einige zusätzliche Ergebnisse gibt. Hier erhalten wir beispielsweise eine Schätzung der Varianzkomponente des Bioreaktors, die in diesem Fall negativ ist. Das ist etwas ungewöhnlich, deutet aber tatsächlich auf ein gewisses Wettbewerbsszenario innerhalb der einzelnen Bioreaktoren hin.
Dies ist möglicherweise sinnvoll, da Nährstoffe verbraucht werden. Wenn ein Nährstoff steigt, sinkt wahrscheinlich der andere. Da es sich um ein Szenario mit festem, geschlossenem Zustand handelt, könnte dies sinnvoll sein. Typischerweise ist dies positiv, wenn die Messungen positiv korreliert sind. Dies ist eine Möglichkeit, die Korrelation innerhalb eines Bioreaktors zu messen. Der Schwerpunkt liegt dann typischerweise auf den DoE-Faktoren. Hier können wir mit der Untersuchung von Tests beginnen, und in diesem Fall sehen wir keine signifikanten Unterschiede für die engere Auslegung, nur für dieses einfache Modell.
Dies ist jedoch nur ein Ausgangspunkt. Sie möchten wahrscheinlich zusätzliche Kovariaten hinzufügen und ein vollständigeres Modell erstellen, das das System berücksichtigt. Heute möchte ich jedoch nur auf den wichtigen Punkt eingehen, dass ein gemischtes Modell für Fälle wie diesen verwendet werden sollte, in denen Split-Plots oder wiederholte Messungen innerhalb eines Blockierungsmechanismus vorhanden sind.
Das ist die erste Analyse, die ich zeigen möchte. Kommen wir nun zu einem prädiktiven Modellierungskonzept. Wie Sie sehen, behandelt jedes der kleinen Segmente, über die wir hier gesprochen haben, leicht unterschiedliche Fragen. Das ist die Leistungsfähigkeit und Flexibilität von JMP, und dies ist ein wirklich schöner Datensatz mit vielen verschiedenen Fragestellungen, die wir stellen können.
Wir verlagern unsere Fragestellung nun von den DoE-Faktoren hin zu einem prädiktiven Konzept und wollen dazu eine Grundidee entwickeln. Was wäre, wenn wir eine Vorhersage treffen würden? Nehmen wir an, wir führen dieses Experiment live durch, haben gerade Tag 13 abgeschlossen und möchten vorhersagen, was morgen, am 14. Tag, passieren wird, haben aber nur Daten bis heute. Wie würden wir ein solches Vorhersageproblem angehen?
Der erste wichtige Schritt in JMP besteht darin, die Daten ein wenig zu manipulieren und eine sogenannte Aufteilung der Daten vorzunehmen. Dabei denken wir an eine Zeitreihe innerhalb jedes Bioreaktors und führen die Aufteilung mithilfe von Tabellen durch. Sie können nun eine Tabelle erstellen, die sogenannte breite Tabelle, die jetzt so aussieht: Wir haben nur acht Zeilen, eine Zeile pro Bioreaktor, und alle Messungen sind nun in verschiedene Spalten aufgeteilt.
Hier sehen Sie die engeren Werte mit einer Spalte pro Tag. Das Gleiche gilt für alle anderen von uns gemessenen Variablen. In der Zeitreihenterminologie werden diese als Lag-Variablen bezeichnet. Wir haben nun diese sogenannte breite Tabelle, die sich für das Problem der prädiktiven Modellierung eignet. Bei nur acht Zeilen müssen wir hier sehr vorsichtig sein. Es ist sehr leicht, Daten auf diese Weise zu überanpassen.
In der Praxis verfügen Sie wahrscheinlich über deutlich mehr Daten als diese hier. Für dieses kleine Beispiel möchte ich Ihnen jedoch nur kurz ein paar Punkte zur Veranschaulichung erläutern, um Ihnen zu zeigen, wie ich die prädiktive Modellierung und die Vorgehensweise empfehle. Es gibt viele verschiedene Möglichkeiten, von klassischen Zeitreihenmodellen bis hin zu anderen prädiktiven Plattformen in JMP. Ich möchte Ihnen die meiner Meinung nach modernste und leistungsstärkste Methode zur Vorhersage vorstellen. Diese Methode ist für mich das Ergebnis meiner langjährigen Erfahrung mit Kaggle-Wettbewerben, die alle prädiktiver Natur sind, und man lernt bei all diesen Wettbewerben einiges auf die harte Tour.
Was ich Ihnen heute zeigen werde, kommt den Best Practices für Vorhersagen meiner Meinung nach sehr nahe, wenn nicht sogar direkt. Als Erstes richten Sie in der Regel einige Faltungen ein. Die Idee dahinter ist, eine sogenannte K-fache Kreuzvalidierung durchzuführen. Dabei nehmen wir einen Teil der Zeilen unserer Tabelle und legen ihn beiseite. Anschließend trainieren wir ein Modell mit einem Teil der Daten und testen es anschließend mit einem anderen Satz.
Wie Sie wissen, gibt es diese Möglichkeit in JMP schon seit vielen Jahren, obwohl wir traditionell eine sogenannte Dreifachaufteilung mit Trainingsvalidierungstest verwenden. Hier führen wir eine Reihe von Zweifachaufteilungen durch, die wir Training und Validierung nennen. Achten Sie auf sogenannte Leckagen und darauf, dass der Algorithmus diese während des Trainings nicht berücksichtigt, da dies zu verfälschenden Ergebnissen führen kann.
Die Idee bei K-Faltung ist, diese Variable hier namens Faltung A zu nehmen. Wir haben nur acht Zeilen. Diese hier ist zufällig für die Fünffachung eingerichtet, bei der wir zufällig Zahlen von 1 bis 5 zuweisen. Da es aber nur acht sind, gibt es ein paar Stellen, an denen nur eine Zeile zurückgehalten wird, und an den anderen drei haben wir zwei.
Es könnte auch sinnvoll sein, dies zu tun, weil … In diesem Fall wäre es vielleicht etwas sauberer, es viermal zu tun, wobei wir jeweils zwei Zeilen zurückhalten und diese dann durchlaufen und das Modell viermal anpassen müssten. Das ist das grundlegende Trainingsszenario, das ich empfehlen würde, selbst für kleine Datensätze wie diesen, vielleicht sogar besonders, weil wir sehr sorgfältig und streng auf eine Überanpassung der Daten achten müssen, insbesondere weil wir die meiner Meinung nach zwei leistungsstärksten Methoden verwenden werden: Boosted Trees, wie sie im XGBoost-Add-In implementiert sind, und dann werden wir ein modernes tiefes neuronales Netzwerk mit dem Torch-Deep-Learning-Add-In anpassen. Beide Add-Ins sind auf dem JMP-Marktplatz verfügbar.
Schauen wir uns zunächst XGBoost an und wie Sie es einrichten. Nach der Installation des Add-Ins wird es als Option in Ihrem Menü angezeigt. Sie können damit K-Fold-Spalten erstellen, um Folds zu erstellen. Das habe ich bereits getan, also gehen wir direkt zur Plattform.
Hier ist der Aufbau ähnlich wie zuvor, aber jetzt geht es wieder um die Vorhersage. Wir haben hier Gruppierungsvariablen, also erweitern wir diese. Nehmen wir an, wir möchten Titer 14 vorhersagen, das ist unser Y, und wir haben jetzt viele Möglichkeiten, was wir als Eingaben verwenden können. Setzen wir unsere DoE-Faktoren ein und nehmen wir dann ein sehr einfaches Lag-Modell. Nehmen wir einfach die vorherigen Titerwerte, von denen wir 13 haben, und setzen diese als unsere X ein. Es gibt hier buchstäblich über 1.000 weitere potenzielle Prädiktoren, aber der Veranschaulichung halber halten wir es einfach.
Wenn Sie mehr Daten haben, sollten Sie diese unbedingt einbeziehen. Sie könnten diese in Ihr Modell aufnehmen. Aber hier mit nur acht Zeilen riskieren wir Ärger, wenn wir das zu sehr aufblähen. Wie Sie sich vielleicht denken können, sind diese Verzögerungsvariablen in der Regel sehr aussagekräftige Prädiktoren. Wenn Sie wissen, was heute passiert ist, wird es wahrscheinlich ähnlich sein. Wenn Sie sich die vorherige Flugbahn ansehen, sind diese in der Regel sehr gute Prädiktoren. Wir möchten auch sehen, wie sie im Vergleich zu unseren DoE-Faktoren abschneiden. Dann fügen wir eine Art Kreuzvalidierungsvariable hinzu. Wir können unsere … verwenden wir unsere Variable „fold A“. Wir nehmen das Fünffache. Sie können auch das Vierfache nehmen. Das spielt keine so große Rolle.
Bei so kleinen Datenmengen muss man etwas vorsichtig sein, aber wir sollten uns nicht zu sehr damit aufhalten. Hier ist der Basis-Setter für XGBoost. Es gibt viele Hyperparameter, die man optimieren kann. Dafür haben wir heute keine Zeit. Lassen Sie uns einfach das Standardmodell ausführen. „Oft“ funktioniert ziemlich gut, und dann sehen wir, was passiert. Das Modell wurde tatsächlich fünfmal ausgeführt.
Schauen Sie, was hier passiert ist. Das ist der sogenannte Trainingsverlust. Er ging runter und dann wieder hoch. Das ist ein Warnsignal, dass wir nach Iteration fünf oder sechs beginnen, die Daten zu überanpassen. Dieses Modell sollte man in der Praxis nicht verwenden. Man sollte sagen: Stoppen. Los geht's. Wir können es einfach noch einmal machen. Machen wir weiter und hören nach fünf Iterationen auf. Das ist ganz einfach.
Eine weitere Idee: Wenn Sie es etwas ausgefallener gestalten möchten, könnten Sie das Modell etwas weiter regulieren oder andere Optimierungen vornehmen, um es richtig zu machen. Die Idee ist aber wieder, dass wir Vorhersagen machen. Unser Ziel ist es, Tag 14 vorherzusagen. Beachten Sie, dass wir die Trainingsdaten tatsächlich perfekt angepasst haben, was aber vielleicht nicht so überraschend ist. Es gibt nur wenige Zeilen, aber der Validierungssatz, das sind die sogenannten Out-of-Full-Vorhersagen.
Diese geben Aufschluss darüber, wie das Modell mit zukünftigen Daten voraussichtlich abschneiden wird. Sie sehen, das Modell nähert sich diesem Ziel. Es ist sicherlich noch weit von der Perfektion entfernt, liegt aber nur bei unserem Quadrat von 0,3, in diesem Fall bei einer Korrelation von 0,65. Das Modell gewinnt etwas an Dynamik, und ich denke, mit etwas Feinabstimmung ist noch etwas mehr möglich. Aber auch hier gilt: Bei nur acht Zeilen ist große Vorsicht geboten. Ich zeige dies nur zur Veranschaulichung. Normalerweise benötigt man mehr Daten, um ein wirklich gutes Modell für die spätere Verwendung zu erhalten.
XGBoost bietet einige wirklich nützliche Zusatzfunktionen, die Ihnen beispielsweise bei der Interpretation dieser Variablenbedeutungen helfen. Wir sehen hier, dass unsere Luftüberlagerungsrate zu unseren besten Prädiktoren zählt, sogar über den Verzögerungswerten des Titers selbst. Das ist interessant, denn so können wir tatsächlich indirekte Rückschlüsse auf unsere DoE-Faktoren ziehen. Aber auch hier liegt unser Fokus auf der Vorhersage, nicht auf direkten statistischen Schlussfolgerungen.
Als alternatives Modell erstellen wir nun ein neuronales Netzwerk mit dem Torch-Add-In. Die Einrichtung ist identisch. Installieren Sie das Add-In und starten Sie die Plattform. Wir verwenden in jedem Slot genau die gleichen Variablen. Wir möchten Tag 14 vorhersagen, um unsere DoE-Faktoren, unsere Lag-Titer und den Faktor A zu verwenden. Auch hier verwenden wir den Faktor fünf. Wir verwenden einfach die Standardeinstellung. Das mehrschichtige Perzeptron-Modell ist ein zweischichtiges Modell. Wir sehen hier, dass dieses Modell nicht besonders gut funktioniert. Es hat sogar ein negatives RSquare. XGBoost schneidet hier standardmäßig etwas besser ab, würde ich sagen.
Ich habe jedoch festgestellt, dass sie mit ein wenig Feinabstimmung dazu neigen, ungefähr … Sie haben oft eine ähnliche Leistung und ergänzen sich auch recht gut. Wenn man wirklich die absolut besten Vorhersagen haben möchte, besteht ein Trick darin, die beiden Modelle zusammenzuführen. Das gelingt, indem man einfach die vollständigen Vorhersagen speichert und den Durchschnitt berechnet. Das ist ein klassischer Trick. Man sieht ihn bei fast jedem Kaggle-Wettbewerb. So holt man die maximale Leistung heraus.
Ich finde, JMP Pro bietet einen sehr leistungsstarken und flexiblen Ansatz. Sie können weitere Prädiktoren hinzufügen. Diese Modelle lassen sich sehr schnell anpassen, und das hilft wirklich bei der Beantwortung ganz praktischer Fragen. Zum Beispiel: Sie stehen kurz vor dem Ende einer Charge und möchten entscheiden, ob Sie noch einen Tag weiterarbeiten. Warum nicht einfach schnell die Prognose für den nächsten Tag durchführen und dann eine Entscheidung treffen, anstatt einfach abzuwarten oder altmodische Regeln anzuwenden? Ich finde die Leistungsfähigkeit und Flexibilität dieser modernen Vorhersagemodelle wirklich überzeugend.
Vielen Dank fürs Zuhören. Ich hoffe, Sie konnten daraus viel lernen. Die Zusammenarbeit an diesem Beispiel hat uns sehr viel Spaß gemacht. Wir alle haben unterschiedliche Hintergründe. Es war ein wirklich spannendes Projekt, und wir sehen darin viel Potenzial für die Zukunft. Bei Fragen zu den heute gezeigten Themen können Sie sich gerne an uns wenden. Wir freuen uns darauf, den Dialog mit Ihnen fortzusetzen.
