349236_de-DE

liliconcom

Vermeiden Sie Zeitverschwendung bei der Untersuchung falscher Effekte (2021-EU-30MP-771)

Niveau: Mittel

Jose Goncalves, Upstream-Wissenschaftler, Abteilung Prozess-F&E, Oxford Biomedica
Rebecca Clarke, Upstream-Senior-Wissenschaftlerin, Abteilung Prozess-F&E, Oxford Biomedica
George Pamenter, F&E-Wissenschaftler für Downstream-Prozesse, Oxford Biomedica
Thomas Chippendale, leitender Upstream-Wissenschaftler, Abteilung Prozess-F&E, Oxford Biomedica

Bei Oxford Biomedica konnte in den letzten Jahren ein deutliches Wachstum bei der Generierung von Zellkultur-Bioprozessdaten beobachtet werden. Dieser Anstieg der Datenerfassung ist nicht nur auf intensive Prozessentwicklungs- und Charakterisierungsstudien zurückzuführen, sondern auch auf die Einbindung von Hochdurchsatz-Produktionssystemen. Während eines Zellkulturprozesses werden viele Online- und Offline-Prozessparameter aufgezeichnet. Aufgrund der Komplexität biologischer Systeme besteht eine der größten Herausforderungen jedoch darin, echte Faktoren zu identifizieren, die die Prozessleistung oder den Produktertrag beeinflussen können. Die Holdback-Validierung wird häufig verwendet, um eine Überanpassung zu vermeiden und die Aufnahme nicht echter Begriffe in ein Modell zu verhindern. Die Verwendung einer einzigen Validierungsspalte ist jedoch möglicherweise nicht effektiv bei der Vorhersage des besten Modells. Diese Präsentation zeigt, wie die Neuanpassung von Modellen mithilfe mehrerer Validierungsspalten die Identifizierung des einfachsten und am häufigsten vorkommenden Modells ermöglichen kann. Für die Analyse wurden Daten aus 67 Bioreaktor-Produktionsläufen mit 20 möglichen Prädiktoren verwendet. Die Simulationsfunktion in JMP® Pro wurde verwendet, um 100 Validierungsspalten zufällig zu generieren.

Automatisch generiertes Transkript ...

Lautsprecher	Transkript
Rebecca Clarke	Okay, hallo zusammen. Mein Name ist Rebecca und heute sind Jose und George bei mir. Heute sprechen wir mit Ihnen darüber, wie wir die Validierungsmethoden von JMP Pro nutzen, um keine Zeit mehr mit der Untersuchung falscher Effekte zu verschwenden.
	Ich werde also zunächst uns als Unternehmen und unsere Tätigkeit vorstellen. Wir arbeiten für Oxford Biomedica.
	Wir sind Pioniere im Gen- und Zelltherapiegeschäft und nehmen eine führende Position in der Forschung, Entwicklung und Bioverarbeitung lentiviraler Vektoren ein.
	Wir verfügen also über mehr als 20 Jahre Erfahrung auf diesem Gebiet. Wir waren das erste Unternehmen, das Menschen mit einer lentiviralen Vektor(?)-basierten Therapie behandelt hat. Einige der
	Die lokalen Partner, mit denen wir zusammenarbeiten, sind hier unten rechts aufgeführt. Wir arbeiten mit Novartis, Sonofi, Boehringer Ingelheim und Orchard Therapeutics zusammen. Zu den Krankheiten, die wir behandeln, gehören unter anderem Krebs, Erkrankungen des zentralen Nervensystems und Mukoviszidose, um nur einige zu nennen.
	Deshalb beteiligte sich auch Oxford Biomedia im letzten Jahr am Kampf gegen COVID-19, als wir dem britischen Impfstoffkonsortium beitraten.
	Das Konsortium wurde vom Jenner Institute der Universität Oxford geleitet und hatte sich zum Ziel gesetzt, schnell einen Impfstoffkandidaten gegen COVID-19 zu entwickeln.
	Und durch den Beitritt zu diesem Konsortium ermöglichte Oxford Biomedica die Ausweitung der Impfstoffproduktion, indem es dem Konsortium Zugang zu unseren hochmodernen ???-Suiten gewährte. Im Anschluss daran unterzeichneten wir dann einen klinischen und kommerziellen Liefervertrag mit AstraZeneca.
	Und mit dieser Vereinbarung haben wir uns bereit erklärt, den COVID-Impfstoff von AstraZeneca zu liefern, sollte er sich in den klinischen Tests als erfolgreich erweisen. Und wie Sie sicher alle wissen, war der Impfstoff tatsächlich erfolgreich, und Oxford Biologica stellt den COVID-19-Impfstoff bis heute her.
	Deshalb möchte ich auch nur kurz die Prozesse vorstellen, die wir hier und damals bei OXB verwenden.
	Ein Bioprozess ist also ein Prozess, der eine lebende Zelle oder deren Bestandteile nutzt, um ein gewünschtes Produkt zu erhalten.
	Ein Beispiel für einen solchen Prozess wäre die Gärung von alkoholischen Getränken.
	Und während dieses Prozesses ist die Hefe die lebende Komponente. Sie und alle anderen Zutaten, die zum Bierbrauen benötigt werden, werden in einen Bioreaktor gegeben und die Hefe leitet eine chemische Reaktion namens Gärung ein. Während der Gärung wird Glukose in Ethanol umgewandelt.
	Und wenn diese Fermentationsreaktion abgeschlossen ist, wird der Inhalt des Bioreaktors geerntet und durch Filtration gereinigt. Als Endprodukt bleibt dann das Bier übrig.
	Der Prozess, den wir hier bei Oxford Biomedica anwenden, ähnelt der Fermentation. Die lebenden Komponenten unseres Prozesses sind
	Zellkulturen, also mit den Bioreaktoren, die wir in Zellkulturen geben, und auch die anderen Komponenten, die zur Herstellung der lentiviralen Faktoren erforderlich sind.
	Am Ende dieses Produktionsprozesses wird der Inhalt des Bioreaktors zur Weiterverarbeitung weitergeleitet, wo das Produkt gereinigt und anschließend in Flaschen abgefüllt und zum Einsatz bei Patienten versandt wird.
	Diese Folie zeigt also nur den Lebenszyklus der Arzneimittelentwicklung. Ganz unten auf der linken Seite befindet sich die Forschungsphase.
	In dieser Phase identifizieren wir Zielgene oder Proteine, die für Krankheitsmechanismen wichtig sind.
	Außerdem entwickeln wir Medikamente gegen diese Zielmoleküle und zeigen, ob das Medikament die Krankheit erfolgreich bekämpft.
	Und dann, ganz am Ende des Lebenszyklus, haben wir die kommerzielle Herstellung, bei der das Medikament für die Anwendung bei Patienten produziert und abgefüllt wird.
	Unsere Gruppe, die Prozess-, Forschungs- und Entwicklungsgruppe, sitzt zwischen diesen beiden Phasen. Unsere Aufgabe ist es, den Produktionsprozess zu entwerfen, zu optimieren und zu skalieren.
	und wir bringen Arzneimittel vom Forschungslabor in die Produktion. Zu den Verfahren, die wir verwenden, gehören Schüttelkolben im kleinen Maßstab und wir arbeiten mit Bioreaktoren bis zu 50 Litern.
	Sie können sich vorstellen, dass wir im Laufe unserer Arbeit eine Menge Daten generieren und die Bioreaktoren über zahlreiche Eingangsparameter verfügen, die wir überwachen und optimieren müssen.
	Angesichts der enormen Menge der von uns generierten Daten ist es ziemlich schwierig zu erkennen, auf welche Parameter wir uns bei unserer Optimierung konzentrieren sollten.
	Und allein schon aufgrund der schieren Anzahl der Parameter, mit denen wir arbeiten müssen, ist es für uns wirtschaftlich nicht rentabel, jeden Parameter einzeln zu optimieren. Daher greifen wir an diesem Punkt auf statistische Modellierung zurück.
	Und wir verwenden die Modelle, um zu versuchen, die Liste der potenziellen Parameter einzugrenzen, die wir optimieren sollten.
	Auch wenn diese Modelle nützlich sind, erzeugen wir bei unserer Arbeit dennoch eine Menge zufälliges Rauschen. Dies liegt an der lebendigen Natur der Bioverarbeitung, weshalb keine zwei Kulturen gleich sind.
	Dieses zufällige Rauschen wird offensichtlich in unsere statistischen Modelle integriert und kann dazu führen, dass wir bei unseren Optimierungsexperimenten Zeit mit der Betrachtung nicht authentischer Effekte verschwenden.
	Aus diesem Grund haben wir uns für JMP Pro entschieden, insbesondere für die Validierungsfunktionen.
	Dies wird uns hoffentlich dabei helfen, die Liste der Parameter, die wir betrachten werden, weiter einzugrenzen, die nicht-echten Effekte aus den Modellen zu entfernen und auch
	um zu vermeiden, dass wir unsere Modelle überanpassen. Jetzt übergebe ich an Jose, der Ihnen die gesamte Methode zur Datenvalidierung erklären wird.
José Gonçalves	Also, mein Name ist Jose und ich werde über die gesamte Optimierungsmethode sprechen. Das ist also eine Methode, ein Modellierungstool, das nur in JMP Pro verfügbar ist. Wir wollten herausfinden, wie man es verwendet ... wie nützlich es bei OXB sein könnte für ...
	Ich habe gesehen, wie nützlich es sein könnte
	zu OXB für die Modellierung von Bioprozessdaten. Wie Rebecca also sagte,
	Wir verwenden diese Steritank(?)-Reaktoren in unserem Prozess und im Grunde züchten wir Zellen in diesen Bioreaktoren und produzieren diese viralen Vektoren, die unsere
	Hauptprodukt. Es ist ein...es ist das, was wir maximieren und modellieren möchten, also ist dies eigentlich unsere Antwortvariable.
	Und Bioreaktoren erfordern viele Steuereingaben und produzieren während eines Produktionsprozesses eine Menge Daten. Daher ist es wichtig, ein Werkzeug zu haben, das dabei hilft, zu bestimmen, welche Eingaben und Ausgaben eine Untersuchung wert sind.
	Es wäre für uns von großem Wert. Wir könnten dadurch Zeit sparen, Ressourcen freisetzen und Prozessuntersuchungen gezielter durchführen.
	Bevor wir mit dem Modellbau begannen, mussten wir zunächst so viele Daten wie möglich aus historischen Stapeln sammeln.
	Diese Daten geben uns Hinweise darauf, wie unser Produktionsprozess abläuft, und Anomalien in den Daten könnten auf eine nachteilige Auswirkung auf unsere Vektortiter hinweisen. Hier auf der linken Seite sehen Sie:
	Wir haben die Daten von 20 Variablen erhoben, leider konnten wir die tatsächlichen Namen der Variablen nicht anzeigen und mussten die Daten anonymisieren.
	Wir listen sie hier also von X1 bis X20 auf und da unser Prozess ein ziemlich dynamischer Prozess ist, können wir den Grad der Kollinearität zwischen den Prädiktoren nicht erwarten.
	Zusammenfassend verfügen wir über einen Datensatz, der 20 Variablen oder 20 Kandidatenprädiktoren für unser Modell enthält, und wir haben die Daten aus 67 historischen Batches gesammelt.
	Da dies Teil der JMP Pro-Testversion war, dachten wir, es wäre eine gute Idee, zu Beginn das Standard-JMP zum Erstellen des Modells zu verwenden und es dann als Vergleich mit einem anderen Modell zu verwenden, das mit der Hold-Out-Formulierungsmethode erstellt wurde.
	Um das Modell ohne die Validierungsmethode zu erstellen, verwenden wir die Standardmodellierungsplattform JMP und
	Wir haben hier das Antwortflächenmodell gewählt, weil wir alle Haupteffekte, Interaktionsterme und Quadratterme in das Modell einfließen lassen wollten. Und hier, bei der Persönlichkeit, haben wir uns für eine schrittweise Progression entschieden. Hier auf der rechten Seite,
	Wir verfügen über das Bedienfeld für die schrittweise Regression und verwenden die Abbruchregel als Schwellenwert für unseren P-Wert. Die übrigen Parameter haben wir auf der Standardeinstellung belassen.
	Und dann, nach der schrittweisen Regression, war dies das endgültige Modell, das generiert wurde.
	Hier sehen Sie, dass wir acht Terme im Modell haben und sieben davon sind tatsächlich signifikant. Ich möchte Ihre Aufmerksamkeit nur auf diese ersten drei Faktoren lenken, denn sie sind... sie sind in unserem Modell hoch signifikant und sie werden
	sehr wichtig in ein paar Folien, wenn ich zeigen werde
	die Ergebnisse ... die Ergebnisse
	Wenn wir uns der Hold-Out-Validierungsmethode nähern, ist das alte Modell hier signifikant und kann etwa 44 % der Variation in unserem Datensatz erklären.
	Das war sozusagen unser erster Ansatz.
	Wir waren mit diesem ersten generierten Modell zufrieden, wollten aber mehr über die Validierungsmethoden erfahren.
	Da die Untersuchung aller dieser Prädiktoren einen erheblichen Zeit- und Laboraufwand erfordern würde, wählten wir als Nächstes diesen Ansatz.
	Hier ist ein Überblick darüber, wie diese Holdout-Validierungsmethode funktioniert.
	Und im Wesentlichen haben wir unseren Datensatz und unser Datensatz wird zufällig in zwei Gruppen aufgeteilt. Auf der linken Seite also 70 % der Daten
	wird sein, es wird einem Trainingssatz zugewiesen, also dem Anteil der Daten, der ausschließlich zum Erstellen des Modells verwendet wird.
	Und hier auf der rechten Seite haben wir 30 % der Daten, die wir einem Validierungssatz zuordnen werden, und das ist der Anteil der Daten, der verwendet wird
	unseren Modellbildungsprozess zu stoppen, wenn dieses R-Quadrat des Validierungssatzes sein Maximum erreicht. Hier unten also
	Wir können sehen, dies ist ein Screenshot der schrittweisen Regressionsplattform, die im Wesentlichen dieselbe ist wie die, die wir zuvor verwendet haben, aber es gab eine Abbruchregel, die zeigt, dass dies so ist:
	das maximale Validierungs-R-Quadrat anstelle unseres p-Wert-Schwellenwerts. Und hier, diese Grafik unten, zeigt
	wir haben hier den Trainingssatz und den Validierungssatz, der als „ausgeschlossen“ gekennzeichnet ist.
	Wie Sie sehen, ist der Trainingssatz, wenn wir beginnen, Terme in das Modell einzugeben,
	weil wir hier diese Regel haben, diese Vorwärtsrichtungsregel, beginnen wir mit null Termen im Modell und gehen dann schrittweise vor, um Terme zum Modell hinzuzufügen.
	Wenn wir anfangen, diese Terme hinzuzufügen, steigt das R-Quadrat ziemlich schnell an, bis wir fünf Terme im Modell haben. Danach gibt es keine große Verbesserung des R-Quadrats mehr.
	wenn wir anfangen... wenn wir immer mehr Begriffe hinzufügen. Und eines der wichtigen Dinge, wenn wir diese Methode verwenden, ist auch, was mit dem Validierungssatz passiert,
	weil dies mit unserer Stoppregel zusammenhängt. Und was also passiert, ist im Wesentlichen dasselbe, wenn wir anfangen, Terme in das Modell einzufügen,
	Das R-Quadrat steigt ziemlich schnell an, bis wir das maximale R-Quadrat erreichen, und danach sinkt das R-Quadrat, da wir immer mehr Terme hinzufügen.
	Und genau das macht dieser Validierungssatz: Wir wollen diesen Validierungssatz verwenden, um den Modellbildungsprozess an dieser Stelle zu stoppen, damit wir alle diese Begriffe hier einschließen können, die den größten Teil der Variation in unserem Datensatz erklären und vermeiden
	Die Aufnahme aller dieser Begriffe in das Modell könnte zu einer Überanpassung des Modells führen oder sie sind möglicherweise überhaupt nicht echt.
	Nach der schrittweisen Regression war dies das endgültige Modell, das generiert wurde. Wie Sie sehen, haben wir eine Reduzierung von acht oder sieben signifikanten Termen auf nur drei erreicht. Und wie Sie sich erinnern, waren diese Terme hier hochsignifikant, als wir die
	die Validierungsmethode, bei der es sich um eine Zurückhaltung handelt, und daher scheinen sie hier überhaupt nicht von Bedeutung zu sein.
	Und tatsächlich kann dieses Modell nur etwa 4 % der Variation in unserem Datensatz erklären.
	Und das war ziemlich... wir dachten, das war ein ziemlich dramatischer Rückgang der Anzahl der Terme im Modell und wir begannen zu denken, okay, vielleicht hatten wir ein bisschen Pech mit dem Validierungssatz, der für generiert wurde
	für den Aufbau dieses speziellen Modells und wir dachten, wir... Eines der großartigen Dinge in JMP Pro ist, dass wir diese verallgemeinerte Regressionsplattform verwenden können, die im Wesentlichen... die Ausgabe sieht im Wesentlichen genauso aus wie bei einer schrittweisen Regression, aber in diesem
	Mit einer verallgemeinerten Regressionsplattform können wir diese Simulationsfunktion nutzen. Damit können wir das Modell im Grunde immer wieder neu ausführen, so oft wir wollen.
	Und dann verwenden wir es für jedes generierte Modell, es verwendet einen anderen Validierungssatz. Das war also der Ansatz, den wir als Nächstes gewählt haben.
	Und weil
	Wir konnten nicht alle Modelle auflisten, die wir generiert haben. Im Grunde haben wir nur versucht, 100 Modelle zu generieren oder 100 Modellsimulationen durchgeführt. Daher konnten wir sie hier nicht alle auflisten.
	Und wir wollten die Ergebnisse folgendermaßen zusammenfassen: Wir haben versucht zu zählen, wie oft ein bestimmter Faktor nach diesen 100 Simulationen zur Aufnahme in das Modell ausgewählt wurde.
	Und genau das zeigt diese Grafik hier. Auf der rechten Seite... auf der linken Seite
	wir haben nur... das sind nur die Parameterschätzungen. Das ist gut, um die Streuung der Daten zu beobachten. Und hier,
	Wie Sie sehen, haben wir X13, X8 und diese Interaktionsterme waren tatsächlich signifikant, als wir diese Methode nicht verwendet haben. Und hier, wenn wir als Beispiel X13 nehmen, wurde es nur... es wurde nur 46 Mal aufgenommen
	in das Modell aufzunehmen oder 46% der Zeit in das Modell aufzunehmen, was also eine ziemlich niedrige Zahl ist, wie wir erwartet hatten, da
	diese Faktoren hier waren sehr bedeutsam, als wir diese Methode nicht verwendeten.
	Die Schlussfolgerung, die wir zur Verwendung der Hold-Out-Validierungsmethode ziehen, ist, dass es definitiv ein gutes Werkzeug für Wissenschaftler ist, insbesondere wenn wir Modelle erstellen und
	Wir haben diese Variablen, die sich als signifikant herausstellen und die nicht ganz in unser wissenschaftliches Verständnis passen. Eine weitere Schlussfolgerung, die wir ziehen, ist, dass
	speziell für diese Studie ist, dass wir davon ausgehen können, dass die von uns untersuchten Prozessattribute unsere Vektortiter nicht wesentlich beeinflussen. Ich übergebe jetzt an George. Er wird über die Autovalidierung sprechen.
George Pamenter	Okay, hallo zusammen, mein Name ist George. Ich arbeite in der Reinigungsgruppe hier bei Oxford Biomedica. Ich werde ein wenig über diese Autovalidierung sprechen
	Methode, die uns von JMP vorgeschlagen wurde, und ihre spezifische Verwendung bei der Versuchsplanung, wie z. B. Datenstruktur. Und ich werde ein wenig darüber sprechen, wie wir diese Methodik verwendet haben, um tatsächlich eine Variable aus einem Optimierungsmodell der viralen Vektorreinigung zu entfernen.
	Okay, also zunächst ein paar Hintergrundinformationen zur Reinigung viraler Vektoren für diejenigen, die es noch nicht wissen.
	Im Wesentlichen erhalten wir dieses Zellkulturmaterial aus den Bioreaktoren.
	Bei diesem Material handelt es sich um ziemlich grobes Material. Zu den für unsere Therapie interessanten Stoffen gehören stark virale Vektoren, außerdem Tausende anderer Arten, Kontaminanten.
	Und es kann sich dabei um alles Mögliche handeln, von unerwünschten Proteinen bis hin zu bakterieller DNA und manchmal sogar um unwirksame Viren.
	Das Ziel der Reinigung besteht also darin, unser reines virales Vektorprodukt von all diesen verschiedenen Verunreinigungen zu trennen.
	Aber das können unglaublich komplizierte Prozesse sein, die Chromatographie oder enzymatische Behandlungen beinhalten und deren Leistung von einer Reihe verschiedener Faktoren beeinflusst wird. Deshalb brauchen wir eine Methode, um effizient die besten Bedingungen auszuwählen, um die beste Reinheit zu erreichen.
	Und wir tun das oft durch die Verwendung von Versuchsdesigns. Versuchsdesigns, die im gesamten Entwicklungsverlauf von Bioprozessen üblich sind,
	Wir verwenden sie im Wesentlichen zum Screening, zur Optimierung und zur vollständigen Charakterisierung unserer Bioprozesse.
	Im Wesentlichen steigt der Umfang unserer Experimente, während wir uns im Zeitablauf der Arzneimittelentwicklung in Richtung der kommerziellen Herstellung bewegen.
	Tatsächlich verringert sich die Anzahl der Experimente, die wir durchführen können, und je näher wir einem kommerziellen Produkt kommen, desto schwieriger wird es für uns, Dinge zu ändern.
	Deshalb müssen wir in der Lage sein, schon früh im Entwicklungszeitplan kluge Entscheidungen zu treffen. Dies erreichen wir durch
	Entwicklung effektiver Modelle. Wenn wir also schon früh über ein effektives Modell verfügen, gibt uns das die Gewissheit, dass wir die besten Bedingungen gewählt haben, während wir unser Verfahren durchgehen.
	Ich werde also im Detail beschreiben, wie wir diese Autovalidierungstechnologie an einem konkreten Beispiel eingesetzt haben. Wir haben das Response Surface Design von Experimenten durchgeführt.
	bei einem Reinigungsschritt für virale Vektoren. Auch hier können wir die tatsächlichen Daten nicht mit Ihnen teilen, aber wir mussten sie hier normalisieren.
	Dies war also ein dreifaktorieller Designraum und unsere Ausgabe- oder Antwortvariable von Interesse ist dieser Verunreinigungsgrad. Dieser Verunreinigungsgrad könnte also die Menge an kontaminierendem DNA-Protein sein, etwas in dieser Art.
	Das Ziel bestand also wirklich darin, diese Modelle auf den geringstmöglichen Verunreinigungsgrad zu optimieren.
	Und so sah es anfangs in unseren JMP-Setups aus: Es gibt drei Eingabevariablen und diese Antwortverunreinigung.
	Also haben wir zunächst einige Modelle erstellt und dabei die Plattform für schrittweise Regression und auch die Lasso-Regression verwendet, die eine Funktion von JMP Pro war.
	Und tatsächlich waren wir am Anfang ziemlich zufrieden mit dem, was wir sahen, also haben wir ziemlich viele der Daten erklärt.
	Wir schienen es ganz gut zu erklären und begannen, die Variablen auftauchen zu sehen, die wir erwartet hatten.
	Aber es gab eine Variable, die uns etwas unsicher machte, und das war diese X1 X3-Interaktion, die ich hier hervorgehoben habe.
	Wenn Sie Ihre Aufmerksamkeit auf die obere rechte Seite des Bildschirms richten, können Sie sehen, dass sich dieses X1-Profil je nach
	der Wert von X3. Bei niedrigen X3-Werten haben wir also ehrlich gesagt so etwas wie keinen wirklichen Effekt, bei hohen X3-Werten haben wir dagegen diese Art positiver Korrelation.
	Und das hat uns wirklich verwirrt und ein wenig beunruhigt, weil diese X1 X3-Interaktion nicht wirklich mit dem übereinstimmte, was wir wissenschaftlich verstehen.
	Das hat uns ein wenig verwirrt und wir fragten uns auch ein wenig, ob unsere Modelle die Daten, die wir gesehen hatten, wirklich richtig erklären konnten.
	Es hatte auch erhebliche Auswirkungen auf die reale Prozessentwicklung in dem Sinne, dass diese X3-Variable tatsächlich bekannt war
	ziemlich viel ändern. Die Analogie, die ich hier verwenden würde, wäre, dass wir eine Medikamentendosierung für zwei Medikamente entwickeln würden, also X1 und X2,
	und wir haben herausgefunden, dass die Dosierung tatsächlich vom Alter des Patienten abhängt, sagen wir X3, das ist etwas, das man wirklich genauer untersuchen und charakterisieren muss. Die Erforschung dieser Wechselwirkung hätte also tatsächlich erhebliche zusätzliche Experimentierkosten und auch Zeit gekostet.
	Wir wollten also eine Validierungsmethode darauf anwenden und konsultierten unsere Kollegen bei JMP,
	und sie sagten uns im Wesentlichen, dass es leider nicht wirklich möglich sei, diese Holdout-Validierung auf das Design der Versuchsdatenstruktur anzuwenden.
	Und der Grund dafür ist, wie Sie sich vorstellen können, dass ich 70 % eines Validierungssatzes, also Trainingssätze, meinen Daten hier im Designraum zugewiesen habe.
	dass wir zwar das Modell erstellen, aber einen Teil des Designraums komplett übersehen. Daher ist es nicht wirklich sinnvoll, diese Hold-Out-Validierung auf DOE-Datensätze anzuwenden.
	Daher kamen unsere Kollegen von JMP mit dieser Autovalidierung zu uns.
	Und es wurde mir im Wesentlichen so erklärt, dass Sie Ihren gesamten Datensatz neu abtasten würden. Sie verwenden also Ihren gesamten Datensatz für das Training und Ihren gesamten Datensatz für die Validierung.
	Und das mag auf den ersten Blick wie Betrug erscheinen, für mich jedenfalls war es das, aber man sagt mir, dass dies auf faire Weise erreicht wird,
	erfolgt durch die Anwendung dieser drei zusätzlichen Spalten und tatsächlich durch dieses reduzierte, fraktional gewichtete Bootstrapgewicht.
	Und im Wesentlichen besteht die Idee hier meiner Meinung nach darin, dass Sie, wenn Sie ein Datenelement beim Trainieren Ihres Modells verwenden, dieses anschließend so gewichten, dass Sie dasselbe Datenelement bei der Validierung nicht so oft verwenden. Auf diese Weise umgehen Sie gewissermaßen das Problem der doppelten Zählung Ihrer Daten.
	Also haben wir diese Methode verwendet. Wir haben sie auf unseren Modellen ausgeführt. Hier sehen Sie das Setup in JMP und wir verwenden wieder diese verallgemeinerte Regressionsplattform, die ein JMP Pro-Tool ist.
	Und hier ist es so ziemlich dasselbe wie das, was Jose erklärt hat, aber anstatt für verschiedene zu simulieren
	Bei Trainings- und Validierungsaufgaben simulieren wir diese Teilgewichtung tatsächlich. Wir simulieren das also mehrmals, um verschiedene Modelle zu generieren, und wir haben das tatsächlich 500 Mal durchgespielt.
	Die Ausgabe unserer Daten ist jetzt, wie Sie sehen können, mit Joses vorher, hier rechts ist ein Histogramm, das zeigt, wie oft eine bestimmte Variable
	wurde in unserem Modell aufgeführt, und hier links haben Sie diese Parameterschätzungen aus verschiedenen Modellen.
	Ich habe hier eigentlich nur diese rote Linie gezeichnet und sie die Nullfaktorlinie genannt. Diese Nullfaktorvariable funktioniert also so etwas wie eine Scheinvariable.
	Wir wissen also, dass es sich hier um eine Art unsinnige Variable handelt, denn wenn wir uns den Nullfaktor hier links ansehen, können wir sehen, dass seine Parameterschätzungen ziemlich weit um Null gestreut sind, sodass er nicht wirklich weiß, wohin er gehen soll.
	Wir ziehen also diese Linie und sagen, dass beim ersten Auftreten des Nullfaktors, alles darunter, unserer Ansicht nach mit hoher Wahrscheinlichkeit ein nicht echter Effekt ist.
	Dies ist also eine Art Bereich der nicht echten Begriffe. Und ich habe, wie Sie sicher sehen können, diese X1 X3-Interaktion blau hervorgehoben, die Anlass zur Sorge gab.
	Und Sie können hier sehen, dass es seltener vorkommt und dass es sich um viele Nullfaktoreffekte handelt. Das war also sozusagen der erste Hinweis für uns, dass es sich möglicherweise nicht um einen echten Effekt handelte.
	Wir wollten hier also nicht aufhören. Wir führten mehrere Iterationen davon mit verschiedenen
	Autovalidierungs-Setups, und ich habe hier gerade drei Beispiele generiert. Aber Sie können in jedem blau hervorgehobenen Beispiel sehen, dass diese X1 X 3-Interaktion durchweg niedriger war als diese rote Linie, diese Nullfaktorlinie.
	Auf dieser Grundlage waren wir ziemlich sicher, dass es sich bei dem, was wir sahen, wahrscheinlich nicht um einen echten Effekt handelte, und konnten ihn daher wie gewünscht aus den Modellen eliminieren.
	Jetzt nur noch ein Vergleich der Endergebnisse. Hier links war das ursprüngliche Modell, das wir erstellt haben und das diese X1 X3-Interaktion beinhaltete.
	Und dann rechts dieses automatisch validierte Modell, wo wir das entfernt haben.
	Und ich nehme an, das Erste, was uns auffiel, war diese Verringerung des R-Quadrats. Zunächst scheint es also, als würden Sie wahrscheinlich weniger Daten erklären, aber jetzt sind wir viel zuversichtlicher, dass das, was wir erklären, tatsächlich wahr ist.
	Und Sie können hier den Unterschied in den ausgegebenen Minimierungsoptimierungsbedingungen sehen.
	Und das hatte tatsächlich eine Reihe von Vorteilen für uns, was die Verarbeitung angeht. Denken Sie also daran, dass es sich hier um reale Variablen handelt, hinter denen reale Dinge stecken.
	Diese Variable X1 ist also tatsächlich eine sehr kostspielige Sache für unsere Prozesse. Daher waren wir sehr ... es war gut zu sehen, dass wir diese Variable reduzieren konnten.
	Auch wenn die Variable X2 sinkt, ist das aus wissenschaftlichen Gründen tatsächlich ein großer Vorteil für unseren Prozess, sodass wir sie ebenfalls reduzieren können, was für uns von Vorteil war.
	Und das sind wohl eher glückliche Zufälle, aber wir waren wirklich froh darüber, dass
	Sie können sehen, dass das Entfernen dieser X1 X3-Interaktion, wir sahen, dass die Profile von X1 und X2 tatsächlich konstant waren und das passte wirklich gut dazu
	das wissenschaftliche Verständnis, das wir erwartet hatten, also waren wir ziemlich froh, dies zu beobachten. Und natürlich haben wir uns jetzt zurückgezogen und beide Modelle mit Folgeexperimenten getestet, um zu sehen, welches am besten funktioniert.
	Und in allen Fällen stimmte dieses automatisch validierte Modell tatsächlich mit den Beobachtungen überein, die wir in unseren abschließenden Experimenten gesehen haben.
	Ich gebe es jetzt einfach zurück, Rebecca.
Rebecca Clarke	Ich werde nur kurz zusammenfassen, worüber wir gesprochen haben. Wir wissen also, dass unreale Effekte Auswirkungen auf die Entwicklungszeitpläne und die Versuchskosten für die Bioverarbeitung in der Praxis haben.
	Und hier haben wir uns zwei Validierungsmethoden angesehen, die uns bei unseren Bioprozessen helfen, um potenzielle unwahre Effekte hervorzuheben, die wir aus unseren Optimierungsexperimenten eliminieren können.
	Wir haben also das Holdout-Validierungstool erfolgreich eingesetzt, um eine Reihe von Parametern aus unserer Optimierungsliste zu entfernen. Anschließend verwenden wir die Autovalidierung auch während unserer DOE-Experimente.
	Und in diesen Fällen werden die erstellten Modelle später auch durch experimentelle Arbeit bestätigt. Insgesamt waren wir also sehr zufrieden mit der Art und Weise, wie wir JMP Pro nutzen konnten.
	Insbesondere helfen uns die Validierungsmethoden innerhalb unserer Bioprozesse, viel Zeit und Ressourcen zu sparen und den Fokus nicht auf unwahre Wirkungen zu richten.
	Und zum Abschluss möchten wir Robert Anderson und Anna Roper von JMP danken, die uns während dieser Präsentation geholfen haben. Das war’s von uns. Wir danken Ihnen fürs Zuhören.

AusbruchDAMHIRSCHKUHPrädiktive Modellierung