Lautsprecher | Transkript |
| Rebecca Clarke | Okay, hallo alle zusammen, und mein Name ist Rebecca, und ich werde heute von Jose und George begleitet. Heute werden wir mit Ihnen darüber sprechen, wie wir die JMP Pro-Validierungsmethoden verwenden, um keine Zeit mehr mit der Untersuchung falscher Effekte zu verschwenden. |
| Also werde ich uns zunächst nur als Unternehmen vorstellen und was wir tun. Wir arbeiten für Oxford Biomedica. |
| Wir sind Pioniere in der Gen- und Zelltherapie und haben eine führende Position in der Forschung, Entwicklung und Bioverarbeitung von lentiviralen Vektoren. |
| Wir haben also über 20 Jahre Erfahrung auf diesem Gebiet. Wir waren das erste Unternehmen, das Menschen mit einer auf lentiviralen Vektoren (?) Basierten Therapie behandelte. Einige der |
| Die lokalen Partner, mit denen wir zusammenarbeiten, sind hier unten rechts aufgeführt. Daher arbeiten wir mit Novartis, Sonofi, Boehringer Ingelheim und Orchard Therapeutics zusammen. Zu den Erkrankungen, die wir behandeln, gehören unter anderem Krebs, Störungen des Zentralnervensystems und Mukoviszidose ein paar. |
| Letztes Jahr beteiligte sich Oxford Biomedia auch am Kampf gegen COVID-19, als wir uns dem britischen Impfstoffkonsortium anschlossen. |
| Das Konsortium wurde vom Jenner Institute der Universität Oxford geleitet. Ziel war es, schnell einen COVID-19-Impfstoffkandidaten zu entwickeln. |
| Und durch den Beitritt zu diesem Konsortium ermöglichte Oxford Biomedica diese verstärkte Herstellung des Impfstoffs, indem das Konsortium Zugang zu unserem Stand der Technik erhielt. Suiten. Im Anschluss daran haben wir einen klinischen und kommerziellen Liefervertrag mit AstraZeneca unterzeichnet. |
| Mit dieser Vereinbarung haben wir uns darauf geeinigt, den AstraZeneca COVID-Impfstoff zu liefern, falls er sich in den klinischen Studien als erfolgreich erweisen sollte. Und wie Sie sicher alle wissen, war der Impfstoff tatsächlich erfolgreich und Oxford Biologica stellt den COVID-19-Impfstoff bis heute her. |
| Deshalb möchte ich auch nur kurz die Prozesse vorstellen, die wir hier und dann bei OXB verwenden. |
| Ein Bioprozess ist also ein Prozess, bei dem eine lebende Zelle oder ihre Komponenten verwendet werden, um ein gewünschtes Produkt zu erhalten, also ein bekanntes |
| Ein Beispiel für einen solchen Prozess wäre die Fermentation von alkoholischen Getränken. |
| Und während dieses Prozesses ist die Hefe die lebende Komponente und die Hefe sowie alle anderen Zutaten, die zum Brauen von Bier benötigt werden, werden in einen Bioreaktor gegeben und die Hefe löst eine chemische Reaktion aus, die als Fermentation bezeichnet wird. Während der Fermentation wird Glucose in Ethanol umgewandelt. |
| Sobald diese Fermentationsreaktion abgeschlossen ist, wird der Inhalt des Bioreaktors geerntet und durch Filtration gereinigt, und dann bleibt das Endprodukt übrig, das Bier ist. |
| Der Prozess, den wir hier in Oxford Biomedica anwenden, ähnelt also der Fermentation. Die lebendige Komponente unseres Prozesses sind also |
| Zellkulturen, also setzen wir mit den Bioreaktoren Zellkulturen und auch die anderen Komponenten ein, die zur Herstellung der lentiviralen Faktoren benötigt werden. |
| Am Ende dieses Produktionsprozesses wird der Inhalt des Bioreaktors zur nachgeschalteten Verarbeitung weitergegeben, wo das Produkt gereinigt und dann in Flaschen abgefüllt und zur Verwendung bei Patienten versandt wird. |
| Diese Folie zeigt also nur den Lebenszyklus der Arzneimittelentwicklung. Ganz links unten befindet sich also die Forschungsphase. |
| In diesem Stadium identifizieren wir also Zielgene oder -proteine, die für Krankheitsmechanismen wichtig sind. |
| Und wir entwickeln auch Medikamente gegen diese Ziele und zeigen, ob das Medikament in seiner Fähigkeit, die Krankheit zu bekämpfen, erfolgreich ist. |
| Und dann, ganz am Ende des Lebenszyklus, haben wir eine kommerzielle Herstellung, in der das Medikament für die Verwendung bei Patienten hergestellt und in Flaschen abgefüllt wird. |
| Unsere Gruppe, die Gruppe Prozess, Forschung und Entwicklung, befindet sich zwischen diesen beiden Phasen. Es ist unsere Aufgabe, den Produktionsprozess zu entwerfen, zu optimieren und zu skalieren |
| und Arzneimittel von der Forschungsbank zur Herstellung zu bewegen. Einige der von uns verwendeten Verfahren umfassen kleine Schüttelkolben und wir arbeiten bis zu 50-Liter-Bioreaktoren. |
| Wie Sie sich vorstellen können, generieren wir im Laufe unserer Arbeit viele Daten und die Bioreaktoren verfügen über viele Eingabeparameter, die wir überwachen und optimieren müssen. |
| Aufgrund des enormen Datenvolumens, das wir generieren, ist es ziemlich schwierig zu erkennen, auf welche Parameter wir uns bei unserer Optimierung konzentrieren sollten. |
| Und nur wegen der schieren Anzahl von Parametern, mit denen wir arbeiten müssen, ist es für uns wirtschaftlich nicht machbar, jeden einzelnen zu optimieren. Daher konzentrieren wir uns an dieser Stelle auf statistische Modellierung. |
| Und wir verwenden die Modelle, um die Liste der potenziellen Parameter einzugrenzen, die wir optimieren sollten. |
| Obwohl diese Modelle nützlich sind, erzeugen wir während unserer Arbeit viel zufälliges Rauschen, und dies ist auf die lebendige Natur der Bioverarbeitung zurückzuführen, sodass keine zwei Kulturen gleich sind. |
| Dieses zufällige Rauschen wird also offensichtlich in unsere statistischen Modelle aufgenommen, und dies kann dazu führen, dass wir Zeit damit verschwenden, nicht echte Effekte während unserer Optimierungsexperimente zu untersuchen. |
| Aus diesem Grund haben wir versucht, JMP Pro zu verwenden, insbesondere die Validierungsfunktionen. |
| Dies wird uns hoffentlich helfen, die Liste der Parameter, die wir betrachten werden, weiter einzugrenzen, die nicht echten Effekte aus den Modellen zu entfernen und auch |
| um zu vermeiden, dass wir auch unsere Modelle überanpassen. Jetzt werde ich Jose übergeben, der Sie über die gesamte Datenvalidierungsmethode informiert. |
| Jose Goncalves | Richtig, mein Name ist Jose und ich werde über die gesamte Optimierungsmethode sprechen. Dies ist also eine Methode, ein Modellierungswerkzeug, das nur in JMP Pro verfügbar ist. Wir waren daran interessiert zu untersuchen, wie man ... wie nützlich es bei OXB sein könnte für ... |
| Ich habe gesehen, wie nützlich es sein kann |
| an OXB zur Modellierung von Bioprozessdaten. Also, wie Rebecca sagte: |
| Wir verwenden diese Steritank (?) - Reaktoren in unserem Prozess und im Grunde wachsen wir Zellen in diese Bioreaktoren und produzieren diese viralen Vektoren, die unsere sind |
| Hauptprodukt. Es ist ein ... es ist das, was wir maximieren und modellieren wollen, also ist dies wirklich unsere Antwortvariable. |
| Und Bioreaktoren erfordern viele Steuereingaben und erzeugen während eines Produktionsprozesses viele Daten. Sie verfügen also über ein Tool, mit dem Sie ermitteln können, welche Eingaben zu untersuchen sind. |
| es wäre von großem Wert für uns. Dadurch können wir Zeit sparen, Ressourcen freisetzen und gezielter Ermittlungen durchführen. |
| Bevor wir in den Modellbau einsteigen konnten, mussten wir zunächst so viele Daten wie möglich aus historischen Chargen sammeln. |
| Diese Daten geben uns also Hinweise darauf, wie unser Produktionsprozess abläuft, und Anomalien in den Daten können auf eine nachteilige Auswirkung auf unsere Vektortiter hinweisen. Hier auf der linken Seite können Sie das sehen |
| Wir haben die Daten von 20 Variablen gesammelt, leider konnten wir die tatsächlichen Namen der Variablen nicht anzeigen und mussten die Daten anonymisieren. |
| Wir listen sie hier von X1 bis X20 auf und da unser Prozess ein ziemlich dynamischer Prozess ist, können wir den Grad der Kolinearität zwischen Prädiktoren nicht erwarten. So |
| Zusammenfassend haben wir einen Datensatz, der 20 Variablen oder 20 Kandidatenprädiktoren für unser Modell enthält, und wir haben die Daten aus 67 historischen Chargen gesammelt. |
| Da dies Teil der JMP Pro-Testversion war, hielten wir es am Anfang für eine großartige Sache, Standard-JMP zum Erstellen des Modells zu verwenden und es dann als Vergleich zu einem anderen Modell zu verwenden, das mit dem Hold erstellt wurde aus Formulierungsmethode. |
| Um das Modell ohne die Validierungsmethode zu erstellen, verwenden wir hier die Standardmodellierungsplattform für JMP und |
| Wir haben hier das Antwortoberflächenmodell ausgewählt, weil wir alle Haupteffekte, Interaktionsterme und quadratischen Terme in das Modell aufnehmen wollten. Und hier in der Persönlichkeit haben wir uns für eine schrittweise Weiterentwicklung entschieden. Also hier auf der rechten Seite, |
| Wir haben das Kontrollfeld für die schrittweise Regression und verwenden die Stoppregel als unseren P-Wert-Schwellenwert. Bei den verbleibenden Parametern haben wir sie standardmäßig belassen. |
| Und dann, nachdem die schrittweise Regression ausgeführt wurde, war dies das endgültige Modell, das generiert wurde. |
| Hier können Sie also sehen, dass wir acht Begriffe im Modell haben und sieben davon tatsächlich von Bedeutung sind. Deshalb möchte ich Sie nur auf diese ersten drei Faktoren aufmerksam machen, denn sie haben ... sie sind in unserem Modell von großer Bedeutung und werden es auch sein |
| sehr wichtig in ein paar Folien, wenn ich zeigen werde |
| die Ergebnisse ... die Ergebnisse |
| Wenn wir uns der Hold-out-Validierungsmethode nähern, ist das alte Modell hier von Bedeutung und kann etwa 44% der Abweichungen in unserem Datensatz erklären. |
| Das war also eine Art unser erster Ansatz. |
| Wir waren mit diesem ersten Modell, das generiert wurde, zufrieden, aber wir waren mehr daran interessiert, mehr über Validierungsmethoden zu erfahren. |
| Da die Untersuchung all dieser Prädiktoren viel Zeit und Laborressourcen in Anspruch nehmen würde, war dies der nächste Ansatz. |
| Hier ist eine Übersicht über die Funktionsweise dieser Holdout-Validierungsmethode. |
| Und im Wesentlichen haben wir unseren Datensatz und unser Datensatz wird zufällig in zwei Gruppen aufgeteilt. Also auf der linken Seite 70% der Daten |
| wird sein, es wird in einen Trainingssatz zugewiesen, der der Anteil der Daten ist, die verwendet werden, um ausschließlich das Modell zu erstellen. |
| Und hier auf der rechten Seite haben wir 30% der Daten, die wir einem Validierungssatz zuweisen werden, und dies ist der Anteil der Daten, die verwendet werden |
| um unseren Modellbildungsprozess zu stoppen, wenn dieses R im Quadrat des Validierungssatzes liegt, der sein Maximum ist. Also hier unten, |
| wir können sehen, dies ist ein Screenshot der schrittweisen Regressionsplattform, die im Wesentlichen dieselbe ist, wie wir sie zuvor verwendet haben, aber es gab eine Stoppregel, die dies zeigt: |
| die maximale Validierung R im Quadrat anstelle unserer p-Wert-Schwelle. Also und hier zeigt diese Grafik unten |
| Wir haben den Trainingssatz und wir haben den Validierungssatz hier, der als ausgeschlossen gekennzeichnet ist. |
| Und so, wie Sie sehen können, das Trainingsset, wenn wir anfangen, Begriffe in das Modell einzugeben, |
| Da wir hier diese Regel haben, diese Vorwärtsrichtungsregel, beginnen wir mit Nulltermen im Modell und fügen dann schrittweise Terme zum Modell hinzu. |
| Wenn wir mit dem Hinzufügen dieser Terme beginnen, steigt das R-Quadrat ziemlich schnell an, bis wir fünf Terme im Modell haben, und danach nimmt die Verbesserung des R-Quadrats nicht wesentlich zu |
| wenn wir anfangen ... wenn wir immer mehr Begriffe hinzufügen. Und so ist eines der wichtigen Dinge, wenn wir diese Methode verwenden, auch, was in der Validierungsmenge passiert, |
| weil dies mit unserer Stoppregel zusammenhängt. Was also passiert, ist im Wesentlichen dasselbe, wenn wir dem Modell Begriffe hinzufügen. |
| Das R-Quadrat nimmt ziemlich schnell zu, bis wir das maximale R-Quadrat erreichen, und nach diesem Punkt, wenn wir immer mehr Terme hinzufügen, nimmt das R-Quadrat ab. |
| Genau das bewirkt dieses Validierungsset ... was ... wir möchten dieses Validierungsset verwenden, um den Modellbildungsprozess in dieser Phase zu stoppen, sodass wir all diese Begriffe hier einfügen können, die am meisten erklären der Variation in unserem Datensatz und vermeiden |
| die Aufnahme all dieser Begriffe in das Modell, die zu einer Überanpassung des Modells führen können oder die möglicherweise überhaupt nicht echt sind. |
| Nachdem wir die schrittweise Regression ausgeführt haben, war dies das endgültige Modell, das generiert wurde, und wie Sie sehen können, haben wir eine Reduzierung von acht oder sieben signifikanten Begriffen auf nur drei. Und, wie Sie sich erinnern, waren diese Begriffe hier von großer Bedeutung, als wir sie nicht verwendeten |
| die die Hold-out-Validierungsmethode und daher scheinen sie hier überhaupt nicht signifikant zu sein. |
| Und tatsächlich kann dieses Modell nur etwa 4% der Abweichungen in unserem Datensatz erklären. |
| Und so war das ziemlich ... wir dachten, dies sei ein ziemlich dramatischer Rückgang der Anzahl der Begriffe im Modell und wir beginnen zu denken, okay, vielleicht hatten wir ein bisschen Pech mit dem Validierungssatz, für den für generiert wurde |
| für den Bau dieses speziellen Modells und wir dachten, wir ... Eines der großartigen Dinge in JMP Pro ist, dass wir diese verallgemeinerte Regressionsplattform verwenden können, die im Wesentlichen ... die Ausgabe ist im Wesentlichen die gleiche wie bei einer schrittweisen Regression, aber in dieser |
| Verallgemeinerte Regressionsplattform, wir können diese Simulationsfunktion verwenden. Und was dies im Grunde bedeutet, ist, das Modell immer wieder neu auszuführen, so oft wir wollen. |
| Verwenden Sie es dann für jedes generierte Modell und verwenden Sie einen anderen Validierungssatz. Das war also der Ansatz, den wir als nächstes gewählt haben. |
| Und weil |
| Wir konnten nicht alle Modelle auflisten, die wir generiert haben. Im Wesentlichen haben wir nur versucht, 100 Modelle zu generieren, oder wir haben 100 Modellsimulationen durchgeführt. Wir konnten sie hier also nicht alle auflisten. |
| Und wir wollten die Ergebnisse zusammenfassen, um ... wir haben versucht zu zählen, wie oft ein bestimmter Faktor erfasst wurde, um nach diesen 100 Simulationen in das Modell aufgenommen zu werden. |
| Genau das zeigt diese Grafik hier. Also rechts ... links |
| Wir haben nur ... dies sind nur die Parameterschätzungen. Dies ist gut, um nur die Streuung der Daten zu beobachten. Und hier, |
| Wie Sie sehen können, haben wir X13, X8 und es sind diese Interaktionsterme, die tatsächlich von Bedeutung waren, als wir diese Methode nicht verwendeten. Und hier, wenn wir als Beispiel X13 nehmen, war es nur ... es wurde nur 46 Mal aufgenommen |
| in das Modell aufgenommen zu werden oder 46% der Zeit in das Modell aufzunehmen, und so ist das eine ziemlich niedrige Zahl, wie wir seitdem erwartet hatten |
| Diese Faktoren waren hier von großer Bedeutung, als wir diese Methode nicht verwendeten. So |
| Die Schlussfolgerung, die wir mit der Hold-out-Validierungsmethode ziehen, ist, dass sie definitiv ein gutes Werkzeug für Wissenschaftler ist, insbesondere wenn wir Modelle und Modelle erstellen |
| Wir haben diese Variablen, die sich als signifikant herausstellen und die nicht ganz in unser wissenschaftliches Verständnis passen. Also noch eine ... eine andere Schlussfolgerung, die wir ziehen, ist die folgende |
| Speziell für diese Studie können wir davon ausgehen, dass die von uns untersuchten Prozessattribute unsere Vektortiter nicht wesentlich beeinflussen. Also werde ich jetzt an George übergeben. Er wird über die Autovalidierung sprechen. |
| George Pamenter | Okay, hallo alle zusammen, mein Name ist George. Ich arbeite in der Reinigungsgruppe hier Oxford Biomedica. Ich werde ein wenig über diese Autovalidierung sprechen |
| Methode, die uns von JMP zur Verfügung gestellt wurde, und ihre spezifische Verwendung bei der Gestaltung von Experimenten, wie Datenstruktur. Und ich werde ein wenig darüber sprechen, wie wir diese Methode verwendet haben, um eine Variable tatsächlich aus einem Optimierungsmodell für die Reinigung viraler Vektoren zu entfernen. |
| Okay, um mit ein paar Hintergrundinformationen zu einer viralen Vektorreinigung für diejenigen zu beginnen, die es nicht wissen. |
| Im Wesentlichen erhalten wir dieses Zellkulturmaterial von den Bioreaktoren. |
| Und dieses Material ist ziemlich rohes Material, so dass unsere interessierenden Therapeutika sehr virale Vektoren sind, zu denen auch Tausende anderer Arten gehören, kontaminierende Arten. |
| Und sie können alles sein, von unerwünschten Proteinen bis hin zu bakterieller DNA oder manchmal sogar unwirksamen Viren. |
| Das Ziel der Reinigung ist es also, unser reines virales Vektorprodukt von all diesen verschiedenen Kontaminanten zu trennen. |
| Aber dies können unglaublich komplizierte Prozesse sein, und Sie wissen, dass sie Chromatographie oder enzymatische Behandlungen und eine Reihe verschiedener Faktoren umfassen, die ihre Leistung beeinflussen. Wir brauchen also eine Möglichkeit, die besten Bedingungen effizient auszuwählen, um die beste Reinheit zu erreichen. |
| Und die Art und Weise, wie wir das oft tun, ist die Verwendung von Versuchsplänen. Und Design von Experimenten, die in der gesamten Zeitachse der Bioprozessentwicklung üblich sind, |
| Wir verwenden sie im Wesentlichen, um unsere Bioprozesse zu screenen, zu optimieren und vollständig zu charakterisieren. |
| Im Wesentlichen steigt der Umfang unserer Experimente, wenn wir uns durch die Zeitachse der Arzneimittelentwicklung bewegen und uns der kommerziellen Herstellung zuwenden. |
| Die Anzahl der Experimente, die wir durchführen können, nimmt tatsächlich ab, und es wird für uns immer schwieriger, Dinge zu ändern, je näher wir einem kommerziellen Produkt kommen. |
| Daher müssen wir in der Lage sein, frühzeitig in der Entwicklungsphase kluge Entscheidungen zu treffen, und die Art und Weise, wie wir dies tun, ist vorbei |
| Entwicklung effektiver Modelle. Wenn wir also frühzeitig ein effektives Modell haben, gibt es uns die Gewissheit, dass wir die besten Bedingungen ausgewählt haben, während wir unsere Verfahrensskala durchlaufen. |
| Ich werde nur detailliert beschreiben, wie wir diese Autovalidierungstechnologie an einem bestimmten Beispiel verwendet haben. Also haben wir das Design der Antwortoberfläche von Experimenten durchgeführt |
| Bei einem Reinigungsschritt für virale Vektoren können wir die tatsächlichen Daten nicht mit Ihnen teilen, aber wir mussten sie hier normalisieren. |
| Dies war also ein Drei-Faktor-Entwurfsraum, und unsere ... und unsere interessierende Ausgabe- oder Antwortvariable ist dieses Verunreinigungsniveau. Dieser Verunreinigungsgrad könnte also die Menge an kontaminierendem DNA-Protein sein, etwas von dieser Beschreibung. |
| Das Ziel war es also wirklich, diese Modelle für den niedrigstmöglichen Verunreinigungsgrad zu optimieren. |
| Und so sahen wir anfangs in unseren JMP-Setups aus, es gibt drei Eingangsvariablen und diese Antwortverunreinigung. |
| Daher haben wir zunächst einige Modelle unter Verwendung der schrittweisen Regressionsplattform und auch der Lasso-Regression erstellt, die eine JMP Pro-Funktion war. |
| Und eigentlich waren wir am Anfang ziemlich zufrieden mit dem, was wir sahen, also erklärten wir ziemlich viele Daten. |
| Wir schienen es ziemlich gut zu erklären und sahen die Variablen, von denen wir erwarten würden, dass sie auftauchen. |
| Aber es gab eine Variable, die uns weniger sicher gemacht hat, und das war diese X1 X3-Interaktion, wie Sie sehen können, die ich hier hervorgehoben habe. |
| Wenn Sie Ihre Aufmerksamkeit auf die obere rechte Seite des Bildschirms lenken, können Sie sehen, dass sich dieses X1-Profil je nach vollständig ändert |
| der Wert von X3, also haben wir bei niedrigen Werten von X 3 diese Art von keinem wirklichen Effekt, um ehrlich zu sein, und dann haben wir bei hohen Werten von X3 diese Art von positiver Korrelation. |
| Und das hat uns wirklich verwirrt und es war ein bisschen besorgniserregend, weil diese X1 X3-Interaktion wirklich nicht zu dem passte, was wir wissenschaftlich verstehen würden. |
| Das hat uns ein bisschen verwirrt und es war auch ein bisschen so, als würden unsere Modelle die Daten, die wir richtig gesehen hatten, wirklich erklären. |
| Es hatte auch erhebliche reale Auswirkungen auf die Prozessentwicklung in dem Sinne, dass diese X3-Variable tatsächlich bekannt war |
| ziemlich viel zu ändern. Die Analogie, die ich hier verwenden würde, wäre also, wenn wir eine Medikamentendosierung von zwei Medikamenten entwickeln würden, also X1 und X2, |
| und wir haben festgestellt, dass die Dosierung tatsächlich davon abhängt, wie alt der Patient ist, sagen wir X3, das ist etwas, das man wirklich ausgraben und charakterisieren muss. Das Erforschen dieser Interaktion hätte also tatsächlich erhebliche zusätzliche Experimentierkosten und auch Zeit gekostet. |
| Deshalb wollten wir eine Validierungsmethode durchführen, also haben wir unsere Kollegen bei JMP konsultiert. |
| und sie sagten uns im Wesentlichen, dass sie diese Holdout-Validierung leider nicht wirklich für die Gestaltung der Versuchsdatenstruktur verwenden konnten. |
| Und der Grund dafür ist, wenn Sie sich vorstellen können, dass ich 70% eines Validierungssatzes, diese Art von Trainingssätzen, meinen Daten hier dem Entwurfsraum zugewiesen habe. |
| dass wir das Modell tatsächlich bauen, aber tatsächlich einen Teil des Designraums komplett vermissen. Daher ist es nicht wirklich anwendbar, diese Hold-out-Validierung für DOE-Datensätze zu verwenden. |
| Deshalb kamen unsere Kollegen bei JMP mit dieser Autovalidierung zu uns. |
| Und die Art und Weise, wie es mir erklärt wurde, war im Wesentlichen, dass Sie Ihren gesamten Datensatz neu abtasten würden. Sie verwenden also Ihren gesamten Datensatz für das Training und Ihren gesamten Datensatz für die Validierung. |
| Und das mag auf den ersten Blick wie Betrug erscheinen, das hat es mir sicherlich angetan, aber mir wurde gesagt, wie dies fair erreicht wird |
| ist durch die Anwendung dieser drei zusätzlichen Spalten und wirklich durch dieses reduzierte fraktionierte gewichtete Bootstrap-Gewicht. |
| Und im Wesentlichen denke ich, dass die Idee hier ist, dass wenn Sie ein Datenelement in der Schulung Ihres Modells verwenden, Sie dies dann tun würden, so dass Sie dasselbe Datenelement nicht so häufig in der Validierung verwenden würden, und Auf diese Weise umgehen Sie diese Idee, Ihre Daten doppelt zu zählen. |
| Also haben wir diese Methode angewendet. Wir haben dies auf unseren Modellen ausgeführt. Hier können Sie das Setup in JMP sehen und wir verwenden diese wieder verallgemeinerte Regressionsplattform, die ein JMP Pro-Tool ist. |
| Und hier ist es so ziemlich das gleiche wie das, was Jose erklärt hat, aber anstatt für verschiedene zu simulieren |
| Trainings- und Validierungsaufgaben simulieren wir tatsächlich diese Teilgewichtung. Also simulieren wir das mehrmals, um verschiedene Modelle zu generieren, und haben dies tatsächlich 500 Mal durchlaufen. |
| So wie die Ausgabe unserer Daten jetzt aussieht, können Sie mit Jose's vorher rechts hier ein Histogramm sehen, wie oft eine bestimmte Variable |
| wurde in unserem Modell aufgeführt, und hier links haben Sie diese Parameterschätzungen aus verschiedenen Modellen. |
| Ich habe gerade diese rote Linie hier gezeichnet und dies als Nullfaktorlinie bezeichnet. Diese Nullfaktorvariable funktioniert also wie eine gefälschte Variable. |
| Wir wissen also, dass dies eine Art Unsinnvariable ist, denn wenn wir uns den Nullfaktor links hier ansehen, können Sie sehen, dass seine Parameterschätzungen ziemlich weit um Null verteilt sind, sodass es nicht wirklich weiß, wohin es gehen soll. |
| Und so ziehen wir diese Linie und sagen, dass jedes ... das erste Mal, wenn dieser Nullfaktor auftritt, alles, was darunter liegt, wir als einen nicht echten Effekt betrachten würden. |
| Das ist also eine Art Bereich der nicht echten Begriffe. Und ich habe, wie Sie sicher sehen können, diese X1 X3-Interaktion blau hervorgehoben, die Anlass zur Sorge gab. |
| Und Sie können hier sehen, dass es weniger häufig vorkommt und viele der Nullfaktor-Effekte auftreten. Dies war also der erste Hinweis darauf, dass dies möglicherweise kein echter Effekt ist. |
| Also wollten wir hier nicht aufhören. Wir haben mehrere Iterationen davon mit unterschiedlichen ausgeführt |
| Autovalidierungs-Setups, und ich habe hier nur drei Beispiele generiert. Aber Sie können in jedem blau hervorgehobenen Beispiel sehen, dass diese X1 X 3-Interaktion durchweg niedriger war als diese rote Linie, diese Nullfaktorlinie. |
| Auf dieser Grundlage waren wir ziemlich zuversichtlich, dass das, was wir sahen, wahrscheinlich kein echter Effekt war, und so konnten wir dies aus den von uns gewünschten Modellen entfernen. |
| Nun nur ein Vergleich der endgültigen Ergebnisse dessen, was wir bekommen haben. Links hier war das erste Modell, das wir gebaut haben und das diese X1 X3-Interaktion enthielt. |
| Und dann rechts dieses automatisch validierte Modell, bei dem wir das entfernt haben. |
| Und ich nehme an, das erste, was uns aufgefallen ist, war tatsächlich diese Verringerung des R-Quadrats. Auf den ersten Blick scheint es so, als würden Sie wahrscheinlich weniger Daten erklären, aber jetzt sind wir viel sicherer, dass das, was wir erklären, tatsächlich echt war. |
| Und Sie können hier den Unterschied in den Bedingungen für die Minimierungsoptimierung sehen, die ausgegeben werden. |
| Und dies hatte tatsächlich eine Reihe von Vorteilen für uns, tatsächlich in Bezug auf die Verarbeitung. Denken Sie also daran, dass dies alles reale Variablen sind, sie haben reale Dinge hinter sich. |
| Diese X1-Variable ist also eine sehr teure Sache für unsere Prozesse. Wir waren also sehr ... es war gut zu sehen, dass wir diese Variable reduzieren konnten. |
| Auch wenn diese X2-Variable sinkt, ist dies aus wissenschaftlichen Gründen ein großer Vorteil für unseren Prozess, sodass wir auch diesen reduzieren können, was für uns von Vorteil war. |
| Und das sind glückliche Zufälle, denke ich, aber das einzige, mit dem wir wirklich zufrieden waren, war das tatsächlich, |
| Sie können sehen, wie diese X1 X3-Interaktion entfernt wurde. Wir haben gesehen, dass die Profile von X1 und X2 tatsächlich konstant waren und dass sie tatsächlich wirklich dazu passen |
| das wissenschaftliche Verständnis, das wir erwartet hatten, so waren wir sehr glücklich, dies zu beobachten. Und offensichtlich sind wir jetzt weggegangen und haben beide Modelle mit Folgeexperimenten getestet, um festzustellen, welches die beste Leistung erbrachte. |
| Und bei allen Gelegenheiten stimmt dies tatsächlich ... dieses automatisch validierte Modell mit den Beobachtungen überein, die wir in unseren letzten abschließenden Experimenten gesehen haben. |
| Ich gebe es jetzt einfach zurück, Rebecca. |
| Rebecca Clarke | Ich werde nur eine kurze Zusammenfassung dessen machen, worüber wir gesprochen haben. Wir wissen also, dass nicht wahre Effekte reale Auswirkungen sowohl auf die Entwicklungszeitpläne als auch auf die experimentellen Kosten für die Bioverarbeitung haben. |
| Und hier haben wir uns zwei Validierungsmethoden angesehen, die uns bei unseren Bioprozessen helfen und mögliche nicht wahre Effekte hervorheben, die wir aus unseren Optimierungsexperimenten eliminieren können. |
| Das Hold-Out-Validierungs-Tool, mit dem wir erfolgreich eine Reihe von Parametern aus unserer Optimierungsliste entfernt haben, und dann die Autovalidierung auch während unserer DOE-Typ-Experimente. |
| Und in diesen Fällen werden die generierten Modelle auch später durch experimentelle Arbeiten bestätigt. Insgesamt waren wir sehr zufrieden mit der Verwendung von JMP Pro. |
| Insbesondere die Validierungsmethoden in unseren Bioprozessen helfen uns, viel Zeit und Ressourcen zu sparen und uns nicht auf nicht wahre Effekte zu konzentrieren. |
| Und zum Abschluss möchten wir Robert Anderson und Anna Roper von JMP danken, die uns während dieser Präsentation geholfen haben, und das ist es für uns, und danke, dass Sie zugehört haben. |
