349244_de-DE

liliconcom

SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Niveau: Mittelstufe

 

Philip Ramsey, Professor, North Haven Group und University of New Hampshire
Wayne Levin, Präsident und CEO, Predictum
Trent Lemkus, Ph.D. Kandidat, University of New Hampshire
Christopher Gotwalt, JMP-Direktor für statistische Forschung und Entwicklung, SAS

 

Die DOE-Methoden haben sich im Laufe der Jahre weiterentwickelt, ebenso wie die Bedürfnisse und Erwartungen der Experimentatoren. Historisch gesehen lag der Schwerpunkt auf der Trennung von Effekten, um Verzerrungen bei Effektschätzungen zu reduzieren, und auf der Maximierung der Testleistung von Hypothesen, die größtenteils ein Spiegelbild der methodischen und rechnerischen Werkzeuge ihrer Zeit sind. In der Industrie wird DOE häufig durchgeführt, um das Produkt- oder Prozessverhalten bei möglichen Änderungen vorherzusagen. Wir stellen Self-Validating Ensemble Models (SVEM) vor, einen inhärent prädiktiven algorithmischen Ansatz für die Analyse von DOEs, der den fraktionalen Bootstrap verallgemeinert, um maschinelles Lernen und Bagging für kleine, in DOE übliche Datensätze zu ermöglichen. Im Vergleich zu klassischen DOE-Methoden bietet SVEM eine um Größenordnungen höhere Vorhersagegenauigkeit. Wir haben bemerkenswerte und fundierte Ergebnisse, die zeigen, dass SVEM Modelle mit mehr aktiven Parametern als Zeilen anpasst und möglicherweise die Rolle klassischer statistischer Konzepte wie Freiheitsgrade für immer verändert. Wir nutzen Fallstudien, um SVEM zu erklären und zu demonstrieren und beschreiben unsere Forschungssimulationen, indem wir seine Leistung mit klassischen DOE-Methoden vergleichen. Wir demonstrieren auch den neuen Candidate Set Designer in JMP, der es einfach macht, die Leistung von SVEM anhand Ihrer eigenen Daten zu bewerten. Mit SVEM erhält man präzise Modelle mit kleineren Datensätzen als je zuvor, wodurch die Markteinführungszeit verkürzt und die Innovationskosten gesenkt werden.

 

 

Automatisch generiertes Transkript...

 

Lautsprecher	Transkript
Wayne Levin	selbstvalidierendes Ensemble-Modell, da wir es als einen Paradigmenwechsel in der Versuchsplanung usw. betrachten.
	Ich werde einfach... los geht's. Unsere Agenda hier ist ... wir werden ... nur eine kurze Einführung darüber geben, wer spricht.
	Also, was, warum und wie von SVEM. Wir verschaffen uns also einen kurzen Überblick über DOE und maschinelles Lernen, beschreiben deren Integration in SVEM, analysieren einige reale … reale SVEM-Experimente und dann werden wir es tun
	Sehen Sie sich einige aktuelle Forschungsergebnisse an und demonstrieren Sie JMPs neuen Kandidaten-Set-Designer, neu in JMP 16, und dann enden wir mit den üblichen, Sie wissen schon, nächsten Schritten und Fragen und Antworten und so weiter.
	SVEM ist eine bemerkenswerte neue Methode, um mit weniger Versuchszyklen mehr Erkenntnisse zu gewinnen und aus kleinen Datenmengen, einschließlich DOEs, genauere Vorhersagemodelle zu erstellen.
	Wir gehen davon aus, dass Sie mit SVEM weniger Kosten haben, schneller auf den Markt kommen und Probleme viel schneller lösen können. Das alles werden wir im weiteren Verlauf erforschen.
	in der Sitzung.
	Ich bin Wayne Levin und der Präsident von Predictum. Zu mir gesellt sich Chris Gotwalt, der leitende Datenwissenschaftler bei JMP, und zu uns gesellt sich auch Phil Ramsey, leitender Datenwissenschaftler hier bei Predictum und außerordentlicher Professor an der University of New Hampshire.
	Also lasst uns einfach
	Machen Sie hier eine Bestandsaufnahme. Wie wir alle wissen, ist der Beitrag von JMP zur Datenwissenschaft enorm, und im DOE-Bereich, der jetzt über 20 Jahre zurückreicht, wäre es ... JMP 4 mit dem Koordinatenaustauschalgorithmus.
	Und dann, vor etwa acht Jahren, vor neun Jahren, sahen wir, wie endgültige Screening-Designs herauskamen. Und wir würden gerne denken, dass SVEM, wir nennen es kurz selbstvalidierende Ensemble-Modellierung (versuchen Sie es dreimal schnell zu sagen), wir denken gerne, dass dies ein weiterer Beitrag ist.
	Maschinelles Lernen und Versuchsplanung.
	Es überwindet die Einschränkungen begrenzter Datenmengen, richtig. Mit kleinen Datenmengen ist maschinelles Lernen nicht möglich, dafür sind normalerweise große Datenmengen erforderlich.
	Jetzt haben wir SVEM in der Praxis ausprobiert und eine Reihe von Unternehmen haben sich diesbezüglich an uns gewandt und wir haben eine Testversion von SVEM zur Verfügung gestellt. Waren bei
	Predictum ist das erste Unternehmen, das ein Produkt in diesem Bereich entwickelt und auf den Markt gebracht hat, und ich möchte Ihnen nur einige der Dinge mitteilen, die wir bisher gelernt haben.
	Und einer davon ist, dass SVEM außergewöhnlich gut funktioniert. Ich meine, wenn man mehr Parameter und mehr Durchläufe hat, funktioniert es sehr gut
	Modelle höherer Ordnung. Es liefert genauere Vorhersagen und hilft auch bei der Wiederherstellung nach defekten DOEs. Wenn Sie also zum Beispiel definitive Screening-Designs haben, für die
	Aus welchem Grund auch immer, es ist nicht möglich, eine definitive Prüfung durchzuführen, wir haben einige historische DOEs zugeschickt bekommen
	es mangelt an Kraft. Sie haben einfach nichts gefunden, aber bei SVEM war es tatsächlich so. Es war in der Lage. Und Sie wissen, dass es Fälle gab, in denen einige Läufe fehlten oder fraglich waren.
	Etwas anderes, was wir gelernt haben, ist, dass es Ihnen bei der rationalen Fakultät, also solchen Dingen, nicht helfen wird. Wir interessieren uns hier für Vorhersagemodelle
	und gebrochene Fakultäten liefern wirklich keine Vorhersagemodelle; Dafür sind sie nicht ausgelegt. Es wird Ihnen also nichts geben, für dessen Bereitstellung die Daten nicht strukturiert sind.
	zumindest nicht in diesem Ausmaß. Außerdem haben wir gelernt, dass wir das volle Potenzial von SVEM noch nicht getestet haben. Dafür brauchen wir wirklich
	Experimente zunächst unter Berücksichtigung von SVEM zu entwerfen, und das bedeutet, weitere Faktoren zu berücksichtigen. Wir wollen nicht nur drei oder vier Faktoren betrachten. Wie wäre es mit 10, 15 oder noch mehr?
	Aus der Forschung, über die Chris und Phil sprechen werden, gehen wir hervor, dass bayesianische I-optimale Designs die besten sind ... der beste Ansatz für die Verwendung mit SVEM und auch Mischungsdesigns
	waren für SVEM besonders nützlich und dazu werde ich später noch etwas mehr sagen. Und was SVEM betrifft
	Wenn Sie es ausprobieren möchten, haben wir am Ende einige Informationen, nachdem Chris und Phil darüber gesprochen haben. Und nachdem dies gesagt ist, überlasse ich es dir, Chris, der das tun wird
	Gehen Sie auf das Was, das Warum und das Wie von SVEN ein. Also auf zu dir, Chris.
Chris Gotwalt	Okay, großartig, danke, Wayne. Oh Moment, teile ich meinen Bildschirm?
Wayne Levin	Noch nicht.
	Na, bitte.
Chris Gotwalt	Okay, alles klar, also, danke, Wayne.
	Jetzt werde ich die Idee selbstvalidierender Ensemblemodelle oder SVEM vorstellen.
	Ich werde es ziemlich einfach halten. Ich gehe davon aus, dass Sie über Erfahrung in der Gestaltung und Analyse von Experimenten verfügen.
	Am wichtigsten ist, dass Sie verstehen, dass der statistische Modellierungsprozess darauf hinausläuft, Funktionen an Daten anzupassen
	diese Prädiktor-Antwortvariable als Funktion der Eingabevariablen. Auf hohem Niveau ist SVEM eine Brücke zwischen maschinellen Lernalgorithmen, die Big-Data-Anwendungen nutzen
	und Design von Experimenten, was im Allgemeinen als kleines und gutes Analyseproblem angesehen wird. Maschinelles Lernen und DOE haben jeweils eine lange Geschichte, aber bis jetzt waren sie relativ getrennte Traditionen.
	Unsere Forschung zeigt, dass Sie mit SVEM genauere Modelle mit weniger Beobachtungen erhalten können.
	Dies bedeutet, dass Produkt- und Prozessverbesserungen in kürzerer Zeit, mit weniger Ressourcen und geringeren Kosten erfolgen können. Wenn Sie also in einer wettbewerbsintensiven Branche tätig sind,
	Wenn es entscheidend ist, als Erster auf den Markt zu kommen, dürfte SVEM für Sie von großem Interesse sein.
	Insbesondere sind wir davon überzeugt, dass SVEM besonderes... enormes Potenzial in der Pharma- und Biotech-Branche hat,
	Hochtechnologie wie die Halbleiterfertigung und die Entwicklung von Konsumgütern.
	Bei meiner Arbeit hier bei JMP habe ich den Umgang mit Daten in vielen Branchen und Anwendungsbereichen aus der Vogelperspektive miterlebt.
	Ich habe Algorithmen für die Konstruktion optimaler Designexperimente sowie zugehörige Analyseverfahren wie gemischte Modelle und die Verallgemeinerung Ihrer Modelle entwickelt.
	Andererseits bin ich auch Entwickler der neuronalen Netzwerkalgorithmen von JMP Pro sowie einiger anderer Techniken des maschinellen Lernens, die im Produkt enthalten sind.
	In den letzten 20 Jahren habe ich gesehen, dass maschinelles Lernen bei der Modellierung großer Beobachtungsdatensätze immer wichtiger wird und viele neue Daten entdeckt
	Algorithmen, die entwickelt wurden. Gleichzeitig hat sich auch die Analyse geplanter Experimente verändert, allerdings in zunehmendem Maße in den letzten 20 Jahren.
	Die gesamte statistische Methodik industrieller Experimente wäre für jeden erkennbar, der Ende der 1970er Jahre Box, Hunter und Hunter gelesen hat.
	Maschinelles Lernen und Versuchsplanung werden im Allgemeinen in der Industrie eingesetzt, um Probleme vorhersagbarer Natur zu lösen.
	Mit diesen Tools beantworten wir beispielsweise Fragen, ob der Sensor eine fehlerhafte Charge anzeigt oder wie wir den Prozess anpassen, um die Ausbeute zu maximieren und gleichzeitig die Kosten zu minimieren.
	Obwohl sie beide prädiktiver Natur sind, werden maschinelles Lernen und die Versuchsplanung im Allgemeinen auf recht unterschiedliche Datentypen angewendet.
	Was ich jetzt tun werde, ist, einen kurzen Überblick über beide zu geben und dann zu beschreiben, wie wir sie in SVEM integriert haben.
	Ich analysiere einige Daten aus einem echten Experiment, um zu zeigen, wie es funktioniert und warum wir denken, dass es insgesamt sehr gut funktioniert.
	Ich gehe auf das Ganze ein ... Ich gehe ... Ich werde die Ergebnisse von Simulationen durchgehen, die von Trent Limpkiss(?), einem Doktoranden an der University of New Hampshire, durchgeführt wurden, was uns die Gewissheit gegeben hat, dass der Ansatz sehr gut ist vielversprechend.
	Dann gehe ich ein Beispiel durch, das zeigt, wie Sie die neuen Kandidatensatzdesigns in JMP 16 verwenden können, um optimale Teilmengen vorhandener Datensätze zu finden, damit Sie SVEM selbst ausprobieren können.
	Ich werde einige unserer Beobachtungen hervorheben, ich habe einige zukünftige Fragen erwähnt, die wir hoffentlich beantworten werden, und dann werde ich es Phil übergeben, der eine detailliertere Fallstudie und eine Demo der SVEM-Erweiterung durchgehen wird. In.
	Betrachten Sie die einfachen Daten auf dem Bildschirm. Es handelt sich um Daten aus dem metallurgischen Prozess und wir möchten das Ausmaß der Schrumpfung am Ende der Verarbeitungsschritte vorhersagen.
	Auf der linken Seite haben wir drei Variablen, die wir zur Vorhersage der Schrumpfung verwenden möchten. Bei der Modellierung geht es darum, eine Funktion zu finden, die Druck, Zeit und Temperatur verbindet und die Reaktion (Schrumpfung) hier vorhersagt.
	Hoffentlich würde dieses Modell in Zukunft neue Daten generieren und verallgemeinern.
	Im Kontext des maschinellen Lernens besteht die Standardmethode hierfür darin, die Daten in zwei disjunkte Zeilensätze zu unterteilen. Einer davon heißt Trainingssatz und wird zum Anpassen von Modellen verwendet, um sicherzustellen, dass wir die Daten nicht überanpassen.
	Dies führt zu Modellen, die bei neuen Beobachtungen ungenau sind. Wir haben eine weitere Teilmenge der Daten, den so genannten Validierungssatz, der zum Testen verschiedener Modelle verwendet wird, die wir untersucht haben ...
	die zum Trainingsset passen. Hier gibt es einen Kompromiss: Zu einfache Funktionen passen schlecht in die Trainings- und Validierungssätze, weil sie nicht genügend Variation erklären.
	Zu komplexe Modelle hingegen können nahezu perfekt auf den Trainingssatz passen, sind aber auf dem Validierungssatz sehr ungenau.
	Wir verwenden Maßnahmen wie die Validierung des R-Quadrats, um das Goldlöckchen-Modell zu finden, das weder zu einfach noch zu kompliziert ist.
	Dieses Goldlöckchen-Modell ist dasjenige, dessen Validierungs-R im Quadrat das höchste im Validierungssatz ist.
	Diese Modellauswahl im Hold-Out-Stil ist eine sehr gute Möglichkeit, um fortzufahren, wenn Sie eine relativ große Anzahl von Zeilen haben.
	oft in Hunderten Millionen Zeilen oder mehr. Die Aussage einigermaßen groß ist absichtlich mehrdeutig und hängt von der jeweiligen Aufgabe ab. Allerdings sind die 12 Zeilen, die Sie hier sehen, wirklich zu klein und dienen hier nur der Veranschaulichung.
	In DOEs befinden wir uns normalerweise in Situationen, in denen erhebliche Zeit- und/oder Ressourcenbeschränkungen bestehen.
	Eine Kernidee entworfener Experimente, insbesondere der optimal entworfenen Experimente, die eine Schlüsselfunktion von JMP darstellen, besteht darin, Informationen höchster Qualität in möglichst wenigen Zeilen zu erhalten.
	Viele brillante Menschen haben im Laufe der Jahre statistische Tools wie F-Tests, Halbnormaldiagramme und Modellauswahlkriterien wie AIC und BIC entwickelt.
	die uns helfen, Entscheidungen über Modelle für DOE-Daten zu treffen. Dies alles sind Leitfäden, die uns dabei helfen, herauszufinden, welches Modell wir als Grundlage für unsere wissenschaftlichen, technischen und fertigungstechnischen Entscheidungen verwenden sollten.
	Eine Sache, die nicht oft gemacht wird, ist die Anwendung der Modellauswahl für maschinelles Lernen auf geplante Experimente. Warum sollte das so sein?
	Ein wichtiger Grund dafür ist, dass die Informationen so eng in Designs gepackt sind, dass das Entfernen auch nur einiger weniger Beobachtungen dazu führen kann, dass die Haupteffekte und Wechselwirkungen zusammenbrechen
	so dass wir sie nicht mehr in eindeutig abschätzbare Effekte unterteilen können. Wenn Sie es trotzdem versuchen, werden Ihnen wahrscheinlich Warnungen im Softwarebericht angezeigt, z. B. verlorene Freiheitsgrade oder Singularitätsdetails, die dem Modellbericht hinzugefügt wurden.
	Jetzt machen wir ein kleines Gedankenexperiment. Was wäre, wenn wir versuchen würden, ein wenig zu schummeln?
	Was wäre, wenn wir alle Zeilen der Originaltabelle, die Xs und Ys, kopieren und eine Kopie mit „Training“ und die andere Kopie mit „Validierung“ beschriften würden? Jetzt haben wir genug Daten, oder? Falsch. Damit täuschen wir niemanden, das ist dieser verrückte Plan.
	Es ist verrückt, denn wenn Sie versucht haben, mit diesem Ansatz zu modellieren, und sich irgendein Diagramm des Indexes der Anpassungsgüte angesehen haben, werden Sie feststellen, dass eine kompliziertere Darstellung zu einer besseren Anpassung an den Trainingssatz führt, aber aufgrund von Training und Validierung
	Da die Mengen in diesem Fall gleich sind, führt der Ansatz immer zu einer Überanpassung.
	Lassen Sie uns also die Modellauswahl für maschinelles Lernen untermauern und neu formulieren als eine Geschichte von zwei gewichteten Quadratsummen, die anhand derselben Daten berechnet wurden.
	Anstatt die Modellauswahl anhand von zwei Datenpartitionen zu betrachten, können wir sie uns als zwei Gewichtsspalten vorstellen.
	Es gibt eine Trainingsgewichtung, die für Zeilen im Trainingssatz eins und ansonsten null ist, sowie eine Validierungsspalte
	Das ist für die Trainingszeilen gleich Null und für die Validierungsspalte gleich Eins für die Validierungszeilen.
	Aus der Modellauswahl für maschinelles Lernen können wir uns also vorstellen, dass jede Zeile ihr eigenes Paar von Gewichtungswerten hat, wobei beide Gewichte binäre Nullen und Einsen sind.
	Wenn wir sie auf diese Weise einrichten, können wir die Eignung des Modells unabhängig beurteilen.
	Modelle werden angepasst, indem Parameterwerte ermittelt werden, die die mit der Trainingsgewichtung gewichteten Summen der Fehlerquadrate minimieren, und die Generalisierungsleistung wird anhand der mit den Gewichtungen der Validierungsspalte gewichteten Summe der Fehlerquadrate gemessen.
	Wenn wir diese Gewichtspaare in einem Streudiagramm darstellen, sehen wir natürlich, dass die Trainingsvalidierungsgewichte … die Trainings- und Validierungsgewichte perfekt antikorreliert sind.
	Was wäre nun, wenn wir, anstatt uns zu zwingen, perfekt antikorrelierte Paare binärer Werte zu verwenden, die Anforderung lockern würden, dass die Werte nur die Werte Null und Eins annehmen können?
	und zulassen, dass die Gewichte einen streng positiven Wert annehmen?
	Um das zu erreichen, müssen wir insbesondere etwas aufgeben. Damit dies mathematisch funktioniert, können wir meines Wissens nach nicht mehr perfekt antikorrelierte Gewichtspaare haben, aber wir können dies auf eine Weise tun, dass wir immer noch ein substantielles Anti haben Korrelation.
	Es gibt viele Möglichkeiten, dies zu erreichen, aber eine Möglichkeit wäre, Gewichtungen nach dem gleichen Schema wie beim gebrochen gewichteten Bootstrap zu erstellen, bei dem wir eine Exponentialverteilung mit einem Mittelwert von eins verwenden
	um die Gewichte zu erstellen. Und es gibt einen kleinen Trick, der die Eigenschaften der Gleichverteilung nutzt und mit dem wir exponentiell verteilte, aber stark antikorrelierte Gewichtspaare erstellen können.
	Wenn wir dies als zweispaltig gewichtetes Validierungsschema verwenden, nennen wir dies Autovalidierung. Phil und ich haben mehrere Discovery-Artikel zu diesem Thema verfasst ... zu genau dieser Idee.
	Die Verwendung dieses Ansatzes ähnelt einer Trainingsspalte mit Gewichten, die einen Varianzmittelwert von eins aufweist, und einer Validierungsspalte mit denselben Eigenschaften.
	Wenn bei diesem Autovalidierungsschema eine Zeile mehr als das durchschnittliche Gewicht zu den Trainingsquadratsummen beiträgt, trägt diese Zeile weniger zu den Validierungsquadratsummen bei und umgekehrt.
	Es gibt ein Add-in, das Mike ... Ich möchte darauf hinweisen, dass es ein Add-in gibt, das Mike Anderson erstellt hat, das Datensätze in ein Format umwandelt, das die Modellierungsplattformen von JMP Pro verarbeiten können.
	Vor kurzem haben Phil und ich Trent als unseren Doktoranden eingestellt.
	Im Frühjahr und Herbst führte Trent zahlreiche Simulationen durch, bei denen er viele verschiedene Ansätze zur Anpassung von Modellen an DOE-Daten ausprobierte, darunter einen ganzen Zoo von auf Autovalidierung basierenden Ansätzen. Ich werde einige seiner Ergebnisse zeigen
	hier in Kürze. Es genügt zu sagen, dass der Ansatz, der im Hinblick auf den minimalen durchschnittlichen Fehler bei einem unabhängigen Testsatz durchweg am besten funktionierte, die Anwendung der Autovalidierung war
	in Kombination mit einem variablen Auswahlverfahren wie der Vorwärtsauswahl, aber anstatt dies einmal zu tun, wiederholen wir den Vorgang Dutzende oder Hunderte Male,
	Speichern der Vorhersageformel jedes Mal und schließlich Mitteln der Modelle über alle diese automatisch validierten Iterationen hinweg. Und wir nennen dieses allgemeine Verfahren selbstvalidierte Ensemblemodelle oder SVEM.
	Um die Sache etwas konkreter zu machen, werde ich ein kurzes Beispiel geben, das dies verdeutlicht. Wir beginnen mit der Initialisierung der Autovalidierungsgewichte.
	Wir wenden Modellauswahlverfahren wie die Lasso- oder Vorwärtsauswahl an und speichern dann die Vorhersageformel wieder in der Tabelle.
	Hier ist die erste Vorhersageformel. In dieser Iteration wurden nur zwei lineare Haupteffekte ausgewählt.
	Dann initialisieren wir die Gewichte neu, passen sie mit dem neuen Satz an Gewichten erneut in das Modell ein und speichern diese Vorhersageformel.
	Hier ist die zweite automatisch validierte Vorhersageformel. Beachten Sie, dass dieses Mal ein anderer Satz von Haupteffekten und Wechselwirkungen ausgewählt wurde und ihre Regressionskoeffizienten dieses Mal unterschiedlich sind.
	Wir wiederholen diesen Vorgang einige Male.
	Und am Ende ist das SVEM-Modell einfach der Durchschnitt aller Vorhersageformeln.
	Hier ist ein prägnantes Diagramm, das den SVEM-Algorithmus als Diagramm veranschaulicht. Daher die Idee, die Bootstrap-Verfahren mit der Modellmittelung zu kombinieren
	passiert immer wieder, wenn wir ... nachdem wir die Gewichte neu initialisiert haben. Wir speichern die Vorhersageformel aus dieser Iteration.
	Wir speichern...hier speichere ich die Parameter...hier zeigt die Abbildung die Parameter, aber mit den Formeln ist es dasselbe. Speichern Sie sie einfach alle ab und am Ende des Tages ist das endgültige Modell einfach der Durchschnitt aller Iterationen.
	Sobald wir fertig sind, können wir dieses SVEM-Modell im Graph-Profiler mit aktivierter Option „Zwischenformeln erweitern“ verwenden, damit wir das resultierende Modell visualisieren und unseren Prozess optimieren usw. können.
	Jetzt werde ich die Ergebnisse von Trents Dissertationsforschung durchgehen.
	a Box Behnkens und DSDs in vier und acht Faktoren. Jede Simulation bestand aus 1.000 Simulationsreplikationen und jede Simulation hatte ihren eigenen Satz echter Parameterwerte für unser quadratisches Reaktionsflächenmodell.
	Die aktiven Parameter waren doppelt exponentiell verteilt und wir untersuchten unterschiedliche Prozentsätze der aktiven Effekte von 50 % bis 100 %.
	Für jede der 1.000 Simulationswiederholungen wurde die SVEM-Vorhersage relativ zum wahren Modell anhand eines unabhängigen Testsatzes bewertet, der aus einem raumfüllenden Design mit 10.000 Durchläufen über dem Faktorraum bestand.
	Wir haben uns eine große Anzahl verschiedener klassischer Single-Shot-Modellierungsansätze sowie eine Reihe von Variationen der gesamten Validierung angesehen.
	Aber es ist einfacher, sich nur die interessantesten Ergebnisse anzusehen, da es zu viel zum Vergleichen gab. Die Geschichte war in allen von uns untersuchten Situationen sehr konsistent.
	Dies ist eine dieser Simulationen, bei denen das Basisdesign ein definitives Screening-Design mit acht Faktoren und 21 Durchläufen war. In diesem Fall waren 50 % der Effekte ungleich Null.
	Das bedeutet, dass das Modell ungefähr so viele Nicht-Null-Parameter hatte, wie es Durchläufe gab.
	Auf der linken Seite sind die Boxplots des logarithmischen quadratischen Mittelfehlers für Lasso, Dantzig-Selektor, Vorwärtsauswahl und bereinigte Vorwärtsauswahl zu sehen, alle optimiert mit dem AICc, der Methode mit der besten Leistung.
	Außerdem folgt als nächstes die leistungsstärkste Methode der Fit-Definition-Plattform, gefolgt von SVEM, angewendet auf eine andere Modellierung ... mehrere unterschiedliche Modellierungsverfahren rechts.
	Es gibt eine dramatische Reduzierung des quadratischen Mittelwertfehlers unabhängiger Testsätze, wenn wir die RMSEs der Testsätze mit den SVEM-Vorhersagen vergleichen.
	Und beachten Sie, dass es sich dabei um eine logarithmische Skala handelt, was einen ziemlich dramatischen Unterschied in der Vorhersageleistung darstellt.
	Hier ist ein noch interessanteres Ergebnis. Das war die Handlung, die mich wirklich umgehauen hat. Dies ist der gleiche Simulationsaufbau, außer dass hier alle Effekte ungleich Null sind.
	Die wahren Modelle sind also übersättigt, nicht nur in der Designmatrix, sondern auch in den Parametern selbst.
	In der Vergangenheit mussten wir davon ausgehen, dass die Anzahl der aktiven Effekte eine kleine Teilmenge aller Effekte war und sicherlich kleiner als die Anzahl der Zeilen.
	Hier erhalten wir relativ genaue Modelle, obwohl die Anzahl der aktiven Parameter etwa doppelt so hoch ist wie die Anzahl der Zeilen, was wirklich bemerkenswert ist.
	Jetzt werde ich eine kurze Illustration durchgehen
	von SVEM, um zu zeigen, wie Sie es auf Ihre eigenen historischen DOEs anwenden können. Ich werde ein reales Beispiel eines Fünf-Faktor-DOE aus einem Fermentationsprozess verwenden, bei dem die interessierende Reaktion die Produktausbeute, gemessen durch den pDNA-Titer, war.
	Der große Vorteil von SVEM besteht darin, dass wir mit weniger Durchläufen genauere Modelle erhalten können. Das heißt, wir können bestehende Datensätze übernehmen,
	Verwenden Sie den neuen Kandidatensatz-Designer in JMP 16, um die Teilmenge der Zeilen zu identifizieren, die das prädiktive Herzstück des Originaldesigns bilden.
	Ich nehme die Originaldaten mit 36 Zeilen, lade die fünf Spalten als Kovariaten und sage dem benutzerdefinierten Designer, er soll mir die 16 Zeilen umfassende Teilmenge des Originaldesigns geben, die bei dieser Größe die beste vorhergesagte Leistung bietet.
	Dann verstecke und schließe ich alle Zeilen aus, die nicht in diesem Subset-Design enthalten sind, damit sie später als unabhängiger Testsatz verwendet werden können.
	Ich führe das SVEM-Modell aus und vergleiche die Leistung des SVEM-Modells mit der Leistung, die man erhält, wenn man ein Standardverfahren wie die Vorwärtsauswahl plus AICc-Anpassung an dieselben 16 Läufe anwendet.
	Ich möchte sagen, dass der neue Bühnenbildner-Kandidat in JMP 16 ... auch ein bemerkenswerter Beitrag ist, und ich möchte nur hervorheben, wie unglaublich Brads Team bei der Entwicklung dieses neuen Tools war, das tiefgreifend sein wird in vielerlei Hinsicht nützlich, auch mit SVEM.
	Um dies zu tun, können wir unseren Datensatz nehmen und zum benutzerdefinierten Designer gehen.
	Wir wählen Kovariatenzeilen aus, daher ist dies ein neuer Gliederungsknoten in JMP 16.
	Dann wählen wir die fünf Inputfaktoren aus.
	Klicken Sie auf Weiter.
	Und wir werden den RSM-Knopf drücken, der die Optimalitätskriterien automatisch in I-optimales oder prädiktives Typdesign umwandelt.
	Wir wählen alle Nicht-Intercept-Faktoren aus und klicken mit der rechten Maustaste in ... im Modell ...
	Wählen Sie hier eine Liste aus und erstellen Sie ... legen Sie alle Nicht-Intercept-Effekte als mögliche Effekte fest. Das ermöglicht es uns, Modelle zu haben
	mit mehr Parametern als es Läufe als unser Basisdesign gibt, da die Designkriterien nun ein Bayesianisches I-optimales Design sein werden. Jetzt können wir die Anzahl der Läufe auf 16 einstellen.
	Klicken Sie auf „Design erstellen“.
	Und sobald wir das getan haben, entfaltet der Optimierer seine Wirkung und alle Zeilen, die sich im Bayes'schen I-optimalen Teilmengendesign befinden, werden nun in der Originaltabelle ausgewählt.
	Wir können zur Tabelle gehen und dann einen Indikator oder eine Transformationsspalte verwenden, um die aktuelle Zeilenauswahl aufzuzeichnen.
	Und ich habe die Spalte für später in einen aussagekräftigen Namen umbenannt.
	Wir können die Punkte auswählen, die nicht im Teilmengendesign enthalten sind, indem wir alle Zeilen auswählen, in denen die neue Indikatorspalte gleich Null ist.
	Und dann können wir diese Zeilen ausblenden und ausschließen, sodass sie nicht in unseren Modellanpassungsprozess einbezogen werden.
	Phil wird das SVEM-Add-In vorführen, daher überspringe ich die Modellierungsschritte und gehe direkt zu einem Modellvergleich von Vorwärtsauswahl plus AICc und dem SVEM-Modell für die Zeilen, die nicht im Bayes'schen I-optimalen Teilmengendesign enthalten sind. Sie können diesen Vergleich also hier in den roten Zahlen sehen ...
	im rot umrandeten Teil des Berichts hier. Wir sehen, dass SVEM ein R-Quadrat hat
	Unabhängiger Testsatz von 0,5 und das klassische Verfahren hat ein R-Quadrat von 0,22, sodass wir im Grunde die doppelte Menge an Variation erhalten, die mit SVEM erklärt wird, als mit dem klassischen Verfahren.
	Wir können auch die Profilspuren der beiden Modelle vergleichen, wenn wir SVEM auf alle 46 Beobachtungen anwenden.
	Es ist klar, dass wir im Grunde das gleiche Modell erhalten, wenn wir SVEM auf alle 46 Läufe anwenden, wie wenn wir unter SVEM nur 16 Läufe erhalten.
	Dem auf der Vorwärtsauswahl basierenden Modell fehlen jedoch Krümmungsterme, was nicht zu übersehen ist ... ganz zu schweigen davon, dass auch viele Interaktionen fehlen. Dies ist ein ziemlich einfaches Verfahren, mit dem Sie SVEM anhand Ihrer eigenen historischen Daten testen können.
	Also insgesamt SVEM
	wirft viele Fragen auf. Viele von ihnen konzentrieren sich auf die Rolle von Freiheitsgraden in Designexperimenten, da wir jetzt in der Lage sind, Modelle anzupassen, bei denen es mehr Parameter als Zeilen gibt, was bedeutet, dass es effektiv negative Freiheitsgrade geben würde, wenn es so etwas gäbe.
	Ich denke, dies wird uns dazu veranlassen, die Rolle des P-Wert-basierten Denkens bei industriellen Experimenten zu überdenken.
	Wir müssen daran arbeiten, neue Methoden für die Unsicherheit in der Analyse zu etablieren, wie z. B. Vorhersagen ... in Konfidenzintervallen für Vorhersagen.
	Phil und ich arbeiten daran, herauszufinden, welche Familie von Basismodellen am besten für uns geeignet ist. Das könnten also quadratische RSMs sein, und wir betrachten auch diese partiellen kubischen Modelle, die vor langer Zeit vorgeschlagen wurden, aber jetzt glauben wir, dass sie es wert sind, noch einmal überdacht zu werden.
	Welche Arten von Designs sollten wir verwenden? Welche Stichprobengrößen sind abhängig von der Anzahl der Faktoren im Basismodell, das wir verwenden, angemessen? Welche Rolle spielen Screening-Experimente? Und eine große Unbekannte ist die Rolle von Blockierungs- und Split-Plot-Experimenten
	in diesem Rahmen?
	Jetzt werde ich es Phil übergeben. Er wird eine ausführlichere Fallstudie durchführen und auch das SVEM-Add-in von Predictum vorführen. Nimm es weg, Phil.
Philip Ramsey	Okay, danke, Chris. Und was ich tun werde, ist, eine Fallstudie zu besprechen, also lassen Sie mich das hier einbringen
	Diashow und ich werde einige machen
	Illustration, wie Chris sagte, des Predictum
	Add-In, das tatsächlich einen Großteil der SVEM-Analyse automatisiert. Und was wir untersuchen wollen, ist eine Analysemethode, die in der Biotech-Industrie verwendet wird.
	Und hier geht es um die Charakterisierung des Glykoprofils von therapeutischen Proteinen, im Wesentlichen von Proteinen, die zu Antikörpern werden sollen.
	Und viele von Ihnen, die in dieser Branche arbeiten, wissen, dass Glykoproteine wirklich eine sehr reichhaltige Quelle für Therapeutika sind, und Sie wissen auch, dass Sie die Zuverlässigkeit der Messsysteme nachweisen müssen, wenn Sie an GMP arbeiten. Und eigentlich für das Glykoprofiling,
	Schnelle, einfach zu bedienende Analysemethoden sind noch nicht wirklich ausgereift. Die Idee dieses Experiments bestand also darin, eine relativ schnelle und einfache Methode zu entwickeln, mit der die Menschen eine genaue Einschätzung der verschiedenen Faktoren erhalten
	(Ich bin hier kein Chemiker) Zucker, der gewesen ist
	nach der Transkription an das Basisprotein gebunden.
	Und um Ihnen eine Vorstellung zu geben, die Idee der Chromatographie, und ich gehe davon aus, dass Sie damit einigermaßen vertraut sind. Im Grunde handelt es sich um eine Methode, bei der Sie
	Wenn Sie eine Lösung haben, lassen Sie sie durch eine Säule laufen und dann, während die verschiedenen chemischen Spezies durch die Säule laufen,
	Sie neigen dazu, sich zu unterschiedlichen Zeiten zu trennen und aus der Säule herauszukommen. Also im Grunde eine Form, ein sogenanntes Chromatagramm, in dem der Peak liegt
	ist eine Funktion der Konzentration und der Zeitpunkt, zu dem der Höhepunkt auftritt, ist tatsächlich wichtig, um zu identifizieren, um welche Art es sich tatsächlich handelt. In diesem Fall werden wir uns also einige davon ansehen
	Zucker. Ich nenne sie einfach Glykoformen, und hier geht es darum, dass die Wissenschaftler, die diese Arbeit durchgeführt haben, eine Kalibrierungslösung entwickelt haben.
	Und wir wissen genau, was in der Kalibrierlösung enthalten ist. Wir wissen genau, welche Peaks ungefähr wo eluieren sollen.
	Und dann können wir eine echte menschliche Antikörperprobe mit der Kalibrierungsprobe vergleichen. Und einige dieser Glykoformen sind geladen. Es ist schwierig, sie durch die Kolonne zu bekommen.
	Sie neigen dazu, sich daran zu halten, deshalb verwenden wir ein sogenanntes Gradientenelutionsverfahren.
	Und ich werde nicht auf die Details eingehen. Und was wir hier machen, ist die sogenannte Hochleistungs-Anionenaustauschchromatographie. Ich bin kein Experte auf diesem Gebiet, aber der Wissenschaftler, mit dem ich zusammengearbeitet habe, hat es getan
	Es war eine sehr gute Arbeit bei der Entwicklung dieser Kalibrierung und der Grund, warum wir in der Vergangenheit eine Kalibrierungslösung benötigen
	Bei den Zuckern, die aus einer menschlichen Antikörperprobe eluieren, lässt sich nicht vollständig vorhersagen, wo sie aus einer Säule austreten werden. Wir haben also etwas, das wir zur Kalibrierung verwenden können.
	Also.
	Die Person, die die Arbeit gemacht hat, und ich werde sie gleich erwähnen, hat zwei separate Experimente entworfen. Eine davon ist ein dreistufiges Design mit 16 Läufen.
	Und später kam sie zurück und entwarf einen größeren Entwurf mit 28 Läufen und drei Ebenen. Und so könnte einer als Trainingssatz und der andere als Validierungssatz verwendet werden, aber um den Kovariatenselektor und die bayesianische I-optimale Strategie zu demonstrieren, über die Chris gesprochen hat,
	Beide Designs wurden zu einem einzigen 44-Run-Design kombiniert. Wir dann
	hat dieses Design mit dem Kovariaten-Selektor in ein individuelles Design übernommen und dann verschiedene Bayes'sche I-optimale Designs erstellt.
	Und wir hätten mehr Kombinationen machen können, aber wir haben nicht viel Zeit, darüber zu reden. Es gibt also drei Designs. Man hat 10 Läufe, denken Sie an die fünf Faktoren und wir machen 10 Läufe.
	Ein 13-Run-Design und ein 16-Run-Design und wir könnten noch viel mehr tun. Was wir also tun wollen, ist zu sehen, wie diese funktionieren
	Designs funktionieren, nachdem wir den Fächer zur Modellanpassung verwendet haben, und übrigens, wie Chris erwähnte, werden in jedem dieser Designs die Läufe, die nicht aus den 44 ausgewählt wurden, dann als Validierung oder Testsatz verwendet, um zu sehen, wie gut das Modell ist durchgeführt.
	Okay, das sind also die Anfangsfaktoren, die Anfangsmenge an Natriumacetat, die Anfangsmenge an Natriumhydroxid. Und dann finden drei separate Gradientenelutionsschritte statt
	über die Prozesszeit, die etwa 40 Minuten beträgt. Das sind also die Einstellungen, die im Experiment verwendet und manipuliert werden.
	Tatsächlich gibt es in diesem Experiment 44 verschiedene Antworten, die man betrachten könnte. Angesichts der Zeit, die uns zur Verfügung steht, werde ich mir also zwei ansehen.
	Eine davon ist die Retentionszeit für Glykoform 3, und das ist der Schlüssel, das ist es, was das Kalibrierungschromatogramm verankert.
	Und wir möchten, dass es nach etwa achteinhalb Minuten herauskommt, weil es gut mit menschlichen Antikörperproben übereinstimmt.
	Es ist eigentlich ziemlich einfach zu modellieren. Die zweite Reaktion ist die Retentionszeit von Glykoform 10. Es ist eine geladene Glykoform. Es eluiert sehr spät, neigt dazu, sich mit anderen geladenen Glykoformen zu bündeln und ist schwerer zu unterscheiden. OK, das sind also die beiden Antworten, die ich mir ansehen werde.
	Und für diejenigen, die sich mit Chromatographie nicht auskennen, gibt es hier ein paar sogenannte Chromatogramme. Dies sind im Wesentlichen die Antworten,
	Bilder davon, wie die Antworten aussehen, und wenn Sie sich in diesem Fall das Bild ansehen, schauen wir uns die Aufbewahrungszeit an, also wann
	Kommt Peak 3 raus? Zu welcher Zeit und zu welcher Zeit kam Peak 10 heraus und erschien im Chromatogramm? Und übrigens, beachten Sie zwischen den beiden
	Chromatogramme, die ich zeige, wie unterschiedlich die Profile sind. In diesem Experiment haben wir also diese experimentellen Faktoren manipuliert
	(Und übrigens, wir haben 44 dieser Chromatogramme; ich zeige Ihnen zwei davon), Sie sehen viele Unterschiede in der Form und den Retentionszeiten usw. dieser Peaks und in der Auflösung. Was auch immer wir tun, wir manipulieren eindeutig
	die Chromatogramme, und für diejenigen unter Ihnen, die neugierig sind: Ja, wir denken darüber in Zukunft als Funktionsdaten nach und darüber, wie die Funktionsdatenanalyse verwendet werden könnte.
	Aber das ist oft die Zukunft, aber das ist definitiv etwas, woran wir sehr interessiert sind. Chromatogramme sind letztendlich tatsächlich Funktionsdaten. Aber ich werde einfach zwei Features extrahieren und versuchen, sie zu modellieren. Okay. Und ich möchte auch Anerkennung zollen
	Dr. Eliza Yeung von Cytovance Biologics, eine gute Freundin und ausgezeichnete Wissenschaftlerin. Und sie hat die ganze experimentelle Arbeit gemacht und sie war diejenige, die auf die Idee kam, das ... zu konstruieren.
	was sie die Glukoseleiter nennt, die Kalibrierungslösung. Und Eliza ist nicht nur eine nette Person, sie liebt auch JMP. Wir mögen Eliza also in vielerlei Hinsicht, okay. Ausgezeichneter Wissenschaftler. Okay, also
	bevor ich einsteige
	SVEM, ich möchte nur erwähnen ... Chris erwähnte das vollständige quadratische Modell, das seit etwa 1950 als Grundlage der Optimierung verwendet wird.
	Grundsätzlich alle Haupteffekte, Zwei-Faktor-Wechselwirkungen und quadrierte Terme. Tatsächlich ist die Kinetik vieler komplexer physikalischer Systeme für dieses Modell zu komplex.
	Und Cornell und Montgomery haben 1998 in einem wirklich schönen Artikel darauf hingewiesen und vorgeschlagen, dass in vielen Fällen
	Was sie das Interaktionsmodell nennen, wir nennen es das partielle kubische Modell, funktioniert möglicherweise besser. Und meiner Erfahrung nach haben sie mit der Verwendung von SVEM und der Anwendung dieses Modells auf viele Fallstudien Recht. Es gibt tatsächlich bessere Vorhersagemodelle, aber es gibt ein Problem.
	Diese partiellen kubischen Modelle können riesig sein und stellen eine große Herausforderung für traditionelle Modellierungsstrategien dar, bei denen übersättigte Modelle, wie Chris erwähnte, ein großes Problem darstellen.
	Wie viele mögliche Begriffe gibt es? Nehmen Sie das Zweifache von K im Quadrat und addieren Sie eins für den Achsenabschnitt. Also für fünf Faktoren das volle
	Das partielle kubische Modell hätte 51 Terme. Ich werde übrigens diese Modelle verwenden, aber ich werde nur 40 der Begriffe verwenden, die normalerweise am wichtigsten sind.
	Und dann werden wir die selbstvalidierende Ensemble-Modellierung verwenden, um die Modelle anzupassen, und wie Chris sagte, SVEM hat kein Problem mit übersättigten Modellen.
	Und übrigens: In der Literatur zum maschinellen Lernen sind übersättigte Modelle jederzeit fit.
	Und mit den richtigen Techniken des maschinellen Lernens können Sie tatsächlich ... sie können Ihnen tatsächlich zeigen, dass Sie eine bessere Vorhersageleistung erzielen.
	Das ist in der traditionellen Statistik weitgehend unbekannt, okay. Wir werden also das SVEM-Add-In verwenden und ich habe erwähnt, dass Sie sich bei Predictum an Wayne Levin wenden können, der bereits gesprochen hat, wenn Sie mehr darüber erfahren möchten, und ich bin mir sicher, dass Wayne gerne mit Ihnen sprechen würde.
	Kommen wir also kurz zu JMP.
	Und ich zeige Ihnen, wie das Add-In tatsächlich funktioniert, also lassen Sie mich JMP vorbeibringen.
	Deshalb habe ich das Add-In so installiert, dass es eine eigene Registerkarte hat. Also klicke ich auf Predictum. Dies ist übrigens eines der Bayes'schen I-optimalen Designs, die wir erstellt haben, und dieses hat 16 Läufe. Wählen Sie selbstvalidierende Ensemble-Modellierung.
	Sie sehen also, was wie ein typischer Fit-Model-Startdialog aussieht. Ich werde meine fünf Faktoren auswählen.
	Und ich werde an dieser Stelle nur zur Veranschaulichung ein Reaktionsoberflächenmodell erstellen, und ich möchte modellieren
	Retentionszeit für Glykoform 3. Beachten Sie im Hintergrund dieses Setup, die Autovalidierungstabelle, also gibt es eine Wartefunktion.
	Und es gibt einen Teil zur automatischen Validierung. Das alles geschieht im Hintergrund, Sie müssen es nicht sehen. Aber die Säge ... aber das Add-In hat es erstellt und dann wird es im Grunde ausgeblendet, aber Sie können es sich ansehen, wenn Sie möchten, aber es ist ausgeblendet, weil es nicht besonders wichtig ist, es zu sehen.
	Jetzt öffnen wir GenReg, das ist also das GenReg
	Bedienfeld. Und zur Veranschaulichung: SVEM ist übrigens wirklich agnostisch, was die Methode angeht, mit der Sie es für den Modellbau verwenden. Sie könnten also tatsächlich Methoden verwenden, die nicht einmal in GenReg enthalten sind, aber das ist heute unser Hauptaugenmerk. Wir werden also eine Vorwärtsauswahl durchführen.
	Und weil wir nur eine begrenzte Zeit haben, werde ich nur 10 Wiederholungen machen.
	Klicken Sie auf „Los“ und wir erstellen das Modell.
	Hier ist also die Ausgabe für nur 10 Wiederholungen, und Sie erhalten eine tatsächliche prognostizierte Darstellung. Aber das wirklich Schöne daran ist, dass es tatsächlich den Ensemble-Modelldurchschnitt für Sie erstellt.
	Also klicke ich auf „Selbstvalidierendes Ensemble-Modell“ und speichere die Vorhersageformel. Also werde ich fortfahren und diese Anzeige schließen.
	Komm vorbei.
	Und da ist mein Modell.
	Jetzt kann ich dieses Modell übernehmen und es auf die Validierungsdaten anwenden. Wir haben also 16 Läufe ausgewählt, sodass weitere 28 verfügbar sind, die als Validierungssatz verwendet werden können, um zu sehen, wie wir tatsächlich abgeschnitten haben. An dieser Stelle komme ich nun noch einmal darauf zurück
	Präsentation und ohne das SVEM-Add-In kann es übrigens etwas schwierig sein, insbesondere wenn Sie sich nicht besonders gut mit JMP-Skripten auskennen
	um diese Modelle tatsächlich zu erstellen. Es sieht also nicht so aus, als hätte dieses Add-In im Hintergrund besonders viel Arbeit geleistet, okay. Wie ist es uns ergangen? Lassen Sie mich das also noch einmal in die Diashow bringen.
	Was ich also gemacht habe, es gibt drei Designs, ein 16-Run-Design, ein 13-Run-Design und dann habe ich ein 10-Run-Design ausgewählt. Wir gehen wirklich bis an die Grenzen.
	Und es gibt zwei Reaktionen, wie ich bereits sagte: Glykoform 10 eluiert spät, ist tendenziell laut und kann schwer aufzulösen sein. Für den 16-Run-Entwurf habe ich tatsächlich ein partielles kubisches Modell mit 40 Termen angepasst. Denken Sie daran, 16 Läufe. Und ich passe zu einem 40-Term-Modell.
	Und der Schlüssel dazu ist der quadratische Durchschnittsfehler im Validierungssatz, okay. Also
	Ich habe mein sechstes ... mein 40-Term-Modell angepasst, und dann das
	Der durchschnittliche quadratische Fehler des Validierungssatzes war gering und das R-Quadrat der Validierung lag tatsächlich nahe bei 98, also passte es sehr, sehr gut.
	Beachten Sie, auch für die viel lauteren
	Glycoform 10, wir haben immer noch ein ziemlich gutes Modell. Ich zeige Ihnen einige tatsächliche und vorhergesagte Diagramme. Also haben wir das für 13 gemacht, noch einmal für 13, wir haben sehr gute Ergebnisse erzielt.
	Und dann endlich für 10. Übrigens habe ich für 10 nur das standardmäßige vollquadratische Modell angepasst, ich hatte das Gefühl, dass ich mein Glück wirklich auf die Probe gestellt habe.
	Aber ich hätte es auch mit der Teilkubik versuchen können. Und beachten Sie noch einmal, dass ich selbst bei 10 Durchläufen und der Modellierung der Retentionszeit von Glykoform 3 ein R-Quadrat von 0,94 erhalten habe.
	Für mich ist das wirklich beeindruckend, und ich habe erneut modelliert ... mein Modell hatte doppelt so viele Prädiktoren wie Beobachtungen, und selbst mit dem schwer zu modellierenden Glykoform 10 schnitten wir ganz gut ab.
	Hier sind also einige tatsächliche und vorhergesagte Diagramme, und ich wähle erneut Glykoform 10, weil es wirklich schwer zu modellieren ist.
	Deshalb wollte ich das System nicht zu sehr austricksen. Ich weiß aus Erfahrung, dass es schwierig ist, ein Modell zu erstellen. Es gibt also eine tatsächliche prognostizierte Handlung. Für das 10-Run-Design gibt es eine weitere tatsächliche und vorhergesagte Darstellung, die immer noch ziemlich gut funktioniert
	wenn man bedenkt, was wir hier zu tun versuchen.
	Und schließlich: Wie haben wir uns insgesamt geschlagen?
	Das ist also eine kleine Tabelle, die ich zusammengestellt habe und bei der ich das 16-Run-Design als Basis genommen habe. Dann vergleiche ich, was passiert ist, als wir das 10-Run-Design angepasst haben.
	Termmodell und das 13-Term-Modell für die Retentionszeit für G10.
	Sie werden feststellen, dass wir bei 13 einen ziemlich großen Fehler und bei 10 einen viel kleineren Fehler erhalten haben. Ich weiß nicht warum. Ich habe mich dafür entschieden, nur die Ergebnisse zu zeigen. Es ist ein bisschen rätselhaft und ich bin nicht zurückgegangen, um es zu erforschen.
	Beachten Sie jedoch, dass ich für die Retentionszeit drei von 16 auf 10 heruntergehe. Ja, ich habe eine gewisse Erhöhung des durchschnittlichen quadratischen Fehlers festgestellt, aber wenn Sie sich die tatsächliche prognostizierte Darstellung ansehen, wissen Sie,
	Die Vorhersage des Validierungssatzes gelingt immer noch gut. Der Sinn und Zweck dieser Sache ist, und ich weiß, dass ich viel mit Biotech-Unternehmen zusammenarbeite
	Die tatsächliche Effizienz, die Sie mit Ihren Versuchsplänen potenziell erreichen könnten, und ich weiß, dass diese Experimente für viele von Ihnen kostspielig sind.
	Und was noch wichtiger ist: Sie nehmen viel Zeit in Anspruch. Dies kann Ihre Experimentierzeit wirklich verkürzen, Ihr Experimentierbudget reduzieren und noch mehr Informationen erhalten.
	Also nur ein kurzes Fazit dazu. Dieses SVEM-Verfahren und das, und wie Chris gezeigt hat, haben wir das in Simulationen und Fallstudien untersucht.
	SVEM eignet sich hervorragend für übersättigte Modelle. Ich werde nicht näher darauf eingehen, aber aus der Praxis des maschinellen Lernens ist bekannt, dass übersättigte Modelle eine sehr gute Leistung erbringen. Sie verwenden ständiges und tiefes Lernen als Beispiel.
	Grundsätzlich, wie Chris sagt, kombiniert SVEM maschinelles Lernen mit der Versuchsplanung.
	Und was noch wichtiger ist: Sobald Sie beginnen, den SVEM-Weg einzuschlagen, beeinflusst dies wiederum Ihre Einstellung zum Experimentieren.
	Mit SVEM können wir also grundsätzlich über hocheffiziente Experimente nachdenken, die das Innovationstempo wirklich beschleunigen und den Zeit- und Kostenaufwand für Experimente tatsächlich reduzieren können. Und mit der Zeit, Produkte und Prozesse zu entwickeln
	Da die Vorlaufzeiten immer kürzer werden, ist das kein trivialer Punkt, und ich weiß, dass viele von Ihnen in der Biotechnologie auch mit ernsthaften Budgetbeschränkungen konfrontiert sind.
	Und dann (übrigens sind es die meisten Leute) und schließlich ist ein vielversprechender Bereich Bayseian I-optimale Designs.
	Und noch einmal möchte ich erwähnen, dass Brad Jones und seine Gruppe großartige Arbeit geleistet haben, diese in JMP einzuführen. Es ist das einzige mir bekannte Softwarepaket, das tatsächlich Bayes'sche I-optimale Designs durchführt.
	Und wir glauben, dass SVEM das Fenster zu vielen Möglichkeiten öffnen wird. Im Grunde ist das meine Geschichte und ich werde sie Wayne Levin übergeben.
Wayne Levin	Vielen Dank dafür,
	Phil und Chris. Ich hoffe, dass jeder sehen kann, dass es eine Menge Arbeit gibt, dass viel Forschung in dieses Thema geflossen ist, darunter auch einige
	Ich arbeite in den Schützengräben, könnte man sagen, und ich bin jetzt seit über 30 Jahren in diesem Spiel. Ich kann Ihnen gerne sagen, dass ich sehr gespannt bin auf das, was ich hier sehe.
	Ich denke, das kann wirklich transformativ sein und die Art und Weise, wie hier industrielle Experimente durchgeführt werden, wirklich verändern. Ich war bisher allein von übersättigten Designs sehr begeistert, und das war es auch
	erleichtert durch einen benutzerdefinierten Designer und jetzt mit ... das ist auf der Designseite.
	von Sachen.
	Wenn man nun SVEM auf der Analyseseite einbezieht, dann meine ich, dass das zwei großartige Geschmacksrichtungen sind
	das passt super zusammen, könnte man sagen. Zum Schluss möchte ich hier noch kurz darauf eingehen
	Phil, ich und Marie Goddard, wir stellen einen On-Demand-Kurs zusammen (er sollte nächstes Quartal verfügbar sein, etwa im April).
	Wir konzentrieren uns auf mischungsbasierte Experimente und werden in diesem Kurs viel Zeit auf SVEM konzentrieren. Wenn das also für Sie von Interesse ist, lassen Sie es mich bitte wissen oder werden es tun... damit wir es Sie wissen lassen oder uns auf LinkedIn oder einem dieser Dinge folgen können.
	Und was das SVEM-Add-in betrifft: Ich freue mich noch einmal, wenn ich gestatten darf, dass wir es als Erste auf den Markt gebracht haben.
	Wir haben mehrere Monate lang hart daran gearbeitet. Wir bringen etwa jeden Monat eine neue Veröffentlichung heraus, die sich also weiterentwickelt, da wir Rückmeldungen aus der Praxis erhalten, und ich möchte Phil vielmals danken
	dafür, dass du dies geleitet hast. Und er hat mit einem unserer Entwickler (???) zusammengearbeitet und es war wirklich eine großartige Leistung, eine Menge harter Arbeit
	um an diesen Punkt zu gelangen, und das möchten wir Ihnen zugänglich machen. Und wie Phil bereits erwähnt hat, gibt es eigentlich zwei Möglichkeiten, dies auszuprobieren. Eine besteht darin, einfach das Add-In selbst auszuprobieren.
	es funktioniert mit 14 und 15. Und da 16 herauskommt, denke ich, dass es auch für 16 funktionieren wird. Dafür ist JMP Pro erforderlich. Wenn Sie also nicht über JMP Pro verfügen, finden Sie hier einen Link, über den Sie eine JMP Pro-Testlizenz beantragen können.
	Und diesen Link erhalten Sie natürlich, indem Sie die Folien zu dieser Präsentation herunterladen. So können Sie es also bekommen, also können Sie damit arbeiten und es selbst ausprobieren.
	Eine andere Möglichkeit ist, uns einfach zu kontaktieren und wir können mit Ihnen auf der Basis eines Proof-of-Concept zusammenarbeiten.
	Und wir könnten einige vergleichende Analysen usw. durchführen und diese Analyse natürlich mit Ihnen besprechen. Sie wissen also, dass wir den notwendigen Papierkram erledigen werden
	Es macht uns nichts aus, es auszuprobieren. Wir haben das für eine ganze Reihe von Unternehmen gemacht und das ist für Sie möglicherweise der einfachste Weg, ganz gleich, was auch immer für Sie funktioniert. Okay, und jetzt möchte ich Folgendes tun:
	Öffnen Sie es jetzt für Fragen oder Kommentare. Ich sage im Namen von Chris und Phil: Danke, dass Sie dabei sind. Also okay, Fragen und Kommentare bitte.

Das Beste vom GipfelAusbrechenDAMHIRSCHKUHPrädiktive ModellierungBetreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Wer das SVEM-Add-in herunterladen möchte, muss nur diese Seite besuchen:

https://predictum.com/products/svem/

 

Dort sehen Sie einen Link zur Anforderung einer Testlizenz.

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

@Ahmed Mohamed , Es wurde kein SVEM-Add-In entwickelt.Wir haben ein einfaches Skript, das Sie aus unserem Discovery-Vortrag verwenden und ändern können, um die SVEM-Analyse zu unterstützen.Design und Analyse von Experimenten neu denken? (2021-EU-30MP-776)

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Ich meine SVEM-Add-In bitte?

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

@Ahmed Mohamed , Beziehen Sie sich auf das Setup-Add-In?Das finden Sie hier.Add-in zur Unterstützung des automatischen Validierungsworkflows

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Kann ich dieses Add-in bitte ausprobieren?

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Hallo @philramsey Und @chris_gotwalt1 . Ich habe kürzlich das Add-in für die automatische Validierung installiert und ausprobiert Hier Dies ist für die Variablenauswahl durch die Verwendung der Nullfaktor-Idee nützlich. Das hier in diesem Link vorgestellte Add-in scheint aufgrund der Modellmittelung vollständiger oder umfassender zu sein. Handelt es sich um ein kostenloses Add-In?

 

Wurden unabhängig davon die simulierten Parameterschätzungen aus dem Add-in zur automatischen Validierung für die Modellmittelung verwendet? Wenn ja, wie kann ich den Nullfaktorparameter im endgültigen gemittelten Modell entfernen?

 

Danke.

 

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Hallo @philramsey , Danke für die Antwort.Tut mir leid, dass ich es nicht klargestellt habe, ich bezog mich auf die wiederholte k-fache Kreuzvalidierung, die leicht in einem DOE-Kontext implementiert werden kann und je nach Entwurfsgröße und Wahl von k auch Hunderte bis Tausende von Modellen zur Ensemblebildung bereitstellen kann.In den meisten Fällen habe ich festgestellt, dass eine kleine Anzahl von Wiederholungen von k-fold funktioniert großartig, mit typischerweise weniger als hundert Gesamtmodelldurchläufen.  

 

Ein erster einfacher Test mit dem aktuellen SVEM-JSL-Code besteht darin, die Bruchgewichtungsformel zu ändern, um die Gewichte basierend auf einem Schwellenwert, der die Holdout-Größe steuert, entweder in 0 oder 1 umzuwandeln.Streng genommen handelt es sich hierbei nicht mehr um eine vollständige k-Faltung, sondern um eine Reihe zufälliger einzelner Holdouts.Ich gehe davon aus, dass dies immer noch gut funktioniert und vernünftige Ergebnisse liefert.Effizienter wäre es, eine Sammlung orthogonaler K-Fold-Partitionen zu erstellen, wie es im Dienstprogramm „Make K-Fold Columns“ verfügbar ist, das mit dem XGBoost-Add-In geliefert wird.

Als Randbemerkung möchte ich erwähnen, dass das XGBoost-Add-in seine Validierungsspalte anders handhabt als andere JMP Pro-Plattformen, um wiederholte K-Falten problemlos zu berücksichtigen.Außerdem werden beim Speichern der Vorhersageformel automatisch alle einzelnen k-fachen Modelle zusammengefasst, genau wie bei der Mittelung aller Vorhersagespalten am Ende von SVEM.Es ist keine Duplizierung von Zeilen erforderlich.  

 

Wiederholtes k-Fold ist in der Literatur gut etabliert und wird an Orten wie Python sklearn, model_selection.RepeatedKFold, dem R-Paket-Caret und jetzt auch im XGBoost-Add-In implementiert.Ehrlich gesagt bin ich der Meinung, dass ein fairer und überzeugender Vergleich von SVEM mit wiederholtem K-Fold wirklich notwendig ist, wenn man ernsthafte Benutzer davon überzeugen will, es zu übernehmen.

 

Meine aktuelle Interpretation von SVEM ist eine geglättete Version der wiederholten k-Faltung.Oder wie oben erwähnt, kann dies umgedreht werden, um die k-Faltung als diskrete Einteilung der Teilgewichte zu betrachten.Ich gehe davon aus, dass die ehrlich bewertete Leistung außerhalb der Stichprobe in den meisten Fällen ähnlich sein wird, würde aber auf jeden Fall gerne die Vergleiche sehen.   

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Es gab eine Frage zur Rolle von p-Werten. Wir sind davon überzeugt, dass ein großer Teil industrieller Experimente vorausschauender Natur ist: Maximierung der Ausbeute, Minimierung von Abfall, Herstellung von Produkten, die innerhalb der Spezifikationen bleiben usw. Die verwendeten Tools umfassen häufig viel über Hypothesentests zur Bestimmung aktiver Faktoren und zur Bewertung von Modellannahmen wie Normalität und nicht autokorrelierten Fehlern. Für uns geht SVEM direkt von den Daten zum Vorhersagemodell über. Da wir nicht mehr an Freiheitsgrade gebunden sind, könnte die Bestimmung „signifikanter“ Effekte (im Sinne der Hypothesenprüfung) in den kommenden Jahren an Bedeutung verlieren. Die Frage verlagert sich auf „Welche Faktoren sind wichtig und welche sind vernachlässigbar?“, was es den Menschen ermöglicht, viele umständliche Statistikmaschinen aus dem 20. Jahrhundert zu umgehen und sich direkt auf die Lösung des jeweiligen Problems zu konzentrieren.

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

@J_Asscher

 

Vielen Dank für Ihr Interesse. Hier sind meine Antworten:

 

 

1) Kann der Autovalidierungsalgorithmus die Replikatpaare berücksichtigen?Wir haben noch nicht untersucht, wie Replikate integriert werden können. Es wäre jedoch einfach, dies zu tun. Sie würden einfach das Gewichtungsschema so anpassen, dass, wenn ein Replikat „im Trainingssatz“ ist, das andere weggelassen wird. Es gibt so viele interessante Erweiterungen und Modifikationen, dass es bei der Recherche schwierig war, den Fokus beizubehalten, sie auf das Wesentliche zu reduzieren und sie zur Veröffentlichung einzureichen.

 

2) Könnten wir all diese Berechnungen auch nutzen, um herauszufinden, ob bestimmte Läufe einen großen Einfluss auf die Modellauswahl oder die Modellparameter oder die Vorhersage haben?Ja, eine interessante Diagnose wäre die Betrachtung von Streudiagrammen der Regressionskoeffizienten gegenüber den Gewichten für eine bestimmte Beobachtung. Wenn die Korrelation zwischen einem Koeffizienten und der Gewichtung einen großen absoluten Wert hat, hat dieser Lauf großen Einfluss auf diesen Effekt. Dies ist eine weitere großartige Idee, für deren Umsetzung wir bisher keine Zeit hatten!

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

@eharoon Vielen Dank – wir sind sehr gespannt auf die bisherigen Ergebnisse und es gibt noch viel zu bieten aus dieser Interaktion zwischen Industrie und Wissenschaft. Wir hoffen, dass wir unseren Aufsatz in der nächsten Woche zur Veröffentlichung einreichen können. Es sollte der erste von drei Aufsätzen sein, die wir hoffentlich bis September veröffentlichen werden.

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Hallo Russ,

Übrigens liebe ich das XGBoost-Add-In.Ich denke, dass SVEM die Leistung von K-Fold möglicherweise übertrifft, da es Ihnen potenziell Hunderte oder Tausende von Modellen zum Ensemble bietet.In unserem Fall konzentrieren wir uns auf DoE, daher war es nicht möglich, Techniken wie „Eins weglassen“ (eigentlich immer eine schlechte Idee) oder „K-Falten“ zu verwenden.Für zukünftige Arbeiten denke ich, dass Sie Recht haben, dass ein Vergleich durchgeführt werden muss und dass Ihre grundlegende Darstellung des Prozesses sinnvoll ist. Wenn wir die pDNA-Daten kombinieren, könnten wir möglicherweise das tun, was Sie vorschlagen. Vielleicht sollten wir mehr darüber sprechen und hoffentlich beteiligt sich Chris Gotwalt an der Diskussion

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Schöne innovative Forschung!Der Goldstandard in der Data-Science-Community zur Validierung von Modellen ist die k-fache Kreuzvalidierung. Es wäre interessant, einige faire Vergleiche zwischen SVEM und k-fold im Hinblick auf die Leistung außerhalb der Stichprobe zu sehen.Es können auch Modelle aus einem oder mehreren k-fachen Läufen zusammengestellt werden, und genau das geschieht im XGBoost-Add-In für JMP Pro .Ich stelle mir für die pDNA-Daten etwas in der Art vor:

 

1. Die äußere Schleife besteht darin, DOE Custom Designer auszuführen, um eine kleine gezielte Trainingsteilmenge zu extrahieren, z. B. 16 von 46, wie Sie es im Vortrag getan haben.Meines Wissens nach ist diese Teilmenge stochastisch und daher ist eine äußere Schleife wie diese sinnvoll und vermeidet auch potenzielle Verzerrungen aufgrund eines einzelnen Holdouts.
2. Löschen Sie für jede Iteration die Nicht-Trainingsbeobachtungen mit „Ausblenden/Ausschließen“ vollständig oder erstellen Sie eine neue Antwort mit fehlenden Werten für die Holdout-Daten.Führen Sie SVEM und k-fold ensembling für die Trainingsdaten aus und speichern Sie wichtige Ergebnisse wie die Vorhersageformeln und die geschätzte Generalisierungsleistung allein basierend auf den Trainingsdaten.
3. Wenden Sie Formeln auf den Holdout-Satz an und sammeln Sie Leistungsstatistiken, z. B. für kontinuierliche Antworten RSquare, quadratischen Mittelwertfehler und Pearson-Korrelation.

 

Eine interessante Nebenfrage ist, ob eine der k-fachen individuellen Anpassungen aufgrund der reduzierten Größe im kleinen Trainingssatz zusammenbricht oder eine schlechte Leistung erbringt – ein solches Vorkommnis würde die Argumente für SVEM stärken.Ich bin auch neugierig, wie sich die Schätzungen der Validierungsleistung innerhalb der Stichprobe mit den Schätzungen außerhalb der Stichprobe vergleichen lassen, die wie oben empirisch ermittelt wurden.

 

Ein weiterer Zusammenhang besteht darin, dass benutzerdefiniertes DOE mit Kovariaten auch zum Erstellen von k-Falten verwendet werden kann, jedoch unter Verwendung der Y-Variablen als Kovariate anstelle der Xs.Das JMP Pro XGBoost-Add-In verfügt zu diesem Zweck über die Zusatzroutine „Make K-Fold Columns“. Dies ist eine großartige Möglichkeit, den Informationsgewinn über eine Reihe von k-fachen Partitionen hinweg zu optimieren, und es wäre ein empfohlener Ansatz im obigen Experiment.

 

Schließlich bin ich daran interessiert, den SVEM-Ansatz mit fraktionierter Gewichtung mit XGBoost als Basismodell auszuprobieren.Es sieht so aus, als ob dies durch den cleveren Trick, die Formel in der Spalte, die die Gewichtungen definiert, neu auszuwerten, in einer Schleife leicht machbar ist.

Tolle Arbeit und ich freue mich auf weitere Entwicklungen und Anwendungen von SVEM.

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Sehr interessant!

Zwei Fragen:

1) Das im Beispiel verwendete Design mit 12 Läufen, das um 9:51 Uhr beginnt, umfasst vier Replikationspaare. Kann der Autovalidierungsalgorithmus die Replikatpaare berücksichtigen? Den Replikatpaaren könnten beispielsweise (0,1), (1,0)-Gewichte oder (a, b), (b, a)-Gewichte zugewiesen werden. Würde es einen Unterschied machen? Natürlich enthält das „Predictive Heart“-Design mit 16 Zeilen im pDNA-Beispiel wahrscheinlich keine Replikate, obwohl dies beim gesamten Design mit 36 Zeilen der Fall war.

2) Zusätzlich zur Suche nach dem SVEM-Modell, Könnten wir all diese Berechnungen auch nutzen, um herauszufinden, ob bestimmte Läufe einen großen Einfluss auf die Modellauswahl oder die Modellparameter oder die Vorhersage haben? Wir könnten den Prozess beispielsweise unter diesen Bedingungen erneut ausführen. Es liegt nahe, diese Option in Betracht zu ziehen, wenn ein anfänglicher Entwurf mit einer geringen Anzahl von Durchläufen verwendet wird. Im weiteren Sinne möchten wir vielleicht das ursprüngliche Design erweitern, aber das ist ein anderes Thema.

Danke – ich freue mich auf die Diskussion nächsten Dienstag!

 

Betreff: SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)

Durch die kontinuierliche Entwicklung dieses Bereichs haben Gottwalt und Ramsey der biomedizinischen und biotechnologischen Forschung, die oft mit kleinen Proben zu kämpfen hat, einen enormen Dienst erwiesen. Auch wenn in diesen Bereichen Ansätze des maschinellen Lernens angewendet wurden, wird sich diese Anstrengung hoffentlich zu einem Game-Changer entwickeln. Vielen Dank, dass Sie dies erledigt haben, und informieren Sie uns über die spannenden Entwicklungen bei JMP und Predictum. Interessanterweise stellt dies auch den größten Erfolg der Zusammenarbeit zwischen Wissenschaft und Industrie im Bereich der Datenanalyse dar.