349240_de-DE

liliconcom

Design und Analyse von Experimenten neu denken? (2021-EU-30MP-776)

Niveau: Mittelstufe

 

Phil Kay, JMP Senior Systems Engineer, SAS
Peter Hersh, JMP Technical Enablement Engineer, SAS

 

Wissenschaftler und Ingenieure entwerfen Experimente, um ihre Prozesse und Systeme zu verstehen: um die kritischen Faktoren zu finden und sie mit nützlichen Modellen zu optimieren und zu steuern. Die statistische Versuchsplanung stellt sicher, dass Sie mehr aus Ihrem experimentellen Aufwand herausholen und Probleme schneller lösen können. Die praktische Umsetzung dieser Methoden erfordert jedoch im Allgemeinen die Akzeptanz bestimmter Annahmen (einschließlich Effektsparsität, Effektvererbung sowie aktiver oder inaktiver Effekte), die nicht immer mit dem Wissen und der Erfahrung auf diesem Gebiet übereinstimmen. Können Ansätze des maschinellen Lernens einige dieser Herausforderungen bewältigen und ohne zusätzliche Kosten ein umfassenderes Verständnis aus Experimenten liefern? Könnte dies eine Revolution in der Gestaltung und Analyse von Experimenten sein?

In diesem Vortrag werden die potenziellen Vorteile der Verwendung der von Chris Gotwalt und Phil Ramsey entwickelten Autovalidierungstechnik zur Analyse industrieller Experimente untersucht. Es werden Fallstudienbeispiele vorgestellt, um herkömmliche Tools mit Autovalidierungstechniken beim Screening auf wichtige Effekte und beim Aufbau von Modellen für Vorhersage und Optimierung zu vergleichen.

 

 

Wir konnten nicht alle Fragen in der Frage-und-Antwort-Runde beantworten, daher geht es hier weiter...

 

Ich sehe, dass die Gewichte nicht zwischen 0 und 1 liegen. Wie werden sie generiert?

Sie sind „bruchteilgewichtet“. Dies ist der Schlüsseltrick, der die Methode ermöglicht. In Gen Reg in JMP Pro verwenden wir dies in der Freq-Rolle. Sie können verwenden dieses Add-in für JMP Pro 15, um die Duplikattabelle mit Gewichtung zu generieren.Wir können es weiterempfehlen ein Vortrag von Chris Gotwalt und Phil Ramsey um die tiefgreifenden statistischen Details der Gewichtung zu erläutern.

 

Wenn Sie Zeilen duplizieren, werden sie mit demselben Ausgabeergebnis dupliziert? Was ist der Zweck dieser Vervielfältigung?

Ja, sie werden mit derselben Antwort dupliziert. Es wäre eine schlechte Idee, dies einfach zu tun und mit der Analyse fortzufahren. Die wichtigste Neuerung besteht darin, dass sie fraktioniert gewichtet werden, sodass sie in einem Teil des Validierungssatzes eine niedrige Gewichtung und im anderen Validierungssatz eine höhere Gewichtung haben. Beispielsweise wird ein Lauf mit niedriger Gewichtung in „Training“ ein Duplikatpaar haben, das in „Validierung“ eine hohe Gewichtung hat. Einige doppelte Paare werden beim Training und bei der Validierung gleichmäßiger gewichtet.

 

Mithilfe dieser Gewichtungen passen wir ein Modell an, um zu bestimmen, wie viel von jedem Lauf in das Training und wie viel in die Validierung fließt. Dann zeichnen wir die Gewichte neu und passen ein anderes Modell an. Wir wiederholen diesen Vorgang hunderte Male. Anschließend verwenden wir die Ergebnisse aller dieser Modelle, um entweder die wichtigen Effekte anhand ihres Anteils ungleich Null zu überprüfen oder um durch Mittelung aller einzelnen Modelle ein nützliches Modell zu erstellen.

Ist es möglich, das Add-in in der normalen, nicht professionellen JMP 15-Version auszuführen?

Gut möglich. Sie können das Add-in ausführen, benötigen jedoch JMP Pro, um die Validierungsspalte in der Analyse verwenden zu können – dies ist von entscheidender Bedeutung.

Wie funktioniert es mit kategorialen Variablen?

Wir haben Beispiele mit ausschließlich kontinuierlichen Variablen vorgestellt. Eine nette Funktion ist, dass es für jedes Modell und mit allen Variablentypen funktioniert.

Ist das mittlerweile eine anerkannte Methode?

Mit einem Wort: Nein. Noch nicht. Unsere Motivation besteht darin, Menschen auf diese Methode aufmerksam zu machen, um Menschen mit Interesse dazu anzuregen, die Methode zu erkunden und kritisches Feedback zu geben. Wie wir in der Präsentation deutlich gemacht haben, empfehlen wir Ihnen nicht, dies als einzige Analyse eines Experiments zu verwenden. Wenn Ihnen die Idee gefällt, probieren Sie sie aus und sehen Sie, wie sie im Vergleich zu anderen Methoden abschneidet.

 

Allerdings werden die Ideen der Modellmittelung und der Holdback-Validierung in Situationen mit größeren Datenmengen anerkannt. Es scheint, dass dies in der Welt kleinerer Daten, die auf Experimenten basieren, von Vorteil sein sollte.

Führen Sie den Duplikatschritt manuell durch?

Nein, dies erfolgt im Rahmen der Einrichtung der automatischen Validierung durch das Add-In oder durch die Plattform in JMP Pro 16. Sie könnten die doppelten Zeilen ganz einfach selbst erstellen. Der schwierigere Teil besteht darin, die Bruchteilgewichtung einzurichten, ohne die die Analyse nicht funktionieren wird.

 

Bayesian verwendet auch viel Simulation (MCMC). Wäre das auch anwendbar? Prior- und Posterior-Verteilungen integrieren?
Gut möglich. Die allgemeine Idee der fraktional gewichteten Validierung mit Bootstrap-Modell-Mittelwertbildung könnte durchaus in vielen anderen Bereichen anwendbar sein.

 

 

Automatisch generiertes Transkript...

 

Lautsprecher	Transkript
Phil Kay	Okay, wir werden darüber sprechen, die Gestaltung und Analyse von Experimenten zu überdenken. Ich bin Phil Kay. Ich bin der Lernmanager im globalen technischen Enablement-Team und werde von Pete Hersh unterstützt.
Peter Hersh	Ja, ich bin auch Mitglied des globalen technischen Enablement-Teams und freue mich darauf, über DOE und einige der neuen Techniken zu sprechen, die wir heute erforschen.
Phil Kay	Als Erstes muss ich also sagen, dass wir große Fans von DOE sind. Es ist toll. Es hat seit langem einen enormen Wert in Wissenschaft und Technik.
	Und dennoch gibt es einige Annahmen, mit denen wir einverstanden sein müssen, um DOE viel Zeit nutzen zu können.
	Und sie fühlen sich nicht immer besonders wohl, weder als Wissenschaftler noch als Ingenieur. So erweisen sich Dinge wie die Effektsparsität als wichtig, sodass sich herausstellte, dass nicht alles, was man betrachtet, wichtig ist
	Und tatsächlich erweisen sich nur wenige der Dinge, mit denen Sie tatsächlich experimentieren, als wichtig. Oder Effektvererbung ist eine andere Annahme.
	Das bedeutet also, dass wir komplexe Verhaltensweisen oder Effekte höherer Ordnung nur für Faktoren erwarten, die in ihrer einfacheren Form aktiv sind.
	Und genau diese Vorstellung von aktiven und inaktiven Effekten besteht im sequenziellen Prozess der Versuchsplanung so häufig darin, die aktiven Effekte von den inaktiven Effekten auszusortieren.
	Und das fühlt sich manchmal wie eine zu binäre Entscheidung an. Es kommt mir ein bisschen verrückt vor, ich denke, die Vorstellung, dass einige der Dinge, mit denen wir experimentieren, völlig inaktiv sind, ist sehr zeitraubend.
	Ich denke, wir wissen wirklich, dass wirklich alles eine Wirkung haben wird. Es könnte aber weniger wichtig sein
	es wird immer noch eine gewisse Wirkung haben. Und das sind größtenteils Annahmen, die wir zu diesem Zweck nutzen
	Umgehen Sie einige der Herausforderungen beim Entwerfen von Experimenten, wenn Sie es sich nicht leisten können, eine große Anzahl von Durchläufen durchzuführen, und ja. Pete, ich weiß nicht, ob du das auch aus deiner Sicht kommentieren willst.
Peter Hersh	Ja, ich stimme voll und ganz zu. Ich denke, dass die Vorstellung, dass die Temperatur inaktiv ist, ... Ich kann mir kaum vorstellen, dass die Temperatur keinen Einfluss auf ein Experiment hat.
Phil Kay	Ja, es ist irgendwie absurd, nicht wahr? So,
	Ja, wenn das in Ihrem Experiment vorkommt, dann wird es immer irgendwie aktiv sein, aber vielleicht nicht so wichtig wie andere Dinge.
	Deshalb komme ich gleich zu den Ergebnissen von
	von dem, was wir uns angesehen haben. Deshalb haben wir uns diese automatische Validierungstechnik angesehen, die Chris Gotwalt und Phil Ramsey im Wesentlichen erfunden haben
	und es bei der Analyse geplanter Experimente zu verwenden, und es hat wirklich Ergebnisse geliefert, die einfach verrückt sind. Wir hielten sie einfach nicht für möglich.
	Also habe ich mir zunächst ein System mit 13 aktiven Effekten angesehen und ein 13 Durchläufe umfassendes definitives Screening-Design analysiert. Daraus konnte ich erkennen, dass 13 Effekte aktiv waren, was … das ist, was wir eine gesättigte Situation nennen. Wir würden nicht...
	Im Allgemeinen haben wir davon gesprochen, dass definitive Screening-Designs bei der Identifizierung der aktiven Effekte effektiv sind, wenn wir eine geringe Effektdichte haben, wenn es nur eine kleine Anzahl von Effekten gibt, die tatsächlich wichtig oder aktiv sind. Aber in diesem Fall gelang es mir, alle 13 aktiven Effekte zu identifizieren.
	Und nicht nur das: Er war tatsächlich in der Lage, ein Modell mit all diesen 13 aktiven Effekten aus diesem endgültigen Screening-Design mit 13 Durchläufen zu erstellen.
	Also, das ist wiederum irgendwie unglaublich; Wir gehen nicht davon aus, dass wir ein Modell mit so vielen aktiven Effekten haben werden, wie wir über Datenzeilen verfügen, aus denen wir es aufbauen.
	Und Pete, du hast dir noch ein paar andere Dinge angeschaut und andere wirklich interessante Ergebnisse erzielt.
Peter Hersh	Ja, absolut, und Phils Ergebnisse sind sehr, sehr beeindruckend. Ich finde
	Der nächste Schritt, den wir versuchten, bestand darin, ein supergesättigtes Design zu erstellen, das aktivere Effekte als Läufe bietet, und das haben wir damit versucht
	sehr kleine DOEs. Also ein DOE mit sechs Durchläufen und sieben aktiven Effekten, was wir mit Standard-DOE-Techniken nicht analysieren könnten
	das richtig. Und wir haben uns angesehen, wie wir das mit DOEs mit acht und zehn Durchläufen verglichen haben und wie viel uns das gebracht hat. So erhielten wir ziemlich brauchbare Modelle, sogar von einem DOE mit sechs Durchläufen
	besser als ich erwartet hatte.
Phil Kay	Ja, es ist besser, als Sie eigentlich erwarten dürfen, nicht wahr?
	Und so haben wir diese wirklich beeindruckenden Ergebnisse und die Möglichkeit, eine große Anzahl aktiver Effekte aus einer kleinen Menge zu identifizieren
	Ich entwerfe ein endgültiges Screendesign und baue dieses Modell tatsächlich mit all diesen aktiven Effekten. Und im Fall von Pete konnte ich aus ganz klein ein Modell mit sieben aktiven Effekten bauen
	Entworfene Experimente.
	Wie haben wir das gemacht? Wie funktioniert die Methode der automatischen Validierung? Nun, es geht darum, Ideen aus dem maschinellen Lernen zu übernehmen, und eines der wirklich nützlichen Werkzeuge des maschinellen Lernens ist die Validierung. Die Holdout-Validierung ist also eine wirklich gute Möglichkeit, um sicherzustellen, dass Sie bauen
	das nützlichste Modell. Es handelt sich also um ein robustes Modell. Wir halten also einen Teil der Daten bereit, verwenden ihn, um verschiedene Modelle zu testen, die wir erstellen, und
	Im Grunde ist das Modell, das die beste Vorhersage dieser von uns vorgelegten Daten ermöglicht, das Modell, das wir verwenden, und das ist einfach wirklich erprobt und getestet.
	Es ist eigentlich so ziemlich der Goldstandard für den Bau der nützlichsten Modelle, aber bei DOE ist das eine größere Herausforderung, nicht wahr, Pete? Dafür ist es offensichtlich nicht geeignet.
Peter Hersh	Ja, ja, die ganze Idee hinter DOE besteht darin, den Designraum so effizient wie möglich zu erkunden. Und wenn wir anfangen, Läufe durchzuhalten oder durchzuhalten
	Analyse von Läufen, dann werden wir einen Teil dieses Designraums verpassen und
	Mit vielen dieser DOE-Techniken wie definitiven Screening-Designs ist das wirklich nicht möglich.
Phil Kay	Richtig, richtig, also wäre es schön, wenn es einen Trick gäbe, mit dem wir die Vorteile dieser Holdout-Validierung nutzen könnten und nicht unter dem Zurückhalten kritischer Daten leiden müssten. Das bringt uns zu dieser automatischen Validierung
	Idee, und, Pete, möchtest du ein wenig beschreiben, wie das funktioniert?
Peter Hersh	Auf jeden Fall, das war also eine wirklich clevere Idee von Chris und Phil Ramsey, und sie nehmen im Wesentlichen unsere Originaldaten von einem DOE und führen eine Neuabtastung daraus durch, also Sie
	Wiederholen Sie die Ergebnisse. Wenn Sie also bemerken, dass in der Tabelle unten auf der Folie die Läufe in Grau die gleichen Ergebnisse wie die Läufe in Weiß sind. Sie wiederholen sich einfach.
	Und sie kommen damit durch, indem sie diese gepaarte Gewichtungsspalte erstellen. Also im Grunde, wenn man ein hohes Gewicht hat, das
	der wiederholte Durchlauf davon hat eine niedrige Rate ... Gewicht und so weiter und so weiter. Und das ist ... das ist ... ermöglicht es uns, die Daten mit dieser Validierung und Gewichtung zu verwenden, und wir werden etwas detaillierter darauf eingehen, wie das gemacht wird.
Phil Kay	Ja, Sie werden sehen, wie es passiert, wenn wir die Demos durchgehen. Wir haben also im Wesentlichen zwei Fallstudien mit simulierten Beispielen, die wir zur Veranschaulichung dieser Methodik verwenden. Diese erste Fallstudie, die ich besprechen werde, ist:
	Ich betone, dass es sich um ein simuliertes Beispiel handelt. Und in mancher Hinsicht ist es ein etwas unrealistisches Beispiel, aber ich denke, es ist ein wirklich guter Beweis für die Leistungsfähigkeit dieser Methodik.
	Wir haben sechs Faktoren und um es etwas realer erscheinen zu lassen, haben wir hier einige reale Faktoren aus einer Fallstudie ausgewählt, in der versucht wurde, einen biologischen Organismus zu züchten und die Nährstoffe zu optimieren, die sie dem System zuführen, um sie zu optimieren die Wachstumsrate.
	Wir haben also diese sechs verschiedenen Nährstoffe und das sind unsere Faktoren. Davon können wir unterschiedliche Mengen hinzufügen, daher habe ich ein 13 Durchläufe umfassendes definitives Screening-Design entworfen, um diese Faktoren mit dieser Wachstumsratenreaktion zu untersuchen.
	Und die Reaktionsdaten wurden vollständig von mir simuliert, und zwar so, dass es 13 stark aktive Effekte gab. So
	Ich habe es so simuliert, dass alle Haupteffekte, alle sechs Haupteffekte, aktiv sind.
	Und dann sind für jeden dieser Faktoren auch die quadratischen Effekte aktiv, sodass wir sechs quadratische Effekte haben.
	Außerdem haben wir einen Schnittpunkt, den wir immer abschätzen müssen, also sind insgesamt 13 Effekte aktiv, die für das Verständnis des Systems wichtig sind.
	1 Signal-Rausch-Verhältnis, aber mit der Standardmethodik ist das immer noch eine echte Herausforderung, um das zu modellieren, und dazu kommen wir in der Demo.
	Die Frage ist also wirklich: Können wir alle diese wichtigen Effekte identifizieren und, und wenn ja, können wir dann auch ein Modell mit all diesen wichtigen Effekten erstellen? Denn wie gesagt, das wäre wirklich bemerkenswert
	im Vergleich zu dem, was wir mit der Standardmethodik erreichen können.
	Und dann Fallstudie Nr. 2, Pete?
Peter Hersh	Ja, absolut. Sehr, sehr ähnlich zu Phils Fallstudie. Die gleiche Idee besteht darin, dass wir einem Organismus verschiedene Nährstoffe in unterschiedlichen Mengen zuführen und seine Wachstumsrate überprüfen. In diesem Fall habe ich das, was Phil getan hatte, vereinfacht und auf nur drei Nährstofffaktoren heruntergebrochen. Und das ist
	Erstellen eines anderen Designtyps, also eines I-optimalen übersättigten Designs, bei dem wir eine vollständige Reaktionsoberfläche betrachten
	in übersättigter Weise und wir haben uns sechs, acht und zehn Läufe angesehen
	Entwürfe. Und so die gleiche Idee.
	Die ... Die
	Die Auswirkungen waren sehr, sehr
	Hohes Signal-Rausch-Verhältnis, daher wollte ich diese Effekte unbedingt erkennen können, wenn sie aktiv sind. Und genau wie bei Phil habe ich die Haupteffekte in den Quadraten sowie den Achsenabschnitt aktiv gelassen, und wir versuchen, diese herauszusuchen.
	Und die gleiche Idee: Wie viele Durchläufe bräuchten wir, um diese aktiven Effekte zu sehen, und wie genau können wir aus diesen sehr kleinen Designs ein Modell erstellen?
Phil Kay	Ja, weil Sie wissen, wie ich schon sagte, Sie haben wirklich kein Recht zu erwarten, aus einem so kleinen Design ein gutes Modell bauen zu können.
Peter Hersh	Ja genau. Okay.
Phil Kay	Deshalb werde ich jetzt auf eine Demo von Fallstudie Nr. 1 eingehen.
	Und ich präsentiere dies im Rahmen eines JMP-Projekts, das ist also eine wirklich schöne Möglichkeit, Ihre Ergebnisse zu präsentieren. Ich würde empfehlen, es auszuprobieren.
	Und das ist unser
	Dies ist also unser endgültiges Screening-Design mit 13 Durchläufen, bei dem wir diese Nährstofffaktoren variieren und die simulierte Reaktion auf die Wachstumsrate erhalten. Wie gesagt, das wurde so simuliert
	Die Haupteffekte, die Quadrate all dieser Faktoren, sind stark aktiv, außerdem müssen wir diesen Achsenabschnitt schätzen.
	Bei einem definitiven Screening-Design empfehle ich Ihnen generell, das Fit-Definition-Screening zu verwenden, um die Ergebnisse als eine der Analysen zu betrachten, die Sie durchführen können.
	Es funktioniert wirklich gut, wenn dieses Effekt-Sparsity-Prinzip wahr ist. Solange also nur wenige der Effekte stark aktiv sind ... aktiv sind und der Rest unwichtig ist,
	dann wird es diese...die wenigen wichtigen Effekte finden und sie von den unwichtigen trennen.
	Aber in diesem Fall habe ich nicht erwartet, dass es gut funktioniert, und es funktioniert nicht gut. Es wird nicht festgestellt, dass alle sechs Faktoren aktiv sind. Tatsächlich identifiziert es hier nur einen der Faktoren als aktiv.
	Das ist also keine große Überraschung, die Situation ist zu schwierig und herausfordernd für diese Art von Analyse.
	Wenn wir irgendwie wüssten, dass alle diese aktiven Effekte aktiv sind, und wir versuchen würden, ein Modell mit allen sechs Haupteffekten, allen sechs quadratischen und dem Achsenabschnitt, anzupassen,
	dann ist das ein gesättigtes Modell. Wir müssen so viele Parameter schätzen, wie wir Datenzeilen haben, sodass wir dieses Modell gerade noch anpassen können, aber wir erhalten keine Statistiken.
	Und abgesehen von der Tatsache, dass ich diese Daten simuliert habe, würden wir in einer realen Situation auf jeden Fall nicht wissen, welche aktiv sind, also wüssten wir nicht einmal, welches Modell wir anpassen sollen.
	Mit der Methode der automatischen Validierung konnte ich nun die aktiven Effekte tatsächlich sehr überzeugend identifizieren, und ich werde Ihnen erläutern, wie wir das gemacht haben.
	Und dies ist nur eine Visualisierung meiner Ergebnisse hier. Man muss es sich nicht unbedingt auf diese Weise vorstellen. Dies dient Präsentationszwecken.
	Ich konnte zunächst feststellen, dass die Abfangfunktion aktiv war. Ich habe alle meine sechs Haupteffekte,
	und meine quadratischen Effekte und dann meine Zwei-Faktor-Wechselwirkungen, von denen ich simuliert habe, dass sie keinen Effekt haben. Man sieht, dass es ihnen gut geht
	im Vergleich zu den anderen. Und es gibt hier tatsächlich einen Nullfaktor, den wir verwenden ... also einen Dummy-Faktor. Alles, was kleiner als der Nullfaktor ist, können wir also als unwichtig oder inaktiv deklarieren, wenn Sie möchten.
	Und was wir eigentlich sind ... die Metrik, die wir hier betrachten, ist etwas, das Proportion ungleich Null genannt wird, und ich werde erklären, was das bedeutet, während wir das durchgehen. Das ist eine Art Maß, das wir hier verwenden, um die Stärke eines Effekts und die Bedeutung eines Effekts zu ermitteln.
	Also ein bisschen darüber, wie ich das durchgemacht habe. Also habe ich mein ursprüngliches, 13 Durchläufe umfassendes, endgültiges Screening-Design genommen und es dann für die automatische Validierung eingerichtet, sodass wir jetzt 26 Zeilen haben, die wir dupliziert haben.
	Und dafür gibt es ein Add-In, einen unserer Kollegen, Mike Anderson. hat ein Add-In erstellt, mit dem Sie dies in JMP 15 tun können.
	In JMP 16 fügen sie tatsächlich die Funktion der prädiktiven Modellierungstools in der Validierungsspaltenplattform hinzu.
	Und das bewirkt, dass wir diesen doppelten Satz unserer Daten erhalten, und dann erhalten wir diese Gewichtung und wie Pete sagte, wir haben ... jede Zeile ist im Trainingssatz und im Validierungssatz.
	Wenn es im Trainingssatz eine niedrige Gewichtung hat, hat es in der Validierung eine hohe Gewichtung. Wenn es also im Trainingssatz eine hohe Gewichtung hat, hat es im Validierungssatz eine niedrige Gewichtung.
	Und was wir tatsächlich tun, ist, dass wir lesen, dass diese im Grunde zufällig zugewiesen wurden.
	Wir haben diese neu zugewiesen und konnten sozusagen hunderte Male darüber iterieren, die Modelle jedes Mal anpassen und uns dann die aggregierten ... aggregierten Ergebnisse über viele Simulationsläufe hinweg ansehen. Was würden Sie also tun?
	soll zum Modell passen und ich verwende GenReg hier in JMP Pro.
	Und Sie benötigen sowieso JMP Pro, da Sie diese Validierungsrolle angeben können müssen, also setzen wir ... die Zugvalidierungsspalte geht in die Validierung.
	Und die Gewichtung geht in die Frequenz über, und dann richten wir alles andere so ein, wie wir es normalerweise mit unserer Reaktion tun würden. Und dann habe ich ein Modell, das hier das Antwortoberflächenmodell mit all diesen Effekten ist, und dann würde ich auf „Ausführen“ klicken.
	Und es passt zu einem Modell, und wir können die Vorwärtsauswahl oder das Lasso verwenden. Hier habe ich das Lasso verwendet.
	Es ist in diesem Fall nicht besonders wichtig.
	Und was tatsächlich passiert ist, ist, dass wir in diesem Fall nur den Achsenabschnitt als wichtig identifiziert haben, sodass wir tatsächlich nur den Achsenabschnitt im Modell haben.
	Aber wenn wir die Gewichtung ändern, wenn wir zu unserer Datentabelle zurückkehren und diese Gewichtungen neu simulieren, werden wir wahrscheinlich ein anderes Ergebnis als das Modell erhalten.
	Wir gewichten unterschiedliche Datenreihen und unterschiedliche Durchläufe im Experiment, wodurch sich das passende Modell ändert. Wir werden das also hunderte Male machen, und ich werde tatsächlich die Simulationsfunktion in JMP Pro verwenden.
	Und wir tauschen die Gewichtungsspalte aus und schalten eine neu berechnete Version der Gewichtungsspalte ein. Und das kann man ein paar hundert Mal machen. In diesem Fall habe ich es tatsächlich 250 Mal gemacht. Ich werde das nicht wirklich laufen lassen, denn das wird ein oder zwei Minuten dauern.
	Sobald Sie das getan haben, erhalten Sie eine Tabelle, die so aussieht.
	Jetzt habe ich die Parameterschätzung für jedes dieser 250 Modelle für jeden dieser Effekte. So
	In meinem ersten Modell in diesem Lauf, das ich erstellt habe, war dies die Parameterschätzung für diesen Zitronensäure-Haupteffekt. Als wir im nächsten Modell die Gewichtung erneut abgetastet haben,
	Der Haupteffekt von Zitronensäure ging nicht in das Modell ein, daher war er in diesem Fall Null.
	Und Sie können tatsächlich Verteilungen für alle diese Parameterschätzungen durchführen. Und eines der Dinge, die Sie tun können, ist:
	Passen Sie diese Statistik, die zusammenfassende Statistik, an, um den Anteil ungleich Null anzuzeigen. Hier können Sie den Abschnitt sehen:
	die Schätzungen, die wir über den Abfang hatten. Sie können sehen, dass bei Zitronensäure der Wert oft auf Null geschätzt wurde, also waren es die Modelle.
	Der Haupteffekt von Zitronensäure war nicht im Modell enthalten, und dann wurde er oft auf etwa 3 geschätzt, was ich auch simuliert hatte.
	Was wir also betrachten, ist der Anteil der Fälle, in denen es ungleich Null ist, und wir können daraus eine kombinierte Datentabelle erstellen. Und das habe ich bereits getan, und zwar nur ein bisschen...
	hier noch eine kleine zusätzliche Erweiterung. Ich habe gerade eine Spalte hinzugefügt, in der angegeben ist, ob es sich um einen Haupteffekt handelt oder so, und dann habe ich das erstellt
	diese Visualisierung hier. Was Sie also sehen, ist der Anteil der Häufigkeit, mit der jeder dieser Effekte ungleich Null ist, also der Anteil der Häufigkeit, mit der jeder dieser Effekte in unserem Modell auftritt, im Vergleich zu allen diesen Effekten
	Wir haben 250 Simulationsläufe durchgeführt, bei denen wir die Bruchteilsgewichtung neu simuliert haben. Und das ist es, womit wir uns identifizieren
	die aktiven Effekte, und das ist ... und es hat bemerkenswerte Arbeit geleistet. Es war in der Lage, das zu tun, wozu unsere Standardmethoden nicht in der Lage wären. Es wurden 13 aktive Effekte aus einem 13-Lauf identifiziert
	endgültiges Screening-Design.
	Was möchten Sie nun als nächstes tun? Vielleicht möchten wir dieses Modell tatsächlich mit all diesen Effekten ausstatten, und das ist mir gelungen. Und ich vergleiche das Modell, das ich hier angepasst habe
	im Vergleich zur echten simulierten Reaktion, und Sie können sehen, wie gut sie übereinstimmen. So konnte ich ein Modell mit all diesen Haupteffekten, all diesen Quadratzahlen und dem Achsenabschnitt erstellen.
	Ich habe hier also ein 13-Parameter-Modell, das ich in dieses endgültige Screendesign mit 13 Durchläufen integrieren konnte, was wiederum einfach bemerkenswert ist.
	Und ich werde nicht genau besprechen, wie ich zu diesem Teil gekommen bin. Ich übergebe jetzt an Pete. Er wird etwas mehr über die Idee selbstvalidierter Ensemblemodelle sprechen.
Peter Hersh	Absolut. Danke, Phil. Mal sehen. Ich werde meinen Bildschirm hier teilen und wir schauen uns einfach dieses Projekt an. So
	können Sie hier sehen
	im gleichen
	Flow als Phil, wir schauen uns hier ein Projekt an und ich habe
	Ich habe damit begonnen, sechs Läufe mit übersättigtem DOE durchzuführen, und hier sehen Sie, ich habe drei Faktoren:
	Wie hoch ist meine tatsächliche zugrunde liegende Modellwachstumsrate und wie hoch war dann die Wachstumsrate ... die simulierte Wachstumsrate und dann, wie Phil erwähnt hat,
	Ich erstelle diese Spalte für die automatische Validierung, was mit einem von Mike Anderson entwickelten Add-In in JMP 15 erfolgen kann. Oder in JMP 16 ist es direkt in die Software integriert und Sie können darauf in der Spalte „Analyse, prädiktive Modellierung, Plattform, Validierung erstellen“ zugreifen.
	Genau wie Phil gezeigt hat, hat er ein hervorragendes Beispiel dafür gezeigt, wie wir herausfinden können, welche Faktoren aktiv sind, also ein Faktor-Screening. Und das ist oft unser Hauptziel bei DOE, aber wenn wir noch einen Schritt weiter gehen und daraus ein Modell erstellen wollen,
	Wir würden den gleichen Prozess durchlaufen, richtig. Also erstellen wir unser DOE, wir bekommen eine automatische Validierung zu diesem DOE hinzugefügt, wir erstellen unser Modell, genau wie Phil es gezeigt hat, unter Verwendung der generalisierten Regression und eines davon
	Variablenauswahltechniken. Phil Ramsey und Chris Gotwalt haben sich viele dieser verschiedenen Techniken angesehen und sie scheinen alle recht gut zu funktionieren. Unabhängig davon, ob Sie ein Lasso oder sogar eine zweistufige Stürmerauswahl verwenden, scheinen alle ähnliche Ergebnisse zu erzielen
	funktionieren ziemlich gut. Sobald Sie dies also eingerichtet und gestartet haben, erhalten Sie ein Modell, wie Phil es gezeigt hat, und Sie wissen, dass einige dieser Modelle dies auch tun werden

AusbrechenDAMHIRSCHKUHPrädiktive ModellierungBetreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Danke @Phil_Kay ! Deine Antwort ist genau das, was ich brauchte

Ich freue mich auf den nächsten Discovery Summit, der hoffentlich persönlich stattfinden wird, da ich Sie alle unbedingt kennenlernen möchte!

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Hallo @Stefan_Ivan ,

 

Ich freue mich, dass Ihnen die Präsentation gefallen hat.

 

Das ist eine gute Frage. Wenn Sie Zeit haben, empfehle ich Ihnen, es zu lesen der Artikel von Lemkus, Ramsey, Gotwalt, Weese . Sie haben gründliche Simulationsstudien durchgeführt, um Variationen von SVEM auszuprobieren, einschließlich (wenn ich mich richtig erinnere) einer Version, bei der der Dummy-Faktor für die Modellauswahl verwendet wird. Grundsätzlich war der Ansatz zur Auswahl des Dummy-Faktor-Modells nicht der beste.

 

Die ursprüngliche Idee hinter SVEM erforderte einen Dummy-Faktor. Aber im Zuge der Weiterentwicklung und der Hinzufügung der Ensemble-Modellierung scheint es, dass der Dummy-Faktor wahrscheinlich nicht nützlich ist.

 

Einer der Gründe dafür @Peter_Hersh Und ich mag SVEM, weil es nicht erfordert, dass man Effekte in die binäre Form von aktiv und nicht aktiv (oder „wahr“/„falsch“) klassifizieren muss. Als Wissenschaftler/Ingenieure halten wir es nicht für sinnvoll zu sagen, dass ein Faktoreffekt inaktiv ist. SVEM bedeutet, dass Sie alle Faktoreffekte in das Modell einbeziehen können. Einige sind wichtiger als andere. Aber alle sind aktiv, was für uns einfach mehr Sinn ergibt.

 

Ich hoffe das hilft.

 

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Hallo @Phil_Kay Und @Peter_Hersh .

Ich habe am Discovery Summit Europe 2022 teilgenommen und an der SVEM-Präsentation teilgenommen. Das hat meine Aufmerksamkeit wirklich erregt und ich habe mir schnell die anderen Präsentationen angesehen, auf die verwiesen wurde. Dies ist wirklich das lehrreichste in Bezug auf die Erstellung des eigentlichen SVEM-Modells, insbesondere im Hinblick auf die Erstellung des „entzerrten“ Modells

Allerdings habe ich nur eine Frage: Nachdem Sie die aktiven Effekte mithilfe der Dummy-Variablen „Nullfaktor“ identifiziert haben, sollten Sie das SVEM-Verfahren nicht nur mit den wahren Effekten wiederholen (und natürlich ohne Nullfaktor )? Ich frage dies, da ich gesehen habe, dass das für die Erstellung der 200 Vorhersageformeln verwendete Skript alle RSM-Begriffe für das 7-Faktor-DoE enthielt.

Hoffentlich habe ich das Problem klar dargelegt.

Danke

 

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Das ist großartig, @ckronig . Lassen Sie uns wissen, ob wir Ihnen helfen können.

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Danke @Peter_Hersh Und @Phil_Kay . Es ist mir gelungen, das Skript zum Laufen zu bringen. Ich werde es mit meinen eigenen Daten versuchen. Danke noch einmal!!

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

@ckronig Ich habe auch das 13-Run-DSD-Beispiel sowohl als Originaltabelle mit der simulierten „wahren“ Antwort als auch als Tabellen-Setup für die automatische Validierung angehängt. Das zweite davon enthält Skripte zum Durchlaufen der Neuzeichnung der Gewichte und zum anschließenden Speichern der Vorhersageformelspalte aus dem neu berechneten Modell. Nur ein Pete beschrieben. Ich denke, Sie sollten in der Lage sein, diese zu verstehen, aber lassen Sie es uns wissen, wenn Sie etwas nicht verstehen.

 

Es gibt noch einen letzten Schritt. Wenn Sie alle Modelle mitteln, um das Ensemble-Modell zu erhalten, sollten Sie feststellen, dass es eine erhebliche Abweichung zwischen den vorhergesagten und den tatsächlichen Werten gibt. Es könnte schwierig sein zu erklären, warum das so ist, aber es liegt daran, dass die Parameter für jeden „echten“ Effekt in allen Modellinstanzen, in denen sie auf Null gesetzt wurden (nicht im Modell), gegen Null geschrumpft sind. Ich denke, dass dies in diesem Fall besonders extrem ist, da alle „aktiven“ Effekte im DSD orthogonal sind.

 

Sie können dies einfach beheben, indem Sie in „Modell anpassen“ ein Modell mit dem Ensemble-Modell als Effekt und der Antwort als Y anpassen. Sie können diese „entzerrte“ Modellvorhersageformel dann als Ihr endgültiges Modell speichern.   

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

@ckronig Ich muss diesen Teil schnell durchgegangen sein.Der Schlüssel besteht darin, ein Modell zu erstellen und dann diese Vorhersageformel zu speichern.Lassen Sie dann JMP die Gewichtsformel neu berechnen (Sie können dies unter dem roten Dreieck im Tabellenmenü „Formeln erneut ausführen“ tun). Führen Sie das Modell erneut mit der neuen Gewichtungsspalte aus, speichern Sie dann die Vorhersageformel und wiederholen Sie den Vorgang.Ich habe eine Schleife geschrieben, die diese Wiederholung 100 Mal vorsieht, und habe dann den Durchschnitt dieser Modelle ermittelt.Sie benötigen hierfür kein Add-In.Ich bin alles andere als ein erfahrener Skriptersteller und die Einrichtung war ziemlich einfach.Ich werde meine Datentabelle und mein Skript in den Beitrag einfügen.

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Hallo @Phil_Kay Und @Peter_Hersh

Ja, sehr schöne Präsentation, Ich würde den Datensatz auch gerne sehen.

Mich interessiert besonders, wie Sie alle Modelle für die Mittelwertbildung erstellt haben, da dies in Ihrer Präsentation nicht behandelt wurde.

Ich habe diese Autovalidierung bereits zuvor verwendet, um die aktiven Parameter mithilfe einer Simulation zu identifizieren, und diese Parameter dann zum Erstellen eines Modells verwendet. Aber was Sie vorgestellt haben, geht noch einen Schritt weiter, indem Sie viele Modelle generieren und deren Mittelung berechnen. Wurde dieser Teil mit dem SVEM-Add-In erledigt?

 

 

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Danke.@russ_wolfinger .

Es wäre sicherlich interessant, die Durchschnittsmodelle aus wiederholten k-Falten auszuprobieren. Wie Sie sagen, liegt die Kraft im Ensemble.

Ich werde den Beispieldatensatz mit 13 Durchläufen bald veröffentlichen, damit Sie dies erkunden können.

Während sich die Methode eindeutig auf die Analyse konzentriert, glauben wir, dass dies wichtige Auswirkungen auf die Versuchsplanung haben könnte (und ich möchte betonen: „könnte“). Wir hatten keine Zeit, diesen Gedankengang in der Präsentation ausführlicher darzulegen, also geht es hier weiter …

Wir entwerfen Experimente unter Berücksichtigung der Analyse. Wie wir zu Beginn unserer Präsentation gesagt haben, müssen wir Annahmen wie Effektsparsität und Effektvererbung akzeptieren, um mithilfe von Standardanalysemethoden aus einem Experiment angemessener Größe ein nützliches Modell zu erstellen. Es gibt empirische Belege dafür, dass diese Annahmen in vielen Fällen zutreffen. Aber sie haben nicht immer Bestand, und ich denke, Wissenschaftler und Ingenieure sind mit diesen Ideen unzufrieden. Als ich Experimente im Labor entwarf und durchführte, wusste ich, dass ich mir um diese Dinge lieber keine Sorgen gemacht hätte.

Es scheint, dass Autovalidierung/SVEM eine Alternative bieten könnte. Daher könnten wir Experimente ohne die gleichen Einschränkungen der Standardannahmen entwerfen. Das wäre eine gewaltige Veränderung, wenn es um die Versuchsplanung geht.

Ich möchte noch einmal betonen, dass dies alles noch spekulativ ist. Aufgrund meiner begrenzten Untersuchungen erscheint es vielversprechend, aber ich würde auf veröffentlichte Ergebnisse strenger Simulationsstudien warten.

Ich stimme voll und ganz zu, dass es viel Spaß macht, diese Ideen auszuprobieren. Und JMP Pro bedeutet, dass Sie kein Statistiker oder erfahrener Programmierer sein müssen, um es auszuprobieren.

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Vielen Dank, Phil und Pete, für die schöne Präsentation!   

 

Meine aktuelle Interpretation von SVEM/fraktioneller Gewichtung/Autovalidierung ist eine geglättete Version der wiederholten k-fachen Kreuzvalidierung.Wenn man dies umdreht, könnte man sich eine Diskretisierung der Bruchgewichte in Nullen oder Einsen als eine Form der wiederholten k-Faltung vorstellen.Die Kraft beider Arten der Validierung liegt in der Zusammenfügung.Hier ist eine Vermutung: Ein wiederholter 5-fach-Ensembling-Ansatz würde auch bei dem kleinen 13-Run-Design gut funktionieren, wobei so etwas wie ein Lasso oder ein flacher Boosted Tree als Basismodell verwendet wird.Wären Sie bereit, Ihr JMP-Projekt hier zu veröffentlichen, damit ich und andere ein paar Dinge ausprobieren können?

 

Ein möglicher Streitpunkt besteht darin, dass ich diese Methode meiner Ansicht nach hauptsächlich auf die Analyse und nicht so sehr direkt auf die DOE beziehe, obwohl das Wissen darüber, wie man ein Experiment analysieren will, sicherlich Einfluss auf Designentscheidungen haben kann, z. B. die Auswahl des Bayes'schen I-Optimums gegenüber anderen Kriterien.

 

Auf jeden Fall machen vielversprechende Ergebnisse und Untersuchungen in dieser Richtung viel Spaß und zeigen die tollen und sich stetig verbessernden Funktionen von JMP Pro.

Betreff: Design und Analyse von Experimenten überdenken? (2021-EU-30MP-776)

Wenn Sie mehr über die Technik erfahren möchten, ist dies ein großartiger Folgevortrag.SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779)