Bestätigung des Definitive Screen Design (DSD)-ModellsHallo zusammen,
Ich habe ein DSD mit folgenden Informationen entworfen:
- Design: 7 kontinuierliche und 1 kategoriale Faktoren, 22 Durchläufe
- Designbewertung hinsichtlich Leistung und Korrelation: sehr gut
- Fit-Modell über Fit Definitive Screening: ausgezeichnet
- RMSE = 0,2803, RSq =0,997, PValue<0,001)
- Fehlende Anpassung: nein (F-Ration 191, Wahrscheinlichkeit > F = 0,0561)
- Residuen und studentisierte Residuen sind alle gut
- Modellstruktur:
- Enthält 5 Haupt-, 4 quadratische und 1 Interaktionsfaktor
- Modellbestätigung: Probieren Sie ein paar Läufe (Punkte) aus, um die maximale Erwünschtheit zu erreichen
- Einige stimmen der Vorhersage sehr gut zu
- einige weisen große Unterschiede auf
Aufgrund der Ressourcenbeschränkung können wir 5 bis 10 Bestätigungsläufe durchführen.
Bitte beraten:
- Mögliche Ursachen für den Unterschied: Unter- oder Überanpassung?
- Methode oder Verfahren zur Verbesserung/Optimierung des Modells
Danke.
VersuchsplanungRe: Definitive Screen Design (DSD) ModellbestätigungHallo @P_Bartel ,
Deine Kommentare sind recht aufschlussreich. Ich weiß es wirklich zu schätzen, dass Sie darauf hinweisen DSDs sind in erster Linie Screening-Designs. Ja, das war das primäre Ziel, bevor die Leute mehr daraus machen wollen.
Kopplung mit @Mark_Bailey Was die Bestimmung der Simulationssoftware betrifft, werde ich die Frage nach der Notwendigkeit eines genauen Vorhersagemodells stellen, während wir jetzt die Richtung von DSD kennen und genaue Antworten von der Simulationssoftware erhalten können.
Danke für so ein angenehmes Schreiben. Genieße deine Ferien.
Re: Definitive Screen Design (DSD) ModellbestätigungOK ... ich kann nicht widerstehen. Ich habe bei diesem Thread an der Seitenlinie gesessen ... aber jetzt kann ich mir nicht helfen.@ZenCar Ihre Frage in Ihrem letzten Beitrag steht im Mittelpunkt dieser Erzählung. DSD sind in erster Linie Screening-Designs. DOE für Vorhersagezwecke ist etwas völlig anderes. Einer meiner Lieblingsärgernisse von DOE-Praktikern ist, dass sie mit einem praktischen Problem beginnen, das im Grunde ein Optimierungsziel für eine Reihe von Antworten ist ... und dann irgendwie die bewährte und wahre Methode des sequentiellen Experimentierens durch induktives Denken vergessen. George Box und andere diskutieren dies seit Jahren. So geht es weiter. Das ist der Kern des Unterschieds zwischen allen Screening-Designs und anderen Designs, die besser in der Vorhersage sind.
Auch zu @Statman 's frühere Punkte über "Lärm". Geräusche im zukünftigen Betrieb einer Anlage treten in allen möglichen Formen und Größen auf. Viele können nicht in geplante Experimente eingebaut werden. Als ich beispielsweise in der Industrie arbeitete, wurden Produktionssysteme oft wegen größerer Wartungsarbeiten und Kapitalerhöhungen heruntergefahren. Die Faustregel lautete: „Nach einem Kapitalstillstand will man nie der Erste an der Beschichtungsmaschine sein. Die Magie der Physik und Chemie, von der Sie dachten, dass Sie sie verstanden haben, gilt jetzt möglicherweise nicht mehr, basierend auf den aufgetretenen Prozessänderungen.' Wie wollen Sie ein großes Kapitalsystem-Upgrade in ein DOE einbauen, bevor das Upgrade stattfindet? Nicht praktikabel und nicht machbar.
Wenn also die Vorhersagekraft von DOE-basierten Modellen in Zukunft zusammenbricht ... warum ist dann irgendjemand überrascht? Das bedeutet nur, dass mehr Arbeit erforderlich ist, um den Prozess vollständig zu verstehen.
Aufregen über. Danke, dass Sie bis hierhin gelesen haben, falls Sie das getan haben.
Re: Definitive Screen Design (DSD) ModellbestätigungMarkieren,
Es gibt viele Faktoren, die die Reaktion beeinflussen können, die wir kontrollieren möchten. Wir wollen herausfinden, welche die Hauptverursacher sind. Durch technische Erfahrung konnten wir es auf acht Faktoren eingrenzen. Der Zweck des DOE besteht darin, es weiter einzugrenzen und praktische Anweisungen zur Verbesserung der Reaktion zu erhalten. Für diesen Zweck leistet DSD meines Erachtens hervorragende Arbeit.
Ich habe zwei Dinge versucht:
1) Innerhalb der DSD-Plattform habe ich einige nicht so signifikante Terme entfernt und das Modell von 5 MEs, 4 Quadraten und 1 Interaktion auf 4 MEs, 1 Quadrate und 1 Interaktion getrimmt. Ich konnte wünschenswertere Bestätigungsergebnisse erzielen.
2) Ich füge einfach 4 der 5 Bestätigungsläufe zur ursprünglichen DSD-Tabelle hinzu und verwende JMP Analyze: Fit Model : Standard Least Square für denselben Aufbau wie 1) (4 MEs, 1 quadratisch und 1 Interaktion). Ich konnte auch mit den verbleibenden Bestätigungslaufdaten wünschenswertere Bestätigungsergebnisse erzielen.
Frage: Kann ich sagen, dass das Screening effektiver Faktoren und das Generieren eines Vorhersagemodells zwei Dinge sind, dh letzteres kann auf andere Gründe zurückzuführen sein, z ?
Ihr Punkt zum raumfüllenden Design ist sehr interessant. Ich werde es mir ansehen und in ein paar Tagen wieder einkreisen.
Danke und frohe Feiertage!
Re: Definitive Screen Design (DSD) ModellbestätigungHallo Statmann,
Zustimmen. Ich war früher ein Fan von Taguchi und beneide Freunde, die direkt mit ihm zu tun hatten. Die Methode leistet einen tiefgreifenden Beitrag zur Verbesserung der Qualität vieler Branchen.
Ich danke Ihnen für Ihre Hilfe. Bitte zögern Sie nicht, mit der Eingabe fortzufahren.
Re: Definitive Screen Design (DSD) ModellbestätigungÜbrigens verurteile ich die Ideen von Dr. Taguchi nicht. Ich hatte das Privileg, vor vielen Jahren mit ihm in Tokio zu unterrichten. Ich fand seine Gedanken zur Anwendung statistischer Methoden sehr interessant, insbesondere seine Ideen zur Erstellung geeigneter Antwortvariablen. Ein sehr Maschinenbau Ansatz!
Wie ich bereits kommentiert habe, bin ich immer noch nicht sicher, ob ich Ihre Situation verstehe. Ich weiß, dass ein RSquare von 99% praktisch nichts anderes bedeutet, als dass das von Ihnen verwendete Modell ~ 99% der Variation im vorliegenden Datensatz erklärt. Es hat wenig damit zu tun, ob Ihr Modell für Vorhersagen nützlich ist.
Re: Definitive Screen Design (DSD) ModellbestätigungHallo Statmann,
Für jeden Lauf müssen wir manuell ein CAD-Modell erstellen, was einige Zeit in Anspruch nimmt, bevor die Simulation ausgeführt wird, was ebenfalls Zeit in Anspruch nimmt. Am Anfang würde es zu viele Ressourcen verbrauchen, wenn ein FF DOE ausgeführt wird. Der erste Lauf DSD half dabei, es auf 8 Terme (5 ME, 4 Quadrate und 1 Interaktion) zu reduzieren. Vielleicht kann ich es weiter verkleinern, um ein FF auf 4 MEs laufen zu lassen.
Mein Verständnis von Lärm stammt von der Taguchi-Methode. Ab jetzt übernehme ich deine.
Wir verbrachten zu Beginn Zeit damit, potenzielle signifikante Variablen zu identifizieren, um über Faktorstufen zu entscheiden.
Das DSD wurde entwickelt, um eine gute Bewertung von Leistung und Alias zu haben. Wir haben dann die Ergebnisse des DOE untersucht und festgestellt, dass die richtigen Effektsignifikanzen identifiziert wurden.
Wie ich bereits erwähnt habe, habe ich das Modell direkt nach dem Fit Definitive Screening ausgeführt und ein "ausgezeichnetes" Modell erhalten. Das R² = 99 %. Aber die Bestätigungsläufe waren nicht sehr gut.
Ich fing an, die Terme zu kürzen (z. B. mit 4 MEs und quadratischen und Wechselwirkungstermen von 1 ME). Das Ergebnis hat sich stark verbessert. Dies scheint mir, dass das Modell überangepasst war. Ich werde in die Richtungen schauen, die Sie auf Verbesserung hingewiesen haben. Wenn es nicht effizient ist, kann ich ein FF mit 4 MEs verfolgen (3 Ebenen ^ 4 = 81 Durchläufe?).
Vielen Dank für Ihre Eingaben.
Re: Definitive Screen Design (DSD) ModellbestätigungIch verstehe, dass Ihr System eine Computersimulation ist. Sie entwerfen ein Computerexperiment, vermutlich um ein Surrogat anzupassen. Ihre Simulation enthält kein stochastisches Element, sodass dieselben Eingabewerte zu denselben Ausgaben führen. Sie filtern keine Eingaben, für die das DSD gedacht ist. Sie kennen die Eingaben, weil Sie die Simulation untersuchen können. Ich nehme an, dass die Simulation unpraktisch ist (z. B. die Berechnung dauert zu lange für flüssige Grafiken), sodass Sie einen guten Ersatz verwenden möchten.
Die DSD und mehrere andere Designplattformen sind für physikalische Experimente bestimmt, bei denen die Antwort stochastische Komponenten enthält. Sie sollten die raumfüllenden Designs ausprobiert haben. Sie sind für Computerexperimente gedacht. Außerdem unterstützen sie die Anpassung des Gaußschen Prozessmodells, das in der Regel ein viel besserer Ersatz als das lineare Regressionsmodell ist.
Ich denke also, dass die Verzerrung im linearen Regressionsmodell (dh fehlende Bestätigung) auf eine Nichtlinearität in der Antwort zurückzuführen ist, die mit einer Polynomfunktion nicht gut modelliert werden kann.
Wenn Sie die ursprünglichen DSD-Ergebnisse mit den neuen Bestätigungsergebnissen kombinieren und das Modell erneut anpassen, verbessern sich die Anpassung und die vorhergesagte Reaktion?
Re: Definitive Screen Design (DSD) ModellbestätigungIch helfe gerne, wenn ich kann, aber Sie haben meine erste Frage nicht beantwortet? Wenn Sie Simulationen durchführen, warum fraktionieren? Es sei denn, die Rechenzeit ist zu lang? Das Experiment wurde von einer Simulationssoftware durchgeführt, wurden die Bestätigungsläufe auch von der Simulationssoftware durchgeführt?
Ich bin mir nicht sicher, was die Taguchi-Methode mit dieser Diskussion zu tun hat? Er war sicherlich nicht der Erste, der die Bedeutung von Rauschen in experimentellen Situationen erkannte (siehe Fisher). Wenn Sie auf das innere und äußere Array hinweisen, wurde diese Methode erstmals in den 1950er Jahren mit Cox- und Cross-Product-Arrays diskutiert. Ich verstehe nicht, was du meinst "wir müssen uns keine Sorgen um Lärm machen"? Jede Variable, die möglicherweise variieren könnte, wurde untersucht?
Es gibt viele Methoden/Ansätze zur Modellanpassung. Es gibt den additiven Ansatz, der schrittweise vorgeht, und den subtraktiven Ansatz, der gesättigt beginnt und Terme entfernt. Unterschiedliche Ansätze für unterschiedliche Situationen. Es gibt eine Reihe von Statistiken, die Ihnen helfen können, aber keine Statistik gibt Ihnen eine endgültige Antwort. Mein erster Rat ist, Technik und Wissenschaft zu nutzen, um zu bestimmen, ob die vom Modell vorgeschlagenen Faktoren und Ebenen sinnvoll sind. Zu den nützlichen Statistiken gehören: RMSE, RSquare-RSquare Angepasstes Delta (einige verwenden vorhergesagte RSquares), Koeffizienten, p-Werte, Residuen (viele Diagramme), VIFs usw.
Re: Definitive Screen Design (DSD) ModellbestätigungHallo Statmann,
Danke für Ihre Geduld.
Das Geräuschkonzept ist mir bekannt. Ich begann viele Jahre mit der Taguchi-Methode. In meinem Fall müssen wir uns also keine Gedanken über Geräusche machen.
Kurz gesagt, das DOE basierte auf den Ergebnissen der laufenden Simulationssoftware, alles sieht gut aus, außer dass das Modell mit einigen Bestätigungsdaten schlecht funktioniert.
Um herauszufinden, was die nicht so guten Bestätigungen verursachen kann, sind ein paar Dinge, die ich jetzt versuche:
1) Anstatt das von Run Model generierte Modell direkt nach dem Fit Definitive Screening zu verwenden, habe ich Stepwise Regression verwendet, um Terme anhand von AICc- und BIC-Kriterien auszuwählen. Dann passe ich die ausgewählten Terme mit Standard Least Squares an. Ich habe eine Verbesserung.
2. Ich kann die oben ausgewählten Terme auch mit zusätzlichen Läufen anpassen, vorausgesetzt, das Modell ist unterfit. Frage: Wie entscheidet man, ob ein Model underfit oder overfit ist? Was ist die Lösung, wenn es überfit ist?
3. Sollte ich überhaupt eine nichtlineare Regressionsanpassung versuchen?
Danke.
Re: Definitive Screen Design (DSD) ModellbestätigungIch bin mir nicht sicher, ob ich Ihnen helfen kann. Wollen Sie damit sagen, dass die Ergebnisse der Experimente in der Simulationssoftware in der Simulationssoftware nicht wiederholbar sind? Oder Wollen Sie damit sagen, dass sich die Ergebnisse des Experiments in der Simulationssoftware im "echten Leben" nicht wiederholen?
Ich denke, es kann Verwirrung darüber geben, was Lärm ist. Es hat verschiedene Namen: Belästigung, Hintergrund usw. Al. Beispiele sind: Umgebungsbedingungen, Verschleiß oder Abbau von Materialien und Ausrüstung, Technik des Bedieners, in einigen Fällen Messfehler, Materialvariationen von Charge zu Charge usw. Diese Variablen werden in einem Experiment normalerweise nicht manipuliert und entweder konstant gehalten ( schlechte Idee) oder während der Durchführung des Experiments variieren. Diese müssen für zukünftige "Bedingungen" repräsentativ sein, damit Ihre experimentellen Ergebnisse in der Zukunft anwendbar sind (oder damit Ihr Modell die Antwortvariablen in der Zukunft vorhersagen kann).
Wenn Sie eine Simulationssoftware verwenden, ist der Algorithmus bereits in der Software enthalten. Weißt du es nicht? Ich habe keine Ahnung, wie Ihre Simulationssoftware Geräusche "simuliert".
Re: Definitive Screen Design (DSD) ModellbestätigungHallo Statmann,
Das DOE basierte auf Ergebnissen von Simulationssoftware. Wir haben festgestellt, dass eine Faktorstufe (-1,0,+1) den gesamten Bereich der repräsentierenden Variablen erfasst, aber physisch (0, 0,5, 1) oder (-1, -0,5, 0) der effektive Bereich für das Ziel sein sollte Antwort.Daher können wir diesen Faktor als Rauschfaktor betrachten und im Bestätigungslauf dieselbe Faktorstufe verwenden.
Irgendwelche Ratschläge, basierend auf den zusätzlichen Informationen oben, bitte?
Danke.
Re: Definitive Screen Design (DSD) ModellbestätigungEs wird sehr schwierig für uns sein, dabei zu helfen. Erkenne, dass die Statistiken, die du berichtest, nichts damit zu tun haben, ob das Modell in der Zukunft funktioniert. Die Extrapolation ist eine technische oder wissenschaftliche und hängt stark davon ab, wie repräsentativ Ihr Experiment für die zukünftigen Bedingungen war. Das endgültige Screening-Design ist eine Strategie, um mit Designfaktoren umzugehen, nicht mit dem Rauschen (Faktoren, die Sie nicht kontrollieren oder verwalten wollen). Sie sagen nichts darüber, wie Sie mit dem Lärm umgegangen sind. Wenn die Rauschfaktoren konstant gehalten werden, ist Ihr Inferenzraum zu klein und Ihr Modell wird wahrscheinlich nur auf die vorliegenden Daten angewendet. Für zukünftige Experimente empfehle ich, so viel Zeit damit zu verbringen, darüber nachzudenken, was Sie mit den Faktoren tun werden, die nicht in der Designstruktur (Rauschen) enthalten sind, wie mit denen, die Sie sind.
