Definitive Screen Design (DSD) ModellbestätigungHallo zusammen,
Ich habe eine DSD mit folgenden Informationen entworfen:
- Design: 7 kontinuierliche und 1 kategoriale Faktoren, 22 Lauf
- Entwurfsbewertung zu Leistung und Korrelation: sehr gut
- Modell über Fit Definitive Screening anpassen: ausgezeichnet
- RMSE = 0,2803, RSq = 0,997, PValue <0,001)
- Fehlende Passform: nein (F Ration 191, Prob> F = 0,0561)
- Rest- und studentisierte Reste sind alle gut
- Modellstruktur:
- Enthält 5 Haupt-, 4 quadratische und 1 Interaktionsfaktoren
- Modellbestätigung: Probieren Sie einige Läufe (Punkte) aus, um die maximale Erwünschtheit zu erreichen
- Einige stimmen der Vorhersage sehr gut zu
- Einige zeigen große Unterschiede
Aufgrund von Ressourcenbeschränkungen können wir 5 bis 10 Bestätigungsläufe ausführen.
Bitte beraten:
- Mögliche Ursachen für den Unterschied sind Unter- oder Überanpassung?
- Methode oder Verfahren zur Verbesserung / Optimierung des Modells
Vielen Dank.
DAMHIRSCHKUHBetreff: Bestätigung des DSD-Modells (Definitive Screen Design)Es wird sehr schwierig für uns sein, dabei zu helfen. Stellen Sie fest, dass die von Ihnen gemeldeten Statistiken nichts damit zu tun haben, ob das Modell in der Zukunft funktioniert. Die Extrapolation ist eine technische oder wissenschaftliche Extrapolation und hängt stark davon ab, wie repräsentativ Ihr Experiment für die zukünftigen Bedingungen war. Das endgültige Screening-Design ist eine Strategie zum Umgang mit Designfaktoren, nicht mit dem Rauschen (Faktoren, die Sie nicht steuern oder verwalten möchten). Sie sagen nichts darüber, wie Sie mit dem Lärm umgegangen sind. Wenn die Rauschfaktoren konstant gehalten werden, ist Ihr Inferenzraum zu klein und Ihr Modell wird wahrscheinlich nur auf die vorliegenden Daten angewendet. Für zukünftige Experimente ist es mein Rat, so viel Zeit damit zu verbringen, darüber nachzudenken, was Sie mit den Faktoren tun werden, die nicht in der Entwurfsstruktur (Rauschen) enthalten sind, wie mit denen, die Sie sind.
Betreff: Bestätigung des DSD-Modells (Definitive Screen Design)Hallo Statman,
Das DOE basierte auf Ergebnissen der Simulationssoftware. Wir haben festgestellt, dass eine Faktorstufe (-1,0, + 1) den gesamten Bereich der darstellenden Variablen erfasst, aber physikalisch (0, 0,5, 1) oder (-1, -0,5, 0) sollte der effektive Bereich für das Ziel sein Antwort.Wir können diesen Faktor also als Rauschfaktor betrachten und im Bestätigungslauf denselben Faktorpegel verwenden.
Auf der Grundlage der obigen zusätzlichen Informationen, bitte einen Rat?
Vielen Dank.
Betreff: Bestätigung des DSD-Modells (Definitive Screen Design)Ich bin mir nicht sicher, ob ich dir helfen kann. Wollen Sie damit sagen, dass die Ergebnisse der Ausführung der Experimente in der Simulationssoftware in der Simulationssoftware nicht wiederholbar sind? Oder Wollen Sie damit sagen, dass sich die Ergebnisse des Experiments in der Simulationssoftware im "echten Leben" nicht wiederholen?
Ich denke, es kann Verwirrungen darüber geben, was Lärm ist. Es gibt verschiedene Namen: Belästigung, Hintergrund, et. al. Beispiele hierfür sind: Umgebungsbedingungen, Verschleiß oder Verschlechterung von Materialien und Geräten, Bedienertechnik, in einigen Fällen Messfehler, Variation von Material von Los zu Los usw. Diese Variablen werden in einem Experiment normalerweise nicht manipuliert und entweder konstant gehalten ( schlechte Idee) oder variieren während der Durchführung des Experiments. Diese müssen repräsentativ für zukünftige "Bedingungen" sein, damit Ihre experimentellen Ergebnisse in Zukunft anwendbar sind (oder damit Ihr Modell die Antwortvariablen in der Zukunft vorhersagt).
Wenn Sie eine Simulationssoftware verwenden, ist der Algorithmus bereits in der Software enthalten. Weißt du es nicht Ich habe keine Ahnung, wie Ihre Simulationssoftware Rauschen "simuliert".
Betreff: Bestätigung des DSD-Modells (Definitive Screen Design)Hallo Statman,
Danke für Ihre Geduld.
Ich bin mit dem Geräuschkonzept vertraut. Ich habe viele Jahre mit der Taguchi-Methode begonnen. In meinem Fall brauchen wir uns also keine Sorgen um Geräusche zu machen.
Kurz gesagt, das DOE basierte auf den Ergebnissen der laufenden Simulationssoftware. Alles sieht gut aus, außer dass das Modell mit einigen Bestätigungsdaten schlecht funktioniert.
Um herauszufinden, was die nicht so guten Bestätigungen verursachen kann, versuche ich jetzt einige Dinge:
1) Anstatt das von Run Model direkt nach dem Fit Definitive Screening generierte Modell zu verwenden, habe ich die schrittweise Regression verwendet, um Begriffe anhand von AICc- und BIC-Kriterien auszuwählen. Dann passe ich die ausgewählten Begriffe mit Standard Least Squares an. Ich habe mich verbessert.
2. Ich kann die oben ausgewählten Begriffe auch mit Additionsläufen versehen, vorausgesetzt, das Modell ist nicht angepasst. Frage: Wie wird entschieden, ob ein Modell unter- oder überpasst ist? Was ist die Lösung, ist es Überanpassung?
3. Sollte ich überhaupt eine nichtlineare Regressionsanpassung versuchen?
Vielen Dank.
Betreff: Bestätigung des DSD-Modells (Definitive Screen Design)Ich helfe gerne, wenn ich kann, aber Sie haben meine erste Frage nicht beantwortet? Wenn Sie Simulationen ausführen, warum fraktionieren? Es sei denn, die Rechenzeit ist zu lang? Das Experiment wurde von einer Simulationssoftware ausgeführt. Wurden die Bestätigungsläufe auch von der Simulationssoftware ausgeführt?
Ich bin mir nicht sicher, was die Taguchi-Methode mit dieser Diskussion zu tun hat. Er war sicherlich nicht der erste, der die Bedeutung von Lärm in experimentellen Situationen erkannte (siehe Fisher). Wenn Sie auf das innere und äußere Array zeigen, wurde diese Methode erstmals in den 1950er Jahren mit Cox- und produktübergreifenden Arrays diskutiert. Ich verstehe nicht, was du meinst "Wir müssen uns keine Sorgen um Lärm machen"? Jede Variable, die möglicherweise variieren könnte, wurde untersucht?
Es gibt viele Methoden / Ansätze zur Modellanpassung. Es gibt den additiven Ansatz, der schrittweise ausgeführt wird, und den subtraktiven Ansatz, der gesättigt beginnt und Begriffe entfernt. Unterschiedliche Ansätze für unterschiedliche Situationen. Es gibt eine Reihe von Statistiken, die helfen können, aber keine Statistik gibt Ihnen eine endgültige Antwort. Mein erster Rat ist, mithilfe von Technik und Wissenschaft zu bestimmen, ob die vom Modell vorgeschlagenen Faktoren und Niveaus sinnvoll sind. Zu den nützlichen Statistiken gehören: RMSE, RSquare-RSquare Adjusted Delta (einige verwenden vorhergesagte RSquares), Koeffizienten, p-Werte, Residuen (viele Grundstücke), VIFs usw.