Das RSM-Modell war ungenau (stimmt nicht mit historischen Daten überein) – So beheben Sie das Problem und wo ist ein Fehler aufgetretenHallo Leute,
Wir haben einen Prozess, der zu diesem Zeitpunkt ziemlich gut charakterisiert ist, aber wir verringern jetzt das Risiko potenzieller Prozessschwankungen durch das Ausgangsmaterial. Ziel ist es, die Reinheit und die Ausbeute dieser Einheit zu maximieren.
Es gibt zwei Parameter, von denen wir wissen, dass sie wichtige Faktoren sind, da sie in früheren DoEs modelliert wurden und lediglich bekannte Parameter sind (B, C). Ein dritter Parameter (A) wird derzeit untersucht, da er theoretisch Auswirkungen haben könnte. Dies ist die Ausgangsreinheit des Materials, die variabel sein kann (und wir können sie nicht vollständig kontrollieren).
Durch Zufallsexperimente habe ich eine erfolgreiche Reinigung über einen weiten Bereich von A (~30–50 % Ausgangsreinheit) gezeigt. Ich wollte untersuchen, wo der Punkt des Scheiterns liegt (bei welcher Reinheit des Ausgangsmaterials kann die angestrebte Endreinheit nicht erreicht werden) nicht erreicht werden. Ich wollte auch unseren Designraum rund um dieses Thema vollständig charakterisieren, damit wir herausfinden können, ob sich der optimale Zustand von B und C mit einer Änderung in A verschoben hat.
Ich habe ein RSM-Modell durchgeführt, das B und C über den normalerweise getesteten Bereich verteilte, und A reichte von etwa 5 % Reinheit bis ~85 % Reinheit. A wurde zwar als signifikanter Parameter identifiziert, aber insgesamt weicht das Modell von historischen Daten ab. Nach der Reduzierung des Modells wurde beispielsweise vorhergesagt, dass 30 % des Materials bis zum Ende des Betriebs zu etwa 60 % rein sein würden, aber wir haben mehrere Datenpunkte, die zeigen, dass dieser Wert unterschätzt wird und eher bei 85 % liegen sollte.
Bei der Durchführung dieser Studie trat ein Problem auf. Die Ziel-A-Bedingungen waren die folgenden: 5 %, 40 %, 85 %. Nach der Durchführung stellte sich heraus, dass die tatsächlich getestete Zwischenbedingung eher bei 55 % lag, es handelte sich also um einen Leistungsfehler. Könnte dies das Problem verursacht haben?
Insgesamt war die Modellanpassung sehr gut, mit niedrigem RSME. Die Bedingungen mit geringer Reinheit waren definitiv ein Stresstest und nicht etwas, was wir jemals in der Produktion erwarten würden, aber es schien von Vorteil, einen weiten Raum für das Prozessverständnis zu erkunden. Meine Theorien gehen davon aus, dass der aufgetretene experimentelle Fehler zu einem Problem geführt hat, oder dass der Bereich zu groß war und die untere A-Bedingung, die wiederholt Schwierigkeiten bei der Reinigung hatte, das Modell herabsetzte.
1.) Wie kann ich dieses DOE reparieren, um die Genauigkeit zu verbessern?
Ich kann die Läufe erweitern und den Datensatz auf den „MFG-Bereich“ konzentrieren, den wir erwarten würden
Ich könnte einen Term dritter Ordnung hinzufügen, um mehr Bedingungen von A als nur 3 auszuwerten.
2.) Wie kann ich in Zukunft ein ungenaues Modell vermeiden?
Wenn ich keine historischen Daten hätte, hätte ich diesen Datensatz nicht in Frage gestellt, da er auf den ersten Blick korrekt erscheint.
VersuchsplanungWindowsBetreff: Das RSM-Modell war ungenau (stimmt nicht mit historischen Daten überein) – So beheben Sie das Problem und wo ist ein Fehler aufgetretenVielen Dank für die ausführliche Beschreibung. Was hat die Restanalyse über das Modell im jüngsten RSM-Experiment ergeben?
Gab es außerdem Gemeinsamkeiten zwischen den RSM-Läufen und früheren Experimenten oder Tests, sodass sie möglicherweise als Kontrollen dienten?
Betreff: Das RSM-Modell war ungenau (stimmt nicht mit historischen Daten überein) – So beheben Sie das Problem und wo ist ein Fehler aufgetreten^ Es tut mir leid, mein Computer macht Probleme und ich habe Ihren Kommentar versehentlich als Lösung akzeptiert ...
Um Ihre Fragen zu beantworten:
Hier sind die Residuendiagramme für Parameter A:
Keine Bedingungen wurden technisch vollständig kontrolliert. Frühere DoEs wurden mit ca. 45 % Ausgangsmaterial durchgeführt, die naheliegendste in diesem RSM lag bei 55 %.
Betreff: Das RSM-Modell war ungenau (stimmt nicht mit historischen Daten überein) – So beheben Sie das Problem und wo ist ein Fehler aufgetretenZur Klarstellung: „A“ ist für Sie nicht kontrollierbar?Handelt es sich um einen „Rohstoff“ eines Lieferanten?Wenn ja, sollten Sie meiner Meinung nach ein gemischtes Modell mit A als Zufallsvariable (Kovariate) im Modell entwickeln.
Zusätzliche Gedanken:
1. Haben Sie die Messsysteme für A und Reinheit beurteilt?
2. Wo war A (z. B. auf welchem Niveau), als Sie B&C in früheren Experimenten untersucht haben?Wenn es mit B und/oder C interagiert, wären Ihre vorherigen Modelle bedingt.
3. Ich verstehe nicht, was Sie mit „ „Dieses DOE reparieren, um die Genauigkeit zu verbessern“?Ich vermute, Sie möchten das Modell verbessern, das DOE ist ein Mittel zum Zweck.
4. Bei den Modellen handelt es sich um Näherungswerte, die hoffentlich brauchbar sind. Sie können zu erklärenden oder prädiktiven Zwecken verwendet werden.Wie gut sie bei der Vorhersage abschneiden, hängt davon ab, wie repräsentativ Ihre Studien (z. B. DOEs) für die Zukunft sind. DOEs verfügen konstruktionsbedingt über einen engen Inferenzraum.Dies liegt daran, dass Sie die Zeitreihen entfernen/drastisch reduzieren und somit verhindern, dass Faktoren im DOE variieren.Um dieses Handicap zu überwinden, sollten Sie das Rauschen in Ihrem Experiment übertreiben und eine Strategie verwenden, um das Rauschen angemessen zu handhaben (z. B. Wiederholungen, Wiederholungen, Blöcke, Split-Plots, Kovariaten usw.).
Betreff: Das RSM-Modell war ungenau (stimmt nicht mit historischen Daten überein) – So beheben Sie das Problem und wo ist ein Fehler aufgetretenVielen Dank für Ihre Antwort!
Zur Klarstellung: „A“ ist für Sie nicht kontrollierbar?Handelt es sich um einen „Rohstoff“ eines Lieferanten?Wenn ja, sollten Sie meiner Meinung nach ein gemischtes Modell mit A als Zufallsvariable (Kovariate) im Modell entwickeln.
„A“ wird bei MFG nicht kontrollierbar sein, ist aber in diesem Experiment kontrollierbar. Ich habe zwei Pools von Ausgangsmaterial hoher und niedriger Reinheit kombiniert, obwohl mein mittlerer Zielwert hinsichtlich der Reinheitsvorgabe daneben lag (ich habe einen gewichteten Durchschnittsansatz verwendet).
Zusätzliche Gedanken:
1. Haben Sie die Messsysteme für A und Reinheit beurteilt?
Die Reinheitsmessung ist hier sehr präzise. Normalerweise können wir innerhalb von 5 % schätzen, was normalerweise genauer ist, aber das ist konservativ.
2. Wo war A (z. B. auf welchem Niveau), als Sie B&C in früheren Experimenten untersucht haben?Wenn es mit B und/oder C interagiert, wären Ihre vorherigen Modelle bedingt.
„A“ wurde in früheren DoE-Experimenten konstant bei etwa 40–45 % Reinheit gehalten. Bei Versuchen im Maßstab sank der Wert auf bis zu 30 %, ohne dass sich dies auf die Endreinheit auswirkte.
3. Ich verstehe nicht, was Sie mit „ „Dieses DOE reparieren, um die Genauigkeit zu verbessern“?Ich vermute, Sie möchten das Modell verbessern, das DOE ist ein Mittel zum Zweck.
Richtig, meine Terminologie war falsch. Wie kann ich das Modell verbessern und was ist die Theorie, warum es ungenau ist?
4. Bei den Modellen handelt es sich um Näherungswerte, die hoffentlich brauchbar sind. Sie können zu erklärenden oder prädiktiven Zwecken verwendet werden.Wie gut sie bei der Vorhersage abschneiden, hängt davon ab, wie repräsentativ Ihre Studien (z. B. DOEs) für die Zukunft sind. DOEs verfügen konstruktionsbedingt über einen engen Inferenzraum.Dies liegt daran, dass Sie die Zeitreihen entfernen/drastisch reduzieren und somit verhindern, dass Faktoren im DOE variieren.Um dieses Handicap zu überwinden, sollten Sie das Rauschen in Ihrem Experiment übertreiben und eine Strategie verwenden, um das Rauschen angemessen zu handhaben (z. B. Wiederholungen, Wiederholungen, Blöcke, Split-Plots, Kovariaten usw.).
Ich verstehe das vollkommen, das Problem ist, dass dieses Modell darauf hindeutet, dass „A“ ein wesentlicher Faktor in einem Raum ist, in dem dies nachweislich nicht der Fall ist. Ich versuche herauszufinden, ob dies etwas war, was ich in meinem DoE-Design falsch gemacht habe, oder ob es experimentell war usw.
Betreff: Das RSM-Modell war ungenau (stimmt nicht mit historischen Daten überein) – So beheben Sie das Problem und wo ist ein Fehler aufgetreten„A“ wird bei MFG nicht kontrollierbar sein, ist aber in diesem Experiment kontrollierbar. Ich habe zwei Pools von Ausgangsmaterial hoher und niedriger Reinheit kombiniert, obwohl mein mittlerer Zielwert hinsichtlich der Reinheitsvorgabe daneben lag (ich habe einen gewichteten Durchschnittsansatz verwendet).
Ich habe gehört, dass Sie A während des Experiments geschafft haben, das ist nicht die Frage.Die Frage ist: Sind Sie bereit, A in Zukunft zu leiten? Was ich mit „wollen“ meine, ist; Haben Sie die Fähigkeit, das Geld oder den Wunsch, A zu verwalten?Wenn nicht, ist A Rauschen. A wie einen Designfaktor zu behandeln, würde ich nicht empfehlen.
Die Reinheitsmessung ist hier sehr präzise. Normalerweise können wir innerhalb von 5 % schätzen, was normalerweise genauer ist, aber das ist konservativ.
Ich bin mir nicht sicher, ob ich Ihre Terminologie verstehe.Es gibt einen Unterschied zwischen Genauigkeit und Präzision, aber Sie scheinen sie austauschbar zu verwenden?Genauigkeit ist ein Maß dafür, wie nahe eine Messung am wahren oder akzeptierten Wert der gemessenen Größe (z. B. einem Referenzstandard) liegt. Präzision ist ein Maß dafür, wie nahe eine Reihe von Messungen beieinander liegt (dh Wiederholbarkeit und Reproduzierbarkeit).Aber Sie schlagen auf jeden Fall vor, dass die Messung kein Problem darstellt.
„A“ wurde in früheren DoE-Experimenten konstant bei etwa 40–45 % Reinheit gehalten. Bei Versuchen im Maßstab sank der Wert auf bis zu 30 %, ohne dass sich dies auf die Endreinheit auswirkte.
Dies ist ein potenzielles Problem.Da A in früheren Experimenten konstant war, gibt es keine Schätzung möglicher Wechselwirkungseffekte zwischen A und anderen Faktoren.Außerdem setzt Ihr Modell voraus, dass A bei einem Reinheitsgrad von 40–45 % konstant ist.Wenn sich A ändert, haben wir keine Ahnung, wie Ihr Modell funktionieren wird.
Ich verstehe das völlig, das Problem ist, dass dieses Modell darauf hindeutet, dass „A“ ein wesentlicher Faktor in einem Raum ist, in dem dies nachweislich nicht der Fall ist. Ich versuche herauszufinden, ob dies etwas war, was ich in meinem DoE-Design falsch gemacht habe, oder ob es experimentell war usw
ICH Ich bin mir nicht sicher, ob ich Ihrer Logik folge ... Wie haben Sie „bewiesen“, dass A im Designbereich nicht von Bedeutung war?Wenn Sie bereits wissen, dass A unbedeutend ist, warum experimentieren Sie dann damit?Ob Sie den entsprechenden Entwurf ausgeführt haben oder ob bei Ihrem Experiment andere Probleme aufgetreten sind, kann ich nur spekulieren.Wenn Sie bereits ein Modell für B und C hatten und nur A zum Modell hinzufügen wollten, bin ich mir nicht sicher, warum Sie einen Entwurf vom Typ Antwortoberfläche ausgeführt haben.Außerdem ist die statistische Signifikanz bei Optimierungsentwürfen weniger wichtig. Sie sollten das Modell bereits erstellt haben. Jetzt wählen Sie nur noch Ebenen für die Faktoren im Modell aus, um die Reaktion zu optimieren. Typisch ist eine Art Konturkartierung. Auch hier gilt: Wenn es sich bei A tatsächlich um Rauschen handelt, sollte es nicht als Designfaktor (vielleicht als Kovariate) analysiert und interpretiert werden.
Betreff: Das RSM-Modell war ungenau (stimmt nicht mit historischen Daten überein) – So beheben Sie das Problem und wo ist ein Fehler aufgetretenHallo @MetaLizard62080
Ich werde dies mit einer anderen Herangehensweise als bei anderen Antworten angehen und mich auf den experimentellen Ansatz und die Datenqualität konzentrieren. Wenn ich das richtig verstehe, lag Ihre Zwischenbedingung bei 55 % und nicht bei den 40 %, als die sie gedacht war? Wenn dies der Fall ist, müssen Sie möglicherweise einen Schritt zurücktreten und die Genauigkeit Ihrer Kontrolle über A beurteilen. Sie benötigen die Gewissheit, dass Sie die 5, 40 und 85 % kontrollieren können, die Sie in Ihrem Design ausgewählt haben, sofern dies der Fall ist Aufgrund der inhärenten Variabilität erhöht dies die Unsicherheit in Ihrem Design. Wie viele Wiederholungen jedes Punktes haben Sie durchgeführt?
Welchen Modellierungstyp haben Sie verwendet? Leider besteht eine Einschränkung der standardmäßigen Regression der kleinsten Quadrate darin, dass sie empfindlich auf große Änderungen in den Faktorbereichen und auf Ausreißer reagiert (dies bedeutet oft, dass Sie die „subtilen“ Änderungen in den Daten übersehen, was möglicherweise zu den hier beschriebenen Unterschätzungen führt).Ich hatte ähnliche Probleme, bei denen mein Vorhersagemodell in einem RSM nicht mit meinem Verständnis aus Theorie/historischen Daten übereinstimmte, was auf Ausreißer in meinem Datensatz hinauslief – um dabei zu helfen, habe ich mir die Cooks-D-Einflusswerte meiner Datenpunkte angesehen – Eine gute Faustregel ist, dass Punkte einen Wert > 4/n haben, um Ausreißer zu finden. Eine weitere Möglichkeit besteht darin, verschiedene prädiktive Modellierungsformen wie GenReg zu erkunden.
Eine weitere Überlegung ist, ob sich die Qualität/der Typ von A geändert hat, wenn A in Ihren vorherigen Experimenten konstant gehalten wurde und Sie es jetzt variieren (wie groß war der Zeitunterschied zwischen dem vorherigen Experiment und diesem?) Gibt es möglicherweise auch einen „versteckten Faktor“ im Zusammenhang mit A, der eine Auswirkung auf den Prozess hat?
