Betreff: Hoher RMSE in der DSD-AnalyseWarum sollten Sie erwarten, dass die Reaktion normalverteilt ist, wenn es aktive Effekte gibt?
Betreff: Hoher RMSE in der DSD-AnalyseIch meine die Verteilung der Reaktion.
Betreff: Hoher RMSE in der DSD-AnalyseDu meinst eine Normalverteilung der Residuen, oder?
Schön, dass Sie eine Lösung gefunden haben!
Betreff: Hoher RMSE in der DSD-AnalyseIch möchte Ihnen nur sagen, wie wir das Problem letztendlich gelöst haben. Wir haben verschiedene Datentransformationen ausprobiert, um eine normalere Verteilung mit einer konstanteren Varianz über den gesamten Antwortbereich zu erhalten. Als wir die transformierte Reaktion analysierten, konnten wir viele weitere Effekte (Haupt- und Effekte zweiter Ordnung) erkennen.
Betreff: Hoher RMSE in der DSD-AnalyseEine Korrektur zu meinem vorherigen Beitrag: Ich meinte, wir werden den zentralen Lauf zweimal wiederholen, nicht den zweiten Lauf (ich entschuldige mich für die kleine Verwirrung).
Auf jeden Fall sollte der zentrale Lauf auch alle von Ihnen genannten Punkte (Vorsichtsmaßnahmen) abdecken.
Da wir zentrale Läufe wiederholen werden, hoffen wir, dass die Variabilität der zentralen Läufe die beste (die beste der 17 Läufe, die wir wiederholen können) Annäherung an die Variabilität des gesamten Designs darstellt. Darüber hinaus hoffen wir, dass auch der RMSE unseres Designs sinken wird, da es mehr Läufe im Modell geben wird. Wenn der Rückgang des RMSE groß genug ist, um einige neue Effekte zu erkennen, müssen wir eine Varianz nicht auf der Grundlage von nur drei Datenpunkten schätzen.
Betreff: Hoher RMSE in der DSD-AnalyseDas ist ein Anfang. Ein paar Vorsichtsmaßnahmen zu diesen Wiederholungsläufen: Sie würden davon ausgehen, dass die Variabilität über den Designraum konstant ist (mit anderen Worten, Lauf Nr. 2 ist repräsentativ für alle anderen experimentellen Bedingungen). Erfasst die Variabilität bei Ihren Wiederholungsläufen alle Variabilitätsquellen, die beim Ausführen des ursprünglichen Entwurfs aufgetreten sind (haben sich Bediener geändert? Instrumentierungsänderungen? Setup-Änderungen?). Wie gut können Sie eine Varianz anhand von nur zwei oder drei Datenpunkten schätzen? Das ist im Wesentlichen das, was Sie tun.
Betreff: Hoher RMSE in der DSD-AnalyseJa, wir sind uns bewusst, dass auch Messungen das Problem sein können. Jedes Mal haben wir für jede Probe mindestens drei Messwiederholungen durchgeführt (die einen relativ niedrigen Varianzkoeffizienten zeigten). Wir hatten einige Probleme mit der Laserbeugungsanalyse, die wahrscheinlich den RMSE in einigen Antworten erhöhte, aber der RMSE in den Antworten, die keine Laserbeugungsanalyse beinhalten, ist ebenfalls etwas hoch, aber nicht so stark.
Betreff: Hoher RMSE in der DSD-AnalyseVielen Dank für sehr gute Ideen. Wir haben beschlossen, den zweiten Durchlauf zweimal zu wiederholen, um zu sehen, ob die Variation auch in einem Durchlauf oder nur im gesamten Modell hoch ist. Dann fügen wir die neuen Läufe zum Modell hinzu und prüfen, ob RMSE niedriger ist.
Ergibt das für Sie Sinn?
Betreff: Hoher RMSE in der DSD-AnalyseEin letzter Kommentar, der einen anderen Ansatz darstellt. Da Sie einen hohen RMSE haben, möchten Sie möglicherweise eine Messsystemstudie durchführen. Möglicherweise ist der hohe RMSE auf ein Messsystem zurückzuführen, das möglicherweise zuerst verbessert werden muss. Es kann sinnvoll sein, darüber nachzudenken, bevor weitere experimentelle Läufe hinzugefügt werden.
Betreff: Hoher RMSE in der DSD-AnalyseIch möchte Sie auch daran erinnern, dass Sie benutzerdefiniertes Design verwenden können, um Ihr anfängliches Experiment zu erweitern, wenn es möglich ist, mehr Durchläufe durchzuführen. Sie haben vorhin erwähnt, dass Sie keine Ressourcen haben, um mehr zu tun, aber ich möchte es trotzdem erwähnen, für den Fall, dass es später möglich wird. Die neuen Läufe werden dem bereits vorhandenen DSD hinzugefügt.
Betreff: Hoher RMSE in der DSD-AnalyseIhr Modell ist so gut, wie es angesichts dieser Datenprobe und des objektiven Prozesses der Modellauswahl (Fit Definitive Screening) möglich ist.
Sie können versuchen, einige dieser Bedingungen erneut auszuführen, um festzustellen, ob der RMSE wirklich so hoch ist. Vielleicht verfügen Sie stattdessen über einige historische Daten für denselben Prozess, die erneut analysiert werden könnten, um den RMSE zu bestimmen. Es könnte wirklich hoch sein und nicht unbedingt ein Artefakt des voreingenommenen Modells.
Eine weitere Option zum Verzicht auf die Analyse „Fit Definitive Screening“ ist „Analysieren“ > „Modell anpassen“ > „Loglineare Varianz“. Diese Analyse passt iterativ zwei konvergierende Modelle an: eines für den Mittelwert und das andere für die Varianz. Mithilfe dieser Analyse können Sie feststellen, ob einer der Designfaktoren dafür verantwortlich ist. Leider kann die Wirtschaftlichkeit des DSD eine gute Analyse verhindern, aber es ist einen Versuch wert.
Siehe Hilfe > Bücher > Anpassen linearer Modelle. Dieser Analyse ist ein eigenes Kapitel gewidmet.
Betreff: Hoher RMSE in der DSD-AnalyseJa, Sie haben einige sehr gute Fragen gestellt, die im Grunde meine Frage beantworten. Ich verstehe was du meinst.
Es sieht also so aus, als wäre mein Modell nicht so gut konstruiert, wie es sein könnte, daher großer RMSE. Ich kann immer noch Hauptfaktoren mit dem größten Einfluss auf das Modell erkennen, aber leider kann ich keine Wechselwirkung mit zweiten Faktoren erkennen. Natürlich besteht eine Möglichkeit darin, dass sie nicht vorhanden sind, aber die andere, wahrscheinlichere ist, dass sie zu klein sind, um mit einem so hohen RMSE erkannt zu werden.
Nochmals vielen Dank für Ihre Hilfe.
Danijel
Betreff: Hoher RMSE in der DSD-AnalyseWenn Sie in der Lage waren, Ihrer Analyse gefälschte Faktoren hinzuzufügen, ist das natürlich „erlaubt“. Die „Ergebnisse, die Sie erhalten, sind immer noch korrekt und vertrauenswürdig“, aber was bedeuten sie? Was stellt der zum echten Faktor gewordene Fake-Faktor dar? Haben Sie diese Entwurfsspalte zum Festlegen der Faktorstufen verwendet? (Nein.) Was sind diese Faktorstufen? Warum sollten Sie es in die Analyse einbeziehen?
Sie können der Modellmatrix eine beliebige Spalte hinzufügen und den linearen Parameter dafür schätzen, solange diese Spalte nicht mit der Spalte verwechselt wird, die zum Schätzen eines anderen Termes im Modell verwendet wird. Wenn sie verwechselt werden, handelt es sich bei diesen beiden Spalten lediglich um Aliase für dieselbe Spalte. Diese Kombination erzeugt eine Singularität in der Projektionsmatrix für die Regression. Eine solche Kombination ist unzulässig. JMP versucht, möglichst viele Parameter zu schätzen, die nicht miteinander verwechselt werden (bis zum Rang der Modellmatrix), und setzt den Rest auf Null.
Der Grund dafür, dass das Ergebnis unterschiedlich ist, liegt darin, dass: Wenn Sie explizit einen Fake-Faktor in das Modell einbeziehen, dann handelt es sich bei der Analyse nicht mehr um einen Fake-Faktor und er wird nicht mehr wie zuvor zur Schätzung des RMSE verwendet.
Betreff: Hoher RMSE in der DSD-AnalyseVielen Dank für Ihre Antwort und Ihre Mühe.
Ich habe nur eine Antwort, da mir jetzt andere Punkte völlig klar sind.
7. Ja, das macht mathematisch gesehen Sinn. Ich weiß nur nicht, ob ich das beim Fit Definitive Screening machen darf (die Ergebnisse, die ich erhalte, sind also immer noch korrekt und vertrauenswürdig). Ich finde es seltsam, dass das Ergebnis anders ausfällt, wenn ich keine Fake-Faktoren in meine Auswahl einbeziehe, da Fit Definitive Screening den anfänglichen RMSE in beiden Fällen aus Fake-Faktoren berechnet.
Hast du vielleicht eine Erklärung dafür?
Betreff: Hoher RMSE in der DSD-AnalyseIch habe gerade meine Antwort verloren, als ich auf „Posten“ geklickt habe, und muss jetzt zu einer Reise aufbrechen, aber ich werde versuchen, meine Antwort schnell noch einmal zu erfassen.
- Sie verstehen, dass die Trennschärfe eine Funktion der Signifikanz, Varianz, Effektgröße und Stichprobengröße ist. Die Verwendung der Standardwerte für RMSE und Koeffizienten wird wahrscheinlich keine Leistungsanalyse für eine bestimmte Situation ermöglichen.
- Ihr DSD sollte in der Lage sein, bis zu sechs Haupteffekte mit hoher Leistung zu finden, wenn ihre Effektgröße groß ist und es nur wenige Effekte zweiter Ordnung gibt. Mein früherer Kommentar war eine allgemeine Aussage. Es handelt sich möglicherweise nicht um einen großen Wert, da er von so vielen Attributen abhängt.
- Sie könnten auch die beiden nichtwässrigen Lösungsmittel und Wasser als drei Mischungsfaktoren (Komponenten) einbeziehen und direkt modellieren. Ich habe keine Ahnung, ob die Verwendung der Peristaltikpumpe die Ursache für den großen RMSE ist.
- Vollständig randomisierte Läufe – überprüfen Sie!
- Kein Problem mit unkontrollierten, externen Faktoren – prüfen Sie!
- Der große RMSE bleibt ungeklärt – check!
- Im Allgemeinen verringert das Hinzufügen zusätzlicher Terme zum linearen Regressionsmodell den RMSE, selbst wenn diese Terme nicht signifikant sind. Die jedem neuen Term zugeordnete Quadratsumme würde andernfalls zur Fehlerquadratsumme führen.
Betreff: Hoher RMSE in der DSD-AnalyseVielen Dank für Ihre umfassende Antwort und Erklärungen. Sie haben mir sehr geholfen. Ich werde versuchen, etwaige Unklarheiten zu klären und die von Ihnen gestellten Fragen zu beantworten. Um Verwirrung zu vermeiden, werde ich die Antworten numerisch markieren.
1. Im Abschnitt „Design bewerten“ habe ich 0,05 für die statistische Signifikanz, 1 für die erwarteten Koeffizienten und 1 für den RMSE eingegeben. Ich habe diese Werte vor den Experimenten eingegeben, da ich keine Informationen darüber habe, mit welchem RMSE oder erwarteten Koeffizienten ich rechnen kann. Ich habe die Leistung 0,92 erhalten (siehe Foto „Design bewerten“ unten). Mir ist bewusst, dass eine solche Leistung nur dann der Fall wäre, wenn der RMSE tatsächlich bei etwa 1 läge. Ich wollte vor den Experimenten lediglich zeigen, dass das Design gut aussieht. Wenn ich natürlich die Werte eingebe, die ich für RMSE und erwartete Koeffizienten erhalten habe, ist die Leistung viel geringer (siehe Foto „Design 2 bewerten“ unten).
2. Ich weiß es nicht genau, aber ich gehe davon aus, dass etwa vier Haupteffekte aktiv sind. Allerdings erklärten Herr Jones und Herr Nachtsheim in einem Artikel aus dem Jahr 2016 (Bradley Jones & Christopher J. Nachtsheim (2016): Effective
Design-Based Model Selection for Definitive Screening Designs, Technometrics), dass bei der Analyse von DSD mit 6 Faktoren und 4 zusätzlichen Läufen (unter Verwendung des neuen Ansatzes für die DSD-Analyse) alle 6 Hauptfaktoren mit einer Potenz von 0,99 erfasst werden konnten. Wenn ich mir diese Zahl ansehe, sehe ich das Problem bei vielen aktiven Haupteffekten nicht. Oder übersehe ich etwas?
3. Ja, dieses Experiment enthält Mischungsbestandteile. Einer der Faktoren ist das Verhältnis des Nichtlösungsmittelvolumens zum Endvolumen (im Endvolumen haben wir Nichtlösungsmittel und Wasser). Mit der Schlauchpumpe habe ich die Lösung in das Nichtlösungsmittel gegeben. Glauben Sie, dass es besser wäre, dieses Verhältnis konstant zu lassen? Ich denke, dass dies der Grund für den großen RMSE sein könnte. Allerdings kann ich es mir nicht leisten, noch viele weitere Experimente durchzuführen, daher muss ich dieses Problem (falls das der Fall ist) abmildern, wenn es möglich ist.
4. Ja, dieses Experiment war vollständig randomisiert. Ich habe keine schwer zu ändernden Faktoren und hatte während des Experiments auch eine relativ gute Kontrolle über die Faktoren.
5. Mir ist bewusst, dass es auch andere Faktoren gibt, die die Reaktion beeinflussen können. Ich habe jedoch versucht, jeden möglichen Faktor zu kontrollieren, sodass ich in meinem Experiment hier kein großes Problem sehe.
6. Sie haben Recht, dass der Lauf mit der höchsten Ausbeute der Ausreißer ist. Das wird auch sehr deutlich an den studentisierten Residuen (siehe Foto Residuen unten). Wenn ich mir jedoch die Restanalyse der anderen Antworten ansehe, ist der Ausreißer nicht vorhanden, aber der RMSE ist immer noch groß. Daher denke ich, dass es einen weiteren Grund für den großen RMSE geben muss.
7. Ich habe auch eine neue Frage. Als ich mit der Analyse mit dem Fit Definitive Screening experimentierte, fiel mir auf, dass der RMSE niedriger ist, wenn ich Fake-Faktoren in die Analyse einbeziehe. (Siehe die Fotoanalyse mit Fake-Faktoren unten. Auf der linken Seite sind Schätzungen zu sehen, die ich erhalten habe, und auf der rechten Seite gibt es eine Auswahl an Antworten und Faktoren.Darf ich das tun?
Danke schön.
Danijel
Betreff: Hoher RMSE in der DSD-AnalyseVielen Dank für die ausführliche Erläuterung Ihrer Situation und Ihrer Frage. Wir werden versuchen, Ihnen anhand Ihrer Erklärung zu helfen.
Ja, der größte Unterschied zwischen dem Tutorial-Beispiel und Ihrem Experiment ist der RMSE. Dieser Unterschied bedeutet eine geringere Leistung. Es bedeutet, dass die T Die Verhältnisse zum Testen der Parameterschätzungen gegen Null werden für äquivalente Schätzungen um den Faktor 9,6 kleiner und dementsprechend viel höher sein P -Werte. (Dieser Rückgang in T Verhältnis oder Erhöhung in P -Wert entspricht einer geringeren Leistung.)
Welche Werte haben Sie für statistische Signifikanz (0,05), RMSE (1) und erwartete Koeffizienten (1) eingegeben, um die Trennschärfe zu bestimmen? Das heißt, für welches Ergebnis ist die Macht gut? Welche Leistung haben Sie für Ihr Design erhalten?
Der RMSE ist eine Schätzung der Standardabweichung der Antwort. Es ist modellabhängig . Das geht davon aus
- Das lineare Regressionsmodell ist korrekt (unvoreingenommen)
- es umfasst nur den zufälligen Fehler der Antwort
- Die Varianz der Antwort ist über den gesamten Antwortbereich konstant.
Wenn Ihr Modell keine Terme für aktive (nicht zufällige) Effekte enthält, wird dieser Beitrag zur Antwort mit der RMSE-Schätzung zusammengefasst und erhöht.
Bitte beachten Sie, dass der Mittelwert und die Standardabweichung normalverteilter Antworten im Allgemeinen unabhängige Attribute der Antwort sind. Das heißt, die Standardabweichung (RMSE) hängt nicht vom Mittelwert ab. Die Parameterschätzungen beziehen sich auf das Modell der mittleren Antwort, sodass Sie aufgrund der Größe der Parameterschätzungen nichts vom RMSE erwarten können.
Sehen wir uns das noch einmal an Grundprinzipien des Screenings :
- Sparsamkeit der Effekte : Es gibt viele potenzielle Faktoren (und ihre Auswirkungen), aber tatsächlich sind die meisten inaktiv (Parameter ist Null).
- Hierarchie der Effekte : Die meisten Änderungen in der Reaktion sind erster Ordnung, der zweithäufigste Effekt ist zweiter Ordnung und so weiter.
- Vererbung von Wirkungen : Alle Effekte höherer Ordnung werden von denselben Faktoren gezeigt, die auch Effekte niedrigerer Ordnung aufweisen.
- Projektion von Design : Das Design schränkt die Schätzung aller potenziellen Parameter durch Korrelation ein, aber die Korrelation wird verringert oder eliminiert, wenn die inaktiven Faktoren und ihre inaktiven Auswirkungen aus dem Modell entfernt werden.
Wie viele der sechs Faktoren werden Ihrer Meinung nach aktiv sein? Es sollten nicht mehr als zwei oder möglicherweise drei sein, sonst scheitert jedes Screening-Design.
Screening-Designs sollen in erster Linie Modelle erster Ordnung unterstützen. (Beim Screening geht es nicht um die Optimierung von Faktoren, sondern nur um das Screening auf die lebenswichtige wenige Faktoren. Das Besondere an der DSD ist, dass sie die Wahrscheinlichkeit verringert, dass Sie möglicherweise Erweiterungen vornehmen müssen, um das für die Optimierung erforderliche komplexere Modell zu unterstützen.) Reaktionen eines chemischen Prozesses wie der Kristallisation weisen wahrscheinlich Effekte zweiter Ordnung wie Wechselwirkungen und Nichtlinearität auf. Diese Effekte können die Schätzungen der Parameter im Modell erster Ordnung verzerren, obwohl ein DSD, eine Art Alias-optimales Design, eine solche Korrelation minimiert.
Ein paar abschließende Gedanken:
- Berücksichtigt diese Studie Gemischbestandteile? Ich frage mich, welche Lösungsmittel zusammen verwendet werden. Diese Bedingung könnte ein anderes Design (kundenspezifisches Design) erforderlich machen.
- War dieses Experiment vollständig randomisiert? Das bedeutet, dass Sie jeden Faktor vor jedem Lauf zurücksetzen. Eine andere Möglichkeit zu fragen ist: Gibt es bei Ihnen schwer zu ändernde Faktoren? Diese Bedingung würde ein anderes Design (Split-Plot-Design) erfordern.Wenn Sie schwer zu ändernde Faktoren haben und das Experiment nicht vollständig randomisieren, wirkt sich dies auf den RMSE aus. Im Gegenzug wird dadurch auch die Fehlerquote vom Typ I bei Tests für schwer zu ändernde Faktoren und die Fehlerquote vom Typ II bei Tests für leicht zu ändernde Faktoren erhöht. Das könnte das Fehlen signifikanter Effekte erklären.
- Was ist mit anderen Faktoren außer den sechs, die im Experiment variiert wurden? Haben Sie alle Faktoren jeder Antwort identifiziert, bevor Sie die sechs zu untersuchenden Faktoren ausgewählt haben? Wie wurden diese äußeren Faktoren während der Läufe kontrolliert? Unkontrollierte und unberücksichtigte Effekte würden entweder zur zufälligen Variation beitragen oder, wenn sie mit den Faktorniveaus in der Studie korrelieren, zu einer Verzerrung der Schätzungen beitragen.
- Haben Sie eine Restanalyse durchgeführt? Gibt es Hinweise auf Datenprobleme oder Verstöße gegen die Annahmen des linearen Regressionsmodells? Die Restanalyse ist bei wirtschaftlichen Designs schwieriger als bei größeren Datensätzen, aber dennoch wertvoll. Es scheint, dass der Lauf mit der höchsten Ausbeute ein Ausreißer sein könnte. Dieser Lauf könnte einen ungewöhnlich hohen Einfluss auf die Schätzungen haben. Es könnte den RMSE erhöhen.
Das ist alles, woran ich im Moment denken kann. Hoffentlich antworten andere Experten mit weiteren Ideen.
Warum ist der RMSE in dieser DSD-Analyse so hoch?Hallo,
Ich bin neu im Bereich DOE und Definitive Screening Design, deshalb habe ich einige Fragen zur Analyse von DSD. Ich verwende JMP 13.
Ich möchte wichtige Faktoren im Prozess der sphärischen Kristallisation finden. Ich habe das Definitive Screening Design mit 6 Faktoren auf drei Ebenen durchgeführt, mit vier zusätzlichen Durchläufen (2 Fake-Faktoren). Ich messe verschiedene Reaktionen. Die Designbewertung zeigt mir, dass ich über eine gute statistische Aussagekraft verfüge. Wenn ich jedoch versuche, die Ergebnisse mithilfe des Fit Definitive Screenings zu analysieren, erhalte ich keine oder bestenfalls einen signifikanten Haupteffekt. Infolgedessen erhalte ich auch keine nennenswerten Effekte zweiter Ordnung (siehe das hinzugefügte Foto unten rechts). Ich denke, der Grund dafür ist der sehr hohe RMSE. Ich habe anhand des im JMP-Tutorial gezeigten Beispiels gelernt, wie man ein Fit Defintive Screening durchführt (Dateiextraktion 3, siehe hinzugefügtes Foto unten links). Als ich das Beispiel analysierte, erhielt ich die gleichen Ergebnisse wie im Tutorial. Mir ist auch aufgefallen, dass bei der Analyse von Extraktion 3 der RMSE viel niedriger war, obwohl die Antworten in Extraktion 3 und in meinem Experiment ungefähr gleich groß waren, da beide Antworten Ertrag sind.
Ich verstehe nicht, wie es möglich ist, dass der Unterschied im RMSE so groß ist. Wenn Sie sich die Verteilung im Haupteffektdiagramm ansehen, können Sie sehen, dass die Verteilung in meinem Experiment ähnlich, wenn nicht sogar etwas enger ist, als die Verteilung in Extraktion 3. Ich habe den RMSE auch mit dem Tool „Y nach Deshalb sieht es so aus, als ob die Analyse mit Fit Definitive Screening den Unterschied macht.
Vermisse ich etwas?
Sollte ich vor dem Fit Definitive Screening einige Voranalyseprozesse mit meinen Daten durchführen?
Oder habe ich wirklich ein Experiment mit großem RMSE? Wenn ja, ist es möglich, das zu beheben?
Danke schön.
Danijel
Versuchsplanung
