319521_de-DE

liliconcom

Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder Passung

Hallo,

Ich habe ein individuelles Design für 7 Faktoren mit einem Modell erstellt, das Haupteffekte, Wechselwirkungen und Kräfte 2. Ordnung enthält. Die Stichprobengröße beträgt 150. Ich sehe, dass drei Faktoren wichtig sind und ein Modell für diese drei Variablen sind.

Allerdings hatte ich ein erhebliches Problem mit der mangelnden Passung und einem R^2-Wert von 0,99.

Ich habe viel nach den Gründen für diese Situation gesucht, konnte aber keine klare Antwort finden.

Haben Sie eine Idee, was dieses Problem verursacht?   

Mit freundlichen Grüße.

 

DatenzugriffVersuchsplanungMassenanpassungBetreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder Passung

@Ella Die detaillierten Schritte zur Ausführung des Workflows, die ich in meiner letzten Antwort auf diesen Thread vorschlage, sind viel zu zahlreich, detailliert und langwierig, und einige hängen in hohem Maße von Domänenkenntnissen ab und nicht von einer statistischen Theorie oder Technik, die in einem Diskussionsforum-Thread der JMP-Benutzergemeinschaft artikuliert werden kann. Ab diesem Zeitpunkt habe ich zwei Vorschläge für Sie:

 

1. Da es sich so anhört, als hätten Sie kaum oder gar keine Erfahrung mit JMP, DOE und Modellierung für Prozessoptimierungsprobleme, suchen Sie jemanden in Ihrer Organisation oder engagieren Sie einen Berater, der dies bereits getan hat und über einige Erfahrung verfügt. Nicht zuletzt können sie Sie durch die Arbeitsabläufe der Plattform führen, Ihnen dabei Vorschläge machen und zum Nachdenken anregende Fragen stellen, die Ihnen dabei helfen, Ihr Problem und Lösungsansätze weiter zu formulieren.

 

2. Wenn Sie wirklich alleine sind und keine anderen technischen Ressourcen für einen detaillierten Arbeitsablauf für das, was ich vorschlage, zur Verfügung haben, empfehle ich Ihnen, sich diesen JMP-Blog und das Video anzusehen, das von meinem ehemaligen Kollegen (ich bin im Ruhestand) geschrieben wurde @robert_anderson . Der Blogbeitrag zeigt den grundlegenden Arbeitsablauf und bietet einige Anleitungen zur Navigation im JMP-Ökosystem, um den von mir vorgeschlagenen Arbeitsablauf zu implementieren. Hier ist ein Link zum Blogbeitrag: Finden der besten Prozessbetriebsbedingungen mithilfe von zwei Optimierungsansätzen

 

Betreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder PassungVielen Dank, Herr. Bartell, ich verstehe, dass Sie es sagen, und es ist sehr logisch. Ich kann Ihren Vorschlag zur Monte-Carlo-Simulation nicht ganz verstehen. Könnten Sie es im Detail erklären?Betreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder Passung

@Ella Wenn Ihr Zielwert irgendwo zwischen 0,35 und 0,36 liegt, beträgt Ihre vorhergesagte Abweichung nicht -0,3 bis 0,3, sondern näher bei +/- 0,1. Und ich vermute, dass der größte Beitrag zur Restvariation in diesem Bereich auf Faktoränderungen zurückzuführen ist ... nicht auf LOF. Schauen Sie sich das Residuendiagramm in der Nähe von 0,35 und 0,36 an, um meinen Standpunkt zu verstehen. Hier ist ein weiterer Gedanke für Sie:

 

Ich schlage vor, dass Sie Ihre Analyse bis zum JMP Prediction Profiler durchführen und dann die Desirability- und Desirability-Optimierungsfunktionen von JMP nutzen, um ein Faktorraumoptimum zu finden, das sich auf 0,355 konzentriert, wobei die Ober- und Untergrenze der JMP-Desirability-Funktion bei 0,35 und 0,36 liegt. Wenn Sie dann über gewisse Prozesskenntnisse darüber verfügen, wie stark die Faktoren bei diesen Faktorempfehlungen/-optima variieren werden, führen Sie eine Monte-Carlo-Simulation im Prediction Profiler durch, um zu sehen, wie groß die Variation in Ihrer Antwort ist. Wenn Ihre simulierte Faktorschwankung in der Simulation relativ groß ist, ist LOF das geringste Ihrer Probleme.

Betreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder PassungDer genaue Grund für LOF ist die sehr geringe Varianz der Replikate, die sich auch im reinen Fehlerwert zeigt.

Ziel dieser Studie ist es, abhängige Variablen zu modellieren und zu optimieren, um optimale Faktorniveaus zu finden, die abhängige Variablen zurückgeben. Die Variable liegt zwischen 0,35 und 0,36.
Wenn Sie sich meine aktuellen Modellfehlerwerte ansehen, ändern sie sich zwischen -0,3 und 0,3, was für mein Ziel sehr groß ist. Deshalb versuche ich, ein besseres Modell zu finden, das meine abhängige Variable erklärt, um eine bessere Prognose zu erstellen.Betreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder Passung

Ich stimme dem alles zu @Dan_Obermiller beigetragen. Aus Ihrem Residualdiagramm geht hervor, dass die Hauptursache für die mangelnde Anpassung eine relativ kleine Replikat-Antwortvarianz im Vergleich zur gesamten Antwortvarianz ist.

 

Hier ist ein weiterer Gedanke, den Sie berücksichtigen sollten: Was ist der Zweck des Experiments/der Studie? Wenn es sich um eine Vorhersage im gesamten Faktorraum handelt, welchen Einfluss hat dann die Größe des Vorhersagefehlers im experimentellen Raum aus PRAKTISCHER Sicht? Wenn es in der Praxis kaum einen Unterschied macht, dann ist es mir ehrlich gesagt völlig egal, dass Sie LOF haben.

Betreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder Passung

Vielen Dank Dan,

Ich stehe genau vor allen Problemen, die Sie genannt haben.

Normalitätsproblem in Bezug auf Fehler. Ich denke, es gibt einen Trend in meinem Fehlerbegriff (wenn Sie eine andere Meinung haben, teilen Sie mir diese bitte mit) und eine sehr, sehr kleine reine Fehlerschwankung.

 

 

 

Wenn ich das Experiment neu gestalte und den kubischen Term des Faktors einbeziehe, löse ich dann dieses Problem?

 

(Übrigens weiß ich, dass meine abhängige Variable von anderen Faktoren abhängt, die nicht im Modell enthalten sind, aber ich setze sie konstant, wenn ich DOE durchführe und Experimente durchführe. Ich schätze, das verursacht dieses Problem nicht, oder?)

 

 

 

Betreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder Passung

Bei einem Test auf mangelnde Anpassung wird die Varianz des „Modells passt nicht“ mit der Varianz der replizierten Punkte (reiner Fehler) verglichen. Ein signifikantes Ergebnis bedeutet, dass die Varianz „Modell passt nicht“ größer ist als der reine Fehler. Die wahrscheinlichste Ursache ist, dass das von Ihnen verwendete Modellformular nicht für die Daten geeignet ist.

Betrachten Sie dieses Bild:

Ein hoher RSquare-Wert, jedoch ein erheblicher Mangel an Anpassung, da eine gerade Linie die Beziehung nicht beschreibt. Denken Sie daran, dass ein hoher RSquare allein nicht bedeutet, dass Sie ein gutes Modell haben. Ein hoher RSquare bedeutet, dass Sie einen Großteil der Varianz in der Antwort erklärt haben, aber möglicherweise immer noch kein gutes Modell haben.Sie müssen andere Punkte wie Modellsignifikanz, Restanalyse usw. berücksichtigen, um festzustellen, ob Sie über ein gutes Modell verfügen.

 

Daher würde ich empfehlen, die Residuen Ihres Modells grafisch darzustellen, um festzustellen, ob es Muster gibt. Ein Muster würde anzeigen, was mit Ihrer aktuellen Modellform möglicherweise nicht stimmt. Stellen Sie außerdem sicher, dass die Residuen einer Normalverteilung folgen, da dies ebenfalls zu einer Situation mangelnder Anpassung führen kann.

 

Schließlich ist es möglich, dass ein erheblicher Mangel an Anpassungstests auftritt, wenn Ihre replizierten Punkte eine extrem geringe Varianz aufweisen und nicht, dass die Modellform falsch ist. Das passiert nicht so oft, aber ich habe es gesehen. In solchen Situationen sollten Sie herausfinden, warum oder wie Sie eine so geringe Varianz erreicht haben. Das kann einige gute Erkenntnisse liefern.

Betreff: Sehr hohes R-Quadrat und erhebliches Problem mit mangelnder PassungIst es möglich, Ihre Daten und Ihr Skript zu teilen?Re: Very High R square and significant lack of fit problem

@Ella It seems to me that you have unmodeled mean structure remaining in the residuals. By the looks of it you fit f(X) = a + bX + e and by observation, the model f(X) = a + b1X + b2X^2 + e may provide a better fit? What do you residual look like if you run the latter model?

Re: Very High R square and significant lack of fit problem

Just to re-iterate, R-square by itself must be interpreted carefully.  R-square will always increase as you add DF's to the model.  But the point of creating a model is to include only the useful terms (active and significant).  So you should look at the delta between the R-square and the R-square adjusted.  As the delta increases, it is an indicator your model is over specified.

Looking at your residuals, there is an indication of a non-linear effect.  Your model should consider perhaps adding a quadratic effect as suggested by @modelFit