Was ist ein guter r²-Wert im Mischungsdesign-DOE?Da ich aus einem Bereich komme, in dem ich ausschließlich mit Kalibrierkurven gearbeitet habe und nur ein Wert von 0,999 als gute Anpassung gilt, frage ich mich, welcher R²-Wert in der Mischungs-dE-Modellierung als gut angesehen wird? Gibt es weitere wichtige Werte, die ich überprüfen sollte, um die Qualität meines Modells zu beurteilen?
VersuchsplanungBetreff: Was ist ein guter r²-Wert im Mischungsdesign-DOE?Meiner Meinung nach handelt es sich bei Mischungsdesigns primär um Optimierungsdesigns. Das heißt, Sie haben bereits ein Screening durchgeführt, verfügen über ein plausibles Modell erster Ordnung plus und verstehen Rauschen und multivariate Aspekte. Nun geht es darum, den optimalen Punkt für die Durchführung auszuwählen. Dies geschieht hauptsächlich mithilfe von Antwortflächenplots (Mischungsantwort). Die üblichen statistischen Methoden zur Modellbildung können eine Herausforderung darstellen. Es kann eine beträchtliche Multikollinearität auftreten, die zwar durchaus akzeptabel sein kann, aber die Interpretation traditioneller Statistiken und Koeffizienten erschwert.
Vor diesem Hintergrund scheint Cornell ein korrigiertes R²-Minimum von 0,85 vorzuschlagen (R² allein ist selten nützlich), aber wenn das nicht gemeint ist, bedeutet es lediglich, dass eine Anpassung der Modellform sinnvoll sein kann.
Siehe Piepel, Gregory, Cornell, John (1994) „Mixture Experiment Approaches: Examples, Discussion, and Recommendations“, Journal of Quality Technology, Vol. 26, Nr. 3, Juli
Die drei grundlegenden Schritte der Mischungsdesigns nach Snee (basierend auf der Box- und Wilson-Response-Surface-Methodik):
1. Die Daten werden mithilfe eines Versuchsdesigns generiert.
2. Ein Modell (üblicherweise ein Polynom) wird an die Daten angepasst.
3. Die Konturen der Antwortoberfläche werden untersucht, um die Bereiche zu bestimmen, in denen die besten Antwortwerte erzielt werden können.
Siehe Snee, Ronald (1971) „Design and Analysis of Mixture Experiments“, Journal of Quality Technology, Bd. 3, Nr. 4, Oktober
Betreff: Was ist ein guter r²-Wert im Mischungsdesign-DOE?Mein Modell ist ein quadratisches Mischungsmodell mit einem R² von 0,92 und einem korrigierten R² von 0,90. Ich frage mich, ab wann ich mit Sicherheit sagen kann: „Mein Modell ist gut genug“, und ob das vom R² oder eher von der Genauigkeit meiner Vorhersagen abhängt. Die Überprüfung eines Datenpunkts außerhalb des Modells zeigte eine erwartbare Abweichung vom vorhergesagten Wert. Mir fällt es jedoch schwer zu beurteilen, ob es sich lediglich um experimentelle Varianz oder um ein ungeeignetes Modell handelt. Der Anpassungsgütewert liegt bei 0,9.
Betreff: Was ist ein guter r²-Wert im Mischungsdesign-DOE?Es gibt keine absolute statistische Bewertung, ob „mein Modell gut genug ist“. „Gut genug“ ist nicht operational definiert. Die besten Modelle sind diejenigen, die aus fachlicher Sicht sinnvoll und aus operativer Sicht nützlich sind.
Betreff: Was ist ein guter r²-Wert im Mischungsdesign-DOE?Das klingt gut, aber es muss doch eine Art Grenze geben, ab der man sagen würde: Das ist definitiv kein gutes Modell oder passt nicht. Ich persönlich bin als Anwender mit meinem Modell und seinem Nutzen zufrieden, auch wenn ich mir seiner Grenzen bewusst bin. Da ich aber noch neu auf diesem Gebiet bin, sehe ich mich nicht in der Lage zu beurteilen, ob es sich um ein gut durchgeführtes Versuchsplanungs-/Modell handelt.Betreff: Was ist ein guter r²-Wert im Mischungsdesign-DOE?Es gibt zahlreiche Hinweise, die darauf hindeuten, dass das Modell ungeeignet ist. Aber was genau meinen Sie mit „gut“? Warum sollte jemand mit fundierten Statistikkenntnissen, aber ohne Fachwissen, die Eignung des Modells besser beurteilen können? Sie möchten, dass Ihr Modell die Ergebnisse so vorhersagt, dass die Fehler zufällig um null verteilt sind. Das Modell muss auch unter veränderten Bedingungen konsistent sein.
„Ein gutes Modell ist eine Näherung, vorzugsweise eine einfach anzuwendende, die die wesentlichen Merkmale des untersuchten Phänomens erfasst und Verfahren hervorbringt, die gegenüber wahrscheinlichen Abweichungen von den Annahmen robust sind.“
GEP-Box
Betreff: Was ist ein guter r²-Wert im Mischungsdesign-DOE?Ich stimme allem zu, was @statman bisher beigetragen hat. Ich möchte nur hinzufügen, dass ich hoffe, Sie betrachten nicht ausschließlich das Bestimmtheitsmaß (R²), um die „Güte“ (die es ohnehin nicht gibt) des Modells zu beurteilen. Wenn Sie sich nur auf R² konzentrieren, verfallen Sie der gefürchteten Mononumerose. Beantworten Sie stattdessen diese Frage: „Erfüllt das Modell die Ziele und Fragestellungen des vorliegenden Experiments angemessen?“ Ehrlich gesagt, wenn Sie diese Frage mit „Ja“ beantworten, ist mir der Wert von R² völlig egal. Als ich in der Industrie gearbeitet habe, wurden wir dafür bezahlt, Probleme zu lösen … und nicht dafür, „gute“ (oh je, da bin ich wieder) Statistiken wie R², p-Wert, F-Wert, mittlerer quadratischer Fehler, t-Statistik und alle anderen denkbaren Statistiken zu ermitteln.
Betreff: Was ist ein guter r²-Wert im Mischungsdesign-DOE?Vielen Dank euch beiden für die klaren Erklärungen. Der Grund, warum ich mich bisher hauptsächlich mit R² beschäftigt habe, ist, dass mein Professor, der ebenfalls neu in der Versuchsplanung ist, genau das getan hat, wahrscheinlich weil es der einzige Wert ist, den er bisher kannte (in anderen Kontexten, wo er eine wichtige Rolle spielt). Da ich selbst noch nicht so vertraut mit der Theorie der Versuchsplanung bin und sie eher nutze, um den nächsten Forschungsschritt zu erreichen, konnte ich ihn nicht davon überzeugen, dass ein funktionierendes (nicht perfektes) Modell völlig ausreichend ist. Beim nächsten Mal werde ich mich mehr auf den praktischen Nutzen und die Ergebnisse als auf statistische Werte konzentrieren. Vielen Dank für eure Anregungen!
