DOE: Signifikantes Modell mit erheblichem Mangel an Anpassung<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hallo alle JMPer,
Ich stehe vor einem Problem mit einem DOE und würde gerne Ihre Meinung dazu hören.
Ich versuche, zwei Reaktionen Y1, Y2 als Funktion von zwei Faktoren X1, X2, ihrer Wechselwirkung erster Ordnung und quadratischen Effekten zu modellieren.
Dazu habe ich die Daten eines vollständigen 2^3-faktoriellen Versuchsplans plus zwei Wiederholungsexperimente (nicht zentriert) aus einem früheren Datensatz.
Ich habe kein Problem mit Y1, aber wenn es um Y2 geht, scheinen weder die Faktoren X1*X2 noch X2*X2 von Bedeutung zu sein.
Wenn ich das Skript ohne diese beiden Faktoren erneut ausführe, erhalte ich Folgendes:
Mein Modell ist signifikant (p-Wert <0,0001), hat einen hohen R² (0,96), weist aber auch einen erheblichen Mangel an Anpassung auf (p-Wert 0,024) !
Was soll ich machen ? Ich kann die Experimente nicht wiederholen und die Antwort umwandeln, kann hier schwierig sein.
Muss ich mein Modell in den Müll werfen?
Danke für die Hilfe.
Betreff: DOE: Signifikantes Modell mit erheblicher mangelnder PassungQUentin,
Aufgrund der Effektvererbung mit Interaktionstermen können Sie X2 beibehalten.Anders ausgedrückt: Es gibt signifikante Wechselwirkungen mit X2, sodass Sie diesen Haupteffekt (X2) in Ihrem Modell beibehalten können.Mit JMP 12 könnten Sie die Funktion „Effektzusammenfassung“ in „Fit Model“ verwenden, um Begriffe zu entfernen und nur X2 zu entfernen, um zu sehen, wie es Ihr Modell verändert. In Ihrem Fall würde ich jedoch empfehlen, es einfach im Modell zu belassen.
Rechnung
Betreff: DOE: Signifikantes Modell mit erheblicher mangelnder PassungVielen Dank an Bill und Peter für diese Ratschläge.
Die Entnahme der beiden Proben und deren Verwendung zur Validierung funktioniert gut und die vorhergesagten Ergebnisse kommen den tatsächlichen sehr nahe.
Für Y1 gibt es jedoch eine kleine Änderung im Modell. Zuvor waren alle linearen, quadratischen und Interaktionseffekte von X1 und X2 für Y1 signifikant (p-Wert <0,05).
Nachdem ich jedoch die beiden zusätzlichen Stichproben herausgenommen habe, haben die X2-Faktoren keinen signifikanten Einfluss auf Y1 (p-Wert = 0,0852), während alle anderen Faktoren wie zuvor signifikant sind.
Meine Frage lautet: Ich kann X2 nicht entfernen, ohne seine quadratischen und Interaktionseffekte mit X1 zu entfernen, die beide signifikant sind. Kann ich also X2 in meinem Modell behalten und angeben, dass es auf dem Konfidenzniveau 0,1 signifikant ist?
Ich glaube, dass der von Bill vorgeschlagene Ansatz besser ist als der, den ich verwende, aber bevor ich ihn verwende, möchte ich nur sicherstellen, dass jetzt auch das Modell für Y1 gültig ist.
Danke für deine Antworten.
Betreff: DOE: Signifikantes Modell mit erheblicher mangelnder PassungQuentin: Bill Worley bietet einige großartige Ratschläge, die ich ehrlich gesagt nicht auch vorgeschlagen habe. Ich habe mich einfach zu sehr auf Ihre Sorgen um den AP-Wert im Zusammenhang mit dem LOF-Test konzentriert, um die von Bill angesprochenen Probleme überhaupt zu berücksichtigen. Ich denke, dass einige Leute allzu oft versuchen, die Entscheidung „Akzeptieren und verwenden Sie das Modell“ auf eine einzige Modelldiagnosestatistik zu reduzieren. Ich nenne dieses Verhalten, Opfer einer Mononumerose zu werden.
Nun zu Ihrer letzten Frage im Beitrag: „Glauben Sie, dass ich unter Berücksichtigung all dieser Beobachtungen dieses Modell vernünftigerweise akzeptieren und versuchen könnte, es mit zusätzlichen Durchläufen zu validieren?“
Es wäre sehr vermessen von mir, Ihnen in der einen oder anderen Weise eine Empfehlung bezüglich „...akzeptieren Sie dieses Modell...“ auszusprechen. Aus der Ferne weiß ich nur ungern, dass ich wenig über Ihr Problem, die Durchführung des Experiments, das Wissen über den Prozess usw. weiß, um Ihnen etwas anderes als eine sehr uninformierte Meinung zu sagen. Daher werde ich ablehnen.
So viel werde ich anbieten; Ich kann Ihnen gar nicht sagen, wie oft mir während meiner jahrzehntelangen Tätigkeit als Industriestatistiker genau diese Frage gestellt wurde. Meine Antwort war immer ungefähr so: „OK Quentin, anstatt dir meine Meinung zu sagen, schlage ich dir Folgendes vor.“ Halten Sie einen Moment inne und denken Sie über die Entscheidung nach, zu der Sie die Daten, das Experiment und Ihre Analyse führen. Denken Sie aus praktischer Sicht über die Konsequenzen dieser Entscheidung nach. Vor allem, wenn das Ergebnis nicht erwünscht ist. Wie denken Sie über diese Entscheidung? Nicht aus statistischer Sicht, sondern aus praktischer Sicht. Was empfinden Sie nun tief in Ihrem Magen über diese Entscheidung? Wenn Sie ein paar Schmetterlinge verspüren ... dann halten Sie inne, halten Sie inne und kreisen Sie zurück, um weitere Informationen/Daten/Analysen/Experimente/Vermutungen zu erhalten ... was auch immer es ist ... aber verzögern Sie die Entscheidung.“
Vor langer Zeit habe ich ein Zitat von Moen, Nolan und Provost gelesen, das ungefähr so lautete: „Letztendlich ist es keine Frage der statistischen Schlussfolgerung, sondern eine Frage des Grads des Glaubens.“ Oder wie Dr. Deming bekanntermaßen sagte: „Die wichtigsten Figuren sind unbekannt und nicht erkennbar.“ P – Werte, die wir kennen ... aber die wichtigsten „Zahlen“ sind nicht erkennbar.
Betreff: DOE: Signifikantes Modell mit erheblicher mangelnder PassungQUentin,
Ich werde auf Peters Antwort eingehen.
Sie geben an, dass Sie zwei Proben aus einem früheren Datensatz gezogen und diese zu Ihren DOE-Ergebnissen hinzugefügt haben.Es ist sehr wahrscheinlich, dass Sie das Ergebnis Ihres DOE/Modells verzerren, indem Sie diese „externen“ Stichproben zur Erstellung Ihres Modells verwenden.
Nur ein Vorschlag: Nehmen Sie diese beiden Muster heraus und bauen Sie Ihre Modelle um.Verwenden Sie diese Proben dann als Testdaten, indem Sie sie Ihrer Datentabelle hinzufügen und sehen Sie, wie die Vorhersagen ausfallen.Stellen Sie sicher, dass Sie Ihre Vorhersageformel zuerst in der Datentabelle speichern und dann unten die „neuen“ Daten hinzufügen.Vergleichen Sie die tatsächlichen Daten mit den vorhergesagten Werten.Sie können dies auch mit Ihrem Vorhersageprofiler tun, indem Sie die Eingabeeinstellungen ändern und links den vorhergesagten Wert sehen.
Was Ihr Residuendiagramm betrifft, so sieht es so aus, als ob der Punkt oben rechts ein potenzieller Ausreißer ist, und dies wird auch Ihre Ergebnisse verzerren.Passen Sie das Modell ohne diesen Punkt erneut an und überprüfen Sie dann die Parameter Ihres Anpassungsmodells.
Hoffe das hilft,
Rechnung
Betreff: DOE: Signifikantes Modell mit erheblicher mangelnder PassungDanke Peter.
Ich habe mir bereits die Residuen angesehen (siehe Grafik unten). Im Residuendiagramm ist kein latentes Muster erkennbar, es liegt jedoch eine zufällige Streuung der Residuen vor. Die Y2-Antwort variiert zwischen 0 und 100 (es handelt sich um einen Ertrag), daher halte ich die Größe (<5 %) der Residuen für akzeptabel. Allerdings kann ich sagen, dass der Residuum, der dem höheren Y2-Wert entspricht, „relativ“ höher ist (~4) dass die anderen auf ein geringeres Maß an Vertrauen für die Vorhersage der hohen Y2-Werte schließen lassen. Dies war auch sichtbar, wenn das beobachtete Y2 im Vergleich zum mit Konfidenzintervallen vorhergesagten Y2 aufgetragen wurde.
Glauben Sie also, dass ich unter Berücksichtigung all dieser Beobachtungen dieses Modell vernünftigerweise akzeptieren und versuchen könnte, es mit zusätzlichen Durchläufen zu validieren?
Nochmals vielen Dank für die Hilfe!
Betreff: DOE: Signifikantes Modell mit erheblicher mangelnder PassungQuentin: Sie fragen: „Muss ich mein Modell in den Müll werfen?“ Nur wenn das Modell, um George Box zu paraphrasieren, „nicht nützlich“ ist. LOF ist nur einer, und ich betone nur einen Test, der zur Bewertung des Modellnutzens verwendet wird. Haben Sie einen Blick auf Ihre Restgrundstücke geworfen? Sind sie aus vorhersagetechnischer Sicht problematisch? Wie wäre es mit der Größenordnung der Residuen im gesamten experimentellen Raum? Ich bleibe nicht allzu sehr bei LOF hängen, insbesondere wenn ich die Möglichkeiten ausgeschöpft habe, das Modell durch das Hinzufügen von Begriffen zu ändern. Was ich tun würde, wäre einen Blick auf die Vorhersagen im Vergleich zu den Residuen zu werfen ... und das zu bewerten, was ich „Größe des Fehlschlags“ oder den Residuenwert nenne. Ist die Größe oder Richtung des Restes aus praktischer Sicht problematisch? Wenn nicht ... warum sollte man sich über LOF Sorgen machen?
Abschließend möchte ich Sie dazu ermutigen, einige zusätzliche Versuche zur Modellüberprüfung durchzuführen. Dieser Schritt sollte ohnehin unabhängig von den LOF-Ergebnissen durchgeführt werden, um die Nützlichkeit des Modells zu überprüfen. Wenn sich diese Überprüfungsläufe aus praktischer Sicht als in Ordnung herausstellen, wen interessiert dann noch einmal LOF?
Viel Glück.
