585665_de-DE

liliconcom

Betreff: Vorhersage und Konfidenzintervall für DOE mit zufälligem Block?

Hallo @JMPLearner_2022 ,

 

Wenn Sie sich Ihre Datei ansehen, sind hier einige Kommentare, die Ihnen helfen können:

• Wenn ich mir Ihr Modell ansehe, habe ich das Modell Schritt für Schritt neu erstellt (mit derselben Persönlichkeit, Betonung und Methode), um zu sehen, ob ich dieselben Ergebnisse wie bei dem von Ihnen gespeicherten Modell finden würde. Ich habe ein etwas anderes Modell, weniger "sparsam", da ich drei weitere Begriffe in meinem Modell habe: X1 * X6, X2 * X3 und X2 * X4. Beim Vergleich der beiden Modelle sehe ich, dass drei weitere Terme im Modell ein höheres R² (0,95 vs. 0,86), ein höheres bereinigtes R² (0,90 vs. 0,79), einen niedrigeren RMSE (1 ,51 vs. 2,13) und einen niedrigeren p-Wert für das Modell (<0,0001 vs. 0,0003), auch wenn mein letzter Term X2*X4 einen p-Wert über 0,05 hat. Dieses Signifikanzniveau hilft Ihnen, signifikante von nicht signifikanten Faktoren zu unterscheiden, sollte jedoch nicht Ihre einzige Richtlinie in der Modellierungs-/Analysephase sein. Sie sollten sich auch ansehen, wie gut Ihr Modell die Antwort erklärt (mit Metriken wie R², R² adjustiert, ...) und wie genau es ist (mit Metriken wie RMSE). Es kann besser sein, das Entfernen von Termen zu stoppen, selbst wenn einer über dem Schwellenwert von 0,05 liegt, wenn Sie ein zuverlässigeres Modell gefunden haben. Sie können sich auch die Residuen ansehen: Sie können auch Krümmungen oder Muster zeigen, die Ihnen helfen können festzustellen, ob noch ein Effekt fehlt. Bewerten Sie nach Möglichkeit auch das endgültige Modell und vergleichen Sie es mit Fachkenntnissen: Ist das Modell sinnvoll? Würden Sie erwarten, dass einige Effekte/Terme vernachlässigbar oder wichtig sind? Siehe das Skript "Fit Model 2" in der JMP-Datentabelle für weitere Details zu dem Modell, das ich gefunden habe.
• Da Sie in Ihrer Plattform "Modell anpassen" einen Zufallsblock angegeben und eingeführt haben, könnte es interessant sein zu wissen, ob dieser Zufallsblock ein signifikanter Begriff ist, der das Modell ist oder nicht, oder in Ihrem Fall anders gesagt: Gibt es einen Blockeffekt auf meine Ergebnisse aufgrund meiner Ausrüstungsbeschränkung, die ich beim Modellieren beachten/verwenden sollte? Wenn Sie sich das Panel „REML Variance Component Estimates“ ansehen, können Sie sehen, dass der p-Wert von Wald über dem Schwellenwert von 0,05 liegt, was bedeutet, dass der Blockeffekt nicht signifikant von Null abweicht. Das gibt Ihnen einen Hinweis darauf, dass dieser Blockeffekt in zukünftigen Experimenten oder in der Analyse entfernt werden kann. Mehr Infos hier: Restricted Maximum Likelihood (REML)-Methode (jmp.com)
• In meinem Fall erscheint beim Klicken auf das rote Dreieck von „Response Y“ und als nächstes „Factor Profiling“ und „Profiler“ der Zufallsblock nicht. Sie haben es im Profiler Ihres Modells ( Bedingte Profiler (jmp.com) ), da im roten Dreieck Ihres Profilers die Option "Bedingte Vorhersagen" angehakt ist. Wenn Sie es deaktivieren, sehen Sie diesen zufälligen Blockierungseffekt nicht mehr und die Werte des 95 %-Konfidenzintervalls ändern sich ebenfalls, um diese Änderung widerzuspiegeln.
• Sobald dies erledigt ist, können Sie die „Vorhersageformel“ und das „mittlere Konfidenzintervall“ über das rote Dreieck „Spalten speichern“ speichern und die entsprechende Formel auswählen. Sie sollten bei den vorherigen Schritten den Zufallsblock in der Formel nicht sehen.

 

Hoffe das wird dir helfen,

Betreff: Vorhersage und Konfidenzintervall für DOE mit zufälligem Block?

Hallo @Victor_G , vielen Dank für Ihre schnelle Antwort. Deine Erklärung ist sehr hilfreich. Ich habe noch eine Frage, da Sie erwähnt haben, dass der Zufallseffekt nicht signifikant ist. Ich habe den Block im Modell entfernt und den Term mit pvalue > 0,05 entfernt, und ich habe ein völlig anderes Modell (Fit-Modell 3 in der JMP-Datei) erhalten, dessen R2-Anpassung ziemlich niedrig ist. Können Sie bitte erklären, in welcher Situation wir Zufallseffekte in das Modell einbeziehen müssen oder nicht? Nochmal vielen Dank.

Betreff: Vorhersage und Konfidenzintervall für DOE mit zufälligem Block?

Hi @JMPLearner_2022 ,

 

Ich habe vielleicht etwas zu schnell auf den zufälligen Blockeffekt und den Vorschlag, ihn zu entfernen, geantwortet, sorry dafür.

Eine allgemeine Frage vor meinen Kommentaren/Antworten: Kennen Sie das wahre Modell hinter Y (da Sie über simulierte Ergebnisse gesprochen haben), um die verschiedenen Modelle mit dem "wahren" Simulationsmodell zu vergleichen?

 

Der zufällige Blockierungseffekt hilft Ihnen, das Rauschen in der Analyse zu reduzieren, indem Blöcke erstellt werden, bei denen die Variabilität innerhalb eines Blocks gering ist. Dieser Prozess hilft Ihnen, signifikante Auswirkungen leichter zu bestimmen und zu sortieren.

• Auf einer "konzeptionellen" Ebene scheint es relevanter zu sein, diesen zufälligen Blockeffekt beizubehalten, da Sie Ihr DoE damit entworfen haben.

 

Auch wenn er nicht signifikant ist, scheint Ihr zufälliger Blockeffekt ziemlich effektiv zu sein, um Rauschen aus den Experimenten zu entfernen, da er 70 (in Ihrem ersten Modell) bis 83 % (in dem zweiten Modell) der Gesamtvarianz durch diesen Blockeffekt erfasst. Selbst wenn es nicht signifikant ist, gewinnen Sie sicherlich mehr Präzision in Ihrem Modell, wenn Sie es beibehalten (dies ist auch ersichtlich, wenn Sie die RMSEs Ihrer Modelle 1, 2 und 3 vergleichen).

• Auf einer "Analyse"-Ebene hilft Ihnen das Beibehalten Ihres zufälligen Blockeffekts, die Varianz in Ihrem Modell (und Ihren Vorhersagen) zu reduzieren.

 

Was sind die Folgen des Entfernens des Random-Blocking-Effekts?

1. Der unerklärliche Fehler im Modell wird größer sein (wie Sie sehen können, wenn Sie den RMSE Ihres Modells 3 im Vergleich zu den Modellen 2 und 1 betrachten).
2. Daher ist der Test des Behandlungseffekts möglicherweise weniger aussagekräftig, sodass Sie möglicherweise einige signifikante Effekte aufgrund des erhöhten "Rauschens" / Fehlers übersehen / entfernen (deshalb erhalten Sie möglicherweise ein sparsameres Modell in Modell 3).
3. Die Parameterschätzwerte und Standardabweichungen können sich ändern (dies wird auch sichtbar, wenn ein Effekt in der Modellierung hinzugefügt/entfernt wird).

 

In diesem vorliegenden Fall ist es schwierig, ein Modell zugunsten eines anderen auszuwählen, es sei denn, Sie haben das echte simulierte Modell für Y, um zu wissen, welches Modell am besten abschneidet, da sie sehr nahe beieinander liegen (wenn man sich ansieht, welche Effekte im Modell enthalten sind). und ihre Parameterschätzungen). Sie können auch die verschiedenen Vorhersage-Profiler vergleichen (siehe Skript "Vergleich von Modellen - Profiler" in der Datentabelle), sie scheinen in Bezug auf die Wichtigkeit der Faktoren übereinstimmend zu sein und welches Niveau für jeden Faktor das Optimum zu sein scheint. Es gibt einige Unterschiede bei den Krümmungen einiger Faktoren (z. B. hat X1 eine gewisse Krümmung in Modell 3, während X3 eine gewisse Krümmung in Modell 1 und 2 mit zufälligem Block hat).

Ich würde immer noch Modell 2 bevorzugen, da es zufälliges Blockieren berücksichtigt und bessere "Leistungen" zu haben scheint, aber dies ist möglicherweise nicht die endgültige Wahl.

 

Lassen Sie uns am Ende von Georges Box daran erinnern: "Alle Modelle sind falsch, aber einige sind nützlich". Die Wahl des Modells sollte auch unter Berücksichtigung seiner "Nützlichkeit" und in Übereinstimmung mit Domänenexpertise erfolgen.

Im Zweifelsfall können Sie immer noch einige Validierungsläufe hinzufügen, die Ihnen helfen können, zu sehen/zu vergleichen, welche Modelle besser generalisieren als die anderen.

 

Entschuldigung für diese "nicht deterministische" Antwort, aber ich hoffe, das wird Ihnen helfen,

Frohes neues Jahr !

Betreff: Vorhersage und Konfidenzintervall für DOE mit zufälligem Block?

Hi @Victor_G , ich habe Ihre Erklärung sehr geschätzt, ich habe ein viel besseres Verständnis für den Zufallseffekt in der DoE-Datenanalyse. Wie Sie bereits erwähnt haben, können wir das Modell besser an die vorhandenen Daten mit hohem R2 adj und weniger RMSE anpassen.Ich habe noch eine Frage zum Zufallseffekt bei der Vorhersage. Ich habe bemerkt, dass die Vorhersageformel bedingt ist, was bedeutet, dass sie unterschiedliche Offsets für verschiedene Blöcke hat, aber für den zukünftigen Lauf null ist. Ist es wahr? Ich habe versucht, ein Modell anzupassen, dessen Zufallseffekt signifikant ist, aber der Vorhersage-Offset hat immer noch eine Null. Könnten Sie bitte meine Frage erläutern? Vielen Dank für Ihre erneute Hilfe.

Betreff: Vorhersage und Konfidenzintervall für DOE mit zufälligem Block?

Hi @JMPLearner_2022 ,

 

Sie haben im Profiler die Wahl zwischen "Bedingte Vorhersagen" oder nicht bedingte Vorhersagen (überprüfen Sie im roten Dreieck des Profilers, ob die Option "Bedingte Vorhersagen" aktiviert ist, kurz vor der letzten Option des Menüs "Darstellung" ).

 

Wie Sie bereits erwähnt haben, können Sie mit „Conditional Predictions“ das Niveau des zufälligen Blocks auswählen (so dass Sie am Ende kleinere Konfidenzintervalle erhalten, da der Effekt des zufälligen Blocks nicht mehr zufällig ist, sondern eher wie ein fester Effekt, den Sie auswählen können), während wann die bedingte Option deaktiviert ist, wird der zufällige Blockeffekt für die Varianz der Vorhersagen berücksichtigt (Sie können die Ebene des zufälligen Blocks nicht auswählen und Sie erhalten größere Konfidenzintervalle).

• Im Fall von "Conditional Predictions" werden neue zukünftige Läufe einem neuen Block zugeordnet, aber da die Auswirkung dieses neuen Blocks noch unbekannt ist, hat er standardmäßig einen Offset-Wert von 0 (es ist nicht möglich, dies im Voraus zu wissen wenn neue Läufe in diesem Block im Durchschnitt höher oder niedriger sind als vorherige Läufe aus anderen Blöcken, also keinen Offset haben).
• In Ihrem Fall können Sie „Bedingte Vorhersagen“ deaktivieren und sich die Vorhersageformel im roten Dreieck neben „Antwort Y“, „Schätzungen“, „Vorhersageformel anzeigen“ ansehen. Möglicherweise haben Sie eine ähnliche Formel wie diese (und Sie können überprüfen, ob zufällige Blockebenen in dieser Formel nicht vorhanden sind):
  

  2.41318058401651 + 1.08446092046299 * :X1 + 0.672993409088489 * :X2 + 1.00977007848638 * :X3
  +1.41114309105797 * :X4 + Match( :X6,
   "L1", 1.46585081504277,
   "L2", -1.30266943360671,
   "L3", -0.163181381436053,
   .
  ) + :X1 * (:X2 * 1.58560226366689) + :X2 * (:X3 * 1.30368310940107) + :X3 * (:X3 *
  3.86103114153648) + :X2 * (:X4 * 0.591689620884462) + :X1 *
  Match( :X6, "L1", 1.6824493957067, "L2", -0.835857163875241, "L3", -0.846592231831457, . ) +
  :X2 * Match( :X6, "L1", 2.20524178427256, "L2", -2.78718463269197, "L3", 0.58194284841941, . )
   + :X4 * Match( :X6,
   "L1", 3.57200821808011,
   "L2", -3.45349090461962,
   "L3", -0.118517313460483,
   .
  )

  Sie können Formeln für die Antwort und für das untere/obere 95 %-KI speichern. Dies gibt Ihnen Vorhersagen unter Berücksichtigung des zufälligen Blockeffekts und kann in Ihrem Fall relevanter sein.

 

Ich hoffe, diese Antwort hilft Ihnen,

Vorhersage und sicheres Intervall für DOE mit Zufallsblock?

Ich habe im Anhang ein benutzerdefiniertes Design mit fünf kontinuierlichen Faktoren und einem kategorialen Faktor mit drei Ebenen. Aufgrund der Gerätebeschränkung enthält dieses Design 36 Experimente in 6 Blöcken. Die Ergebnisse in dieser Datei werden anstelle tatsächlicher Ergebnisse simuliert. Ich habe das Standardmodell verwendet und dann nacheinander Begriffe mit einem PV-Wert > 0,05 aus der Effektzusammenfassung entfernt, und schließlich habe ich ein Modell erhalten. Allerdings gibt es im Vorhersageprofiler einen Zufallsblock[1-6], ich muss einen davon auswählen, was keinen Sinn ergibt, da das neue Experiment ein anderer Block sein wird. Wie kann ich einen anderen Block anstelle von 1-6 auswählen? Ich habe der JMP-Datei eine neue Zeile hinzugefügt, die neue Werte vorhersagen kann, jedoch ohne sicheres Intervall. Wie erhalte ich das sichere Intervall? Ich wusste, dass wir CI anhand der folgenden Formel berechnen können. Welche Formel für die sichere Intervallberechnung lautet für den DoE mit Zufallseffekt? Sollte ich den Durchschnittswert des Zufallseffekts zusätzlich zum CI hinzufügen?

 

Vielen Dank für deine Hilfe.

 

 

 

VersuchsplanungWindows