Ermittlung der Effektstärken für nicht orthogonale VersuchsplanungHallo, ich bin ziemlich neu bei JMP und hätte eine Frage zur Interpretation von Regressions- vs. orthogonalisierten Effekten.
Ich habe ein dreifaktorielles, dreistufiges Versuchsdesign (X, Y, Z) mit Simulationen durchgeführt, um Haupteffekte und Wechselwirkungen auf eine Zielgröße (Kraft) zu untersuchen. Da mir einige Versuche fehlten, ist das Design nicht vollständig orthogonal.
Ich habe mit Fit Model eine Regression durchgeführt und die üblichen Ergebnisse erhalten (Schätzwert, t-Wert, Wahrscheinlichkeit > |t|). Außerdem habe ich mir das Effekt-Screening/Pareto-Diagramm angesehen, das orthogonal kodierte Effekte verwendet.
Ich bin etwas verwirrt darüber, was ich eigentlich verwenden soll:
- Sollte ich mich bei der Entscheidung, ob ein Effekt signifikant ist, auf die regulären Regressionsergebnisse (p-Werte) oder auf die orthogonalisierten Ergebnisse stützen?
- Um zu berichten, wie groß ein Effekt auf die Zielgröße ist, ist es besser, die Regressionskoeffizienten, die orthogonal kodierten Werte oder etwas wie die vorhergesagte Veränderung über den Faktorbereich hinweg zu verwenden?
- Wenn JMP orthogonal kodierte Effekte ausgibt, basieren diese dann immer noch auf den zentrierten Termen vom Typ (X − Mittelwert)(Y − Mittelwert), oder ändert die Orthogonalisierung den Bezugspunkt, der für die Interpretation von Interaktionen verwendet wird?
Ich möchte nur sichergehen, dass ich alles richtig interpretiere, da das Design nicht perfekt orthogonal ist.
Danke!
Datenexploration und -visualisierungVersuchsplanungErgebnisse teilen und kommunizierenBetreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungHallo @RandomSquirrel1 ,
Willkommen in der Community!
Aufgrund der wenigen Informationen und des begrenzten Kontextes, die Sie bereitgestellt haben, ist es schwierig, Ihnen gezielt zu helfen und Sie anzuleiten. Hier sind einige weitere Fragen, die helfen sollen, Ihr Thema besser zu verstehen und die Diskussion anzustoßen:
- Was ist das Ziel Ihrer Studie? Spezifische Effekte/Begriffe identifizieren, ein Phänomen vorhersagen, eine Reaktion optimieren, einen experimentellen Raum erkunden, ...?
- Welchen Versuchsplan haben Sie erstellt? Mit drei Stufen für jeden Ihrer drei Faktoren klingt es so, als hätten Sie für kontinuierliche Faktoren ein Response-Surface-Modell (RSM) wie ein I-optimales, CCD- oder Box-Behnken-Design erstellt, oder für kategoriale Faktoren einen vollständigen/teilfaktoriellen/optimalen faktoriellen Versuchsplan. Wie viele Versuchsdurchgänge umfasst Ihr Versuchsplan? Gibt es Wiederholungsdurchgänge?
- Wie viele Messreihen fehlen und wo genau liegen diese? Was ist der Grund für die fehlenden Messreihen (war es unmöglich/nicht durchführbar, das Experiment durchzuführen oder die Reaktion zu messen?)?
Ich empfehle Ihnen zunächst, Ihr Design mit den fehlenden Läufen (ausgeschlossenen Zeilen) zu evaluieren und mit Ihrem vollständigen, geplanten Design zu vergleichen, um die möglichen Auswirkungen der fehlenden Läufe besser einschätzen zu können. Nutzen Sie dazu die Plattform „Designs vergleichen“ und vergleichen Sie die Designtabellen mit und ohne die fehlenden Läufe. Dies hilft Ihnen, die Änderungen in der Aliasing-Struktur und mögliche Änderungen der relativen Schätzeffizienz der Terme in Ihrem Modell zu ermitteln.
Nachdem Sie die Versuchssituation analysiert haben, können Sie anhand der Varianzinflationsfaktoren (VIF) und Standardfehler im Panel „Parameterschätzungen“ beurteilen, inwieweit die fehlenden Läufe die Schätzung der Modellterme beeinflusst haben. Die VIF-Werte und Standardfehler helfen Ihnen dabei, die Zuverlässigkeit der Termschätzungen (und der zugehörigen p-Werte) Ihres Modells bei fehlenden Läufen einzuschätzen.
Ich würde auch die Effekte und p-Werte der orthogonalisierten Terme mit denen der regulären Terme vergleichen. Sehen Sie eine praktisch relevante Änderung der Parameterschätzungen zwischen den beiden Ergebnissen? Sind die p-Werte ähnlich? Hat einer der Effekte praktische Bedeutung für die Zielgröße? Sowohl die praktische Relevanz als auch die statistische Signifikanz müssen berücksichtigt werden.
Ihre Frage zur Berichterstattung hängt ebenfalls mit Ihrer Fragestellung und Ihren Zielen zusammen. Was wollten Sie herausfinden/untersuchen? Welche dieser Änderungen ist für Ihre Studie relevanter?
Zu Ihrer letzten Frage: Der Orthonormalisierungsprozess verwendet die ursprünglichen Schätzwerte und skaliert sie mithilfe der Kovarianzmatrix und eines Skalierungsfaktors, der mit der Zeilenanzahl und dem RMSE zusammenhängt. Sind Ihre Faktoren mit der Eigenschaft „Kodierungsspalte“ wohldefiniert, basieren die orthonormalisierten Schätzwerte auf den zentrierten und skalierten Schätzwerten . Bitte beachten Sie, dass diese orthonormalisierten Schätzwerte von der Reihenfolge der Terme im Modell abhängen. Stellen Sie daher sicher, dass Sie die Effektvererbung berücksichtigen.
Ich hoffe, dieser Diskussionsanstoß hilft Ihnen weiter.
Betreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungIch sende diese Antwort erneut, falls sie nicht veröffentlicht wurde (meine vorherigen Antworten wurden nicht angezeigt).
Hallo Victor,
Vielen Dank für Ihre Antwort.
Um den Kontext zu verdeutlichen, untersucht meine Studie, wie die geometrische Positionierung eines Ankers (X, Y, Z) einen Verletzungsparameter beeinflusst. Ziel ist es, die einflussreichsten Richtungen zu identifizieren und zu quantifizieren, wie sich Änderungen in jeder Richtung auf die Reaktion auswirken (z. B. die Bewegung des Ankers von seiner maximalen zur minimalen Position).
Ich behandelte die Faktoren als kontinuierliche Variablen mit den Werten −1, 0 und 1 und passte ein lineares Regressionsmodell erster Ordnung mittels der Methode der kleinsten Quadrate an. Jede Konfiguration wurde einmal simuliert.
Aus physikalischen Gründen konnten an extremen Standorten keine Läufe durchgeführt werden:
• Erste DOE: 3 von 27 fehlen
• Zweiter DOE: 7 von 27 fehlen
Das angepasste Modell war:
Verletzung = β₀ + β₁X + β₂Y + β₃Z + β₄XY + β₅XZ + β₆YZ + β₇XYZ
Modelldiagnose:
- Die VIF-Werte lagen zwischen ~1,0 und 1,35, was auf eine geringe Multikollinearität hindeutet.
- Die Standardfehler lagen zwischen etwa 0,4 und etwa 1,1.
Die Ausgaben, die ich zu interpretieren versuche, sind:
• Identifizierung der signifikanten Haupt- und Interaktionseffekte
• Abschätzung der Stärke jedes Effekts (z. B. Änderung der Reaktion von −1 auf +1). Meinem Verständnis nach entspricht dies bei kodierten Variablen ungefähr dem Doppelten des Regressionskoeffizienten.
Beim Vergleich der Ergebnisse der regulären Regression mit den orthogonalisierten Ergebnissen sind die signifikanten Effekte im Allgemeinen konsistent, obwohl sich in einigen Fällen ein Interaktionsterm geringfügig um die Signifikanzschwelle verschiebt (z. B. p = 0,048 vs. 0,051).
Wäre es angesichts dessen angemessen, die Standardausgabe der Regression (Schätzwert, t-Wert, Wahrscheinlichkeit > |t|) zur Bestimmung der Signifikanz und zur Interpretation der Effektstärken zu verwenden?
Ich danke Ihnen für Ihre Hilfe!
Betreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungHallo Victor,
Vielen Dank für Ihre Antwort.
Um den Kontext zu verdeutlichen, untersucht meine Studie, wie die geometrische Positionierung eines Ankers (X, Y, Z) einen Verletzungsparameter beeinflusst. Ziel ist es, die einflussreichsten Richtungen zu identifizieren und zu quantifizieren, wie sich Änderungen in jeder Richtung auf die Reaktion auswirken (z. B. die Bewegung des Ankers von seiner maximalen zur minimalen Position).
Ich behandelte die Faktoren als kontinuierliche Variablen mit den Werten −1, 0 und 1 und passte ein lineares Regressionsmodell erster Ordnung mittels der Methode der kleinsten Quadrate an. Jede Konfiguration wurde einmal simuliert. Die Zielgröße lag zwischen 40 und 55.
Aus physikalischen Gründen konnten an extremen Standorten keine Läufe durchgeführt werden:
• Erste DOE: 3 von 27 fehlen
• Zweiter DOE: 7 von 27 fehlen
Das angepasste Modell war:
Verletzung = β₀ + β₁X + β₂Y + β₃Z + β₄XY + β₅XZ + β₆YZ + β₇XYZ
Modelldiagnose:
- Die VIF-Werte lagen zwischen ~1,0 und 1,35, was auf eine geringe Multikollinearität hindeutet.
- Die Standardfehler lagen zwischen etwa 0,4 und etwa 1,1.
Die Ausgaben, die ich zu interpretieren versuche, sind:
• Identifizierung der signifikanten Haupt- und Interaktionseffekte
• Abschätzung der Stärke jedes Effekts (z. B. Änderung der Reaktion von −1 auf +1). Meinem Verständnis nach entspricht dies bei kodierten Variablen ungefähr dem Doppelten des Regressionskoeffizienten.
Beim Vergleich der Ergebnisse der regulären Regression mit den orthogonalisierten Ergebnissen sind die signifikanten Effekte im Allgemeinen konsistent, obwohl sich in einigen Fällen ein Interaktionsterm geringfügig um die Signifikanzschwelle verschiebt (z. B. p = 0,048 vs. 0,051).
Wäre es angesichts dessen angemessen, die Standardausgabe der Regression (Schätzwert, t-Wert, Wahrscheinlichkeit > |t|) zur Bestimmung der Signifikanz und zur Interpretation der Effektstärken zu verwenden?
Vielen Dank für Ihre Hilfe!
Betreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungHallo @RandomSquirrel1 ,
Okay, danke. Die von Ihnen hinzugefügten Informationen und Ergebnisse helfen sehr, den Kontext zu verstehen.
Angesichts der Anzahl der Faktoren, Stufen und der Gesamtzahl der Versuche in Ihren Versuchsplänen gehe ich davon aus, dass Sie vollständig faktorielle Versuchspläne verwendet haben. Diese Pläne testen jede Kombination der Faktorstufen und sind daher recht robust gegenüber (einigen) fehlenden Werten. Diese Annahme wird durch Ihre Ergebnisse bestätigt. Aufgrund der niedrigen VIF-Werte und der geringen Differenz zwischen orthogonalisierten und regulären Werten in Ihrem Versuchsplan erscheint die Verwendung der Standard-Regressionsausgabe angemessen.
Ja, Sie haben Recht, die Parameterschätzwerte für Ihre Haupteffekte stellen die Änderung des Antwortwertes dar, wenn der Faktor von 0 auf 1 (oder von -1 auf 0, eine Einheitsskala) geht, also die Hälfte Ihres Bereichs, wenn die anderen Faktoren konstant/fest sind.
Weitere Anmerkungen:
- Bitte überprüfen Sie anhand der Zeilendiagnosediagramme (Ist- Wert-gegen-Vorhersage-Diagramm und Residuendiagramm), ob Ihr Modell die Regressionsannahmen erfüllt. So stellen Sie sicher, dass Ihr Modell Ihre Daten adäquat abbildet und keine Terme fehlen (beispielsweise müssen Sie möglicherweise quadratische Effekte wie X*X, Y*Y und Z*Z hinzufügen) oder dass keine spezielle Transformation (wie die Box-Cox-Transformation ) erforderlich ist.
- Verwenden Sie verschiedene Kennzahlen, um sicherzustellen, dass Ihr Modell an Ihre Daten angepasst ist. Einzelne p-Werte zur Bestimmung der Signifikanz einzelner Terme sind ein guter Anfang, aber ich würde keinen Term allein aufgrund dieser Information aus dem Modell entfernen. Betrachten Sie die Modellgüteübersicht ( Zusammenfassung der Passform ), insbesondere den RMSE (Vorhersagegenauigkeit), das korrigierte R² (sowie die Differenz zwischen beiden, die minimiert werden sollte), die statistische Signifikanz des Gesamtmodells und die Informationskriterien AICc/BIC (die ebenfalls minimiert werden sollten). Diese Kennzahlen helfen, das Verhältnis zwischen Modellkomplexität und -genauigkeit zu verstehen. Terme, die nahe an der statistischen Signifikanz liegen, sollten im Modell beibehalten werden.
- Versuchen Sie, Ihr Modell zu validieren, indem Sie einige Validierungsläufe durchführen, die Ihnen helfen, die ausreichende Genauigkeit Ihres Modells zu bestätigen; dies erhöht auch das Vertrauen in die berechneten Modellterme.
- Wenn Sie die Modellvalidierung unter Vermeidung extremer Positionen durchführen möchten oder wenn die Modellvalidierung nicht erfolgreich ist und Sie möglicherweise zusätzliche Läufe benötigen, um das Modell zu verfeinern und seine Eignung zu bestätigen, während Sie Ihre Einschränkungen berücksichtigen, können Sie die Plattform Augment Designs verwenden, um neue Läufe in Ihrem Design zu erstellen und Faktorbeschränkungen anzugeben, sodass diese neuen Läufe nicht an extremen Positionen erstellt werden.
Ich hoffe, diese Antwort und die möglichen nächsten Schritte helfen Ihnen beim Abschluss Ihres Studiums.
Betreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungNur ein paar Anmerkungen/Beobachtungen (in keiner bestimmten Reihenfolge):
Um den Kontext zu verdeutlichen, können Sie erläutern, warum X, Y oder Z die Verletzungsmetrik beeinflussen würden (Hypothesen)? Wenn Sie die Rangfolge der Modelleffekte vorhersagen sollten, wie sähe diese Rangfolge aus?
1. Sie geben an, ein Modell erster Ordnung angepasst zu haben … nicht ganz, Sie haben Wechselwirkungen zweiter und dritter Ordnung in Ihr Modell einbezogen. Es gibt sowohl faktorielle als auch polynomische Wechselwirkungen.
2. Sie haben jede Variable auf drei Stufen getestet, was bedeutet, dass Sie auch die quadratischen Terme schätzen können. Warum haben Sie diese Terme aus dem Modell herausgelassen? Oder falls Sie nicht an nichtlinearen Zusammenhängen interessiert waren, warum haben Sie dann auf drei Stufen getestet?
3. Ihre Zielvariable ist ein „Verletzungsindikator“. Mir ist der Kontext dieser Variable nicht bekannt. Was genau ist das? Die in Ihrem simulierten Experiment erzeugte Variation lag zwischen 40 und 55. Ist das von praktischer Bedeutung? Ab welcher Änderung ist diese Kennzahl relevant? Wäre eine Änderung um eine Einheit relevant? Und wie sieht es mit fünf oder zehn aus?
4. Sie führen eine Simulation durch. Ihnen ist bewusst, dass der Algorithmus (das Modell) bereits existiert. Versuchen Sie, den Algorithmus zu ermitteln? Warum gibt es in einer Simulation eine physikalische Unmöglichkeit?
5. Was genau meinen Sie mit erstem und zweitem Experiment? Handelt es sich um Replikate? Was hat sich zwischen den Replikaten geändert? Warum wären 3 im ersten und 7 im zweiten Experiment nicht durchführbar, wenn es sich um Replikate (identische Behandlungskombinationen) handelt? Sind fehlende Durchläufe aus dem ersten Experiment im zweiten verfügbar (oder umgekehrt)?
6. Ihre Analyse sollte im Allgemeinen zunächst die praktische Signifikanz bestimmen. Ist diese erfüllt, erfolgt die grafische und schließlich die quantitative Analyse. Gibt es ungewöhnliche Datenpunkte? Die quantitative Analyse sollte mit einem gesättigten Modell beginnen (was bei randomisierten Replikaten jedoch nicht möglich ist). Verstehen Sie, woraus sich der mittlere quadratische Fehler zusammensetzt (welche Faktoren oder welches Rauschen). Ohne Kenntnisse darüber, wie der Fehler geschätzt wird und ob er die reale Variation repräsentiert, sind p-Werte wenig aussagekräftig. Das korrigierte R² ist die Standardstatistik, die maximiert werden sollte. Sie sollten die Differenz zwischen R² und dem korrigierten R² minimieren (Überspezifikation reduzieren).
Übrigens, falls Sie Probleme mit der Ausführung extremer Eckpunkte haben, ist Box-Behnken die empfohlene Lösung.
Betreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungHallo statman, vielen Dank für das ausführliche Feedback. Ich weiß es zu schätzen, dass Sie sich die Zeit genommen haben, dies durchzugehen.
Um einige Punkte zu verdeutlichen:
Ich habe mich geirrt, als ich schrieb, es handele sich um ein lineares Modell erster Ordnung; es ist ein lineares Modell mit Wechselwirkungen. Die Verwendung von drei Stufen (−1, 0, 1) sollte den Designraum besser abbilden und die Erkennung potenzieller Nichtlinearitäten ermöglichen. Gleichzeitig sollte die Schätzung von Haupt- und Wechselwirkungseffekten über den gesamten Bereich der Ankerpositionen verbessert werden. Der Mittelpunkt sollte zur Schätzung der linearen und Wechselwirkungskoeffizienten beitragen und die Annahme der Linearität überprüfen.
Hinsichtlich der praktischen Relevanz ist die Sternumverformung (in mm) die maßgebliche Messgröße, die in direktem Zusammenhang mit dem Verletzungsrisiko (z. B. Rippenfrakturen) steht. Selbst relativ geringe Veränderungen dieses Messwerts können mit einer signifikanten Erhöhung der Verletzungswahrscheinlichkeit einhergehen. Daher wurden bei der Interpretation der Ergebnisse sowohl die statistische als auch die praktische Relevanz berücksichtigt.
Die beiden Versuchsreihen (DOEs) entsprechen unterschiedlichen Ankerkonfigurationen und nicht Replikaten, weshalb sich die Anzahl der fehlenden Durchläufe unterscheidet. Die ausgeschlossenen Konfigurationen befanden sich an extremen Standorten, die zu physikalisch unrealistischen oder ungültigen Aufbauten führten und wurden daher als nicht durchführbar eingestuft.
Ich werde die von Ihnen erwähnten Modelldiagnostiken genauer untersuchen, insbesondere das Verhalten der Residuen, die Gütekriterien (RMSE, korrigiertes R²/R²) und die Rolle des Fehlerterms bei fehlender Replikation. Dies sollte helfen, besser zu beurteilen, ob zusätzliche Terme (z. B. quadratische Effekte) oder Modellverfeinerungen erforderlich sind.
Nochmals vielen Dank für die Vorschläge zur Modelldiagnostik und praktischen Interpretation.
Betreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungHallo Victor,
Vielen Dank für die Empfehlungen. Ich werde vorsichtig sein, Terme aus dem Modell allein aufgrund statistischer Signifikanz zu entfernen.
Ich habe eine Frage zu den Parameterschätzungen in der Modellausgabe. Anstatt der üblichen Formeln X Y werden die Interaktionsterme in der Form (X − 0,0833) (Y + 0,0833) ausgegeben. Ich vermute, dass dies an einer Neuzentrierung der Variablen durch die Software liegt.
Würde diese Neuzentrierung Auswirkungen auf die Interpretation der Haupt- und Interaktionseffekte haben, oder ist die Interpretation der Koeffizienten weiterhin mit den ursprünglich kodierten Variablen vereinbar?
Danke!
Betreff: Ermittlung von Effektstärken für nicht orthogonale VersuchsplanungHallo @RandomSquirrel1 ,
Die Zentrierung ist hilfreich für Terme höherer Ordnung, wie Wechselwirkungen und Polynome, um die Kollinearität zwischen Effekten niedriger und hoher Ordnung zu reduzieren.
Die Interpretation der Stärke zentrierter Effekte ändert sich im Vergleich zu nicht-zentrierten Effekten nicht. Der Wert des Interaktionsterms ist jedoch gleich 0, wenn die Faktoren X und Y auf ihre Mittelwerte gesetzt werden. Anders verhält es sich beim nicht-zentrierten Interaktionseffekt: Hier ist der Wert gleich 0, wenn beide Faktoren den Wert 0 haben, was mitunter außerhalb des untersuchten Faktorbereichs liegen kann. Weitere Informationen zu diesem Thema finden Sie in der Diskussion: Zentrierung von UVs in der Regression (nur bei Interaktionen).
Ich hoffe, diese Antwort hilft Ihnen.
