Welche Effektgröße soll definiert werden: Logworth oder skalierte Schätzungen?Hallo Community,
Ich habe eine Frage dazu, welches Kriterium besser geeignet ist, um die Bedeutung der Auswirkung eines Faktors zu bestimmen: Ist es der „Logworth“ (klarere Visualisierung von p-Werten) oder sind es die „skalierten Schätzungen“?
Als ich mit einem der Beispieldaten (Donev Mixture Data) arbeitete, erhielt ich diese Ergebnisse für Logworth und für skalierte Schätzungen (Bilder unten):
Logworth:
Skalierte Schätzungen:
Sie können sehen, dass im ersten Bild „Glyoxal“ derjenige mit dem höchsten Logworth-Wert ist, und ich denke, dass dies der wirkungsvollere Effekt ist. Wenn wir uns jedoch die „skalierten Schätzungen“ im zweiten Bild ansehen, scheint eher die Wechselwirkung Na2S2O3*Glyoxal einen größeren Einfluss zu haben.
Könnten Sie mir bitte helfen, das zu verstehen? Und auf welchen Teil meines Berichts sollte ich wirklich achten, um festzustellen, welcher Faktor größere Auswirkungen hat?
Danke schön,
julianisch
Erweiterte statistische ModellierungGrundlegende Datenanalyse und ModellierungVersuchsplanungPrädiktive Modellierung und maschinelles LernenBetreff: Welche Effektgröße soll definiert werden: Logworth oder skalierte Schätzungen?Hallo @Julianveda ,
Sie vergleichen zwei unterschiedliche und sich ergänzende Informationen, statistische und praktische Bedeutung.
Statistische Signifikanz bezieht sich auf die Wahrscheinlichkeit, dass ein beobachtetes Ergebnis oder eine Beziehung zwischen Variablen zufällig aufgetreten ist. Mit anderen Worten: Es ist ein Maß dafür, wie sicher wir sein können, dass eine Beziehung zwischen zwei oder mehr Variablen besteht. In der statistischen Analyse wird dies normalerweise anhand eines p-Werts (oder logWorth, der einfach mithilfe der -log-Transformation des entsprechenden p-Werts berechnet wird) bewertet. Dabei handelt es sich um die Wahrscheinlichkeit, ein Ergebnis zu erhalten, das mindestens so extrem ist wie das beobachtete. vorausgesetzt, dass die Nullhypothese (dh die Hypothese, dass zwischen den Variablen keine Beziehung besteht) wahr ist. Wenn der p-Wert unter einem bestimmten Schwellenwert liegt (z. B. 0,01, 0,05 oder 0,1), gilt das Ergebnis als statistisch signifikant, was darauf hinweist, dass die beobachtete Beziehung wahrscheinlich nicht zufällig aufgetreten ist und die Nullhypothese abgelehnt werden kann. Im Kontext von Mischungen wie in Ihrem Beispiel sind herkömmliche Modellauswahltechniken mit p-Werten nicht sinnvoll: Aufgrund der Multikollinearität zwischen geschätzten Effekten (Aliasnamen zwischen Effekten) sind die Standardfehler der Schätzungen recht groß, was zu irreführenden und verzerrten p-Werten führt. Werte. Weitere Infos in dieser Diskussion: https://community.jmp.com/t5/Discussions/Analysis-of-a-Mixture-DOE-with-stepwise-regression/mp/657089/highlight/true#M84611
Unter praktischer Signifikanz versteht man die reale Bedeutung oder Relevanz eines statistischen Ergebnisses. Es geht darum, ob die beobachtete Beziehung praktische oder sinnvolle Auswirkungen hat oder nicht. Die praktische Bedeutung wird durch die Größe der Schätzungen angezeigt: Je größer (in absoluten Werten) ein Term ist, desto wichtiger und desto größer ist sein Einfluss auf das Regressionsmodell der betrachteten Antwort.
Beachten Sie, dass statistische und praktische Signifikanz möglicherweise nicht immer eng miteinander verbunden sind: Ein Ergebnis kann statistisch signifikant, aber praktisch unbedeutend sein, oder das Gegenteil ist der Fall. Bei der Interpretation der Ergebnisse ist es wichtig, beide Bedeutungen zu berücksichtigen.
Ich hoffe, diese erste Antwort wird Ihnen helfen,
Betreff: Welche Effektgröße soll definiert werden: Logworth oder skalierte Schätzungen?Hallo @Victor_G ,
Ich danke Ihnen sehr für Ihre Antwort. Es hat sehr geholfen, die Dinge klarer zu machen :smiling_face_with_smiling_eyes: und hat gleichzeitig ergänzende Fragen aufgeworfen:
- Wenn die p-Werte für die Mischung nicht ideal sind, welches könnte das am besten geeignete Kriterium aus dem Bericht sein, um nicht statistisch signifikante Terme im Modell zu verwerfen?
Ist es besser, jeweils einen Begriff zu entfernen und die Entwicklung von AIC und/oder RMSE zu beobachten, wie Sie in „Gelöst: Betreff: Analyse eines Mischungs-DOE mit schrittweiser Regression – JMP-Benutzergemeinschaft“ erwähnt haben ? Oder auch die Auswahl des Modells mithilfe der Rückwärtsauswahl, wie im selben Thread beschrieben?
- In der praktischen Bedeutung ist neben der Größe der Effekte in den „skalierten Schätzungen“ auch das Domänenwissen wichtig, oder? Stellen wir uns vor, ich hätte einen quadratischen Term im Modell beibehalten und tatsächlich den höchsten Effekt in der Tabelle „skalierte Schätzungen“ voreingestellt, aber dann haben wir (aus irgendeinem Grund) entschieden, dass dieser Term in unserem Bereich keinen Sinn mehr ergibt. Wir können es trotz seiner hohen Bedeutung in den Schätzungen vervollständigen oder verwerfen. Habe ich recht ?
Am besten,
julianisch
Betreff: Welche Effektgröße soll definiert werden: Logworth oder skalierte Schätzungen?Hallo @Julianveda ,
Freut mich, dass dir diese erste Antwort geholfen hat.
Zu Ihren Fragen:
- Für Mixtures DoE würde ich mich aus den oben genannten Gründen (und im anderen Thema, wenn ich mich gut erinnere) nicht auf p-Werte verlassen.
Ich würde mit dem angenommenen vollständigen Modell beginnen (aus diesem Grund würde ich die schrittweise Rückwärtsauswahl der schrittweisen Vorwärtsauswahl vorziehen) und das Modell dann bei Bedarf verfeinern, indem ich die RMSE-Werte der verschiedenen Modelle vergleiche und/oder die Maximum-Likelihood-Schätzung verwende ( (verfügbar in Generalized Regression in JMP Pro) oder ein Informationskriterium wie BIC/AICc, um eine „richtige“ Anzahl von Begriffen zu bestimmen, die Informationen und Vorhersagekraft hinzufügen, ohne das Modell zu sehr zu komplexieren.
Da potenziell viele gleich gute Modelle verfügbar sind, kann der Einsatz von Domänenexpertise sowie verschiedener Auswahl-/Schätzmethoden dabei helfen, wichtige Begriffe und Modelle zu klären.
- Domänenwissen ist immer und bei jedem Schritt des DoE wichtig.
Sie müssen jedoch beim Hinzufügen oder Löschen von Begriffen in Ihrem Modell vorsichtig sein, da der Grund dafür darin besteht, die statistische Modellierung mit Domäneninformationen zu „unterstützen“ (um gleich gute, aber unterschiedliche Modelle auszusortieren) und nicht die statistische Realität zu verzerren und Ergebnisse nach Ihrem Urteilsvermögen und Ihrem Fachwissen. Außerdem ist die Modellierung ein dynamischer Prozess. Das Hinzufügen oder Entfernen von Termen verändert auch die Schätzungen der anderen Terme, daher ist wirklich Vorsicht geboten. DoE ist ein Werkzeug zum Testen, Verifizieren und Bestätigen von Hypothesen, aber Sie können auch neue Dinge lernen, die im Gegensatz zu dem stehen, was bisher bekannt war, vielleicht weil der experimentelle Prozess nicht streng genug war, um es vorher zu entdecken (wie die Verwendung eines Faktor-nach-dem-Ansatzes). oder spärliche experimentelle Ergebnisse vorliegen).
Daher kann ich hier keine definitive Antwort auf Ihre Frage geben. Sie können jedoch verschiedene Modelle ausprobieren, sehen, wie sich jedes Modell verhält (Restanalyse, tatsächlich vs. vorhergesagt usw.) und die Modelle mit neuen Daten testen. Sie sollten in der Lage sein, die Modelle zu ordnen, indem Sie Validierungspunkte ausführen, die neuen Behandlungs-/Faktorkombinationen entsprechen, die das Modell zuvor noch nicht gesehen oder im Design verwendet hat, und ihre Ergebnisse mit den Vorhersagen vergleichen. Die Modelle mit der besten Übereinstimmung in diesen neuen Punkten können eine sehr gute Annäherung an das untersuchte physikalische System darstellen.
Ich hoffe, diese Antworten werden Ihnen helfen,
Betreff: Welche Effektgröße soll definiert werden: Logworth oder skalierte Schätzungen?Danke @Victor_G ,
es war kristallklar und aufschlussreich 
julianisch
Betreff: Wie soll die Effektgröße definiert werden: Logworth oder skalierte Schätzungen?Victor hat die verschiedenen Analysearten hervorragend beschrieben: praktisch und quantitativ. Ich möchte nur einen anderen Blickwinkel auf die relative Wichtigkeit der einzelnen Arten geben und einen dritten hinzufügen. Die praktische Signifikanz ist IMMER wichtiger als die statistische. Schließlich steuern Sie die statistische Signifikanz, indem Sie bestimmen, wie das Experiment durchgeführt wird (z. B. Inferenzraum, welches Rauschen sich während des Experiments ändert und welches nicht). Es ist nicht hilfreich, ein Modell zu haben, das statistisch signifikant ist, aber in der realen Welt nicht nützlich ist. Denken Sie daran, dass die Analysestatistiken enumerativ sind und die Entwicklung eines Modells für Vorhersagezwecke analytisch ist.
Deming (Deming, W. Edwards (1975), On Probability As a Basis For Action. The American Statistician, 29(4), 1975, S. 146-152) Die Verwendung von Daten erfordert auch ein Verständnis des Unterschieds zwischen enumerativen und analytischen Problemen. „Varianzanalyse, t-Test, Konfidenzintervalle und andere statistische Techniken, die in den Büchern gelehrt werden, sind, so interessant sie auch sein mögen, ungeeignet, da sie keine Grundlage für Vorhersagen bieten und die in der Produktionsreihenfolge enthaltenen Informationen untergraben. Die meisten, wenn nicht alle Computerpakete zur Datenanalyse, wie sie genannt werden, liefern eklatante Beispiele für Ineffizienz.“
Wie Victor anmerkt, sind p-Werte für Mischungsdesigns wenig nützlich. Wenn Sie Mischungsdesigns durchführen, ist SME (Domänenwissen) von entscheidender Bedeutung. Bestimmen Sie vor der Durchführung des Experiments zunächst, welche Änderungen in der Antwort von praktischer Bedeutung sind.
Bevor Sie eine quantitative Analyse durchführen, stellen Sie die Daten grafisch dar. Dies gilt insbesondere für Mischungen, da die wichtigste Analyse die Mischungsreaktionsfläche ist. Theoretisch sind Mischungen eine Optimierungsstrategie. Dies setzt voraus, dass Sie bereits wissen, was in der Mischung enthalten sein sollte (durch vorherige Experimente, die Verarbeitungsfaktoren einschließen). Statistische Signifikanz ist nicht mehr entscheidend.
Die Reihenfolge der Analyse ist „Praktisch > Grafisch > Quantitativ“.
