Entfernen von Begriffen aus einem Modell nach einem entworfenen ExperimentOk, nehmen wir an, ich habe einen vollfaktoriellen Versuchsplan mit vier zweistufigen Faktoren durchgeführt. Bei der Anpassung des Modells habe ich alle wechselseitigen Interaktionen einbezogen. Einige der Haupteffekte und Wechselwirkungen der Faktoren sind mit 0,05 nicht signifikant. Wenn ich dann die am wenigsten signifikanten Faktoren entferne (die am Ende der Effektzusammenfassungstabelle), werden einige der nicht signifikanten Begriffe signifikant. Wenn ich versuchen würde, das „beste“ Modell zu entwickeln, würde ich mich dabei wohl fühlen. Wenn ich jedoch herausfinden möchte, ob ein Faktor in der Antwortvariablen eine Rolle spielt, bin ich mir nicht sicher, ob dies legitim ist. Gibt es im DOE-Kontext eine angemessene Begründung dafür, unbedeutende Begriffe zu entfernen und die verbleibenden Begriffe dann als bedeutsam zu beschreiben?
Grundlegende Datenanalyse und ModellierungVersuchsplanungBetreff: Entfernen von Begriffen aus einem Modell nach einem entworfenen ExperimentHier sind meine allgemeinen Gedanken (konkrete Ratschläge würden ein gründlicheres Verständnis der Situation erfordern):
Zunächst gehe ich davon aus, dass Sie über eine nicht replizierte Fakultät mit 16 Behandlungen verfügen. Das Modell umfasst alle möglichen Terme bis zur 4. Ordnung.
Sie bringen ein wichtiges Konzept in Bezug auf das Experimentieren und den F-Test (oder vielleicht jeden anderen Test) zur Sprache. Der typische Signifikanztest in Experimenten besteht darin, den MS des Modellterms mit dem MSe (Fehler) zu vergleichen. Dies ist die F-Ration oder der F-Wert. Die wichtigen Fragen sind: Wie wurde der Fehlerterm geschätzt? Wie repräsentativ für den wahren Fehler ist die Schätzung? Sind die durchgeführten Vergleiche nützlich und repräsentativ?
Wenn Sie unbedeutende Terme aus dem Modell entfernen (mangelnde Anpassung), verzerren Sie möglicherweise den MSe nach unten (kleine SS dividiert durch DF). Wenn Sie also das MS des Modellterms mit dem kleineren MSe vergleichen, erhalten Sie größere F-Werte (und kleinere p-Werte).
Eine kurze Lektüre:
https://www.additive-net.de/images/software/minitab/downloads/SCIApr2004MSE.pdf
Ich empfehle, zunächst die praktische Bedeutung der Modellterme mithilfe von Pareto-Effektdiagrammen zu bewerten UND Daniels Methode zur Bewertung der statistischen Signifikanz für nicht wiederholte Experimente (Normal-/Halbnormal-Diagramme) zu verwenden und möglicherweise durch Bayes-Diagramme zu ergänzen (Kasten). Dadurch erhalten Sie sowohl praktische als auch statistische Signifikanz ohne Verzerrung.
Daniel, Cuthbert, „Verwendung von Halbnormaldiagrammen bei der Interpretation faktorieller zweistufiger Experimente“, Technometrie , Bd. 1, Nr. 4 November 1959
Nachdem Sie die im Experiment aktiven Faktoren/Wechselwirkungen ermittelt haben, vereinfachen/reduzieren Sie das Modell. Der Zweck der Vereinfachung des Modells ist zweifach:
1. um ein nützlicheres Modell für Iteration und Vorhersage zu erhalten
2. um Residuen zu erhalten, die dabei helfen, die Angemessenheit des Modells zu beurteilen und festzustellen, ob Annahmen verletzt wurden.
Hinweis: Sie bewerten die statistische Signifikanz für das vereinfachte Modell nicht neu
Betreff: Entfernen von Begriffen aus einem Modell nach einem entworfenen ExperimentDanke. Ihr Standpunkt zur Voreingenommenheit des MSe ist der Kern meiner Besorgnis über meine Schlussfolgerungen über die Bedeutung der verbleibenden Begriffe ... dass ich wahrscheinlich eine höhere Typ-I-Fehlerquote habe, als ich denke. Ich behaupte also möglicherweise fälschlicherweise einen Faktoreffekt.
Ich füge hinzu, dass es sich um ein wiederholtes Experiment mit vier Wiederholungen handelte, da wir ein schlechtes Signal-Rausch-Verhältnis erwartet hatten. Schützt das vor falschen Behauptungen über die Bedeutung eines Begriffs?
Die Faktoren waren binär/kategorial und die Reaktion war kontinuierlich.
Betreff: Entfernen von Begriffen aus einem Modell nach einem entworfenen ExperimentUm einige Bemerkungen und Kommentare hinzuzufügen @statman Antwort.
Ihr Thema scheint der Bewertung und Auswahl von Modellen sehr ähnlich zu sein. In diesem Prozess kann die statistische Signifikanz eine Metrik sein, aber nicht die einzige (fügen Sie immer Fachwissen hinzu!).
Komplementäre Modellschätzungs- und Bewertungsmetriken, wie Log-Likelihood, Informationskriterien (AICc, BIC) oder Modellmetriken (Erklärungskraft durch R2 und R2-Anpassung, Vorhersagekraft durch MSE/RMSE/RASE usw.) bieten eine andere Perspektive und können hervorheben verschiedene Modelle.
Sie können dann basierend auf Fachwissen und statistischer Auswertung auswählen, welche(s) für Ihr Thema am besten geeignet/relevantesten ist/sind, und einzelne Vorhersagen mit den verschiedenen Modellen schätzen (um zu sehen, wie/wo sie sich unterscheiden) und/ oder ein kombiniertes Modell zu verwenden, um die Vorhersagefehler zu mitteln.
„Alle Modelle sind falsch, aber einige sind nützlich“ ist ein durchaus passendes Zitat, wenn es um mehrere mögliche Modelle geht und man versucht, einige zu bewerten und zur Beantwortung einer Frage auszuwählen.
Ich hoffe, diese zusätzliche Antwort kann Ihnen helfen,
Betreff: Entfernen von Begriffen aus einem Modell nach einem entworfenen ExperimentWarum 4 Replikate? Was änderte sich innerhalb und zwischen der Replikation? Erscheint der RMSE angemessen und vergleichbar mit der Variation, die Sie im Prozess sehen? Ist der Prozess stabil?
Die häufigsten Mängel im DOE sind (nach Daniel umschrieben):
- Übersättigung: Zu viele Effekte für die Anzahl der Behandlungen
- Überkonservativität: zu viele Beobachtungen für die gewünschten Schätzungen
- Versäumnis, die Daten auf schlechte Werte zu untersuchen
- Es wurde nicht das gesamte Aliasing berücksichtigt
- Ungenauigkeit aufgrund eines Missverständnisses der Fehlervarianz.
Punkt 5 ist wichtig, insbesondere wenn Sie sich zur Beurteilung der Signifikanz auf p-Werte verlassen.
Victors Ratschläge zur Verwendung anderer Statistiken zur Bestimmung eines geeigneten Modells sind ebenfalls eine Überlegung wert.
Betreff: Entfernen von Begriffen aus einem Modell nach einem entworfenen ExperimentDas Experiment war „Open Source“, wobei freiwillige Teilnehmerteams vier Durchläufe (zufällig zugewiesene Behandlungen) anhand der Master-Designmatrix durchführten. Ich habe den Teameffekt geblockt, aber auch andere störende Faktoren wie das Szenario (von denen es vier gab). Auch ohne diese Störfaktoren habe ich erwartet, dass die Punktzahl eines Teams (die Antwortvariable) trotz der Auswirkungen der Faktoren variieren würde. Diese störenden Faktoren waren ein unglücklicher Kompromiss zwischen „Realismus“ mit menschlichen Probanden und einem strenger kontrollierten Experiment.
