Ist es akzeptabel, 6 Terme in einer linearen Regression mit n = 8 zu haben?Ich analysiere derzeit ein vollfaktorielles Experiment mit 2 Ebenen und 3 Faktoren, nicht repliziert, n = 8. Den JMP-Leitfäden zufolge besteht die richtige Methode darin, das Modell mithilfe einer Fakultät auf Grad 2 anzupassen, vorausgesetzt, Wechselwirkungen höherer Ordnung sind unbedeutend, und anschließend eine Rückwärtsauswahl zu verwenden, um das Modell auf seine signifikanten Faktoren zu reduzieren.
JMP-Leitfaden für die vollständige faktorielle 2x2x2-Analyse: https://community.jmp.com/t5/Learning-Center/Analyzing-Full-Factorial-Experiments/ta-p/271995
Meine Frage lautet: Angenommen, die Daten zeigen, dass tatsächlich alle Haupteffekte und alle Wechselwirkungen in beide Richtungen signifikant sind. Damit bleibt mir ein Modell mit 6 Begriffen, das einen Datensatz mit nur 8 Beobachtungen beschreibt. Zu diesem Zeitpunkt habe ich aufgrund der hohen Anzahl an Termen ein sehr hohes r^2 und p < 0,05 für alle 6 Faktoren. Gilt dies aus analytischer Sicht als Überanpassung und wäre dies nicht die beste Vorgehensweise?
Wenn ja, wäre es eine bessere Möglichkeit, diese Daten zu betrachten, nur die Haupteffekte zu betrachten (d. h. den „durchschnittlichen“ Effekt jedes Parameters zu betrachten, anstatt sich in Details zu vertiefen)?
Danke.
Qualitäts- und VerfahrenstechnikBetreff: Ist es akzeptabel, 6 Terme in einer linearen Regression mit n = 8 zu haben?Danke, @statman .Das ist alles sehr hilfreich. Letztendlich habe ich mir die Daten angesehen und festgestellt, dass ich in einem geplanten Experiment, wenn ich die Daten grafisch betrachtet hätte, zu den gleichen Schlussfolgerungen gekommen wäre, die mir das Modell mitteilt. die Wechselwirkungen und welche Faktoren von Bedeutung sind. Insofern nenne ich es gut.
Betreff: Ist es akzeptabel, 6 Terme in einer linearen Regression mit n = 8 zu haben?QW, hier sind meine Gedanken:
1. Der Grund, warum Sie wichtige Faktoren finden, nachdem Sie die unbedeutenden Begriffe entfernt haben, liegt darin, dass Sie die MSE verzerrt haben. Wenn Sie den unbedeutenden Begriff entfernen (der wahrscheinlich eine kleinere SS hat), nehmen Sie auch die DFs mit jedem Begriff. Da es sich bei der MSE um die SS/DF handelt, reduzieren Sie die MSE (vielleicht unrealistisch). Der F-Wert ist der MSfactor/MSerror. Wenn Sie also den MSE unrealistisch reduzieren, erhöhen Sie den F-Wert und senken anschließend den p-Wert. Mein Rat ist, IMMER zu überlegen, welche Variationsquellen Sie vergleichen.
2. Normal-/Halbnormaldiagramme (Daniel-Diagramme) sind nicht unbedingt einfach zu interpretieren. Russels PSE ist ein Versuch, bei der Interpretation der Diagramme zu helfen, aber der PSE ist nicht immer nützlich. Sie müssen überlegen, welche Effekte eine Funktion der Zufallsfehler sind (sollte eine relativ gerade Linie sein) und welche Effekte zuordenbar sind. Außerhalb der zufälligen Fehlerverteilung liegen. Wenn Ihr Normaldiagramm eine S-Kurvenform aufweist oder unterbrochen ist, ist dies ein Hinweis auf einen erheblichen Rauscheffekt (es kann mehr als eine Verteilung zufälliger Fehler geben). Auf Ihrem Bild sieht es so aus, als ob das ausgegraute + oben im normalen Diagramm von Bedeutung ist (ich vermute, dass es sich um Spalte2(x) handelt). Es hilft wirklich, das Pareto-Diagramm mit dem normalen Diagramm zu haben. Bewerten Sie sowohl statistische Signale als auch praktische Bedeutung.
3. Ich denke, Sie haben einen guten Anfang beim Aufbau Ihres Wissens (und vielleicht eines mathematischen Modells). Ich verwende die praktische>grafische>quantitative Methode:
Erstens: Wie viel Variation haben Sie in dem Experiment in den Daten erzeugt? Haben die Daten einen praktischen Wert (aus KMU-Sicht)? Wie sind die Daten im Vergleich zu Ihren Vorhersagen? Wie wäre es im Vergleich zu Ihren Hypothesen, die zur Bestimmung der in die Studie einzubeziehenden Faktoren herangezogen wurden? ANOG- und MR-Diagramme eignen sich hervorragend zum Erkennen von Mustern, die Faktoreffekte mit den Antwortvariablen korrelieren. Schalten Sie die Technik niemals aus.
Zweitens: Zeichnen Sie die Daten grafisch auf. Der Graph Builder von JMP kann sehr nützlich sein. Gibt es ungewöhnliche Datenpunkte (Behandlungen)? Hier sind auch Normalplots und Pareto-Plots nützlich (obwohl ihre Nützlichkeit bei gesättigten Modellen am besten ist).
Zuletzt quantitativ (Effekte, ANOVA, Regression usw.).
4. Bezüglich der Modellverfeinerung mit quantitativen Methoden für DOE-Daten: Es gibt eine Reihe von Statistiken/Diagrammen, die wir dazu verwenden:
- R-Quadrat-R-Quadrat-bereinigtes Delta (Dies ist wichtiger als jede Statistik für sich)
- RMSE (kleiner ist besser)
- p-Werte (achten Sie auf voreingenommene Werte und überlegen Sie, was verglichen wird)
- Residuen (um NID-Annahmen (Mittelwert, Varianz) zu testen
In DOE empfehle ich keine schrittweise Regression (dies ist ein additiver Modellbildungsansatz, der am nützlichsten für das Data Mining oder die Regression auf Beobachtungs-/historischen Daten ist, und natürlich haben Sie zusätzlich Bedenken hinsichtlich der Kollinearität). Ich empfehle einen subtraktiven Ansatz (beginnen Sie mit der Sättigung und entfernen Sie Begriffe). Und dein Schritt 3 klingt großartig!
Betreff: Ist es akzeptabel, 6 Terme in einer linearen Regression mit n = 8 zu haben?Danke, @statman . Ich möchte nicht immer weitermachen und danke Ihnen für Ihre Zeit. Ich habe jedoch versucht, ein normales Diagramm zu verwenden, um die Parameterauswahl aus einem gesättigten Modell zu steuern. Nachdem ich das jedoch getan hatte, bemerkte ich, dass sowohl gemäß der normalen Darstellung als auch gemäß Lenths Pseudo-p-Werten keiner meiner Parameter signifikant ist (linke Seite meines Anhangs). Aber als ich anfing, nicht signifikante Terme nacheinander mithilfe dieser (pseudo- oder realen) p-Werte zu entfernen, gelangte ich zu einem Modell, das meine Situation gut zu beschreiben scheint: angepasstes R^2 = 0,95, p = 0,0351 (rechte Seite des Anhang). Wäre es richtig, zu dem Schluss zu kommen, dass eine Kombination aus pseudo/realen p-Werten und normalen Diagrammen erforderlich ist, um zum besten Modell zu gelangen?
Würden Sie in diesem Gedankengang dann zustimmen, dass der beste Weg zur Auswahl der Parameter sowohl quantitative (p-Werte, Adj.R^2) als auch qualitative Ansätze (Domänenwissen, Normaldiagramme, Residuen) umfasst? Mit anderen Worten, es ist eine Kombination aus:
1. Wie sehen meine Faktoren bei einem Normal-/Pareto-Diagramm aus?
2. Verbessert das Hinzufügen/Entfernen von Begriffen quantitative Werte (adj.)? R^2, p-Wert des gesamten Modells)?
3. Verändert es die qualitativen Aspekte der Daten (bleiben die Residuen nach diesen Änderungen immer noch normalverteilt und sind die Daten selbst realistisch gesehen sinnvoll)?
In diesem Fall würde das beste Modell zunächst anhand von Normal-/Pareto-Diagrammen ermittelt, durch schrittweise Auswahl/Modellauswahl verfeinert und durch visuelle Inspektion von Residuen und realen Daten verifiziert.
Danke schön!
Betreff: Ist es akzeptabel, 6 Terme in einer linearen Regression mit n = 8 zu haben?Willkommen in der Community. Hier sind meine Gedanken:
Sie verwenden den Effekt dritter Ordnung (3-Faktor-Wechselwirkung), um den MSE zu schätzen. Dies ist wahrscheinlich der Grund, warum alle Effekte signifikant sind. Eine bessere Möglichkeit, Ihre Daten zu betrachten, ist die Verwendung von Normal- und Halbnormaldiagrammen (je nachdem, wie willkürlich die Ebeneneinstellung ist) und Paretodiagrammen. Analysieren > Modell anpassen > Modell (alle 7 DFs) mit Makro sättigen > Vollfaktoriell Wählen Sie in der Ausgabe das rote Dreieck neben der Antwort und dann Effekt-Screening aus. Überprüfen Sie die Pareto- und Normaldiagramme. Die normalen Diagramme vergleichen die Effekte ohne den MSE-Bias miteinander. Fügen Sie dem Pareto-Diagramm einen Wert hinzu, der die praktische Bedeutung darstellt.
Sobald Sie die signifikanten Effekte gefunden haben, können Sie die unbedeutenden Terme entfernen und das Anpassungsmodell erneut ausführen, um Residuendiagramme zu erhalten.
Betreff: Ist es akzeptabel, 6 Terme in einer linearen Regression mit n = 8 zu haben?Danke für die Antwort, Sam.
Im Fall eines nicht replizierten 2^3-faktoriellen Experiments ist es „theoretisch in der Lage“, alle Haupteffekte und 2-Faktor-Wechselwirkungen zu modellieren. Aus dieser Diskussion geht jedoch hervor, dass diese Fähigkeit in der Praxis nicht so zuverlässig ist. Gibt es Faustregeln, wenn es darum geht, wie viele Freiheitsgrade Sie für die Modellierung von Haupteffekten und Zwei-Faktor-Wechselwirkungen benötigen? Wäre es zum Beispiel so etwas wie DoF = 2x die Anzahl der Modellterme?
Betreff: Ist es akzeptabel, 6 Terme in einer linearen Regression mit n = 8 zu haben?@QW Sie haben Recht damit, dass Sie darauf achten sollten, ein Modell nicht zu stark anzupassen, insbesondere bei einem kleinen Datensatz.Bei einem geplanten Experiment kann es jedoch der Fall sein, dass alle Wechselwirkungen zwischen den beiden Faktoren signifikant und/oder wichtig sind.Bei sorgfältiger Planung und Durchführung des Experiments könnte es sein, dass der experimentelle Fehler im Verhältnis zu den Effektgrößen gering ist.
Am besten werten Sie die Daten aus durch:
- Darstellung der Daten:
- Ein Diagramm aller Daten im Vergleich zu den Faktoren (manchmal auch Faktordiagramm oder Haupteffektdiagramm genannt).Suchen Sie nach Ausreißern oder anderen ungewöhnlichen Daten.
- Fragen Sie sich, ob die Daten aus wissenschaftlicher/theoretischer Sicht sinnvoll sind
- Passen Sie das Modell an und zeichnen Sie die Residuen (Anpassungsfehler für jede Zeile) auf.
- Restwert nach Vorhergesagt
- Residuum nach Zeile
- Rest ist jeder Faktor
- Verwenden Sie den Profiler, um die vorhergesagten Auswirkungen des Modells zu untersuchen
- Es kann sein, dass ein signifikanter Effekt praktisch nicht von Bedeutung ist, und wenn ja, könnten Sie ihn aus dem Modell entfernen, ohne dass es zu großen Unterschieden in den tatsächlichen Vorhersagen kommt.
Wenn Sie weitere Bedenken hinsichtlich einer Überanpassung haben, können Sie auch versuchen, die Modellanpassung der schrittweisen Regression auf die Daten anzuwenden.
