Was passiert, wenn in einem DoE ein einzelner Faktor die anderen bei weitem überwiegt?Hallo Leute,
Ich habe ein DoE erstellt, das ein primäres Ziel (Stabilität) und ein sekundäres Ziel (Produktivität) hatte. Ich habe die Produktivität zuvor bereits mit einem anfänglichen DoE charakterisiert. Aus diesen Daten wurde ein großartiges Modell entwickelt. Bei diesem neuen DoE habe ich einen zusätzlichen Faktor hinzugefügt, der zuvor nicht berücksichtigt wurde. Ich WUSSTE, dass dieser Faktor einen großen Einfluss auf die Produktivität haben würde, da er offensichtlich ein primärer Faktor ist, war mir jedoch über seinen Einfluss auf die Stabilität völlig im Unklaren.
Das Stabilitätsmodell war großartig. Das Produktivitätsmodell war katastrophal. Das Adj R^2 war am Ende der Modellreduktion nahezu nicht mehr vorhanden und der verbleibende Term war der neue Faktor, den ich hinzugefügt habe. (Es wurden keine Ausreißer durch extern studentisierte Residuen erkannt.)
Meine Frage ist also: Ist die mangelhafte Modellierungsfähigkeit dadurch zu erklären, dass der primäre Faktor im Vergleich zu den anderen Faktoren einen VIEL größeren Einfluss hatte, während die anderen Effekte im Wesentlichen nicht erkennbar waren?
VersuchsplanungBetreff: Was passiert, wenn in einem DoE ein einzelner Faktor die anderen bei weitem überwiegt?Hallo @MetaLizard62080 ,
Es ist sehr schwierig, Ihnen helfen zu können, ohne nähere Informationen zum Kontext und zur Genauigkeit der Bedeutung dieses Faktors (praktische Effektgröße, statistische Signifikanz, beides?), des von Ihnen erstellten Designs und der Art und Weise, wie Sie Ihr Modell analysiert und verfeinert haben, zu erhalten.
Sie haben möglicherweise bereits einige Ideen, wenn Sie vergleichen können, was sich zwischen dem anfänglich erfolgreichen DoE für Produktivität und diesem geändert hat: Faktoren? Ebenen? Design? Modellauswahl? Ziele? Modellmetriken für Anpassung/Verfeinerung? …
Hier sind jedoch einige Überlegungen, Fragen und mögliche Erklärungen zusätzlich zu der von Ihnen vorgeschlagenen:
- Designdefinition :
- Abhängig von den Unterschieden in den Faktorbereichen und dem Einfluss des jeweiligen Faktors auf die Antwort haben Sie möglicherweise die Bedeutung/Effektstärke dieses Faktors im Vergleich zu den anderen verstärkt. Sie können versuchen, Ihr Design zu erweitern und den Bereich dieses Faktors zu verringern (und/oder die Bereiche anderer Faktoren zu erweitern), um die Variabilität der Antwort in Bezug auf diesen Faktor zu verringern (und/oder die Variabilität der Antwort in Bezug auf andere Faktoren zu erhöhen).
- Abhängig von Ihrem Ziel (Faktoren-Screening, experimentelle Weltraumforschung, Vorhersage, ...) könnten Sie ein anderes Design mit unterschiedlicher Stichprobengröße, Wiederholungsläufen usw. wählen. Ist Ihre Stichprobengröße groß genug für die Unterschiede, die Sie für andere Faktoren feststellen möchten? Ist das gewählte Design für Ihr Ziel geeignet?
- Umgang mit Lärm: Sind Ihre Experimente „laut“? Wenn ja, haben Sie Strategien verwendet, um Lärm aus verschiedenen Quellen zu identifizieren und zu handhaben: Wiederholbarkeit, Reproduzierbarkeit, Lärmfaktoren, äußere Einflüsse usw.?
- Wurde dieses neue DoE „von Grund auf“ erstellt oder haben Sie eine Erweiterung verwendet, um von den Informationen der historischen Daten zu profitieren?
- Modellbau, Verfeinerung und Auswahl:
- Sie erwähnen, dass das angepasste R² nach der Reduzierung sehr niedrig war. Was ist Ihr Ziel in Bezug auf den Aufbau und die Auswahl Ihres Modells? Welche Kennzahlen verwenden Sie und beziehen sie sich auf Ihre Ziele? Wie waren die Kennzahlenleistungen Ihres vollständig angenommenen Modells vor der Reduzierung? Auf Grundlage welcher Informationen/Grundlagen/Kennzahlen haben Sie Ihr Modell reduziert?
Abhängig von Ihrem Ziel (Erklärbarkeit vs. Prädiktivität oder beides) und den damit verbundenen Metriken von Interesse (z. B. R²/R² angepasst für Erklärbarkeit, RMSE für Prädiktivität und Informationskriterien für beides) könnten Sie mit unterschiedlichen Modellen enden. Sie können versuchen, mehrere Modelle zu erstellen, insbesondere, um sich nicht nur auf statistische Signifikanz und p-Werte zu verlassen (lesen Sie die Diskussion zu diesem Thema Statistische Signifikanz ). Sie können auch anhand von Fachwissen ermitteln und bewerten, ob Effektgröße/praktische Signifikanz von Faktoren/Begriffen im Modell wichtig sind.
- Bedenken Sie, dass die Signifikanz und Effektstärke von Faktoren davon abhängen, welche Faktoren in das Modell eingehen. Je nachdem, wie Sie Ihr Modell „reduzieren“ und welche Terme entfernt werden, ändern sich also die p-Werte und die Effektstärkenschätzung vollständig. Weitere Informationen finden Sie hier: Signifikante Faktoren werden nicht-signifikant, wenn nicht-signifikante Faktoren entfernt werden
- Modelle aus dem DoE basieren auch auf den Prinzipien der Effektsparsität, Effektvererbung und Effekthierarchie . Sie können versuchen zu überprüfen/bewerten, ob das von Ihnen erstellte Modell diese Prinzipien einhält. Siehe „Ist es möglich, dass ein Faktor in einem Antwortoberflächenmodell nicht signifikant ist, der quadratische Term für denselben Faktor aber schon?“
- Haben Sie die Residuen überprüft? Gibt es Muster, die auf eine Verletzung der Regressionsannahmen hinweisen könnten ( Annahmen des Regressionsmodells | Einführung in die Statistik | JMP )? Steht Ihnen ein Lack-of-Fit-Test zur Verfügung? Ist die Antwort mit einer Vorhersage verknüpft, die große und sehr unterschiedliche Größenordnungen abdeckt? Abhängig von Ihren Antworten auf diese Fragen muss beim Erstellen des Modells möglicherweise etwas überprüft und korrigiert werden, um sicherzustellen, dass die Annahmen des Regressionsmodells erfüllt sind (oder ob Sie ein anderes Regressionsmodell mit hinzugefügten/entfernten Termen, eine Transformation der Antwort, ein verallgemeinertes Regressionsmodell usw. benötigen). Siehe Problem mit der RSM-Anpassung für einen Faktor
- Sind die Ergebnisse für Fachexperten relevant und stimmen sie mit früheren Ergebnissen überein?
Letztendlich wird Ihr Modell durch das von Ihnen gewählte Design bestimmt. Daher ist es schwierig, Ihnen hinsichtlich des Modells zu helfen, ohne zu verstehen, wie und warum Sie das Design für Ihr Thema ausgewählt und erstellt haben.
Jeder Spielzeugdatensatz, der zeigt, was Sie erwartet, kann für eine präzisere Nachverfolgung hilfreich sein.
Hoffe, dieser erste Diskussionsstarter könnte Ihnen helfen,
Betreff: Was passiert, wenn in einem DoE ein einzelner Faktor die anderen bei weitem überwiegt?Wie Victor anmerkt, gibt es einfach nicht genug Kontext, um angemessen auf Ihre Frage zu antworten. Hier sind meine Gedanken/Fragen. Haben Sie Ihr erstes Experiment wiederholt? Welchen Faktor haben Sie während des ersten Experiments hinzugefügt? (z. B. konstant gehalten oder zufällig variiert) Wie haben Sie die Stabilität gemessen? Wurde das Messsystem untersucht? Stabilität ist normalerweise eines der Merkmale, die Sie aufgeben, wenn Sie ein Experiment durchführen, weil Sie die Zeitreihe abschneiden und Stabilität eine Zeitreihe erfordert.
Aus diesem Grund beginnen Sie im Nachhinein mit einem breiteren Inferenzraum (z. B. indem Sie mehr Designfaktoren und Rauschen in die Studie einbeziehen). Die Ergebnisse Ihres ersten Experiments waren bedingt. Wenn sich der Inferenzraum, die Designfaktoren oder das Rauschen, die während des Experiments variierten, ändern, können sich auch die Ergebnisse ändern.
Ihre Gedanken sind nicht unbedingt falsch. Es ist möglich, dass ein signifikanter Effekt die Analyse „überwältigt“ und es schwierig macht, andere signifikante Effekte in der Studie aufzudecken. Wir versuchen, dies zu vermeiden, indem wir ALLE Faktoren fett markieren. Wenn die Niveaueinstellung eines Faktors viel fetter ist als bei anderen, kann es den Anschein haben, dass dieser Faktor tatsächlich viel signifikanter ist als andere Faktoren.
