DoE-Modell gibt Erweiterung herausLiebe JMP-Community,
Derzeit erstellen wir DoE-Modelle basierend auf zwei experimentellen Blöcken.
Der erste Block war ein benutzerdefiniertes DoE-Design mit 22 Durchläufen, die Haupteffekte und quadratische Effekte von 7 Faktoren enthielten. Der zweite Block war ein erweitertes Design, das Haupteffekte, quadratische Effekte und alle möglichen Zwei-Faktor-Wechselwirkungen mit 16 Läufen enthielt (insgesamt 38 Läufe, aufgeteilt in 2 Blöcke).
Im zweiten Block waren die Faktorniveaus für zwei der Faktoren breiter als im ersten Block.
Darüber hinaus wurden sieben Zwei-Faktor-Wechselwirkungen, deren Auftreten als weniger wahrscheinlich eingestuft wurde, im Modelldialog auf „wenn möglich“ gesetzt. Alle anderen Faktoren wurden auf „notwendig“ beschränkt.
Normalerweise richten wir die Modelle mit der Fit Model Platform ein und berücksichtigen dabei nur die Modelleffekte, die aus dem Design stammen, indem wir auf „Ausführen“ klicken (Persönlichkeit: Standard-Kleinste-Quadrate, Schwerpunkt: Effekt-Screening) und dann manuell die nicht-signifikanten Modelleffekte aus dem entfernen Modelle.
Wir sind auf folgende Situation gestoßen: In einigen Fällen erhalten wir die Fehlermeldung „Dem Modell fehlt ein Effekt“.
Die schrittweise Bewertung (Persönlichkeit: schrittweise) über die Vorwärtsrichtung mit entweder AICc oder BIC ergibt Modelle mit signifikanten Auswirkungen.
Unsere Fragen an Sie wären
- In welcher Form wird die „wenn möglich“-Bewertung bei den Stufenmodellen berücksichtigt? Wenn wir einen signifikanten Effekt sehen, der zuvor als „wenn möglich“ bewertet wurde, bedeutet das, dass die Leistung des Designs gut genug war, um ihn zu verdeutlichen. Aber wenn wir keinen „wenn möglich“-Effekt sehen, woher wissen wir dann, dass er in Betracht gezogen wurde?
- Was ist der Grund dafür, dass die manuelle Methode Probleme meldet, während die schrittweise Methode funktioniert?
- Das BIC-Kriterium liefert viel größere Modelle als das AICc-Kriterium. Was wäre der Grund, den viel kleineren AICc-Modellen zu vertrauen?
Vielen Dank im Voraus an euch alle, liebe Grüße,
C. und A.
Erweiterte statistische ModellierungGrundlegende Datenanalyse und ModellierungBetreff: DoE-Modell stellt Erweiterungsprobleme darEine kurze Klarstellung: Der Fehler ist darauf zurückzuführen, dass das Prinzip der Hierarchie (nicht der Vererbung) nicht befolgt wird.
Betreff: DoE-Modell stellt Erweiterungsprobleme darLeider verstehe ich Ihre konkrete Situation nicht, aber Ihr Ansatz verwirrt mich.Blockieren ist eine Technik zur Bewältigung von Lärm, der mit dem Designraum verbunden ist.Lärm ist der Faktor, den Sie im Prozess nicht verwalten oder kontrollieren möchten.Anstatt das Rauschen konstant zu halten und den Inferenzraum negativ zu beeinflussen, wird das Rauschen mit dem Block verwechselt.Dies vergrößert den Inferenzraum, ohne die Präzision des Designs negativ zu beeinflussen.Sie können vollständige Blöcke (RCBD) ausführen, die vollständige Replikationen des Designs sind, oder unvollständige Blöcke (BIB), die den Block fraktionieren.
Es gibt natürlich mehrere Methoden zum Entwerfen und Analysieren von Experimenten.Kein Ansatz ist in allen Situationen der beste.Es gibt eine Reihe von Faktoren, die die Designauswahl beeinflussen (z. B. Rauschstrategie, Einschränkungen, Anzahl der Faktoren, gewünschte Auflösung (sowohl linear als auch nichtlinear), gewünschte abzuschätzende Effekte, Einschränkungen bei der Randomisierung usw.), und diese sollten auch berücksichtigt werden vor der Auswahl eines Designs berücksichtigt werden.Bei der Auswahl eines Designs sollte berücksichtigt werden, welche Auswirkungen abgeschätzt werden können, welche verfälscht werden und welche eingeschränkt werden.Dies ist das potenziell zu gewinnende Wissen.Dieses Wissen sollte mit den erforderlichen Ressourcen in Einklang gebracht werden.
Meine Vorliebe besteht darin, Experimente mit einem subtraktiven Modellbildungsansatz zu analysieren.Das bedeutet, mit einem gesättigten Modell zu beginnen und unbedeutende Terme zu entfernen.Das liegt daran, dass ich bei der Gestaltung des Experiments ein Modell im Kopf habe.Wenn ich historische Daten/Beobachtungsdaten verwende, beginne ich mit einem additiven Ansatz (z. B. schrittweise), da ich nach Hinweisen suche, um Hypothesen zu entwickeln, die letztendlich in einem Experiment getestet werden.
Beginnen Sie abschließend immer mit einer praktischen Auswertung der Daten.Haben sich die Antwortvariablen in der Studie ausreichend verändert (praktische Bedeutung), um weitere Untersuchungen zu rechtfertigen?Als nächstes erfolgt die grafische Analyse (mehrere Diagramme der Daten, um nach Mustern in der Antwortvariablen und passenden Mustern in den x-Werten zu suchen).Schließlich wird hier eine quantitative Analyse und eine Reihe von Statistiken verwendet, wie von Victor vorgeschlagen.
Betreff: DoE-Modell stellt Erweiterungsprobleme darHallo @statman ,
Danke für die Klarstellung und Korrektur.
Bezüglich der Sperrung, wie @I-love-jmp Ich habe erwähnt, dass er das Design erweitert hat. Ich denke, das bedeutet, dass er das Design mit der Option „Neue Läufe in separatem Block gruppieren“ erweitert hat, also dem Design einen Blockierungsfaktor hinzugefügt hat, mit einem Block für das ursprüngliche Design und einem Block für die erweiterten Läufe. Dies kann eine gute und „sichere“ Vorgehensweise sein, insbesondere wenn eine Reihe von Experimenten zeitlich getrennt sind und mögliche Kalibrierungsfehler und/oder Verschiebungen/Driften in den Messsystemen auftreten können.
Ich stimme Ihnen hinsichtlich der Modellierungsmentalität zwischen DoE-Daten (und einem A-priori-Modell) und Beobachtungsdaten (und einem Data-Mining-/modellagnostischen Ansatz) voll und ganz zu.
Betreff: DoE-Modell stellt Erweiterungsprobleme darHallo @I-love-jmp ,
Willkommen in der Community!
Die Fehlermeldung, die Sie gesehen haben, kann auftreten, wenn Sie gegen das Vererbungsprinzip verstoßen, indem Sie beispielsweise einen quadratischen Effekt oder Zwei-Faktoren-Wechselwirkungen einführen, ohne jedoch die damit verbundenen Haupteffekte einzuführen. DoE basieren auf drei Prinzipien: Effektsparsität, Effektvererbung und Effekthierarchie. Weitere Informationen und Details zu dieser Antwort: DoE-Grundsätze – JMP-Community
Normalerweise sollte es hilfreich sein, sicherzustellen, dass alle Haupteffekte vorhanden sind, um diese Meldung zu vermeiden.
Um sicherzustellen, dass diese Nachricht mit diesem Problem verknüpft ist, wäre es besser, mehr Kontext zu haben, vielleicht eine Datentabelle, die dieses Problem reproduziert (mit anonymisierten Daten)?
Die Einstellung „falls möglich“ wird für die Entwurfserstellung verwendet und kann sich auf die Analyse auswirken. Es teilt JMP (und dem dahinter stehenden Koordinatenaustauschalgorithmus) im Wesentlichen eine Priorität/Rangfolge der Begriffe mit, die Sie untersuchen möchten, die relative Präzision der zu berechnenden Schätzungen und die Art und Weise, wie Ressourcen (Entwurfspunkte) zugewiesen werden können, um das Lernen zu maximieren Sie wollen (mit notwendiger Wirkung und wenn möglich Wirkungen).
Manchmal können Punkte vergeben werden, um diese Effekte abzuschätzen, manchmal ist dies aufgrund von Einschränkungen im Versuchsraum und/oder im vom Benutzer geforderten Versuchsbudget (Anzahl der Durchläufe) nicht möglich. „Wenn möglich“-Effektbegriffe erhöhen die Anzahl der erforderlichen Durchläufe nicht, sodass Sie standardmäßig die gleiche Anzahl an Durchläufen erhalten, als ob Sie diese Effekte nicht im Modellfenster eingegeben hätten.Das bedeutet, dass Sie in der Analyse diese Auswirkungen abhängig von der Zuordnung von Punkten und Aliasnamen im Design möglicherweise abschätzen können oder auch nicht, unabhängig von Ihrer Analysemethode.
Weitere technische Details hier: Designs mit wenn möglicher Wirkung (jmp.com)
Die schrittweise Modellierung geht nicht standardmäßig von Effektvererbung und Effekthierarchie aus, sondern ist eine „agnostische“ Methode, die versucht, das beste Modell basierend auf einem Kriterium (AICc, BIC, p-Werte usw.) zu finden. Daher erhalten Sie am Ende möglicherweise andere Modelle als bei einem Standardansatz der kleinsten Quadrate (der alle DoE-Prinzipien berücksichtigt). Ich würde eindeutig versuchen, diese Prinzipien in einem vom DoE erstellten Datensatz zu respektieren und einen Haupteffekt (auch wenn dieser statistisch nicht signifikant ist) nicht zu entfernen, wenn noch Effekte höherer Ordnung vorhanden sind, die diesen Faktor enthalten.
Stepwise funktioniert also auch dann, wenn man die Wirkungsvererbung oder das Hierarchieprinzip bricht, da es lediglich viele mögliche Modelle evaluiert und die Begriffe verwendet, die das Modell am besten verbessern.
Da es sich um einen Datensatz mit einer bestimmten Struktur und Datengenerierung handelt, würde ich die Verwendung von Data-Mining-/„agnostischen“ Modellierungsmethoden wie Stepwise nicht empfehlen, es sei denn, Sie möchten Ihre bisherige Modellierung mit neuen Erkenntnissen aus anderen Ansätzen vergleichen.
Es ist eine seltsame Situation, da BIC im Allgemeinen Modelle mit mehr Termen als AICc aufgrund der Unterschiede in ihrer Berechnung bestraft: https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml
Es ist jedoch nicht ungewöhnlich, da ich Ihre Situation sehr einfach reproduzieren konnte:
Letztlich handelt es sich „nur“ um ein Informationskriterium, das Sie bei der Modellierung unterstützt. Interessant ist, zu vergleichen, bei welchen Begriffen sie übereinstimmen und bei welchen Begriffen sie sich unterscheiden, und die verschiedenen möglichen Modelle mit anderen Metriken zu bewerten (statistische Signifikanz der). Modell, R² und R² angepasst, RMSE des Modells ...) abhängig von Ihrem Ziel, und treffen Sie Ihre Entscheidung auf der Grundlage all dieser Informationen UND Ihrer Fachkompetenz!
Ich hoffe, diese Antwort wird Ihnen helfen,
Betreff: DoE-Modell stellt Erweiterungsprobleme darBei dieser Antwort handelt es sich nicht um ein Argument, sondern lediglich um eine Klarstellung. Verschiedene Menschen verwenden die Begriffe „Hierarchie“ und „Vererbung“ synonym. So verwendet JMP diese Begriffe:
• Hierarchie der Effekte – Effekte erster Ordnung stellen die größte Variation dar und Effekte zweiter Ordnung
berücksichtigen weniger Variation.
• Vererbung von Effekten – Terme höherer Ordnung beinhalten normalerweise Faktoren mit signifikanten Haupteffekten.
Betreff: DoE-Modell stellt Erweiterungsprobleme darDanke @Mark_Bailey !
Ich hatte die gleichen Definitionen im Sinn und in der Antwort, die ich in meiner ersten Antwort erwähnt hatte.
Aus diesem Grund dachte ich, die Fehlermeldung sei eine direkte Folge davon Vererbungsprinzip fehlerhaft war (weil es Auswirkungen auf die Modellstruktur vor der Analyse hat, die nicht mit dem Datengenerierungsprozess/der Entwurfsstruktur übereinstimmt) und keine Folge davon ist Hierarchieprinzip war fehlerhaft (da es sich stärker auf die Analyse und Variationsverteilung auswirkt, sobald das Modell gestartet wird).
Können Sie das bestätigen und/oder erklären?
Betreff: DoE-Modell stellt Erweiterungsprobleme darDer Fehler ist auf einen Verstoß gegen das Hierarchieprinzip zurückzuführen.Der Fehler tritt auf, wenn in der Analyse Terme höherer Ordnung angegeben sind, die Terme niedrigerer Ordnung jedoch fehlen.Für die Vererbung kann kein Fehler angezeigt werden.Vererbung wird verwendet, um das Verständnis verwirrter Begriffe höherer Ordnung zu erleichtern.Nehmen wir zum Beispiel an, wir haben eine Res IV-Fakultätsanalyse durchgeführt und bei der Analyse stellen wir erhebliche Auswirkungen fest.Die Effekte sind eine Funktion von Alias-Begriffen (z. B. wird ein Haupteffekt mit einer Interaktion dritter Ordnung aliasiert, 2-Faktor-Interaktionen werden mit anderen 2-Faktor-Interaktionen aliasiert).
X4= X1*X2*X3 (Designgenerator); I=X1*X2*X3*X4
X1*X2=X3*X4
Wir können das Hierarchieprinzip als Rechtfertigung für die Schlussfolgerung verwenden, dass der Haupteffekt wahrscheinlich der einflussreiche Effekt im Vergleich zu einem Effekt dritter Ordnung ist.Die Hierarchie hilft nicht bei der Unterstützung des Effekts, der mehrere Effekte zweiter Ordnung enthält (es handelt sich um dieselbe Hierarchie).Um besser zu verstehen, welche der beiden Faktorinteraktionen am wahrscheinlichsten zum signifikanten Effekt beiträgt (denken Sie daran, dass es sich um Aliasnamen handelt, sodass keine Mathematik hilfreich ist), können wir das Vererbungsprinzip anwenden.Wir prüfen, ob einer der Haupteffekte signifikant ist, und wenn ja, haben wir Hinweise darauf, dass die Zwei-Faktor-Wechselwirkung, die den signifikanten Haupteffekt einschließt, wahrscheinlich dazu beiträgt. Beispiel:
X1 ist signifikant (X1=X2*X3*X4)
X1*X2 ist signifikant (X1*X2=X3*X4). Wir vermuten, dass es sich um X1*X2 handelt, da X1 ebenfalls aktiv ist.
Betreff: DoE-Modell stellt Erweiterungsprobleme darLieber Victor_G, statman und Mark_bailey,
Zunächst einmal vielen Dank für die Ratschläge, Erklärungen und Diskussionen, die Sie zu unseren Fragen gegeben haben. Wir freuen uns sehr über Ihren Beitrag!
Entschuldigung für die späte Antwort an euch alle. Bezüglich des Blockierungsfaktors hat Victor_G das sehr gut erklärt. Der Faktor wurde eingeführt, um die Varianz zu berücksichtigen, die durch die zeitliche Trennung der Blöcke entstehen könnte (oder wahrscheinlich entsteht) (und neben der Zeit gibt es noch andere, höchstwahrscheinlich signifikante Faktoren, die zur Blockierung beitragen).
Bezüglich der Fehlermeldung während der Modellgenerierung: Angesichts Ihrer Erläuterungen zu Vererbung und Hierarchie denken wir, dass Sie hier den Punkt auf den Punkt gebracht haben und wir die Fehlermeldung umgehen konnten.
Um Ihnen mehr Kontext für das DoE und die zugrunde liegenden durchgeführten Experimente zu geben, finden Sie hier das Augment-Design
Bitte beachten Sie, dass für Zwei-Faktor-Wechselwirkungen, die den Faktor „a“ enthalten, die Schätzbarkeit im Modell auf „wenn möglich“ gesetzt wurde, da diese Wechselwirkungen aufgrund der Fachkompetenz als unwahrscheinlich eingestuft wurden.
Was wir jetzt in der Fit-Model-Plattform mit dem Standardansatz der kleinsten Quadrate sehen, sieht ungefähr so aus (Gelb = Haupteffekte, quadratische Effekte, Zwei-Faktor-Wechselwirkungen, die als notwendig eingestuft werden; Blau = Zwei-Faktor-Wechselwirkungen, die als „wenn möglich“ bewertet werden).
Normalerweise würden wir die Terme von unten nach oben entfernen, bis nur noch signifikante Terme im Modell übrig bleiben. Hier geht es nun darum, dass erstens nur sehr große P-Werte (abgesehen vom Block) auftreten und zweitens die Haupteffekte die Faktoren unten sind. Wir können also nicht mit dem Standardverfahren „Begriffe von unten nach oben entfernen“ fortfahren. Die unter dem blauen Quadrat verborgenen Effekte sind die „wenn möglich“-Wechselwirkungen.
Was passiert, wenn wir beispielsweise eine der „wenn möglich“-Interaktionen löschen, ist optisch nichts. Aber wenn wir 3 davon gelöscht haben (egal welche), sieht das Modell plötzlich so aus. Von hier aus könnten wir also grundsätzlich mit dem Entfernungsansatz „von unten nach oben“ fortfahren.
Die Frage wäre nun, wie bei der Generierung des Modells vorgegangen werden soll. Wir können nicht einfach drei der „wenn möglich“-Wechselwirkungen löschen, da diese möglicherweise signifikante Terme sind, was hier veranschaulicht wird, da einige von ihnen (blaue Quadrate) mit signifikanten P-Werten im Modell verbleiben.
An diesem Punkt sind wir ziemlich verwirrt. Vielleicht können Sie uns einen Rat geben, warum das passiert und wie wir dieses Problem lösen können?
Vielen Dank, dass Sie sich wieder die Zeit genommen haben, viele Grüße,
C und A
Betreff: DoE-Modell stellt Erweiterungsprobleme darHallo @I-love-jmp ,
Ich beantworte Ihre Fragen nicht direkt, aber Sie könnten versuchen, den Blockfaktor als „Zufällig“ einzurichten, da Sie mehr an der Variabilitätsänderung aufgrund des Blocks (Zeit und andere unkontrollierte Faktoren) interessiert sind als an einer mittleren Änderungsreaktion aufgrund des Blocks (das). Sie werden nicht in der Lage sein, es zu reproduzieren).
Klicken Sie beim Erstellen Ihres Modells auf „Block“ und auf das rote Dreieck unter „Attribute“, um diesen Begriff als zufälligen Effekt festzulegen:
Dadurch wird ein gemischtes Modell mit dem Effekt „Block als Zufall“ erstellt, dessen Signifikanz auf der Grundlage der Änderung der Antwortvariabilität und nicht des Antwortmittelwerts bewertet wird. Dies sollte auch dazu beitragen, dass sich andere Faktoren „ausdrücken“, da sie nicht direkt mit dem Blockfaktor verglichen werden.
Ich werde später auf weitere Fragen antworten (falls noch Bedarf besteht).
