„Überraschende“ Ergebnisse in einem DSD-DesignIm Rahmen einer Masterarbeit wurde ein definitives Screening-Design mit sechs kontinuierlichen Variablen durchgeführt. Wir erstellten ein Standarddesign in JMP mit 17 Durchläufen (+3 zusätzliche Durchläufe auf dem Nullniveau).
Die Ergebnisse überraschten mich, da eine beträchtliche Anzahl von Interaktions- und quadratischen Effekten hochsignifikant ist. Mein anfänglicher Verdacht war Überanpassung, doch ich finde dafür keine Anzeichen. Wir haben ein ausgezeichnetes R² (was zu erwarten war), keine erhöhten VIF-Werte, einen unauffälligen Durbin-Watson-Test usw. Darüber hinaus wird ein PRESS-Wert von 0,044 erreicht.
Diese Ergebnisse bleiben auch dann gleich oder sehr ähnlich, wenn die strikte Vererbung in der DSD-Analyse nicht berücksichtigt wird. In diesem Fall treten 2–3 zusätzliche Interaktions- oder quadratische Effekte auf, die wiederum hochsignifikant sind.
Nach meinem Kenntnisstand sehe ich derzeit keinen Grund, die Gültigkeit der Ergebnisse anzuzweifeln. Oder übersehe ich etwas?
VersuchsplanungBetreff: „Überraschende“ Ergebnisse in einem DSD-DesignFür ein 6-Faktoren-Design ist dies ein relativ „großes“ Design. Da es auf einer Antwortfläche mit 6 Faktoren nur 27 schätzbare Effekte gibt, besteht eine gute Chance, viele dieser Effekte zu schätzen. Die Werte der Mittelpunktläufe liegen zwischen 3,915 und 4,018, was einer Standardabweichung der Residuen von etwa 0,02 entspricht. Daher ist jeder Effekt, der deutlich größer als 0,2 ist, mit hoher Wahrscheinlichkeit signifikant. Die Differenzen der Faltungspunkte liegen bei etwa 0,6.
Ja, das ist durchaus möglich. Die Bereitstellung der eigentlichen Datentabelle würde bei der weiteren Untersuchung helfen.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignEine Antwort ist praktisch unmöglich, da zu wenig Einblick in das eigentliche Experiment besteht. Handelt es sich um ein reales physikalisches Experiment (oder eine Simulation)? Wurde der Messfehler im Vorfeld quantifiziert? Wie wurde der mittlere quadratische Fehler (MSE) geschätzt? Hatte die Änderung der Reaktion einen praktischen Nutzen? Statistische Signifikanz ist eine bedingte Aussage. Sie ist nur dann aussagekräftig, wenn die Schätzung des MSE eine realistische Annäherung darstellt (und Sie verstehen, was diese Schätzung ausmacht).
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignHallo @NominalGemsbok3 ,
Ich habe möglicherweise ergänzende Vorschläge und Anmerkungen zu den von Ihnen erzielten Ergebnissen.
- Praktisch gesehen gibt es bessere Metriken zur Beurteilung eines möglichen Overfittings: Verwenden Sie das korrigierte R² und minimieren Sie die Differenz zwischen R² und dem korrigierten R² (R² steigt tendenziell mit der Anzahl der Terme im Modell, während das korrigierte R² die Komplexität bzw. die Anzahl der Terme berücksichtigt und zu komplexe Modelle bestraft). Informationskriterien (wie AICc und BIC ) helfen beim Vergleich verschiedener Modelle und berücksichtigen das Verhältnis von Genauigkeit und Komplexität. PRESS- Werte (R² und RMSE) sind ebenfalls gute Indikatoren für die Modellleistung, da sie auf Leave-One-Out-Kreuzvalidierung basieren. So erhalten Sie einen Einblick in die Modellleistung für Datenpunkte, die nicht im Modelltraining verwendet wurden. All diese Metriken unterstützen die Modellauswahl und helfen, die Falle der „Verherrlichung statistischer Signifikanz“ zu vermeiden.
- Statistische Signifikanz unterscheidet sich von der praktischen Relevanz der Effekte: Bei einem sehr hohen Signal-Rausch-Verhältnis lassen sich statistische Effekte möglicherweise leichter nachweisen, selbst wenn sie praktisch irrelevant sind. Nutzen Sie Fachwissen, um die relevanten und wichtigen Effekte herauszufiltern und den Modellauswahlprozess zu steuern.
- Hinsichtlich der Anzahl der aktiven Effekte ist es beruhigend festzustellen, dass:
- Der Design- und Modellierungsansatz ist für die Anzahl der detektierten aktiven Terme korrekt gewählt. Aus der JMP-Hilfe zu Fit Definitive Screening : „ Ein DSD mit minimaler Laufgröße kann aktive Terme mit hoher Wahrscheinlichkeit korrekt identifizieren, wenn die Anzahl der aktiven Effekte weniger als etwa die Hälfte der Laufanzahl beträgt und die Effektstärken mehr als das Doppelte der Standardabweichung sind .“ Mit 9 detektierten aktiven Termen aus 17 ursprünglichen Läufen (+3 zusätzliche Mittelpunkte) und einem relativ niedrigen RMSE befinden Sie sich, wie bereits erwähnt, in einer guten Lage.
- Sie berücksichtigen das Prinzip der Effekthierarchie : Je höher die Wirkungsordnung, desto geringer die Wahrscheinlichkeit, dass diese Wirkung die Variation der Zielgröße erklärt. In Ihrem Fall sind 5 von 6 (83 %) der Haupteffekte signifikant, ebenso wie 3 von 15 (20 %) der Zwei-Faktor-Wechselwirkungen und 1 von 6 (16,7 %) der quadratischen Effekte. Der Anteil der aktiven Effekte mag hoch erscheinen, folgt aber tendenziell der gleichen Regelmäßigkeit in der Wirkungsordnung wie in der Arbeit von Xiang Li, Nandan Sudarsanam und Daniel D. Frey (März 2006) „Regularities in Data from Factorial Experiments“ (https://doi.org/10.1002/cplx.20123 ).
Ihre Ergebnisse scheinen das Resultat einer sorgfältigen Auswahl potenziell relevanter Prädiktoren, eines geringen Rauschpegels bei Experimenten und Messungen, einer geeigneten Versuchsplanung und eines passenden Modellierungsansatzes zu sein. Herzlichen Glückwunsch!
Ich hoffe, diese Antwort hilft Ihnen, diesen positiven Ergebnissen zu vertrauen.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignEs handelt sich um ein reales physikalisches Experiment. Der mittlere quadratische Fehler (MSE) wurde aus den Residuen eines linearen Modells geschätzt. Zur Validierung dieser Schätzung wurde der reine Fehler aus replizierten Mittelpunkten ermittelt (Varianz ≈ 0,002). Ein Anpassungstest ergab keine signifikante Modellunzulänglichkeit (p = 0,79), wobei die mittlere Quadratsumme des Anpassungsfehlers kleiner war als die des reinen Fehlers. Daher kann der MSE als geeignete Schätzung der Fehlervarianz angesehen werden.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignVielen Dank für diese ermutigende und detaillierte Antwort.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignVielen Dank für Ihre Antwort. Was genau meinen Sie mit der „tatsächlichen Datentabelle“?
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignIst es möglich, eine codierte JMP-Datei zu senden? Ich würde gerne einige GENREG-Modelle ausprobieren.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignHallo,
Hier eine codierte JMP-Datei.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignIch habe eine kurze Analyse (Modellanpassung) durchgeführt, und meine Ergebnisse unterscheiden sich völlig von Ihren. Drei Haupteffekte sind die größten Effekte. Ich habe das angepasste Modell Ihrer Datentabelle (Tabelle1) hinzugefügt.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignKönnte der Unterschied daher rühren, dass es sich um ein definitives Screening-Design handelt und ich für die Analyse in JMP die Funktion DoE → Definitives Screening → Definitives Screening anpassen verwendet habe, während Sie dies nicht getan haben? Ich bin der Ansicht, dass DSDs unbedingt mit der geeigneten Methode analysiert werden sollten.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignBeachten Sie, dass in einem DSD viele Interaktionseffekte korreliert (stark verzerrt) sind (R > 0,7; siehe die pinkfarbenen Felder unten und die Farbskala zur Bewertung des Designs in der beigefügten Tabelle). Bei 5 aktiven Faktoren müssen Sie das DSD erweitern und zusätzliche Läufe durchführen, um die verzerrten Interaktionseffekte zu reduzieren.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignWenn Sie das Tool „Fit Definitive Screening Design“ ausführen und „Make Model“ auswählen, was erhalten Sie dann? Sie stellen fest, dass die Signifikanz des p-Werts auf dem replizierten Mittelpunkt basiert.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignIm DSD-Ergebnis finden sich 5 signifikante reine Effekte sowie einige potenziell signifikante, aber korrelierte Interaktionseffekte, die durch zusätzliche Läufe de-aliasing müssen.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignIn der beigefügten Tabelle wird eine DSD-Analyse mit der fit DSD-Plattform durchgeführt. Dabei werden zwei signifikante korrelierte Interaktionseffekte festgestellt: (1) Faktor1 * Faktor3 korreliert mit Faktor2 * Faktor5 und (2) Faktor4 * Faktor5 korreliert mit Faktor1 * Faktor2.
Wie Sie in den rosa Feldern der Korrelationsfarbkarte erkennen können, gibt es auch Aliasing mit den zweiten Interaktionseffekten von Faktor 6; da Faktor 6 jedoch kein aktiver Effekt ist, habe ich seine Interaktionen nicht berücksichtigt; ein sehr gutes Modell kann mit Interaktionen aus den 5 signifikanten Haupteffekten erstellt werden.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignHallo @frankderuyck und @NominalGemsbok3 ,
Es gibt kein ultimatives bestes Modell, aus verschiedenen Gründen: Wahl der Leistungsmetrik, des Schwellenwerts (z. B. für den p-Wert), der Schätzmethode usw. … Und da ein DSD nicht genügend unterschiedliche Behandlungen (Freiheitsgrade) bietet, um alle Effekte zu schätzen, können leicht verschiedene, aber konkurrierende Modelle mit guter Leistung entstehen. Man könnte ein DSD als einen übersättigten Versuchsplan für Response-Surface-Modelle betrachten.
Wie @frankderuyck bereits erwähnte, kann man aufgrund von partiellen Aliasen/Korrelationen zwischen Interaktionseffekten sowie zwischen quadratischen Effekten aufgrund der Versuchsplanung nicht hundertprozentig sicher sein, welchen „echten“ Einfluss die detektierten Interaktions- und quadratischen Effekte auf das Ziel haben (unabhängig von der verwendeten Modellierungsmethode), es sei denn, man führt zusätzliche Simulationsläufe durch, um das Modell zu verbessern. Bei den Haupteffekten hingegen kann man sich sicherer sein, da die Versuchsplanung Korrelationen zwischen Haupteffekten sowie zwischen Haupteffekten und Effekten höherer Ordnung vermeidet, sodass diese unverzerrt geschätzt werden können.
„ Alle Modelle sind falsch, aber manche sind nützlich .“
Ich habe versucht, anhand dieses Beispiels eine spezielle Visualisierung namens Rasterdiagramm zu erstellen (siehe Rasterdiagramme oder andere Visualisierungswerkzeuge zur Unterstützung der Modellbewertung und -auswahl für Versuchsplanungen, um zu sehen, wie es erstellt wurde), um die Vielzahl der Modelle aufgrund der kombinatorischen Explosion möglicher Terme im Modell zu veranschaulichen (neben dem Achsenabschnitt gibt es 27 mögliche Effektterme: 6 Haupteffekte, 15 Zwei-Faktor-Wechselwirkungen und 6 quadratische Effekte). Hierfür verwendete ich die Plattform Stepwise und die Option „Alle möglichen Modelle“ (bis zu 10 Terme im Modell mit starker Vererbungsannahme). Hier ist das Ergebnis der Modelle, sortiert nach dem R²-Wert. Es zeigt, welche Terme (in Spalten) für jedes Modell (jede Zeile) enthalten sind:
Ich bevorzuge die Verwendung eines Informationskriteriums zum Vergleich mehrerer Modelle, wie beispielsweise des AICc (je niedriger, desto besser), da es die Verwendung zu vieler Terme bestraft und einen besseren Vergleich von Modellen mit unterschiedlicher Komplexität ermöglicht:
Wie Sie sehen, stimmen die meisten Modelle hinsichtlich der Haupteffekte der ersten fünf Faktoren überein. Für Faktor 6 sind die Ergebnisse anders, und es lässt sich kein eindeutiges Muster für das Vorhandensein dieses Haupteffekts erkennen. Auch bei Interaktionen und quadratischen Effekten sind keine klaren Muster erkennbar, außer dass einige Effekte höherer Ordnung meist nicht berücksichtigt werden: Interaktionen Faktor 1 × Faktor 6, Faktor 2 × Faktor 4, Faktor 3 × Faktor 5, Faktor 3 × Faktor 6, Faktor 4 × Faktor 6 und Faktor 5 × Faktor 6. Beim quadratischen Effekt fehlt die Interaktion Faktor 6 × Faktor 6 in den meisten Modellen. Betrachtet man die besten Modelle anhand des R²-Werts genauer, ergeben sich einige interessante Beobachtungen zu Effekten höherer Ordnung:
Wechselwirkungen zwischen Faktor 1 und Faktor 3 sowie zwischen Faktor 4 und Faktor 5 werden in Modellen häufig gewählt. Auch quadratische Effekte für Faktor 2 und Faktor 4 werden oft berücksichtigt. Diese Ergebnisse stimmen tendenziell mit den Ergebnissen der Fit Definitive Screening-Plattform überein, wobei dieselben Haupteffekte und Effekte höherer Ordnung festgestellt wurden.
Beschränkt man den Vergleich auf drei verschiedene Schätzmethoden, so zeigt sich ebenfalls diese Situation unterschiedlicher und äquivalenter Modell- und Termkombinationen. Beispielsweise können wir bei den Schätzmethoden Fit Definitive Screening, GenReg Normal Pruned Forward und GenReg Two Stage Forward sowohl die Leistungsfähigkeit der Modelle als auch die verwendeten Terme vergleichen:
- Leistungsmerkmale: hier mit R² und R²-korrigiertem Bestimmtheitsmaß (wie stark das Modell die Variabilität der Zielgröße erklärt):
Wir können sehen, dass die ersten beiden Methoden ähnliche Ergebnisse liefern.
- Begriffe in den Modellen:
Auch wenn die beiden ersten Schätzmethoden Modelle mit ähnlichen Verfahren liefern, unterscheiden sie sich in den Termen, die für Effekte höherer Ordnung berücksichtigt werden. Sie stimmen lediglich in der Einbeziehung des Interaktionseffekts Faktor 1 x Faktor 3 überein.
Ein sinnvoller nächster Schritt wäre daher, mit Fachexperten zu besprechen, welches Modell am sinnvollsten ist, und die Plattform Augment Designs zu nutzen, um das relevanteste Modell zu bestätigen und/oder zu präzisieren. Sie können es beispielsweise erweitern und das Modell angeben, für das Sie die Terme schätzen möchten.
Die Tabelle mit allen in meiner Antwort verwendeten Skripten finden Sie hier.
Ich hoffe, diese Antwort hilft Ihnen.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignEin DSD ist nach wie vor ein geeignetes Screening-Design, um starke Effekte – insbesondere Haupteffekte – aus einer größeren Menge potenzieller Faktoren herauszufiltern. Es gibt auch Hinweise auf potenzielle quadratische Effekte und Interaktionen. Beachten Sie, dass letztere korreliert sind (siehe Farbskala zu Korrelationen). Bei drei oder weniger aktiven Effekten liefert das DSD ein RSM. Bei mehr als drei signifikanten Effekten muss das DSD jedoch erweitert werden, um reine Interaktions- und quadratische Effekte zu bestimmen. Wenn nach einem Brainstorming mit Experten Interaktionseffekte wahrscheinlich sind, beginne ich daher immer mit einem minimalen oder niedrigen DSD-Design, das ausreicht, um starke Effekte zu erkennen und genügend Durchläufe für die Erweiterung und das De-Aliasing zu ermöglichen. Außerdem würde ich nicht zu viel Aufwand in die Replikation von Mittelpunkten investieren.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignUnter uns gesagt: Seltsam, dass in der halbnormalen Handlung nicht alle 5 aktiven Effekte angezeigt werden, sondern nur drei?
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignBei der Auswertung von Normal- und Halbnormalverteilungsdiagrammen ist Vorsicht geboten (siehe Daniel). Lenths PSE ist nicht immer anwendbar. Betrachtet man die Daten, so scheinen mehrere Fehlerverteilungen vorzuliegen. Beachten Sie die unteren sechs Werte, gefolgt von einem Knick, dann zwei, einem weiteren Knick und schließlich fünf Werten. Dies deutet auf eine Veränderung des Rauschens während des Experiments hin und könnte als Hinweis auf eine Sonderursache gewertet werden. Betrachten Sie das zugehörige Pareto-Diagramm. Dort wird die Gruppierung der Schätzwerte deutlicher sichtbar.
Nebenbei bemerkt: Die Wiederholung von Mittelpunkten kann eine hervorragende Methode zur Schätzung des mittleren quadratischen Fehlers (MSE) sein. Mittelpunkte eignen sich gut, um die Annahme der Linearität zu testen, auch wenn sie nicht spezifisch ist. Werden genügend Mittelpunkte (~8) zufällig über das Experiment verteilt, kann auch die Stabilität über den Versuchsverlauf hinweg beurteilt werden. Die MR-Werte sollten in der Reihenfolge der Durchläufe dargestellt werden. Handelt es sich beispielsweise um aktuelle Bedingungen, können die Einflussfaktoren beidseitig des Stroms stärker hervorgehoben werden, um eine bessere Richtungserkennung zu erhalten. Die einzige Einschränkung besteht darin, dass die Faktoren stetig sein müssen.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignInteressant, wie kann man dieses Diagramm dann besser nutzen, um aktive Effekte zu erkennen?
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignLesen Sie Cuthbert Daniel, den Erfinder der Methode.
Daniel, Cuthbert (1976) Anwendungen der Statistik in industriellen Experimenten, Wiley (ISBN 0-471-19469-7)
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignOkay, die Muster entlang der Linie deuten auf besondere Ursachen hin, in diesem Fall auf einige mäßig starke Effekte, die weiter berücksichtigt werden sollten.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignHast du sein Buch schon gelesen? Ich helfe dir gern weiter … Ja, Modelleffekte, die außerhalb der Verteilung der Zufallsfehler liegen (die normalverteilt sein sollte mit einem Mittelwert von 0), sind tatsächlich zuordenbar (sie unterscheiden sich von den Effekten, die wahrscheinlich Teil der Fehlerverteilung sind und daher nicht zuordenbar). Das entspricht aber nicht unbedingt der Grenze, die Lenths Algorithmus zieht. Daniel hat Lenths Algorithmus nicht in seinen Normalverteilungsdiagrammen dargestellt. Er interpretierte die Diagramme und verwendete seine eigene Interpretation, wo seiner Meinung nach die Fehlerverteilung im Diagramm dargestellt war (ich verwende den „dicken Bleistifttest“). Er erwähnt die Beobachtung einer „S“-Kurve im Normalverteilungsdiagramm, was darauf hindeutet, dass etwas anderes als die Modelleffekte das Experiment beeinflusste. Die Sonderursache liegt im Rauschen, nicht im Modelleffekt. Dies wiederum würde den mittleren quadratischen Fehler (MSE) in der ANOVA erhöhen.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignIn Anlehnung an das „Fat Pencil“-Kriterium von @statman sollten Sie Verschiebungen in vertikaler Richtung als eine Änderung des Mittelwerts der Antwort und eine Änderung der Steigung der Geraden durch eine Gruppe von Schätzungen als eine Differenz der Standardabweichung betrachten.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignKann man daraus schließen, dass die Halbnormalverteilung als erstes Screening-Verfahren zum Nachweis sehr starker Effekte verwendet werden kann? Wenn keine zufällige Verteilung und keine Muster um die durchgezogene Linie herum beobachtet werden, deutet dies auf mäßig starke Effekte hin?
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignJa, die Stärke im Verhältnis zu den anderen Effekten im Modell. Übrigens empfehle ich immer, diese Diagramme mit einem gesättigten Modell zu erstellen.
Ebenfalls erwähnenswert: Sind die Vorzeichen der Faktoreinstellungen aussagekräftig (d. h., es handelt sich um stetige Faktoren), können Sie Normalverteilungsdiagramme verwenden und den Richtungsvektor nutzen. Ein lesenswerter Artikel, falls Sie keinen Zugriff auf sein hervorragendes Buch haben:
Daniel, Cuthbert (1959) „Verwendung von Halbnormalverteilungsdiagrammen zur Interpretation faktorieller Zwei-Level-Experimente“, Technometrics, Band 1, Nr. 4, November
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignZu @statmans letzter Antwort: Die Screening-Plattform (eine ältere Version) setzt seine Empfehlungen um. Siehe hier:
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignSehr interessanter Fall und tolle Diskussion, danke fürs Teilen!
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignEs sieht so aus, als ob wir mit der zweistufigen Screening-Plattform das beste Ergebnis AICc = -30 Fit Definitive Screening nicht erreichen werden.
Letztes Jahr habe ich einen Fall mit 7 Faktoren bei DSD veröffentlicht (https://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analyis-of-DSD-at-a-high-level-to/mp/837310#M101378) , wo das Gegenteil der Fall war: Ich habe schnell ein gutes Modell mit 5 aktiven Faktoren durch zweistufiges Screening erhalten und musste mithilfe von Fit DSD den P-Wert in Stufe 1 auf 0,4 erhöhen, um die 5 aktiven Faktoren zu erkennen – interessant.
Betreff: „Überraschende“ Ergebnisse in einem DSD-DesignZur Erkennung aktiver Haupteffekte und zur Identifizierung potenzieller Interaktions- und quadratischer Terme empfehle ich die Fit-DSD-Plattform. Beachten Sie jedoch, dass der p-Wert in Phase 1 als Filter dient. Ein zu niedriger Wert kann verhindern, dass potenzielle aktive Effekte in das Modell gelangen. Beginnen Sie Fit DSD mit einem p-Wert von 0,2 bis 0,4 in Phase 1 (höhere Werte können zu Überanpassung führen).
