Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektgröße von 20 Standardabweichungen so gering?Hallo alle,
Ich würde mich über jeden Rat freuen.Ich helfe einem Wissenschaftler in meiner Firma, ein Mischungsexperiment mit 5 Zutaten zu entwerfen.Wir wollen Haupteffekte und Wechselwirkungen 1. Ordnung messen.
Ich bat den Wissenschaftler, Min- und Max-Werte für die Inhaltsstoffkonzentrationen und die Standardabweichung der Testpräzision anzugeben und die Effektgröße des dominierenden Inhaltsstoffs abzuschätzen.Ich verlasse mich auf Power, um zu entscheiden, wie viele Läufe benötigt werden.Die Effektgröße des dominierenden Inhaltsstoffs beträgt etwa 20 Standardabweichungen.Ich finde für 30 Läufe beträgt die Power für diese Zutat nur 0,168.Bei 60 Läufen sind es 0,33.
Eine Effektgröße von 20 Standardabweichungen ist offensichtlich sehr groß, daher verstehe ich nicht, warum die Power für diesen Fall so niedrig ist.
Ich habe weiter nachgeforscht, indem ich die Ergebnisse für 5 Instanzen der Antwortvariablen mit dem entsprechenden Koeffizienten und der Standardabweichung simuliert habe, und der Inhaltsstoff mit der großen Effektgröße ist in allen 5 Fällen statistisch signifikant (p < 0,001).
Was kann ich machen?Ich bin mir nicht sicher, ob ich der Leistungsberechnung für diesen Fall vertraue.Stöße ich auf eine Begrenzung der Leistungsberechnung?Wie kann ich Hinweise zur Anzahl der erforderlichen Läufe geben?
Die Ziele des Wissenschaftlers für das Design sind absolut vernünftig, und ich bin frustriert, dass ich ihm nicht die Anleitung geben kann, die er braucht.
Danke vielmals!Ich habe einen Screenshot der Leistung, des .jmp-Designs und der Textausgabe der Modelle mit den simulierten Antworten beigefügt, falls Sie einen Blick darauf werfen möchten.
DAMHIRSCHKUHBetreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Wenn Sie Mischungsdesigns dimensionieren, sollten Sie vielleicht so vorgehen, wie es Brad empfiehlt, und sie genauso betrachten, wie Sie es mit einem Antwortoberflächendesign zur Optimierung Ihrer Antworten tun würden. Ziehen Sie in diesem Fall die Verwendung von in Betracht Bruchteil des Designraums (FDS)-Plot zur Überprüfung Ihres Experiments ausreichend dimensioniert ist, damit Sie Ihre mittlere(n) Antwort(en) genau vorhersagen können, wie Sie es bei einem RSM-Design tun würden.
Wechselwirkungen zwischen den Rezepturkomponenten oder Inhaltsstoffen in Ihren Mischungsmodellen sind tatsächlich Mischungen: zwei Komponenten, eine zweiteilige Mischung der Inhaltsstoffe, drei Komponenten, eine dreiteilige Mischung und so weiter. Diese Wechselwirkungen oder Mischungen zwischen Ihren Komponenten verursachen eine Krümmung in der Antwort, weshalb Sie in a keine reinen quadratischen Terme sehen Scheffe Modell. Wenn Sie Mischen einbeziehen, versuchen Sie oft, ein Modell zu konstruieren, um nach der optimalen Formulierung zu suchen, genauso wie Sie nach einem Optimum suchen würden, das sich aus einem Response-Surface-Experiment mit Prozessfaktoren ergibt. Verwenden Sie daher das FDS-Diagramm, um die Leistungsfähigkeit Ihres Mischungsdesigns so zu bewerten, wie Sie es tun würden, wenn Sie eine Antwortfläche einrichten würden. Aus all den guten Gründen, die alle guten Leute in diesem Thread erwähnt haben (z. B. Multikollinearität und steigende VIFs), ist die Leistungsberechnung nicht nur für Response-Surface-Ziele ungeeignet, sondern auch für Mischungsdesigns.
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Sie sollten sich ein Mischungsexperiment eher als Response-Surface-Experiment denn als Screening-Experiment vorstellen. Aufgrund der eingebauten Korrelationen zwischen Haupteffekten und Haupteffekten mit Zwei-Faktor-Wechselwirkungen aufgrund der Mischungsbeschränkung sind die Koeffizientenschätzungen praktisch bedeutungslos. Daher ist eine Modellauswahl mit Mischungsexperimenten sehr schwierig. Eine Möglichkeit besteht darin, alle Zwei-Faktor-Wechselwirkungen als Gruppe zu entfernen. Wenn die Regressionsquadratsumme nicht signifikant abfällt, können Sie alle diese Effekte entfernen. Generell ist das Entfernen einzelner Effekte von fragwürdigem Nutzen.
Die Vorhersagevarianzen für neue Antworten innerhalb des Experimentbereichs sind jedoch normalerweise ziemlich gering, insbesondere wenn die Fehlervarianz nicht groß ist. Sie können sich also auf Vorhersagen verlassen und eine neue Betriebseinstellung wählen, die Ihrer gewünschten Reaktion entspricht.
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Wirklich toller Rat von Mark und Dan! Der entscheidende Punkt bei Mischungsdesigns (oder jeder Optimierungsdesignstrategie) ist, dass Sie theoretisch bereits unwichtige Variablen aussortiert haben (vielleicht durch mehrere Iterationen, beginnend mit fetten Ebeneneinstellungen) und jetzt versuchen, eine (oder wahrscheinlich mehrere) Antwort zu optimieren Variablen. Statistische Signifikanz (und verwandte Statistiken) sind nicht mehr so wichtig. Typischerweise werden Koeffizienten miteinander verglichen, um die relative Wichtigkeit zu bestimmen, aber in Mischungsexperimenten wirkt sich die Reihenfolge der Terme auf die relative Wichtigkeit aus.Ebenfalls X 1 X 2 wird nicht als Wechselwirkung interpretiert, sondern als nichtlineare Mischungsbeziehung (ich halte es für eine Abweichung von der Linearität).
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Die Pseudokomponentencodierung macht die Bereiche so groß wie möglich, aber sie sind möglicherweise immer noch nicht sehr groß. Sie können nur so viel für enge Bereiche tun. Es ist sehr wahrscheinlich, dass die Modellierung nicht in der Lage wäre, zwischen einem rein linearen Modell (für zwei Komponenten: Y=B1*X1 + B2*X2) und einem rein quadratischen Modell (Y=B11*X1*X2) zu unterscheiden. Sie können nicht bestimmen, welche Effekte im Modell real sind, da sie miteinander zusammenhängen und extrem ähnlich aussehen, insbesondere über den gewählten Bereich. Daher geringe Leistung.
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Danke für all die Aufmerksamkeit auf meine Frage!
JMP codiert die Variablen als Pseudokomponenten, indem das Minimum subtrahiert wird. Ich dachte, das würde die Probleme im Zusammenhang mit der eingeschränkten Reichweite lösen.Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Ein paar weitere Punkte, die zu all den großartigen Ratschlägen von Mark hinzugefügt werden können. Eine geringe Trennschärfe in einer Formulierung wird typischerweise durch einen engen Faktorbereich verursacht, was in diesem Fall zutrifft. Darüber hinaus ist das Konzept der Leistung in einem Mischungsexperiment schwer zu durchdenken. Power ist die Wahrscheinlichkeit, einen echten Effekt zu entdecken. Wenn X3 eine Wirkung hat, ist es dann nicht sinnvoll, dass die anderen Faktoren (zumindest in Kombination) eine Wirkung haben, da sie sich in Bezug auf X3 ändern müssen? Die Leute denken oft an die Macht, als ob die Faktoren unabhängig wären, obwohl sie es nicht sind.
Denken Sie schließlich daran, dass die Zwei-Wege-Terme im Scheffe-Mischungsmodell quadratische Terme sind und die Krümmung entlang der Kante Ihres Experimentierfensters beschreiben. Entlang dieser Kante haben Sie in einem uneingeschränkten Fall möglicherweise eine Form, die so aussieht:
Dies ist in der Tat ein großer Effekt. Da Sie den Bereich jedoch auf (ungefähr) 0 bis 0,1 beschränken, schätzen Sie diese Form wirklich ab:
was nicht viel besser aussieht, auch wenn es hineingezoomt ist:
Was wie ein großer Effekt aussieht, ist aufgrund des Zusammenspiels mit anderen Faktoren und der eingeschränkten Reichweite möglicherweise nicht so groß, wie Sie denken. Anders ausgedrückt, das Modell hätte Schwierigkeiten, zwischen einem rein linearen Modell und einem rein quadratischen Modell zu unterscheiden – sie sind in diesem engen Bereich nicht unterscheidbar. Die Replikation allein wird diese Art von Problem nicht angemessen beheben.
Leistung ist also eine gute Sache, aber bei vielen Mischungsexperimenten liegt der Fokus mehr auf der Vorhersage der Reaktion. Wie Mark sagte, können Sie selbst mit geringer Leistung sehr gute Vorhersagemodelle erhalten.
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Im Allgemeinen, aber nicht immer, führen wir Mischungsexperimente durch, um eine bestimmte Formulierung im Gegensatz zum Screening von Komponenten zu optimieren. Macht interessiert uns nicht so sehr. Stattdessen interessiert uns die Vorhersageleistung des Modells, die mit einem Kandidatendesign möglich ist. Trotzdem wird diese Leistung nicht so gut sein, wie wir es von unbeschränkten oder unabhängigen Faktoren gewohnt sind.
In Ihrem Fall gibt es nichts Neues. Sie waren sich des Problems oder seines Ursprungs vorher einfach nicht bewusst. Wir verwenden solche Designs trotz der Korrelation seit Jahrzehnten erfolgreich, um die besten Mischungen zu finden.
Ich empfehle " Strategien für die Formulierungsentwicklung: Eine Schritt-für-Schritt-Anleitung mit JMP " von Ronald Snee und Roger Hoerl als Referenz, falls Sie eine benötigen. Diese Empfehlung ist keine Empfehlung, da es andere ausgezeichnete Lehrbücher über Mischungsexperimente gibt, aber dieses ist streng und praktisch.
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Vielen Dank Markus für die ausführliche Antwort. Es ist eine Erleichterung, eine Anleitung zu haben.
Ich habe einen Koeffizienten von „200“ für Ingredient3 sowohl für die Leistungsberechnung als auch für die Simulationen (und einen RMSE von 1) verwendet. Da Ingredient3 im Design von ungefähr 0 bis ungefähr 0,1 reicht, kam ich zu dem Schluss, dass dies eine Effektgröße von ungefähr 20 Standardabweichungen (200 * 0,1) erzeugt.
Aus meiner naiven Sichtweise habe ich die Leistungsberechnung und die Simulationen konsequent aufgebaut. Wenn ich die simulierten Daten anpasse, beträgt der RMSE der Modelle etwa 1 und der Bereich der Antwort reicht von etwa 0 bis 20, sodass es immer noch zu schwingen scheint. Gibt es einen Denkfehler?
Zurück zum eigentlichen Problem … Ihnen wird gezeigt, dass es eine starke Korrelation zwischen den Variablen gibt, und dies erhöht die Varianz in den Schätzungen. Bedeutet dies, dass dieses Mischungsdesign mit 5 Inhaltsstoffen, Haupteffekten und Wechselwirkungen erster Ordnung selbst bei 60 Durchläufen unmöglich abzuschätzen ist?
Ich habe einen Rückfallplan, um nur ein Modell mit Haupteffekten zu verwenden, um die Leistung zu schätzen, und sobald die Daten gesammelt sind, alle Schätzungen der Wechselwirkungen als "Bonus" zu betrachten. Was denkst du darüber? Ist es zu defätistisch?
Danke vielmals. Ich schätze den Einblick sehr.Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Hier ist die Farbkarte zu den Korrelationen, die sich aus der Verwendung des Designs mit 30 Läufen ergeben.
Diese Korrelation erhöht die Varianz der Schätzungen, wie in der Übersicht zur Schätzungseffizienz gezeigt:
Ihre Simulationen verwenden einen relativen Effekt von 400 Standardabweichungen, nicht 20. Ich habe einen Koeffizienten von 10 verwendet, um einem Effekt der Größe 20 zu entsprechen. JMP Pro bietet eine integrierte Funktion, um Daten sehr einfach zu simulieren und schnell Ergebnisse für jede Neuabtastung zu erzeugen, wie z. B. die Spalte „Schätzungen“ aus der Gliederung „Parameterschätzungen“ in „Kleinste Quadrate anpassen“. Hier ist das Ergebnis für die Schätzung von Inhaltsstoff 5 aus 2500 Simulationen.
Ich habe die Tabelle aus der Simulation angehängt, damit Sie sie selbst erkunden können.
Ein weiterer zu beachtender Aspekt bei Mischungsdesigns und -modellen ist, dass JMP gegen die Nullhypothese testet, dass der Parameter 0 ist. Dieser Test ist im üblichen Kontext des linearen Modells ohne Einschränkungen bei den Prädiktoren sinnvoll. Es ist nicht einfach ein Modell ohne Intercept-Term. Der Schnittpunkt ist Teil der Schätzungen für die linearen Effekte. Daher sollte der Test für lineare Parameter gegen die Nullhypothese gerichtet sein, dass der Parameter die mittlere Antwort ist.
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Danke für die Antwort! Ich verstehe, wie Multikollinearität die Designleistung reduzieren kann, aber sollte dies nicht auch den Regressionskoeffizienten in den Modellen meiner simulierten Daten beeinflussen? Warum war Multikollinearität so schädlich für die Power, aber nicht für die Regressionskoeffizienten?
Betreff: Warum ist die Trennschärfe meines Mischungsdesigns selbst bei einer Effektstärke von 20 Standardabweichungen so gering?Die Einschränkung der Mischungskomponenten, sich zu 1 zu summieren, führt Korrelationen zwischen den Parameterschätzungen ein. Diese Korrelation bläht die Standardfehler der Parameterschätzungen auf, was wiederum die Trennschärfe verringert. Wenn du...
- Verwenden Sie eine Summe < 1,
- den Komponentenbereich mit einer unteren Grenze > 0 oder einer oberen Grenze < 1 einschränken,
- lineare Beschränkungen für die Komponenten einbeziehen,
- Terme höherer Ordnung in das Modell aufnehmen,
die Korrelation ist höher und die Effekte ausgeprägter.
Untersuchen Sie die Farbkarte auf Korrelationen in der Entwurfsbewertungsskizze.
