241951_de-DE

liliconcom

Warum ist die Aussagekraft meines Mischungsdesigns selbst bei einer Effektgröße von 20 Standardabweichungen so gering?

Hallo zusammen,

Ich würde mich über jeden Rat freuen.Ich helfe einem Wissenschaftler in meiner Firma, ein Mischungsexperiment mit fünf Zutaten zu entwerfen.Wir möchten Haupteffekte und Wechselwirkungen erster Ordnung messen.

 

Ich habe den Wissenschaftler gebeten, Mindest- und Höchstwerte für die Konzentrationen der Inhaltsstoffe sowie die Standardabweichung der Testgenauigkeit anzugeben und die Effektgröße des dominanten Inhaltsstoffs abzuschätzen.Ich verlasse mich darauf, dass Power entscheidet, wie viele Läufe nötig sind.Die Effektgröße des dominanten Inhaltsstoffs beträgt etwa 20 Standardabweichungen.Ich finde, dass die Leistung dieser Zutat bei 30 Läufen nur 0,168 beträgt.Bei 60 Läufen sind es 0,33.

 

Eine Effektgröße von 20 Standardabweichungen ist offensichtlich sehr groß, daher verstehe ich nicht, warum die Leistung in diesem Fall so niedrig ist.

 

Ich habe weitere Untersuchungen durchgeführt, indem ich Ergebnisse für 5 Instanzen der Antwortvariablen mit dem entsprechenden Koeffizienten und der entsprechenden Standardabweichung simuliert habe. Der Inhaltsstoff mit der großen Effektstärke ist in allen 5 Fällen statistisch signifikant (p < 0,001).

 

Was kann ich machen?Ich bin mir nicht sicher, ob ich der Leistungsberechnung für diesen Fall traue.Stöße ich auf eine Einschränkung der Leistungsberechnung?Wie kann ich Hinweise zur Anzahl der erforderlichen Durchläufe geben?

 

Die Ziele des Wissenschaftlers für den Entwurf sind völlig vernünftig und ich bin frustriert, dass ich ihm nicht die Anleitung geben kann, die er braucht.

 

Vielen Dank!Ich habe einen Screenshot der Leistung, des .jmp-Designs und der Textausgabe der Modelle mit den simulierten Antworten angehängt, falls Sie Lust haben, einen Blick darauf zu werfen.

 

Qualitäts- und VerfahrenstechnikBetreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Wenn Sie Mischungsdesigns dimensionieren, möchten Sie vielleicht den Empfehlungen von Brad folgen und sie auf die gleiche Weise betrachten wie ein Reaktionsflächendesign, um Ihre Reaktionen zu optimieren. In diesem Fall sollten Sie die Verwendung von in Betracht ziehen Bruchteil des Designraums (FDS)-Plot, um zu überprüfen, ob Ihr Experiment groß genug ist, damit Sie Ihre mittlere(n) Antwort(en) genau vorhersagen können, wie Sie es bei einem RSM-Design tun würden.

 

Wechselwirkungen zwischen den Rezepturkomponenten oder Zutaten in Ihren Mischungsmodellen sind in der Tat Mischungen: zwei Komponenten, eine zweiteilige Mischung der Zutaten, drei Komponenten, eine dreiteilige Mischung und so weiter. Diese Wechselwirkungen oder Mischungen zwischen Ihren Komponenten führen zu einer Krümmung der Antwort, weshalb Sie in a keine rein quadratischen Terme sehen Scheffé Modell. Wenn Sie Mischungen einbeziehen, versuchen Sie oft, ein Modell zu konstruieren, um nach der optimalen Formulierung zu suchen, genauso wie Sie nach einem Optimum suchen, das sich aus einem Reaktionsflächenexperiment unter Einbeziehung von Prozessfaktoren ergibt. Verwenden Sie daher das FDS-Diagramm, um die Leistungsfähigkeit Ihres Mischungsentwurfs zu beurteilen, so wie Sie es auch tun würden, wenn Sie eine Reaktionsfläche einrichten würden. Aus all den guten Gründen, die alle guten Leute in diesem Thread erwähnt haben (z. B. Multikollinearität und steigende VIFs), ist die Leistungsberechnung nicht nur für Reaktionsoberflächenziele, sondern auch für Mischungsdesigns ungeeignet.     

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Sie sollten sich ein Mischungsexperiment als Reaktionsflächenexperiment und nicht als Screeningexperiment vorstellen. Aufgrund der eingebauten Korrelationen zwischen Haupteffekten und Haupteffekten mit Zwei-Faktor-Wechselwirkungen aufgrund der Mischungsbeschränkung sind die Koeffizientenschätzungen praktisch bedeutungslos. Daher ist es sehr schwierig, mit Mischungsexperimenten eine Modellauswahl durchzuführen. Eine Möglichkeit besteht darin, alle Zwei-Faktor-Wechselwirkungen als Gruppe zu entfernen. Wenn die Quadratsumme der Regression nicht wesentlich sinkt, können Sie alle diese Effekte entfernen. Generell ist die Entfernung einzelner Effekte von fraglichem Nutzen.

 

Allerdings sind die Vorhersagevarianzen für neue Antworten innerhalb des Experimentierbereichs normalerweise recht gering, insbesondere wenn die Fehlervarianz nicht groß ist. Sie können sich also auf Vorhersagen verlassen und eine neue Betriebseinstellung auswählen, die Ihrer gewünschten Reaktion entspricht.

 

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Wirklich tolle Ratschläge von Mark und Dan! Der entscheidende Punkt bei Mischungsentwürfen (oder jeder Optimierungsentwurfsstrategie) ist, dass Sie theoretisch bereits unwichtige Variablen herausgefiltert haben (vielleicht durch mehrere Iterationen, beginnend mit fett gedruckten Stufeneinstellungen) und Sie nun versuchen, eine (oder wahrscheinlich mehrere) Antwort zu optimieren Variablen. Statistische Signifikanz (und damit verbundene Statistiken) sind nicht mehr so wichtig. Typischerweise werden Koeffizienten miteinander verglichen, um die relative Wichtigkeit zu bestimmen. Bei Mischungsexperimenten hat jedoch die Reihenfolge der Terme Einfluss auf die relative Wichtigkeit.Auch X 1 X 2 wird nicht als Interaktion, sondern als nichtlineare Verschmelzungsbeziehung interpretiert (ich betrachte es als Abkehr von der Linearität).

 

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Durch Pseudokomponentencodierung werden die Bereiche so groß wie möglich, aber möglicherweise immer noch nicht sehr groß. Bei engen Bereichen kann man nur eine begrenzte Menge tun. Es ist durchaus möglich, dass die Modellierung nicht in der Lage wäre, zwischen einem rein linearen Modell (für zwei Komponenten: Y=B1*X1 + B2*X2) und einem rein quadratischen Modell (Y=B11*X1*X2) zu unterscheiden. Sie können nicht feststellen, welche Effekte im Modell real sind, da sie miteinander in Zusammenhang stehen und insbesondere im ausgewählten Bereich äußerst ähnlich aussehen. Daher geringe Leistung.

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?Vielen Dank für die Aufmerksamkeit, die ich meiner Frage geschenkt habe!

JMP kodiert die Variablen als Pseudokomponenten, indem es das Minimum subtrahiert. Ich dachte, das würde die Probleme im Zusammenhang mit der eingeschränkten Reichweite lösen.Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Noch ein paar Punkte, die ich zu Marks großartigen Ratschlägen hinzufügen möchte. Eine niedrige Trennschärfe in einer Formulierung wird typischerweise durch einen engen Faktorbereich verursacht, was in diesem Fall zutrifft. Darüber hinaus ist das Konzept der Leistung in einem Mischungsexperiment schwer zu durchdenken. Leistung ist die Wahrscheinlichkeit, einen echten Effekt zu erkennen. Wenn X3 einen Effekt hat, ist es dann nicht sinnvoll, dass die anderen Faktoren (zumindest in Kombination) einen Effekt haben, da sie sich im Verhältnis zu X3 ändern müssen? Menschen stellen sich die Macht oft so vor, als seien die Faktoren unabhängig, obwohl dies nicht der Fall ist.

 

Denken Sie schließlich daran, dass die Zwei-Wege-Terme im Scheffe-Mischungsmodell quadratische Terme sind und die Krümmung entlang der Kante Ihres Experimentierfensters beschreiben. Entlang dieser Kante können Sie im uneingeschränkten Fall eine Form haben, die so aussieht:

 

Das ist in der Tat ein großer Effekt. Da Sie den Bereich jedoch auf (ungefähr) 0 bis 0,1 beschränken, schätzen Sie tatsächlich diese Form:

was auch in der Vergrößerung nicht viel besser aussieht:

Was wie ein großer Effekt aussieht, ist aufgrund des Zusammenspiels mit anderen Faktoren und der eingeschränkten Reichweite möglicherweise nicht so groß, wie Sie denken. Anders ausgedrückt würde es dem Modell schwerfallen, zwischen einem rein linearen Modell und einem rein quadratischen Modell zu unterscheiden – in diesem engen Bereich sind sie nicht zu unterscheiden. Die Replikation allein wird diese Art von Problem nicht ausreichend lösen.

 

Leistung ist also eine gute Sache, aber bei vielen Mischungsexperimenten liegt der Fokus eher auf der Vorhersage der Reaktion. Wie Mark sagte, können Sie auch mit geringer Leistung sehr gute Vorhersagemodelle erhalten.

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Im Allgemeinen, aber nicht immer, führen wir Mischungsexperimente durch, um eine Formulierung zu optimieren, anstatt Komponenten zu testen. Wir sind nicht so sehr an Macht interessiert. Stattdessen interessiert uns die Vorhersageleistung des Modells, die mit einem Kandidatendesign möglich ist. Dennoch wird diese Leistung nicht so gut sein, wie wir es von uneingeschränkten oder unabhängigen Faktoren gewohnt sind.

 

In Ihrem Fall gibt es nichts Neues. Sie waren sich des Problems oder seiner Ursache bisher einfach nicht bewusst. Wir verwenden solche Designs seit Jahrzehnten erfolgreich, trotz der Korrelation, um die besten Mischungen zu finden.

 

Ich empfehle " Strategien für die Formulierungsentwicklung: Eine Schritt-für-Schritt-Anleitung mit JMP " von Ronald Snee und Roger Hoerl als Referenz, falls Sie eine benötigen. Diese Empfehlung stellt keine Empfehlung dar, da es andere ausgezeichnete Lehrbücher über Mischungsexperimente gibt, aber dieses ist streng und praxisorientiert.

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?Vielen Dank, Mark, für die ausführliche Antwort. Es ist eine Erleichterung, eine Anleitung zu haben.

Ich habe für Zutat3 sowohl für die Leistungsberechnung als auch für die Simulationen einen Koeffizienten von „200“ verwendet (und einen RMSE von 1). Da Zutat3 im Design zwischen etwa 0 und etwa 0,1 liegt, ging ich davon aus, dass dies zu einer Effektgröße von etwa 20 Standardabweichungen (200 * 0,1) führt.

Aus meiner naiven Sicht habe ich die Leistungsberechnung und die Simulationen konsistent eingerichtet. Wenn ich die simulierten Daten anpasse, beträgt der RMSE der Modelle etwa 1 und der Antwortbereich liegt zwischen etwa 0 und 20, sodass es immer noch zu funktionieren scheint. Liegt in dieser Überlegung ein Fehler?

Zurück zum Kernproblem: Es wird Ihnen gezeigt, dass zwischen den Variablen eine große Korrelation besteht und dies die Varianz in den Schätzungen erhöht. Bedeutet das, dass dieser Mischungsaufbau mit 5 Zutaten, Haupteffekten und Wechselwirkungen erster Ordnung auch bei 60 Durchläufen nicht abzuschätzen ist?

Ich habe einen Ausweichplan, bei dem ich nur ein Modell mit Haupteffekten verwende, um die Stärke abzuschätzen, und sobald die Daten gesammelt sind, alle Schätzungen der Wechselwirkungen als „Bonus“ zu betrachten. Was denkst du darüber? Ist es zu defätistisch?

Vielen Dank. Ich schätze den Einblick sehr.Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Hier ist die Farbkarte zu den Korrelationen, die sich aus der Verwendung des Designs mit 30 Durchläufen ergeben.

 

 

Diese Korrelation erhöht die Varianz der Schätzungen, wie in der Übersicht zur Schätzungseffizienz dargestellt:

 

 

Ihre Simulationen verwenden einen relativen Effekt von 400 Standardabweichungen, nicht 20. Ich habe einen Koeffizienten von 10 verwendet, um einem Effekt der Größe 20 zu entsprechen. JMP Pro bietet eine integrierte Funktion, um Daten sehr einfach zu simulieren und schnell Ergebnisse für jede erneute Stichprobe zu liefern, wie z. B. die Spalte „Schätzungen“ aus der Gliederung „Parameterschätzungen“ in „Kleinste Quadrate anpassen“. Hier ist das Ergebnis für die Schätzung von Inhaltsstoff 5 aus 2500 Simulationen.

 

 

Ich habe die Tabelle aus der Simulation angehängt, damit Sie sie selbst erkunden können.

 

Ein weiterer zu berücksichtigender Aspekt bei Mischungsentwürfen und -modellen besteht darin, dass JMP anhand der Nullhypothese testet, dass der Parameter 0 ist. Dieser Test ist im üblichen Kontext des linearen Modells ohne Einschränkungen zwischen den Prädiktoren sinnvoll. Es handelt sich nicht einfach um ein Modell ohne Intercept-Term. Der Achsenabschnitt ist Teil der Schätzungen für die linearen Effekte. Daher sollte der Test für lineare Parameter anhand der Nullhypothese erfolgen, dass der Parameter die mittlere Antwort ist.

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?Danke für die Antwort! Ich verstehe, wie Multikollinearität die Entwurfsleistung verringern kann, aber sollte sich dies nicht auch auf den Regressionskoeffizienten in den Modellen meiner simulierten Daten auswirken? Warum war Multikollinearität für die Potenz so schädlich, nicht aber für die Regressionskoeffizienten?

Betreff: Warum ist die Aussagekraft meines Mischungsdesigns so gering, selbst bei einer Effektgröße von 20 Standardabweichungen?

Die Einschränkung, dass sich die Mischungskomponenten auf 1 summieren müssen, führt zu Korrelationen zwischen den Parameterschätzungen. Diese Korrelation vergrößert die Standardfehler der Parameterschätzungen, was wiederum die Aussagekraft verringert. Wenn du...

 

• eine Summe < 1 verwenden,
• den Komponentenbereich mit einer Untergrenze > 0 oder einer Obergrenze < 1 einschränken,
• lineare Beschränkungen für die Komponenten einbeziehen,
• Terme höherer Ordnung in das Modell einbeziehen,

die Korrelation ist höher und die Effekte sind ausgeprägter.

 

Untersuchen Sie die Farbkarte zu Korrelationen in der Entwurfsbewertungsübersicht.