Jemand hat mir gesagt, dass wir bei der Bewertung eines DOE die Leistung >= 80 % halten müssen, aber warum ist die Leistung bei Verwendung des PB-Designs so niedrig? Beispielsweise liegt die Trennschärfe bei etwa 0,27, wenn ich 12 Experimente mit 11 Faktoren durchführe. Kann ich diesem Design mit so geringer Leistung vertrauen? Vielen Dank.
Hi @JMPLearner_2022 ,
Stärke ist die Fähigkeit, eine signifikante Wirkung zu erkennen, wenn sie tatsächlich vorhanden ist.
Diese 80 % sind eine praktische Faustregel, um zu bewerten, ob Ihr Screening-Design Haupteffekte effizient erkennen kann, aber denken Sie daran, dass die Power-Berechnung nicht nur vom Design (und seiner Stichprobengröße) abhängt, sondern auch von der Signifikanz Pegel (häufig 0,05), zu erkennende Differenzgröße und erwartetes Signal-Rausch-Verhältnis (oder RMSE) der Antwort(en).
Wenn also Ihr erwarteter RMSE niedriger ist (Antwort(en) wird/werden genauer und mit geringerer Varianz gemessen) und/oder die Differenzgröße, die Sie erkennen möchten, höher ist, erwarten Sie möglicherweise eine höhere Leistung für Ihre Effekte.
Die Leistung ist im Falle von Optimierungsdesigns (Mischungsdesigns, raumfüllende Designs ...) möglicherweise nicht sehr interessant, da ihr Hauptaugenmerk auf der Vorhersagepräzision der Antwort(en) und nicht auf der Schätzungsgenauigkeit der Berechnung liegt. Aber Leistung ist im Fall von Screening-Design, wie in Ihrem Fall, von primärem Interesse.
Schwer zu sagen, ob wir Ihrem Design mit diesen Informationen vertrauen können, da es nicht nur vom Design selbst und seinen Erwartungen (RMSE, Signifikanzniveau, zu erkennende Differenzgröße, ...) abhängt, sondern auch davon, welche Faktoren Sie überprüfen möchten , bei denen Sie einen signifikanten, erwarteten Unterschied erwarten, um zu erkennen ... = Domänenexpertise.
Vielleicht wäre eine Lösung für Sie, verschiedene Designs zu berechnen, um die Stärken und Schwächen der verschiedenen Screening-Designs zu vergleichen.
Wenn ich mir das benutzerdefinierte Design ansehe und 12 Experimente für 11 kontinuierliche Faktoren festlege (Mindestanzahl von Durchläufen erforderlich), finde ich auch die Leistung für Haupteffekte nahe 0,21 (also 21% der Chancen, einen signifikanten Effekt zu sehen, falls vorhanden). Aber wenn die Anzahl der Läufe auf 16 erhöht wird (empfohlen von JMP, "Default"-Einstellung), steigt die Leistung für Haupteffekte auf 0,84. Wenn die experimentellen Kosten nicht zu hoch sind, kann eine Erhöhung der Stichprobengröße Ihnen sehr helfen, mehr Vertrauen in Ihre Screening-Fähigkeiten zu gewinnen.
Hoffe das wird dir helfen,
