Aufwand für jedes DOEHallo,
Ich habe mehrere Versuchsplanungen (DOE) durchgeführt, aber eine wiederkehrende Herausforderung ist die große Anzahl der erforderlichen Versuche. Beispielsweise testen wir bei einem Screening-Design mit sieben Versuchsdurchläufen typischerweise vier bis sechs Replikate pro Durchgang, um die Reproduzierbarkeit zu bewerten. Dies ergibt insgesamt 28 bis 42 Versuche pro DOE.
Nach all diesen Versuchen erweist sich die Modellleistung jedoch oft als unbefriedigend – mit R²-Werten um 0,55 bis 0,59. Aufgrund breiter Konfidenzintervalle und inkonsistenter Parameterschätzungen fällt es uns zudem schwer, ein zuverlässiges oder wiederholbares Modell zu identifizieren. Selbst wenn Y-Daten unter kontrollierten Bedingungen erhoben werden, ist das Modell oft nicht konsistent und liefert keine schlüssigen Erkenntnisse. Daher müssen wir bei jedem Experiment umfangreiche Prozessdaten erfassen.
Das wird zunehmend frustrierend. Wie können wir dieses Problem effektiv angehen, unnötigen Aufwand reduzieren und gleichzeitig die Modellzuverlässigkeit verbessern?
VersuchsplanungBetreff: Aufwand für jedes DOEEin paar Gedanken für Sie:
1. Versuchen Sie im Screening-Modus, sich nicht zu sehr auf die Modellleistung zu versteifen. Im Screening-Modus geht es primär darum, aktive Effekte/Faktoren zu identifizieren, weniger um das Modell und dessen Effektivität in Bezug auf die Vorhersage. Stellen Sie sich die Frage: „Haben wir Faktoren identifiziert, die einer weiteren Untersuchung würdig sind?“ Wenn ja, gehen Sie entsprechend vor. Wenn nicht, stellen Sie sich weitere Fragen, wie zum Beispiel:
a. Haben wir Pegel gewählt, die nicht breit genug sind, damit das Signal über das Rauschen hinausragt?
b. Gibt es verborgene Störvariablen, die unsere Reaktionen beeinflussen? Wenn ja, wie werden wir in Zukunft mit ihnen umgehen? Blockieren sie uns?
c. Gibt es andere Faktoren, die wir berücksichtigen müssen?
2. Mit all diesen Replikaten sollten Sie eine gute Schätzung des reinen Fehlers erhalten, der, wenn er groß genug ist, das Signal überlagert. Was wissen Sie über die Variation Ihres Messsystems in Bezug auf die Antworten? Müssen Sie, wenn er groß genug ist, vielleicht daran arbeiten, das Rauschen des Messsystems zu reduzieren?
Ich bin sicher, dass sich noch andere melden werden … und wie immer können wir vielleicht weiterhelfen, wenn Sie ein oder zwei Experimente mit uns teilen.
Betreff: Aufwand für jedes DOEHallo @Statexplorer ,
@P_Bartell hat viele nützliche Informationen und Ratschläge gegeben. Ich möchte einige der genannten Punkte ergänzen, da Sie anscheinend Experimente in Umgebungen mit (relativ) hohem Rauschen durchführen.
Haben Sie versucht, die mögliche Ursache für das Rauschen/die hohe Unsicherheit zu analysieren? Modellunzulänglichkeit (fehlende Interaktionsterme oder quadratische Effekte?), hoher Messfehler, Störvariablen (tägliche Schwankungen, Bediener, Prozessvariabilität?). Die Analyse der Rauschquelle wäre hilfreich, um geeignete Minderungsstrategien zu empfehlen:
- Welches Modell verwenden Sie im Falle einer Modellunzulänglichkeit häufig im Screening-Modus (nur Haupteffekte)? Gibt es bestimmte Muster in den Residuen und/oder im Lack-of-Fit-Test, die auf Probleme hinweisen könnten?
Erwarten Sie starke Interaktionseffekte und/oder polynomische oder nichtlineare Effekte? Haben Sie andere (nichtlineare) Modellierungsmethoden ausprobiert, beispielsweise Machine-Learning-Algorithmen, die für die Größe und Komplexität Ihres Datensatzes geeignet sind, wie Bootstrap Forest und SVMs?
- Können Sie bei hohen Messfehlern die Bereiche der Faktoren erweitern (sodass das Signal relativ höher als das Rauschen sein kann)? Können Sie auch wiederholte Messungen hinzufügen: zusätzlich zu den Replikaten, oder können Sie die Anzahl der unabhängigen Replikatläufe verringern und durch wiederholte Messungen kompensieren und den Mittelwert und die Varianz der Antwort der wiederholten Messungen für jeden Lauf modellieren?
- Bei bekannten Störvariablen könnten Sie bei der Designgenerierung Sicherheitsvorkehrungen wie Blockierungen treffen, um Bedienereinflüsse, tägliche Variabilität, Messgerätewechsel usw. zu vermeiden. Durch die Verwendung einer zufälligen Blockvariable können Sie die Varianz dieser Störvariablen von der gesamten experimentellen Varianz abziehen und so verhindern, dass diese Varianz potenzielle aktive Effekte „verbirgt“. Wenn die Störvariablen bearbeitbar/veränderbar und bekannt sind (z. B. Prozessvariablen), können Sie auch Taguchi-Designs zur Erstellung eines robusten Designs verwenden oder die Custom-Design-Plattform nutzen: Experimente für robustes Prozess- und Produktdesign
Ich hoffe, diese Antwort trägt zur Diskussion bei.
Betreff: Aufwand für jedes DOELeider kann ich keine konkreten Ratschläge geben, da der Kontext fehlt. Diese Probleme lassen sich nicht allgemein behandeln. Hier sind meine ersten Gedanken:
1. Mir sind keine Screening-Designs mit 7 Durchläufen bekannt. Meinten Sie 8 (2^7-4 ResIII)?
2. Ich verstehe die Anzahl der Replikate nicht. Erstens handelt es sich hier um Replikate (unabhängige Durchführung derselben Behandlungskombinationen) und nicht um Wiederholungen? Eines der Dinge, die man beim Versuchsdesign „opfert“, ist Stabilität. Um Stabilitätsprobleme zu verstehen, sind Stichproben- und COV-Studien das Mittel der Wahl. Mit 4-6 Replikaten lässt sich ohnehin keine wirkliche Stabilität erreichen.
3. Es klingt, als hätten Sie viel Lärm. Vielleicht brauchen Sie eine bessere Strategie, um mit dem Lärm umzugehen (z. B. RCBD, BIB, Split-Plots).
4. Da ich im Grunde keine Kenntnis der Situation habe, würde ich vorschlagen, vor der DOE mit COV/Probenahme zu beginnen.
4. R^2 ist nur eine von mehreren Statistiken, die Sie zur Bewertung des Modells verwenden sollten (und es ist nicht die beste).
Betreff: Aufwand für jedes DOEDanke @P_Bartell
Aber was sollte der kleinste Rsq sein, den wir als Teil der Screening-Designs benötigen?
a. Haben wir Pegel gewählt, die nicht breit genug sind, damit das Signal über das Rauschen hinausragt? – Wie findet man diese?
b. Gibt es versteckte Störvariablen, die unsere Reaktionen beeinflussen? Wenn ja, wie werden wir in Zukunft damit umgehen? Wie finden wir diese?
c. Gibt es andere Faktoren, die wir berücksichtigen müssen? - Wie findet man diese?
2. Mit all diesen Replikaten sollten Sie eine gute Schätzung des reinen Fehlers erhalten, der, wenn er groß genug ist, das Signal überlagert. Was wissen Sie über die Variation Ihres Messsystems in Bezug auf die Antworten? Müssen Sie vielleicht, wenn die Abweichung groß genug ist, das Rauschen des Messsystems reduzieren? – Ich kenne die Grundlagen von MSA und seine Auswirkungen auf die Antworten. Wie kann man diese also auf DOE-Ebene nutzen?
Betreff: Aufwand für jedes DOEDanke @statman
Entschuldigung, es waren nicht 7, sondern 10 Läufe mit benutzerdefiniertem Design und sieben, bei denen nur zwei kontinuierliche Variablen geändert wurden.
3. Es klingt, als hätten Sie viel Rauschen. Vielleicht benötigen Sie eine bessere Strategie, um das Rauschen zu bewältigen (z. B. RCBD, BIBD, Split-Plots) – Wie kann ich diese in JMP DOE verwenden?
4. Da ich die Situation praktisch nicht kenne, würde ich vorschlagen, vor dem DOE mit COV/Sampling zu beginnen. Wie führt man eine COV-Studie durch und wählt die richtige Anzahl an Sampling vor dem DOE? Normalerweise halte ich mich an 38–52 als Stichprobengröße für das gesamte DOE (d. h. die Zellen, die für das gesamte DOE verwendet werden).
4. R^2 ist nur eine von mehreren Statistiken, die Sie zur Bewertung des Modells verwenden sollten (und nicht die beste). – Welche anderen Statistiken eignen sich am besten zur Bewertung des Modells? Können Sie mir bitte sagen, welche anderen Statistiken am besten geeignet sind? Ich werde immer nach Mustern, CI, fehlender Anpassung, Parameterschätzung und manchmal normalisiertem RMSE suchen.
Betreff: Aufwand für jedes DOEDanke @Victor_G
Nein, ich habe nie versucht, die Geräuschursache zu ermitteln, da vor der Herstellung einer endgültigen Zelle so viele Prozesse erforderlich waren.
Ich habe keine spezifischen Muster in den Residuen.
Da es sich um das erste DOE für diesen Prozess handelt (nicht um meine Erfahrung), erwarte ich keine Polynom- oder Interaktionseffekte. Wir haben keine Methoden des maschinellen Lernens eingesetzt.
Das Blockieren ist eine Sache, die noch nicht vollständig erledigt ist, aber es würde einen Vorteil bringen, da dann alle Zellen am selben Tag, mit denselben Instrumenten, von derselben Person und unter Verwendung derselben Materialien bearbeitet werden.
Betreff: Aufwand für jedes DOEMeiner Meinung nach gibt es einen minimalen R^2-Wert für jede Analyse eines beliebigen Designs. R^2 ist nur eine Zahl, die hilft, die Variabilität eines bestimmten Modells zu beschreiben. Das Ziel Ihrer Analyse ist nicht, „gute Statistiken“ zu erhalten, sondern Ihre experimentellen Ziele zu erreichen. Wenn diese Ziele also nicht erreicht werden, ist mir R^2 und jede andere Statistik völlig egal. Was die anderen drei Fragen betrifft, die Sie stellen: „Wie finde ich diese?“, so werden diese durch Fachwissen, experimentelle Durchführung, Erfahrung und jegliches Wissen über grundlegende Prinzipien beantwortet, das Sie zur Lösung des Problems beitragen können. Lassen Sie mich also beginnen und versuchen zu helfen.
1. Wenn Sie wirklich nicht wissen, wo Sie die Ebenen festlegen sollen, ist DOE wahrscheinlich verfrüht. Ich empfehle es nur ungern, aber wenn Sie keine Ahnung haben, ist es vielleicht an der Zeit, einen Faktor nach dem anderen zu testen, um die Ebenen zu finden.
2. Versteckte Faktoren … hier spielt Fachwissen eine große Rolle. Beispielsweise müssen Sie das Experiment an zwei verschiedenen „Maschinen“ durchführen, von denen Sie hoffen, dass sie identisch sind, möchten aber verhindern, dass sie hinsichtlich ihres Einflusses auf die Reaktionen nicht identisch sind. Hier kommt eine Art Blockierung ins Spiel. Oder Faktoren lassen sich nur schwer ändern, wie beispielsweise die Temperatur in einem Gefäß, sodass Sie die Randomisierung auf die Temperatur beschränken möchten, indem Sie alle niedrigen Werte zusammen und dann die hohen Werte durchlaufen lassen. In dieser Situation empfiehlt sich ein sogenanntes „Split-Plot“-Design (nur eine Form der Blockierung). Denken Sie über das Experiment und die damit verbundenen Bedingungen nach und nutzen Sie Ihr Fachwissen, um diese versteckten Faktoren zu vermeiden oder zumindest zu berücksichtigen. Außerdem habe ich versucht, während der Durchführung des Experiments immer anwesend zu sein, um auf alles Verdächtige zu achten.
3. Haben Sie bei der Planung des Experiments ein Brainstorming zu allen möglichen Einflussfaktoren durchgeführt? Hoffentlich ja, und Sie haben eine Liste erstellt und aufbewahrt. Vielleicht ist es nach der Analyse an der Zeit, diese Liste noch einmal durchzugehen und weitere Faktoren auszuprobieren?
4. Was die Messsystemvariation betrifft, so lautete unsere Faustregel oft, dass die Messsystemvariation 1/4 der Variation der zu ermittelnden Signalvariation betragen sollte. Ihre Situation kann völlig anders sein.
Hoffe, das hilft?
