Warum sollten Replikate in die Versuchsplanung einbezogen werden? (Designvergleich)Hallo,
Ich verstehe das Konzept der Versuchsreplikation (wozu dienen sie?). Versuchsreplikationen ermöglichen es, allgemeine experimentelle Fehler (Rauschen?) zu verstehen.
Vergleicht man jedoch kundenspezifische Designs, die mit und ohne Replikate erstellt wurden (bei gleichbleibender Gesamtzahl der Läufe), so stellt man fest, dass in den meisten (wenn nicht allen) Fällen das Design ohne Replikate dem Design mit Replikaten überlegen ist.
Ich habe zwei Designs erstellt:
- Design 1 (Replikate)
- #3 Faktor, Wechselwirkung 2. Ordnung und quadratische Funktionen
- 13 Runs insgesamt
- 2 Repicates
- Design 2 (No Replicates)
- #3 Faktor, Wechselwirkung 2. Ordnung und quadratische Funktionen
- Insgesamt 13 Runs
- 0 Wiederholungen
Der Vergleich der Entwürfe ergibt folgendes Ergebnis:
- Leistungsanalyse: Design 2 > Design 1
- Quadratische Funktionen lassen sich leichter erkennen
- Anteil des Gestaltungsraums: Entwurf 2 > Entwurf 1
- Die Vorhersagevarianz ist im gesamten Designraum geringer
- Korrelationen: Design 2 > Design 1
- Niedrigerer Korrelationsfaktor
- Gibt es einen quantifizierbaren Grund, der für die Wahl eines Versuchsdesigns mit Replikaten gegenüber einem Versuchsdesign ohne Replikate spricht (wenn Sie die Anzahl der Versuche begrenzen)?
Offensichtlich würde eine höhere Anzahl an Durchläufen (Design 2 + Replikate) zu einem verbesserten Design führen, aber warum sollte ich JMP in diesem Fall nicht einfach ohne Replikate und mit der höheren Anzahl an Durchläufen erneut für das beste Design optimieren lassen?
2. Ist das Konzept der Einbeziehung von Replikaten ein Überbleibsel klassischer Designs, während die neuere, kundenspezifische Designplattform im Allgemeinen algorithmisch verbesserte Designs bieten kann?
VersuchsplanungWindowsBetreff: Warum Replikate in die Versuchsplanung einbeziehen? (Vergleich von Versuchsdesigns)Hallo @MetaLizard62080 ,
Die Situation und der von Ihnen aufgezeigte Vergleich überraschen mich ganz offensichtlich nicht. Lassen Sie uns erklären, warum:
Zunächst ist es wichtig, zwischen Replikaten und Replikatläufen zu unterscheiden. In JMP gibt es zwei Optionen:
- In einem „klassischen Design“ zeigt JMP die „ Anzahl der Replikate “ an. Dies bedeutet, wie oft jeder Durchlauf ausgeführt werden soll (also die Anzahl der Durchläufe des gesamten Designs zusätzlich zu den ursprünglichen Durchläufen). Diese Option steht Ihnen auch in der „Augment“-Plattform zur Verfügung: Design replizieren.
- Bei einem „Benutzerdefinierten Design“ zeigt JMP die „ Anzahl der Replikationsläufe “ an, also die Anzahl der zu wiederholenden Läufe. Sie verwenden diese Option in Ihrem Beitrag.
Ihre Einstellungen umfassen Versuchspläne mit drei Faktoren und ein angenommenes Response-Surface-Modell (mit allen Haupteffekten, Wechselwirkungen und quadratischen Effekten). Bei drei Faktoren müssen Sie zehn Terme schätzen: einen Achsenabschnitt, drei Haupteffekte, drei Zwei-Faktor-Wechselwirkungen und drei quadratische Effekte. Daher sollte der Versuchsplan mindestens zehn Versuche umfassen.
Mit den 3 zusätzlichen Läufen, die Sie haben, gibt es tatsächlich 2 Möglichkeiten:
- Nutzen Sie diese Läufe als Replikationsläufe, um die Abschätzung einiger Effekte zu verbessern und die Möglichkeit zu haben, einen Anpassungstest durchzuführen.
- Lassen Sie das Custom-Design entscheiden, welche anderen Faktoren aus den 27 möglichen Kombinationen in das Design aufgenommen werden sollen; da Sie von einem vollständigen RSM-Modell ausgehen, kann jeder Faktor auf 3 Stufen betrachtet werden, was eine Anzahl von 3^3 = 27 einzigartigen Faktorkombinationen ergibt.
Option 1 ermöglicht es, einige Effekte etwas genauer zu schätzen als ohne Replikate. In Ihrem Versuchsdesign sind die Läufe 2 und 5 sowie die Läufe 6 und 11 Replikate. Im Vergleichsbericht der Versuchsdesigns sehen Sie, dass Option 1 zu einem etwas geringeren relativen Standardfehler der Schätzwerte für Interaktionseffekte führt (und somit eine etwas höhere relative Schätzeffizienz als 1 für diese Effekte erzielt). Da Sie Replikate haben, steht Ihnen außerdem der Anpassungstest zur Verfügung, mit dem Sie die Eignung Ihres Modells beurteilen können (neben anderen Visualisierungen wie „Ist-Werte vs. Vorhersagewerte“ und „Residuenanalyse/-visualisierung“).
Option 2 ermöglicht es, neben den zehn für die Schätzung der Effekte Ihres Modells unbedingt erforderlichen Faktorkombinationen auch andere zu testen. Dadurch lassen sich Korrelationen zwischen den Termen reduzieren und der Designraum besser abdecken. Dies führt zu einer Verringerung der Korrelationen zwischen den Termen ( siehe Farbskala für Korrelationen ) und einer globalen Reduzierung der durchschnittlichen Varianzvorhersage.
Zu Ihren Fragen gibt es keine eindeutige Antwort, da dies von Ihren Bedürfnissen (und Gewohnheiten) abhängt:
- Sie könnten sich sicherer fühlen, wenn Sie Replikationsläufe einbeziehen, um den Anpassungstest durchzuführen und so die Eignung Ihres Modells zu bewerten, oder um spezifische Effektterme genauer zu schätzen. Beachten Sie, dass A-optimale Versuchspläne in diesem Fall möglicherweise besser geeignet sind, da Sie die Effekte, die Sie genauer als andere schätzen möchten, mithilfe von A-Optimalitätsparametergewichten definieren können. Weitere Informationen finden Sie unter „Warum ist die Aussagekraft quadratischer Faktoren in der Versuchsplanung so gering?“ .
- Um eine möglichst unverzerrte Schätzung der Effekte zu gewährleisten, sollten Sie die Korrelationen zwischen den Effekten so weit wie möglich reduzieren. Daher ist es sinnvoll, die Auswahl der relevantesten Effekte aus allen möglichen Kombinationen dem benutzerdefinierten Design zu überlassen.
Zu Ihrer zweiten Frage: Ich denke, das hängt von Ihrem Anwendungsgebiet ab. In manchen Bereichen werden aufgrund der hohen Variabilität der Systeme (z. B. biologische Systeme) immer Wiederholungsmessungen durchgeführt, teilweise sogar mehrfach. Es kommt also auf das erwartete Signal-Rausch-Verhältnis Ihrer Messwerte an. In einigen Branchen sind Wiederholungsmessungen für Studien dringend empfohlen oder sogar vorgeschrieben.
Generell betrachtet liefert das benutzerdefinierte Design jedoch das optimale Design in Bezug auf Ihre Parameter. Wenn Sie also keine starken Anreize haben, Wiederholungsläufe zu verwenden, würde ich den Algorithmus die informativsten Läufe auswählen lassen.
Ich hoffe, diese Antwort hilft Ihnen.
Betreff: Warum Replikate in die Versuchsplanung einbeziehen? (Vergleich von Versuchsdesigns)Ich habe ein paar Anmerkungen, die Sie vielleicht ignorieren möchten. Erstens: Seien Sie vorsichtig mit der Gewichtung der Statistiken zur Designbewertung. Diese basieren alle auf Annahmen für eine möglicherweise unbekannte Realität. Zweitens: Es gibt mehrere Möglichkeiten, Replikationen durchzuführen. Mit RCBD oder BIB können Sie gleichzeitig den Inferenzraum erweitern und die Designpräzision verbessern.
Betreff: Warum Replikate in die Versuchsplanung einbeziehen? (Vergleich von Versuchsdesigns)Danke für die Antwort, @Victor_G .
Ich arbeite in der Prozessentwicklung der Pharmaindustrie. Ich habe beide Designansätze erfolgreich eingesetzt (wenn das Modell aussagekräftige Ergebnisse liefert, die zu Prozessverbesserungen führen). Daher bin ich mir unsicher, welcher Ansatz der „beste“ ist. Persönlich neige ich dazu, Option 2 zu wählen, wenn wir der JMP-Designauswertung vertrauen können. @statman merkt (zu Recht) an, dass dies tatsächlich eine Annahme ist.
Generell lehnen viele meiner Kollegen die Ansicht ab, dass man ohne Replikate statistische Schlussfolgerungen ziehen kann. Ich glaube, das liegt an der intuitiven Erkenntnis, die ein Replikat liefert, und an der Schwierigkeit, die abstrakten Konzepte des JMP Custom Designers zu verstehen. Um es klarzustellen: Keiner von uns ist Statistiker, und unser Verständnis statistischer Methoden ist sehr unterschiedlich (von großem Interesse und intensiver Anwendung bis hin zu einer generellen Scheu vor Statistik).
Aus Neugier: Am Ende Ihrer Ausführungen schlagen Sie Option 2 als die bessere Wahl vor. Warum neigt Ihre Intuition/Gewohnheit dazu, diese Option zu bevorzugen?
Betreff: Warum Replikate in die Versuchsplanung einbeziehen? (Vergleich von Versuchsdesigns)Hallo @MetaLizard62080 ,
Ich verstehe Ihre Situation vollkommen und fühle mich tatsächlich in einer ähnlichen Lage (auch vom Hintergrund her bin ich Chemieingenieur).
Einige meiner Kollegen, die Versuchsdesigns für Labore erstellen und empfehlen, fühlen sich ebenfalls sicherer, wenn sie ein Design mit Replikaten empfehlen; auf diese Weise bietet es eine einfache und sehr visuelle Möglichkeit, den reinen Fehler bzw. die Reproduzierbarkeit der Experimente zu beurteilen.
Ich verstehe ihre Argumente, bin aber in dieser Situation nicht ganz zuversichtlich. Selbst wenn wir die Gründe für Replikate erläutern, führen manche Leute wiederholte Messungen durch, anstatt Replikate zu erstellen, um Zeit zu sparen und weil sie die Replikation eines Experiments für Zeit- und Materialverschwendung halten. Letztendlich visualisieren/analysieren wir daher möglicherweise nicht den reinen Fehler bzw. die vollständige Reproduzierbarkeit des Versuchsaufbaus (mit experimentellem Fehler und Messfehler), sondern nur den Messfehler. Dies führt zu einer fälschlich optimistischen Einschätzung des reinen Fehlers.
Bei Versuchsdesigns ohne Replikate (wie in Ihrem Fall Design 2) ermöglicht die Verwendung anderer Kombinationsläufe für zusätzliche Durchläufe die Untersuchung weiterer Kombinationen im Versuchsraum, erhöht die statistische Aussagekraft und reduziert die Vorhersagevarianz in weiten Teilen des Versuchsraums. Ist das experimentelle Budget für das Thema ausreichend und das Modell nicht zu komplex, ermöglichen diese zusätzlichen Durchläufe zudem eine näherungsweise Schätzung des Fehlers bzw. der Varianz. Hinsichtlich der Modellbewertung verhindert der Verzicht auf Replikate oder Replikate die Durchführung eines Anpassungstests. Es stehen jedoch ausreichend Werkzeuge und Visualisierungen zur Verfügung, um die Eignung eines Versuchsdesigns zu beurteilen. In manchen Fällen (z. B. beim definitiven Screening-Design) können keine Replikate hinzugefügt werden, da dies zu Korrelationen zwischen Termen (wie Haupteffekten und Interaktionen) führen und einige Analysemethoden (z. B. Fit-Endgültiges Screening) aufgrund der veränderten Versuchsstruktur nicht mehr anwendbar wären.
Letztendlich geht es also eher um Annahmen und Gewohnheiten sowie um Kenntnisse über den Versuchsaufbau und das Messsystem. Ich empfehle daher tendenziell ein sequenzielles Vorgehen mit Vorversuchen ( Scoping-Designs ), um die Variabilität, die Krümmung und die Reproduzierbarkeit des Aufbaus zu beurteilen, bevor ein umfassender Versuchsaufbau zur Erforschung des Themas (im Rahmen des verfügbaren Budgets) empfohlen wird.
Es gibt keine „richtige“ Antwort auf diese Frage, aber ich hoffe, diese Antwort hilft Ihnen dabei, die beste Lösung für Ihre Anwendungsfälle zu finden.
