Svem-Analyse DOE mit wiederholten LäufenIm letzten DOE-Diskussionsforum wurde die Svem-Analyse für ein DOE mit replizierten Läufen diskutiert. Es wurde vorgeschlagen, das Ergebnis der replizierten Läufe zu mitteln. Was ist, wenn es zwischen den Replikaten erhebliche Abweichungen gibt? Wäre es nicht besser, Svem mit einer zusätzlichen „Replikatslaufvariable“ auszuführen, um die Abweichung innerhalb der Replikate abzuschätzen? Wenn die Abweichung innerhalb der Replikate wichtig ist, wird Svem dies erkennen; in einer nächsten gemischten Modellanalyse kann die Replikatvariable als zufällig zugewiesen und von den festen Effekten getrennt werden, die Svem als wichtig eingestuft hat.
VersuchsplanungBetreff: Svem-Analyse DOE mit wiederholten LäufenEs tut mir leid, dass ich nicht am DOE-Clubtreffen teilgenommen habe und mit der SVEM-Analyse nicht vertraut bin (ich habe die Datei heruntergeladen und werde sie überprüfen). Die Analyse von Experimenten ist eine persönliche Entscheidung. Es gibt viele Möglichkeiten, dies zu tun. Bevor ich kommentiere, möchte ich sicherstellen, dass Sie „replizieren“ und nicht „wiederholen“ meinen. Das heißt, Replikate werden als unabhängige Durchläufe der identischen Behandlungskombination betrachtet, wobei jeder Durchlauf eine unabhängige experimentelle Einheit als Ausgabe hat.
Hier sind meine uninformierten Kommentare:
1. Wenn Sie Daten zusammenfassen, verwerfen Sie zwangsläufig Informationen. Wenn Sie einen Durchschnitt bilden, sollten Sie auch die Variation der Daten berücksichtigen, die Sie als Antwort gemittelt haben. Meiner bescheidenen Meinung nach verwerfen Sie Informationen (und DFs), wenn Sie einen Durchschnitt über die Replikate bilden. Wenn Sie nun Wiederholungen durchführen, ist das eine großartige Idee und Sie sollten auch die Reaktion der Variation auf das Modell berücksichtigen.
2. Wenn es sich tatsächlich um Replikate handelt, möchten Sie offenbar verstehen, was sich zwischen den Replikaten ändert. Wenn Sie die Faktoren (Rauschen), die sich zwischen den Replikaten ändern, identifizieren und zuordnen können, können Sie viel über die Robustheit von Faktoreffekten lernen. Dies kann eine hervorragende Strategie sein, um gleichzeitig den Inferenzraum zu vergrößern und die Präzision des Designs zu erhöhen.
„Blockieren Sie, was Sie können, und randomisieren Sie, was Sie nicht können.“ GEP Box
Verwirren Sie, was Sie mit dem Block identifizieren und zuordnen können. Für Faktoren, die Sie nicht identifizieren konnten, ist Randomisierung die Strategie.
Betreff: Svem-Analyse DOE mit wiederholten LäufenHallo @frankderuyck ,
Die SVEM-Analyse funktioniert in zwei Situationen hervorragend:
- Erstellen eines Vorhersagemodells mit sehr begrenzten Daten durch Stapeln der verschiedenen Einzelmodelle, die mit leicht unterschiedlichen Daten trainiert und validiert wurden (unterschiedliche Gewichtungen für Training und Validierung).
- Um die praktische Bedeutung zu beurteilen und die Präzision der Effektschätzungen für einzigartige Einzelexperimente (keine Replikate) mithilfe des maschinellen Lernens durch Stapeln von Modellen zu erhöhen.
Unabhängig von der Situation ist es wichtig, sich daran zu erinnern, in welchem Kontext die SVEM-Technik eingeführt wurde: um eine Validierungstechnik/ein Validierungsframework bei Vorhandensein eines kleinen Datensatzes ohne andere mögliche Validierungstechnik bereitzustellen.
Vorträge und Präsentationen: Neue Überlegungen zur Gestaltung und Analyse von Experimenten? (2021-EU-30MP-776) - JMP User Community
SVEM: Ein Paradigmenwechsel in der Gestaltung und Analyse von Experimenten (2021-EU-45MP-779) - JMP User Community
Rein konzeptionell habe ich also gemischte Gefühle hinsichtlich der Idee, SVEM und Replikate zu kombinieren, da dies wie die Zusammenführung zweier verschiedener Modellbildungsmethoden aussieht, die auf verschiedenen Konzepten, Zielen und Validierungsmethoden beruhen: Screening auf der Grundlage statistischer Signifikanz und Fehler-/Rauschschätzung für Designs mit Replikaten und statistischer Modellierung vs. prädiktive Modellierung auf der Grundlage von Vorhersagegenauigkeit und Bootstrapping/Modellstapelung.
Bei Replikaten befürchte ich, dass es bei der Verwendung von SVEM zur Modellerstellung zu Datenlecks kommen kann: Da jedes Experiment zufällige (und antikorrelierte) Trainings- und Validierungsgewichte hat, können Replikationsläufe unterschiedliche Gewichtungen auf Training und Validierung haben, selbst wenn sie dieselbe Behandlung darstellen! Die Modellerstellung kann daher leicht verzerrt sein (da sie Informationen zu den Trainings- und Validierungssätzen durch Replikate mit unterschiedlichen Gewichten enthält) und zu „Übervertrauen“ und einer starken Abnahme der Standardabweichung bei Termschätzungen führen:
Wenn Sie die Variabilität zwischen Replikaten im selben Beispiel erhöhen (Reactor 20 Custom JMP-Datensatz mit hinzugefügten Replikationsläufen von bis zu 30 Läufen vs. ursprünglicher Reactor 20 Custom-Datensatz), können Sie sehen, dass die beiden Situationen der Verwendung von SVEM auf Design mit Replikaten und der Verwendung von SVEM ohne Replikate in Bezug auf Schätzungen und Standardfehler ziemlich ähnlich sind:
Also noch einmal: Ich sehe keinen Vorteil in der Zusammenführung dieser beiden Techniken, da Sie zwei (sehr) unterschiedliche Validierungstechniken zusammenführen, und das ist nicht der Zweck, für den SVEM entwickelt wurde.
Ich bin auch skeptisch, was die Verwendung von SVEM zur Schätzung der Variation innerhalb von Replikaten angeht, da Sie diese Informationen bereits haben können, wenn Sie Replikate mit einer Standardanalyse haben, und die Verwendung von SVEM die Schätzung der Standardabweichung verringern könnte, wie beim Bootstrapping: siehe die großartige interaktive Visualisierung für Bootstrapping: Seeing Theory - Frequentist Inference
Für andere, die an dieser Diskussion interessiert sind, sind hier die Aufzeichnungen des DoE Club Q4: Aufzeichnungen DOE Club Q4 2024
Hoffe, die Antwort ist sinnvoll und interessiert an den Beiträgen anderer Mitglieder,
Betreff: Svem-Analyse DOE mit wiederholten LäufenHallo Victor, wenn die Variation zwischen den Replikaten gering ist, kann man nicht viel Einfluss erwarten, wenn man die Anzahl der Replikate erhöht. Aber was ist, wenn es eine ziemlich hohe Variabilität zwischen den Replikaten gibt und es nicht interessant ist, für jedes Replikat einen Sperrfaktor einzuführen und diesen Sperreffekt in Svem einzubeziehen?
Betreff: Svem-Analyse DOE mit wiederholten LäufenHallo Frank,
Ich denke dennoch, dass dies möglicherweise keine gute Idee ist, da die SVEM-Methode „designagnostisch“ zu sein scheint und daher keine Gruppierungen, blockierende Strukturen oder das Vorhandensein von Replikaten berücksichtigt, was möglicherweise zu „Übervertrauen“/Datenverlust/Verringerung der Standardabweichung bei der Schätzung des blockierenden Effektterms führen kann.
Da es sich außerdem um eine spezielle Art des Bootstrappings handelt, kann es zu einer Verringerung der geschätzten Standardabweichung führen, wie zuvor bei der interaktiven Visualisierung gezeigt.
EDIT: Weitere Informationen zu SVEM:
Übersicht über selbstvalidierte Ensemblemodelle
Lemkus, T., Gotwalt, C., Ramsey, P. und Weese, M. (2021). „Selbstvalidierte Ensemblemodelle für die Versuchsplanung.“Chemometrie und intelligente Laborsysteme219:104439.
Betreff: Svem-Analyse DOE mit wiederholten LäufenIch stimme zu, dass Durchschnittsergebnisse zur Modellierung verwendet werden können, wenn die Abweichungen zwischen den Replikaten nicht zu hoch sind. Anders verhält es sich, wenn es signifikante Abweichungen zwischen den Replikaten gibt. Im Anhang finden Sie eine Studie mit signifikanten Abweichungen zwischen den Replikaten aufgrund von Prozessrauschen. Gemischte Modelle mit Replikat als Zufallseffekt und SVEM mit Replikatfaktor zeigen ähnliche Ergebnisse. Wenn Replikatergebnisse jedoch gemittelt werden, sind verallgemeinerte AICC- und SVEM-Modelle ebenfalls ähnlich und viel besser, aber die Ergebnisse unterscheiden sich von gemischten und SVEM+Replikaten: In den letzten beiden Analysen mit Replikat-Durchschnitt sind mehr Effekte signifikant! Dieser Fall zeigt, dass man beim Mitteln von Replikaten mit signifikanten Abweichungen vorsichtig sein muss; außerdem erfasst SVEM+Replikat den zufälligen Replikateffekt recht gut.
Betreff: Svem-Analyse DOE mit wiederholten LäufenNachfolgend finden Sie Analyse-Screenshots
1. Gemischtes Modell & SVEM + Replikationseffekt
2. Durchschnittliche Replikationsergebnisse: Generalisierte Vorwärtsauswahl AICC & SVEM
Betreff: Svem-Analyse DOE mit wiederholten LäufenInteressante Fallstudie, danke fürs Teilen, @frankderuyck .
Wenn wir die Termschätzungen und ihre Standardabweichungen vergleichen, können wir sehen, dass die Verwendung von SVEM mit Replikaten tatsächlich einen Einfluss auf die Standardabweichungen hat. In meinem Beispiel mit mittlerer Replikatvariabilität hat SVEM die mit der Termschätzung verbundenen Standardabweichungen erheblich reduziert, da Datenlecks in Trainings- und Validierungsgewichten während der Modellerstellung Informationen über Termschätzungen lieferten.
Da in Ihrem Fall die Variabilität zwischen den Replikaten sehr hoch ist, liefert der Datenverlust keine Informationen zwischen Training und Validierung des Modells (tatsächlich kann das Modell aufgrund dieser großen Variabilität der Replikate sogar noch mehr „verloren“ gehen), sodass Sie höhere Standardabweichungen für Termschätzungen haben als bei anderen Methoden. Die Verwendung von SVEM mit Durchschnittswerten oder eines REML-Modells liefert sehr ähnliche Informationen, und die verallgemeinerte Vorwärtsregression auf Durchschnittswerten könnte zu optimistische Schätzungen der Standardabweichungen liefern:
Daher denke ich, dass ein allgemeiner Ratschlag sein könnte, SVEM nicht für Rohdaten mit Replikaten zu verwenden (aufgrund der verzerrten Modellanpassung, die dies mit Datenverlusten zur Folge hätte). Verwenden Sie entweder SVEM mit Durchschnittswerten für die Behandlung (aber Sie verlieren Informationen über die Variabilität der inneren Behandlungen) oder verwenden Sie andere Methoden für Rohdaten mit Replikaten (REML/Fit Model-Ansätze).
Ich bin an den Ansichten von @philramsey , @chris_gotwalt1 und anderen neugierigen Mitgliedern der Community interessiert.
Betreff: Svem-Analyse DOE mit wiederholten LäufenIch würde ein zweistufiges Vorgehen vorschlagen: (1) Verwenden Sie SVEM + Replikationsfaktor, um die stärksten Effekte herauszufiltern und (2) verwenden Sie letzteren, um ein gemischtes Modell mit zufälliger Replikation zu erstellen.
Betreff: Svem-Analyse DOE mit wiederholten LäufenWenn das Gewicht des Replikationseffekts in SVEM gering ist, kann man reguläres Genreg/OLS mit Replikationsdurchschnitten verwenden.
