Video 1: Herausforderung – Jenseits des einen besten Modells: Was ein DSD Ihnen wirklich sagen kann
In der zweiten Sitzung des Experimenter's Club gab es eine lebhafte Diskussion über George Box' berühmten Hinweis, dass „alle Modelle falsch sind, aber manche nützlich sind“.
Es begann mit eines Nutzers, ob man unerwartet starken Interaktions- und quadratischen Effekten in einem 6-Faktoren-Screening-Design (DSD) vertrauen könne. Es folgte ein anregender Austausch, der verdeutlichte, dass es , sondern vielmehr darum, wie ein Designraum zu interpretieren ist, in dem viele plausible Modelle nebeneinander existieren.
Frage aus der Community:https://community.jmp.com/t5/Discussions/quot-Surprising-quot-results-in-an-DSD-Design/td-p/941518
LinkedIn-Beitrag von Victor:https://www.linkedin.com/posts/victorguiller_experimentersclub-designofexperiments-share-7453440558682894336-j7Ki?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAg2XG8BduAUlMeluDXcuMFV-P_Hxv1KA0k
Video 2: Diskussion
Das Gespräch verdeutlichte, dass es in einem DSD mit einer begrenzten Anzahl von Läufen unmöglich ist, alle Haupt-, Interaktions- und quadratischen Effekte gleichzeitig ohne strukturelle Kompromisse zu schätzen. Daher sind partielles Aliasing, Multikollinearität und Modellmultiplizität natürliche Merkmale des Problems und keine Anzeichen für ein Scheitern.
In der Diskussion wurde hervorgehoben, dass unterschiedliche Schätzmethoden und Auswahlkriterien, wie z. B. R², adjustiertes R², AICc, BIC und RMSE, zu unterschiedlichen, aber dennoch vertretbaren Modellen führen können.
Eine wichtige Erkenntnis ist, dass sich Experimentatoren nicht nur auf die Suche nach dem optimalen Modell konzentrieren sollten. Stattdessen sollten sie mehrere vielversprechende Kandidaten vergleichen, nach Effekten suchen, die in allen guten Modellen konsistent auftreten, die Effekthierarchie und das Domänenwissen anwenden und bei Bedarf eine Datenerweiterung in Betracht ziehen.
In diesem Sinne geht es im Designprozess weniger darum, auf überraschende Ergebnisse zu reagieren, sondern vielmehr um eine disziplinierte Modellbeurteilung in realen experimentellen Arbeiten.
Vielen Dank an @maria_astals für die Aufnahme!
Hier ist der detaillierte Prozess zur Erstellung eines Rasterdiagramms aus einem Versuchsplan:
- Gehen Sie zur Plattform „Fit Model“ (oder klicken Sie in der DoE-Tabelle auf das Skriptmodell ), geben Sie die Zielgröße(n) und Terme im angenommenen Modell an (falls diese Felder nicht bereits vorausgefüllt sind) und wählen Sie „Persönlichkeits- Schrittweise“ . Klicken Sie auf „Ausführen“.
-
Klicken Sie auf das rote Dreieck neben „Schrittweise Anpassung“, wählen Sie „Alle möglichen Modelle “ und legen Sie die maximale Anzahl möglicher Terme in den Modellen sowie die Anzahl der anzuzeigenden besten Modelle fest. Aktivieren Sie die Option „Auf Modelle beschränken, bei denen Interaktionen Effekte niedrigerer Ordnung implizieren (Vererbungsbeschränkung)“ . Klicken Sie auf „OK“.
-
Sobald die Berechnungen abgeschlossen sind, erscheint im Bericht die neue Tabelle „Alle möglichen Modelle“ . Klicken Sie mit der rechten Maustaste auf diese Tabelle und wählen Sie die Option „Kombinierte Datentabelle erstellen“ . Daraufhin öffnet sich eine neue Tabelle mit den Ergebnissen der Stepwise-Plattform.
- Um jedes Modell einzeln zu identifizieren und seine Leistung zu verfolgen, erstellen wir eine neue Spalte „Modell-ID“ in der neuen Tabelle. Klicken Sie dazu mit der rechten Maustaste auf die erste Spalte der Tabelle und wählen Sie „Neue Formelspalte“ > „Zeile“ > „Zeile “. Jedes Modell erhält dann eine eindeutige ID in der neuen Spalte „Zeile“. Ändern Sie den Modellierungstyp auf „Nominal“.
- Wählen Sie die Spalte „Modell“ aus und klicken Sie auf das rote Dreieck oben rechts links in der Datentabelle (oder klicken Sie im Menü „Spalten“). Wählen Sie dann „Hilfsmittel“ > „Text in Spalten“ . Legen Sie als Trennzeichen „","“ fest und aktivieren Sie die Option „Indikatorspalten erstellen“ .
- Klicken Sie im Menü auf Tabelle > Stapeln . Wählen Sie alle neuen Indikatorspalten aus und klicken Sie auf Spalten stapeln. Sie können die Spalte „Bezeichnung“ in „Begriffe“ und die Spalte „Daten“ in „Anwesenheit“ umbenennen. Klicken Sie auf OK.
- You can then add some formula column (or using the Recode option) to identify which terms are main effects, interaction effect or quadratic effects to prepare the plot. With the example Bounce Data, I used a formula column when recoding:
Map Value(
:Terms,
{"Silane", "Main effect", "Silane*Silane", "Quadratic effect", "Silica",
"Main effect", "Silica*Silane", "Interaction effect", "Silica*Silica",
"Quadratic effect", "Silica*Sulfur", "Interaction effect", "Sulfur",
"Main effect", "Sulfur*Silane", "Interaction effect", "Sulfur*Sulfur",
"Quadratic effect"},
Unmatched( :Terms )
)
- Fügen Sie der Spalte „Termtyp“ eine Wertereihenfolge- Eigenschaft hinzu, sodass die Terme im Modell in folgender Reihenfolge angezeigt werden: zuerst die Haupteffekte, dann die Interaktionseffekte und schließlich die quadratischen Effekte:
- Anschließend können Sie mit dem Graph Builder das Rasterdiagramm erstellen!
- Verwenden Sie die Spalte „Zeile“ (oder die Spalte „Modell-ID“) als Y-Variable.
- Verwenden Sie „Terme“ als X-Variable.
- Fügen Sie "Terms type" als verschachtelte X-Variable (an der Position unterhalb von X) hinzu.
- Ändern Sie den Diagrammstil auf „Heatmap“.
- Verwenden Sie eine der Leistungskennzahlen des Modells (z. B. RMSE) als Farbvariable und wählen Sie ein passendes Farbschema (z. B. von Grün nach Rot).
- Klicken Sie mit der rechten Maustaste auf die Variable Y, wählen Sie Sortieren nach und wählen Sie Ihre Leistungsmetrik (aufsteigend für AICc, BIC und RMSE, absteigend für R²).
- Fügen Sie einen lokalen Datenfilter für die Spalte „Präsenz“ hinzu und wählen Sie nur Werte aus, die von 0 verschieden sind (1: Term ist im Modell vorhanden).
- Sie können auch einen Filter für die Anzahl der angezeigten Modelle hinzufügen, indem Sie den Wertebereich für die Leistungsmetrik filtern/reduzieren.
- Sobald alles eingestellt ist, klicken Sie auf Fertig. Das Rasterdiagramm ist fertig!
Wie Sie sehen, umfasst die Erstellung des Rasterdiagramms viele verschiedene Arbeitsschritte. Ich plane, ein Add-on zu entwickeln, um diesen Prozess zu automatisieren und den manuellen (und mühsamen!) Aufwand für diese aussagekräftige Visualisierung zu reduzieren. Wer bei diesem Add-on mithelfen und dazu beitragen möchte, ist herzlich eingeladen, sich zu beteiligen!
