Einführung
Willkommen zurück zu unserer Reihe über raumfüllende Versuchsplanung! In Teil 1 haben wir die Grundlagen und gängigen Arten raumfüllender Versuchsplanungen untersucht. Nun widmen wir uns dem Kern unserer vergleichenden Studie: der Entwicklung eines soliden Rahmens zur Bewertung und zum Vergleich dieser Versuchsplanungen in verschiedenen Szenarien.
Der Rahmen für vergleichende Studien
Um raumfüllende Entwürfe fair zu bewerten, benötigen wir standardisierte Bedingungen und aussagekräftige Kennzahlen. Unser Ansatz bewertet Entwürfe anhand mehrerer Leistungsdimensionen.
- Antworten
Metrik der Raumabdeckung/Gleichmäßigkeitsantwort
- Abweichung: Sie dient der Messung der Abweichung von der theoretischen Gleichverteilung. Ziel ist es, die Differenz zwischen der durch den Versuchsplan erzeugten Verteilung und einer Gleichverteilung für jeden Faktor zu minimieren. Die Abweichungsmessung ermöglicht die Bewertung der Raumabdeckung und Gleichmäßigkeit der Verteilung der Versuchspunkte: Je geringer die Abweichung, desto gleichmäßiger ist die Verteilung der Versuchspunkte (und desto besser ist die Abdeckung des Versuchsraums).
Sobald die Faktoren in die Plattform „Raumfüllung“ eingegeben und die Art des Designs ausgewählt wurden, kann der Abweichungswert im Panel „Designdiagnose“ (Abbildung 1) gefunden werden.
Abbildung 1: Panel für die raumfüllende Auslegung. Auslegungsdiagnose einer schnellen, flexiblen Füllungsauslegung für zwei Faktoren mit 20 Durchläufen. Die Abweichungswerte (rot) und die MaxPro-Werte (blau) werden nach der Auslegungsgenerierung im Panel für die Auslegungsdiagnose angezeigt.
Um den Wert der Abweichung und seinen Zusammenhang mit den Abständen zwischen den Designpunkten besser zu verstehen, vergleichen wir zwei raumfüllende Designs – Latin Hypercube und Fast Flexible Filling –, die für sechs Faktoren mit jeweils 60 Durchläufen erstellt wurden (Abbildung 2).
Abbildung 2: Visualisierung des minimalen Abstands zwischen Punkten für eine schnelle flexible Füllung und ein lateinisches Hyperwürfel-Design.
Vergleicht man den minimalen Abstand zwischen den Punkten beider Designs, so zeigt sich deutlich, dass das lateinische Hyperwürfel-Design eine sehr geringe Streuung der Werte für den minimalen Abstand zwischen den Designpunkten aufweist. Dieses Verhalten belegt die bessere Diskrepanz des lateinischen Hyperwürfel-Designs gegenüber dem Design mit schneller, flexibler Füllung für diese spezifische Dimensionalität und Punktanzahl, bei der die Designpunkte gleichmäßig verteilt sind, was zu einem stabilen minimalen Abstand zwischen den Punkten führt.
Reaktion der Projektionseigenschaften
- MaxPro: Bewertet die raumfüllenden Eigenschaften von Projektionen auf alle möglichen Teilmengen von Faktoren. Ziel ist es, das MaxPro-Kriterium zu minimieren, um sicherzustellen, dass die Abstände zwischen Punkten in allen Dimensionen maximal sind und somit gute Projektionen von Entwurfspunkten in niedrigdimensionalen Räumen gewährleistet werden. Die einzige Möglichkeit, dieses Kriterium erfolgreich zu minimieren, besteht darin, sicherzustellen, dass keine zwei Punkte in irgendeiner Dimension ähnliche Koordinatenwerte aufweisen.
Sobald die Faktoren in die Plattform für Raumfüllung eingegeben und die Art des Designs ausgewählt wurden, kann der MaxPro-Wert im Design-Diagnosefeld (Abbildung 1) gefunden werden.
Die MaxPro-Statistik ist für die Kugelpackungsplanung nicht definiert, da Punkte in einer Dimension identische Werte haben können.
Um den MaxPro-Wert und seinen Zusammenhang mit der Projektionseigenschaft von Designs besser zu verstehen, vergleichen wir zwei raumfüllende Designs – Latin Hypercube und Fast Flexible Filling –, die für sechs Faktoren mit jeweils 60 Läufen erstellt wurden.
Wenn wir die Entwurfspunkte dieser beiden raumfüllenden Entwürfe in zwei Dimensionen projizieren, können wir die Unterschiede in der Projektion vergleichen (Abbildung 3).
Abbildung 3: Visualisierung der Projektionseigenschaften zweier raumfüllender Designs mit sechs Faktoren und 60 Durchläufen. Man beachte, wie die Waern-Kanten alle Designpunkte im Szenario des lateinischen Hyperwürfels basierend auf ihren tatsächlichen Abständen verbinden, nicht jedoch beim schnell flexiblen Füllungsdesign.
Beim lateinischen Hyperwürfel-Design links sind die Abstände zwischen den Designpunkten homogen und gering. Dieser geringe und homogene Abstand reduziert die Streuung der Punkte über alle Projektionen hinweg und erhöht somit den MaxPro-Kriteriumswert. Beim schnell flexiblen Fülldesign rechts sind die Abstände zwischen den Designpunkten heterogen und größer, was einem geringeren Risiko des Zusammenfallens dieser Punkte bei der Projektion in weniger Dimensionen entspricht.
Bei unterschiedlichen Stichprobenumfängen besteht eine starke negative Korrelation zwischen Diskrepanz und MaxPro-Wert. Ein Design mit sehr geringer Diskrepanz kann einen hohen MaxPro-Wert aufweisen: Aufgrund des großen Stichprobenumfangs sind die Abstände zwischen den Designpunkten gering, wodurch das Risiko steigt, dass diese Punkte in einem niedrigdimensionalen Raum nahe beieinander liegen. Daher werden die Kriterien Diskrepanz und MaxPro hauptsächlich zum Vergleich verschiedener Designs mit gleichem Stichprobenumfang verwendet.
Komplexität der Designgenerierung
- HP-Zeit():Die Funktion HP Time() gibt einen hochpräzisen Zeitwert in Mikrosekunden zurück. Da diese Funktion nur im Verhältnis zu einem anderen HP Time()-Wert sinnvoll ist, ist sie im Skript zur Designgenerierung enthalten. Das Beispiel erstellt ein Kugelpackungsdesign mit 60 Durchläufen für drei Faktoren. Die Aufzeichnung und Anzeige der Generierungszeit ist das Ergebnis der beiden HP Time()-Funktionen:
t1 = HP Time();
DOE(
Space Filling Design,
{Add Response( Maximize, "Y", ., ., . ),
Add Factor( Continuous, -1, 1, "X1", 0 ),
Add Factor( Continuous, -1, 1, "X2", 0 ),
Add Factor( Continuous, -1, 1, "X3", 0 ),
Set Random Seed( 138892707 ),
Space Filling Design Type( Sphere Packing, 60 ), Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
t2 = HP Time();
Show( t2 - t1 ); The generation time (t2-t1) can be seen in the log (Figure 4).
Abbildung 4: Protokoll des Skripts mit Anzeige der Generierungszeit.
A transformed response column Time (s) is used for the response, as the units (seconds) are much more understandable and comparable between designs and enable the design generation time to be assessed more easily. The column Time (s) is created with the following formula:
Time (s) = HP Time (µs) / 1000000
- Faktoren
Da wir die größten Unterschiede in den Generationen raumfüllender Entwürfe abdecken wollen, müssen wir verschiedene Faktoren spezifizieren, die dazu beitragen, vielfältige Entwürfe in Bezug auf Entwurfsgenerierungsmethoden, Dimensionalität und Punktdichte zu erstellen.
- Designtyp:Wie bereits im ersten Beitrag dieser Reihe erläutert, existieren verschiedene Methoden zur Generierung raumfüllender Designs, die je nach Anwendungsfall und Nutzen unterschiedliche Schwerpunkte in Bezug auf Verteilung oder Geometrie setzen. Im Rahmen dieser Studie untersuchen wir die gängigsten Methoden zur Generierung raumfüllender Designs: uniforme , Kugelpackungs- , lateinische Hyperwürfel- und schnelle flexible Füllungsdesigns .
- Dimensionalität (Anzahl der Faktoren):Mit zunehmender Dimensionalität (Anzahl der Faktoren) kann die Leistungsfähigkeit raumfüllender Designs abnehmen, da es komplexer und zeitaufwändiger wird, eine gleichmäßige Verteilung für jeden Faktor und gute Projektionseigenschaften zu gewährleisten. Um den Einfluss der Dimensionalität auf die verschiedenen genannten Ergebnisse zu untersuchen, betrachten wir den Dimensionalitätsaspekt auf drei Ebenen:
- NiedrigdimensionalDrei Faktoren
- MitteldimensionalSechs Faktoren
- HochdimensionalNeun Faktoren
- Variationen der Stichprobengröße (Anzahl der Durchläufe/Faktoren):Standardmäßig verwendet JMP ein Verhältnis von 10 Durchläufen pro Faktor, was eine gute Versuchsplanung und einfache Modellierung ermöglicht. Abhängig vom verfügbaren Budget kann die Leistung raumfüllender Versuchsplanungen jedoch stark variieren, da es komplex sein kann, eine gleichmäßige Verteilung für jeden Faktor oder gute Projektionseigenschaften bei einer geringen Anzahl von Versuchspunkten zu gewährleisten. Um diesem Faktor Rechnung zu tragen, testen wir verschiedene Stichprobengrößen.
- KleinDrei Designpunkte pro Faktor, eine Situation, die ähnlich ist wie bei klassischen zentralen zusammengesetzten Designs (CCD), bei denen die Punkte so verteilt werden, dass jeder Faktor an seinen Minimal-, Mittel- und Maximalwerten getestet wird.
- Medium: Zwanzig Designpunkte pro Faktor, nahe am JMP-Standardverhältnis von 10 Designpunkten pro Faktor.
- Groß: Hundert Designpunkte pro Faktor, entsprechend dem Bedarf an hochprädiktiven Modellen, dank einer hohen Punktdichte im Designraum.
- Experimentelles Vorgehen: Wahl des Versuchsaufbaus
Wir möchten ein sehr einfaches Design verwenden, das einen einfachen Vergleich der verschiedenen Faktorstufen ermöglicht. Da der Startwert für die Designgenerierung nicht festgelegt ist, möchten wir die algorithmische Variabilität abschätzen und diese zufällige Variabilität von den Faktoreffekten trennen. Da manche Kombinationen für bestimmte Designkonfigurationen schwer umzusetzen sein könnten, benötigen wir ein Design, das auch bei möglichen Ausreißern oder fehlenden Werten eine robuste Analyse ermöglicht.
Aus all diesen Gründen wird ein vollständiger faktorieller Versuchsplan gewählt. Die Erstellung eines solchen Plans in JMP ist einfach und unkompliziert: Wählen Sie im Menü „Versuchsplanung“ die Option „Klassisch“ und anschließend „Vollständiger faktorieller Versuchsplan“ (Abbildung 5).
Abbildung 5: DOE-Menü zur Erstellung eines vollständigen faktoriellen Versuchsplans.
Ausgehend von den zuvor aufgeführten Antworten und Faktorendefinitionen können wir dann unser Design erstellen, um verschiedene raumfüllende Konfigurationen zu bewerten und zu vergleichen (Abbildung 6).
Abbildung 6: Erstellung eines vollständigen faktoriellen Versuchsplans zur Bewertung und zum Vergleich verschiedener Raumfüllungsszenarien.
Da ein vollständiger faktorieller Versuchsplan alle möglichen Faktorkombinationen durchführen kann, sind 36 Versuche erforderlich (4x3x3).Das Skript zur Generierung des vollständigen faktoriellen Versuchsplans lautet:
DOE(
Full Factorial Design,
{Add Response( Minimize, "Discrepancy", ., ., . ),
Add Response( Minimize, "MaxPro", ., ., . ),
Add Response( Minimize, "Time", ., ., ., ., ., "s" ),
Add Factor(
Categorical,
{"Fast Flexible", "Uniform", "Sphere Packing", "Latin Hypercube"},
"Type",
0
), Add Factor( Continuous, {3, 6, 9}, "Factors", 0 ),
Add Factor( Continuous, {3, 20, 100}, "Ratio exp/factors", 0 ),
Set Random Seed( 31068506 ), Make Design, Simulate Responses( 0 ),
Set Run Order( Randomize ), Make Table}
);
Die mit diesem Skript erhaltene Datentabelle ist in Abbildung 7 zu sehen.
Abbildung 7: Vollständige faktorielle Versuchsplantabelle
Bewertung der Reaktion
Für jede Zeile im Entwurf wird ein flächenfüllender Entwurf mit den entsprechenden Parameterwerten erstellt: Anzahl der kontinuierlichen Faktoren, Anzahl der Punkte pro Faktor und Entwurfstyp. Abweichungs- und MaxPro-Metrikwerte werden für alle Entwurfskonfigurationen erfasst.
Analyserahmen
Zur Analyse der Ergebnisse dieser umfassenden Studie über raumfüllende Designs werden zwei Ansätze betrachtet:
-
RanganalyseansatzUm den Vergleich der Leistungsfähigkeit des raumfüllenden Designtyps über verschiedene Konfigurationen (Dimensionalität und Stichprobengröße) für die drei Antworten zu vereinfachen, wird eine Rangfolge von 1 (bestes Design) bis 4 (schlechtestes Design) erstellt.
Bei Antworten, deren Wert minimiert werden soll, wie z. B. Diskrepanz und Zeit, verwendet das Skript die Funktion Col Rank, die den Rang von 1 (niedrigster Rang) zurückgibt.
- Formel zur Berechnung der Diskrepanzrangfolge:
Col Rank( :Discrepancy, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <CODE class=" language-jsl">
<SPAN>Formel für die Zeitrangliste:<BR /></SPAN> <CODE class=" language-jsl">Col Rank( :Time, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE> <SPAN><BR /></SPAN><SPAN>Formel für das MaxPro-Ranking:</SPAN><SPAN><BR /></SPAN> <CODE class=" language-jsl">Col Rank( :MaxPro, :Factors, :"Ratio exp/factors"n, <
<TIE></TIE>
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<CODE class=" language-jsl"><CODE class=" language-jsl">
<UL>
<LI><STRONG><SPAN>Modellierungsansatz</SPAN></STRONG><SPAN><SPAN>Die Modellierung erfolgt mithilfe des in der Datentabelle nach der Designgenerierung hinterlegten Modellskripts. Da es sich um ein vollständig faktorielles Studiendesign handelt, berücksichtigt das in diesem Skript festgelegte Standardmodell alle Haupteffekte (Designtyp, Anzahl der Faktoren und Verhältnis der Experimente pro Faktor) sowie alle Zwei-Faktor-Wechselwirkungen (Abbildung 8).<BR /><BR /></SPAN></SPAN><SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel1.svg" style="width: 888px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel1.svg" style="width: 888px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86065i17D7A66B8EE3BEA4/FitModel1.svg" width="888" height="499" role="button" title="FitModel1.svg" alt="FitModel1.svg" /></span></SPAN></SPAN></SPAN><BR /><EM style="font-size: 1em;">Abbildung 8: Start des Standard-Fit-Modells.</EM><EM style="font-size: 1em;">Die Option <STRONG>„Separat anpassen“</STRONG> ist aktiviert, um für jede Antwortvariable ein separates Modell anzupassen.</EM><BR /><EM style="font-size: 1em;"><EM style="font-size: 1em;"><BR /></EM></EM> <P><SPAN>Da für die kontinuierlichen Faktoren drei Stufen verwendet werden, wird das Modellierungsskript so modifiziert, dass Krümmungseffekte aufgrund quadratischer Effekte der kontinuierlichen Faktoren berücksichtigt werden (Abbildung 9).<BR /></SPAN></P> <SPAN class="lia-inline-image-display-wrapper lia-image-align-inline" image-alt="FitModel2.svg" style="width: 889px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><SPAN class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><span class="lia-inline-image-display-wrapper" image-alt="FitModel2.svg" style="width: 889px;"><img src="https://us.v-cdn.net/6038925/uploads/images/86066i67BC3913B034FFA6/FitModel2.svg" width="889" height="500" role="button" title="FitModel2.svg" alt="FitModel2.svg" /></span></SPAN></SPAN></SPAN><EM style="font-size: 1em;"><EM style="font-size: 1em;">Abbildung 9: Start des modifizierten Anpassungsmodells. Das Modellskript wurde durch Hinzufügen quadratischer Effekte für stetige Faktoren modifiziert. Wählen Sie die beiden stetigen Faktoren aus und klicken Sie anschließend auf <STRONG>„Makros</STRONG> “ > <STRONG>„Polynom bis Grad“,</STRONG> um die beiden quadratischen Effekte hinzuzufügen.<BR /><BR /></EM></EM> <P><SPAN>Das zur Analyse der Leistungsreaktionen der raumfüllenden Entwürfe verwendete Modell umfasst Haupteffekte, Zwei-Faktor-Wechselwirkungen und quadratische Effekte für die kontinuierlichen Faktoren.</SPAN></P> </LI>
</UL> <BR /> <H2 style="font-weight: 400;" id="toc-hId-227218614" id="toc-hId-227305841" id="toc-hId-227305841" id="toc-hId-227305841"><STRONG>Demnächst</STRONG></H2> <P><SPAN>In unserem letzten Beitrag präsentieren wir die Ergebnisse dieses umfassenden Vergleichs! Wir zeigen, welche raumfüllenden Designs in verschiedenen Szenarien besonders gut abschneiden, und geben praktische Hinweise zur Designauswahl auf der Grundlage experimenteller Ziele und Einschränkungen.</SPAN></P> <P><EM><SPAN>Dies ist der zweite Teil einer dreiteiligen Serie über raumfüllende Versuchsaufbauten:</SPAN></EM></P>
<OL>
<LI><SPAN><A href="https://community.jmp.com/t5/JMP-Blog/Part1-Introduction-to-common-types-of-space-filling-designs/ba-p/906541" target="_blank">Einführung in gängige Arten von raumfüllenden Designs</A>. </SPAN></LI>
<LI><STRONG><SPAN>Vergleichsrahmen und Bewertungsmetriken</SPAN></STRONG><SPAN>(dieser Beitrag).</SPAN></LI>
<LI><A href="https://community.jmp.com/t5/JMP-Blog/Exploring-space-filling-designs-part-3-Results-analysis-and/ba-p/915402" target="_self"><EM><SPAN>Ergebnisse, Analyse und Richtlinien für die Designauswahl</SPAN></EM></A><SPAN>.</SPAN></LI>
</OL>
Hallo Victor, vielen Dank für den aufschlussreichen Beitrag! Kann JMP die Diagnosekriterien für raumfüllende Designs berechnen, z. B. die Diskrepanz und die MaxPro-Kriterien, auch für Designs, die nicht mit JMP erstellt wurden? Die Funktion „Design auswerten“ scheint diese Statistiken nicht anzubieten. Gibt es vielleicht eine andere einfache Möglichkeit für diese Auswertung?
Hallo @ktbrickey22 ,
Vielen Dank für das positive Feedback!
Aktuell ist es nicht möglich, für Designs, die außerhalb von JMP erstellt wurden, Diagnosekennzahlen (Diskrepanz und MaxPro) zu berechnen. Diese Frage stellte ich mir auch bei meinen Experimenten für diesen Blogbeitrag: MaxPro-Wert für beliebige Space-Filling-Designs ermitteln. Da die Berechnung dieser Werte momentan nicht einfach ist, habe ich eine Wunschliste zu diesem Thema erstellt: Vergleichsplattform für Space-Filling-Designs
Aktuell nutze ich zum Vergleichen von Abweichungen zwischen zwei raumfüllenden Designs die Diskrepanzfunktion von SciPy . Diese liefert zwar nicht dieselben Werte wie JMP, ermöglicht mir aber den Vergleich beliebiger Designs. SciPy bietet darüber hinaus weitere nützliche Metriken und Visualisierungen, wie beispielsweise den minimalen Spannbaum zur Darstellung des minimalen Abstands zwischen Punkten.
Bei MaxPro ist das Thema komplexer, und ich habe (noch) keine zufriedenstellende Lösung gefunden.
Ich hoffe, diese Antwort hilft Ihnen weiter 
@Victor_G , ich hätte eine kurze Frage. Bezüglich des von Ihnen oben beschriebenen MaxPro-Ansatzes schreiben Sie: „ Ziel ist es, das MaxPro-Kriterium zu maximieren, um gute Projektionen von Entwurfspunkten in niedrigdimensionalen Räumen zu gewährleisten.“ In der Hilfe steht jedoch, dass es darum geht, das MaxPro-Kriterium zu minimieren. Könnten Sie das bitte genauer erläutern?
Hallo @charlie_whitman ,
Vielen Dank für Ihre sorgfältige Lektüre und Ihren Kommentar, in dem Sie diesen möglichen Fehler entdeckt haben. Es tut mir sehr leid, ich glaube, ich habe beim Lesen des MaxPro-Kriteriums etwas missverstanden. Dieses Kriterium dient der Bewertung der Projektionseigenschaften des Designs. Je höher die Projektionseigenschaft, desto besser, da dies dazu beiträgt, die Informationen zu maximieren und ein effizient verteiltes Design zu erzielen, selbst bei inaktiven oder wenig wichtigen Faktoren. Es beeinflusst diese Verteilung, indem es das Produkt der Abstände zwischen potenziellen Designpunkten maximiert. In der Formel des MaxPro-Kriteriums in der JMP-Hilfe steht dieser Abstand zwischen Designpunkten jedoch im Nenner. Daher scheint es, als ob dieses Kriterium minimiert werden sollte. Dies wird auch in der Designdiagnose der JMP-Hilfe wiederholt: „ Kleinere Werte sind besser.“
Auch wenn es in der JMP-Hilfe steht, bin ich immer noch verwirrt, insbesondere beim Blick auf die Option „MaxPro-Kriterium maximieren“ in der Bayesian Optimization Platform. Welchen Vorteil hat die Maximierung des MaxPro-Kriteriums (führt dazu, dass Läufe geclustert oder „gestapelt“ werden, wenn kleinere Unterräume des experimentellen Raums betrachtet werden)? Die Hilfe besagt in diesem Abschnitt: „ Diese Option ermöglicht eine modellfreie Erkundung des Faktorraums, die die Replikation von Faktoreinstellungen sowohl in den Trainingsdaten als auch im aktuellen Batch vermeidet. Verwenden Sie diese Option für jede Batchgröße, wenn eines oder mehrere Modelle nicht gut passen. “ Wenn das Ziel darin besteht, weiter zu erkunden, weil das Modell nicht gut passt, sollte diese Option dann versuchen, die Werte der neuen MaxPro-Designpunkte zu minimieren (um den Abstand zwischen den Designpunkten zu vergrößern und den experimentellen Raum zu erkunden), anstatt sie zu maximieren, um eine gute Abdeckung neu hinzugefügter Läufe zu gewährleisten?
Ich wäre sehr dankbar, wenn mir jemand aus dem JMP DoE-Team bei der Aufklärung dieser Unklarheit helfen könnte!
Ich werde die Teile 2 und 3 dieser Blogbeitragsreihe so schnell wie möglich entsprechend korrigieren.
