Einführung
Willkommen zum Finale unserer DOE-Serie zur Raumfüllung! Nachdem wir in den vorherigen Beiträgen unser Rahmenkonzept und unsere Bewertungsmethodik vorgestellt haben, präsentieren wir nun die umfassenden Ergebnisse unserer Vergleichsstudie. Die Ergebnisse liefern klare Hinweise darauf, wann und wie Sie die am besten geeignete Raumfüllungsplanung für Ihre spezifische Anwendung auswählen.
Zusammenfassung der wichtigsten Ergebnisse
Unsere Analyse über vier Designtypen, drei Dimensionalitätseinstellungen und drei Stichprobengrößenbedingungen pro Faktor hinweg liefert mehrere interessante Erkenntnisse hinsichtlich der Designleistung und der Rechenzeit.
Wie bereits erwähntim vorherigen Beitrag dieser ReiheDie Auswertung der Ergebnisse erfolgt mittels zweier unterschiedlicher Methoden: einer Rangfolge der Designtypen über verschiedene Dimensionalitäts- und Stichprobengrößen hinweg (Abbildung 1) und einem Modellierungsansatz, bei dem die Antwortabweichung, MaxPro und die Zeitreaktionen entsprechend den Faktoren modelliert werden (Abbildung 2).
Abbildung 1: Rangfolgeergebnisse für alle Antworten.
Abbildung 2: Vorhersageprofil und Variablenwichtigkeit für alle Antworten.
Wie erwartet, gibt es in den verschiedenen getesteten Konfigurationen keinen universellen Gewinner unter den raumfüllenden Designs. Der Kontext bestimmt die optimale Wahl, wobei insbesondere die Dimensionalität und die Anzahl der Punkte pro Faktor einen signifikanten Einfluss auf die Designleistung sowie die benötigte Rechenzeit haben.
Fast Flexible Filling ist die beste Bauweise für die Projektionseigenschaften (MaxPro-Kriterium).
Das uniforme Design ist hinsichtlich seiner Eigenschaften in Bezug auf die räumliche Abdeckung/Gleichmäßigkeit (Diskrepanzkriterium) am besten geeignet, jedoch ist die zur Berechnung benötigte Generierungszeit am höchsten und kann schnell prohibitiv werden.
Interessanterweise hängen die Ergebnisse der Versuchsplanung stark von der Stichprobengröße und den Wechselwirkungen der Dimensionalität ab, da sich die relative Leistung mit der Gesamtzahl der Durchläufe für eine bestimmte Anzahl von Faktoren ändern kann.
Rangfolge der Designarten
Mithilfe der im zweiten Beitrag dieser Reihe vorgestellten Skripte können die kontinuierlichen Antworten in Ranglisten umgewandelt werden, wobei die Leistungen der vier Designs für jedes Szenario der Dimensionalität und Stichprobengröße von 1 (bestes Design) bis 4 (schlechtestes Design) bewertet werden.
- Vergleich der Eigenschaften der Raumabdeckung (Abweichung):
- Gleichförmige Designs zeigen die beste räumliche Abdeckung über alle Dimensionalitäts- und Stichprobengrößen hinweg. Das ist nicht überraschend, da gleichförmige Designs dazu neigen, die Punkte so zu verteilen, dass sie einer Gleichverteilung möglichst genau entsprechen.wie im ersten Beitrag dieser Serie zu sehen istDaher wird erwartet, dass ihre Leistungen hinsichtlich der Diskrepanzmetrik gut ausfallen.
- Latin-Hypercube-Designs, die Punkte so verteilen, dass sie einer Gleichverteilung ähneln, belegen den zweiten Platz für ihre gute Raumabdeckung.
- Schließlich belegen schnelle, flexible Designs, die ein Gleichgewicht zwischen Raumabdeckung und Projektionseigenschaften herstellen, sowie Kugelpackungsdesigns, die die Punkte innerhalb des Designbereichs so weit wie möglich nach außen verteilen, den dritten bzw. letzten Platz (Abbildung 3).
Abbildung 3: Rangfolge der Abweichungen der Designs für alle Testkonfigurationen von Dimensionalität und Stichprobengröße (je niedriger, desto besser).
- Vergleich der Projektionseigenschaften (MaxPro):
- Schnell flexible Füllsysteme bieten in jeder Situation die besten Projektionsergebnisse.
- Bei mittleren (20 Läufe pro Faktor) und hohen (100 Läufe pro Faktor) Stichprobenumfängen zeigen uniforme Versuchspläne eine bessere Leistung als lateinische Hypercube-Versuchspläne.
- Bei Kugelpackungsdesigns ist die MaxPro-Statistik undefiniert, da Punkte für eine Dimension identische Werte haben können und daher nicht in der Rangliste erscheinen (Abbildung 4).
Abbildung 4: MaxPro-Rangliste der Designs für alle Testkonfigurationen hinsichtlich Dimensionalität und Stichprobengröße (je niedriger, desto besser).
- Vergleich der Entwurfszeitgenerierung:
- Latin-Hypercube-Designs weisen die schnellste Designgenerierungszeit über nahezu alle Dimensionalitäts- und Stichprobengrößeneinstellungen hinweg auf.
- Bei mittleren (20 Läufe pro Faktor) bis hohen (hundert Läufe pro Faktor) Stichprobenumfängen ist schnelles, flexibles Design aufgrund seiner hohen Designgenerierungsgeschwindigkeit ebenfalls eine sehr wettbewerbsfähige Wahl.
- Kugelpackungsdesigns sind im Allgemeinen langsamer zu berechnen, wobei gleichmäßige Designs die langsamsten Designs in der Berechnung darstellen (Abbildung 5).
Abbildung 5: Rangfolge der Entwurfsgenerierungszeit für alle Testkonfigurationen von Dimensionalität und Stichprobengröße (niedriger ist besser).
Modellierungsergebnisse
Mithilfe des im zweiten Beitrag dieser Reihe vorgestellten modifizierten Modellskripts werden die Modelle für die drei Zielgrößen Diskrepanz, MaxPro und Zeit gestartet. Für jede dieser Zielgrößen lässt sich feststellen, dass die Anpassung des Modells nicht ausreichend erscheint (Abbildung 6).
Abbildung 6: Vergleich der Ist- und Sollwerte für das Modell der anfänglichen Antwortabweichung.
Darüber hinaus ist in den Residuen ein nicht-normales und nicht-zufälliges Muster zu erkennen (Abbildung 7).
Abbildung 7: Visualisierungen der Residuen, die nicht-zufällige und nicht-normale Muster zeigen.
Die Residuenwerte sollten zufällig um Null streuen, sodass die Variation der Zielgröße vollständig durch die im Modell enthaltenen Effekte erklärt wird. Weicht die Verteilung von der Zufallsvariable ab, kann dies auf potenzielle Probleme des Modells hinweisen. In diesem Fall können ein Krümmungseffekt, eine Nicht-Normalverteilung der Residuen und Heteroskedastizität (ungleiche Varianz) eine Datentransformation zur Behebung dieser Probleme erforderlich machen. Da die Daten einen sehr unterschiedlichen Skalenbereich abdecken (Abbildung 8), erscheint eine Logarithmierung (oder eine Box-Cox-Transformation mit λ = 0) angemessen.
Abbildung 8: Ergebnisse einer angepassten logarithmischen Normalverteilung für die Diskrepanzreaktion.
Diese Einschätzung wird durch die Box-Cox-Transformationsanalyse von JMP bestätigt, die einen empfohlenen Wert für λ nahe 0 ergibt (Abbildung 9).
Abbildung 9: Ergebnis des Box-Cox-Transformationspanels für die Diskrepanzantwort.
Unter dem roten Dreieck der Box-Cox-Transformationen (verfügbar im roten Dreieck neben „Antwort […]“ unter „Faktorprofilierung > Box-Cox-Y-Transformation “) wählen wir „Durch Transformieren ersetzen“ und einen Lambda-Wert von 0, um die Modellanpassung automatisch durch ein Modell zu ersetzen, bei dem die Logarithmierung auf unsere Daten angewendet wurde. Die Modelle scheinen nun für die Analyse der experimentellen Daten geeignet zu sein.
- Ergebnisse der Modellierung der Diskrepanzreaktion:Der größte Teil der Varianz der Abweichungsreaktion wird durch das Faktorverhältnis exp/Faktoren und die Art des Versuchsdesigns erklärt. Die Dimensionalität (Anzahl der Faktoren) ist ebenfalls ein wichtiger Faktor, jedoch von relativ geringerer Bedeutung als die beiden zuvor genannten Faktoren (Abbildung 2). Interaktionseffekte wurden festgestellt, deren Einfluss auf die Varianz der Abweichung jedoch im Vergleich zu den Haupteffekten relativ gering ist. Für das Faktorverhältnis exp/Faktoren wurde ein sehr starker quadratischer Effekt festgestellt (Abbildung 10).
Abbildung 10: Effektstärkediagramm für die Diskrepanzreaktion.
Die Auswirkungen der Wahl des Designtyps auf den Diskrepanzwert können einfach visualisiert werden, indem der Diskrepanzwert, gemessen als Verhältnis exp/Faktoren, für jedes im DOE analysierte Szenario mit einer Anzahl von Faktoren angezeigt wird (Abbildung 14).
- Modellergebnisse der MaxPro-Reaktion:Der größte Teil der Varianz der MaxPro-Antwort wird durch das Faktorverhältnis exp/Faktoren und die Art des Versuchsaufbaus erklärt. Die Dimensionalität (Anzahl der Faktoren) ist ebenfalls ein wichtiger Faktor, jedoch von relativ geringerer Bedeutung als die beiden zuvor genannten Faktoren (Abbildung 2). Das Modell erfasst moderate Interaktionseffekte zwischen den drei Faktoren. Für das Faktorverhältnis exp/Faktoren wird ein sehr starker quadratischer Effekt festgestellt (Abbildung 11).
Abbildung 11: Effektstärkediagramm für die MaxPro-Antwort.
Die Auswirkungen der Wahl des Designtyps auf die MaxPro-Metrik lassen sich einfach visualisieren, indem man den MaxPro-Wert, gemessen als Verhältnis exp/Faktoren, für jedes im DOE analysierte Szenario mit einer Anzahl von Faktoren anzeigt (Abbildung 14).
- Modellergebnisse zur Entwurfsgenerationszeit:Die drei Faktoren Designtyp, Anzahl der Faktoren und Verhältnis exp/Faktoren haben einen ähnlich hohen Einfluss auf die Designgenerierungszeit (Abbildung 2). Zwischen den drei Faktoren wurden wichtige Wechselwirkungen festgestellt, die zeigen, wie sich die Art der Punktegenerierungsmethode auf die Designgenerierungszeit auswirken kann (Abbildung 12). Der lateinische Hyperwürfel-Designtyp scheint besonders für Szenarien mit hoher Dimensionalität und großem Stichprobenumfang (Anzahl der Punkte pro Faktor) geeignet zu sein, während uniforme Designs besser für Szenarien mit niedriger Dimensionalität und kleinem Stichprobenumfang geeignet sein könnten.
Abbildung 12: Effektstärkediagramm für die Zeitantwort.
Die Auswirkungen der Wahl des Designtyps auf die Designgenerierungszeit lassen sich einfach visualisieren, indem man die Designgenerierungszeit, gemessen als Verhältnis exp/Faktoren, für jedes im DOE analysierte Szenario mit einer Anzahl von Faktoren anzeigt (Abbildung 13).
Abbildung 13: Entwicklung der Entwurfsgenerationszeit in Abhängigkeit von den Faktoren Entwurfstyp, Anzahl der Faktoren und Verhältnis exp/Faktoren.
Wichtigste Erkenntnisse
Designspezifische Stärken treten bei größeren Stichprobenumfängen deutlicher hervor. Mit zunehmendem Stichprobenumfang verringern sich die Lücken in den Verteilungen der einzelnen Faktoren, wodurch die Diskrepanz abnimmt. Gleichzeitig verringern sich mit steigender Anzahl der Messpunkte die Abstände zwischen den Punkten, was den Wert des MaxPro-Kriteriums erhöht. Interessanterweise muss je nach Anzahl der Durchläufe pro Faktor ein Kompromiss zwischen Diskrepanz- und MaxPro-Kriterium gefunden werden. Dieser Kompromiss wird im Bereich zwischen 60 und 80 deutlich, wo eine Priorisierung des Designleistungskriteriums zwischen Diskrepanz- und MaxPro-Metriken erforderlich ist (Abbildung 14).
Im Falle der MaxPro-Modellierung lässt sich eine Veränderung hinsichtlich der Leistungsfähigkeit von Latin-Hypercube- und Fast-Flexible-Filling-Designs in Bezug auf die Dimensionalität (Anzahl der Faktoren) feststellen: Wenn das Verhältnis der Anzahl der Experimente pro Faktor bei etwa 70 liegt, steigen die MaxPro-Werte beider Designs mit der Anzahl der Faktoren.
Abbildung 14: Entwicklung der Abweichungs- und MaxPro-Werte in Abhängigkeit von den Konstruktionsfaktoren.
Einheitliche Versuchsdesigns stoßen bei hoher Dimensionalität und/oder großen Stichprobenumfängen an ihre Grenzen, da der Rechenaufwand zu hoch ist. Je nach Szenario eignen sich unterschiedliche Versuchsdesigns aufgrund des optimalen Verhältnisses von Leistung zu Geschwindigkeit. Eine Tabelle mit den Ergebnissen fasst die Stärken und Schwächen der einzelnen Designs zusammen (Tabelle 1).
Praktische Auswahlrichtlinien/Entscheidungsrahmen
Schritt 1: Beurteilen Sie Ihren experimentellen Kontext
- Dimensionalität des Faktorraums (Anzahl und Art der Faktoren)
- Erwartete Antwortcharakteristika (Rauschpegel)
- Beschränkungen der Stichprobengröße
- Verfügbare Rechenressourcen
Schritt 2: Auswahlregeln anwenden
- Hohe Dimensionalität:Vermeiden Sie einheitliche Designs
- Gemischte Faktortypen und/oder Vorhandensein von Einschränkungen:Nutzen Sie schnelle und flexible Abfüllsysteme
- Laute Antwort:Bevorzugen Sie Kugelpackungsdesigns oder verwenden Sie zunächst ein Screening-/modellbasiertes DOE.
- Geringe Stichprobengröße: ErstellenEinheitliche oder lateinische Hyperwürfel-Designs
- Schnelle Designgenerierung erforderlich: GenerierenLateinische Hyperwürfel- oder schnelle flexible Fülldesigns
Zusammenfassung: Vergleich raumfüllender Designs
Tabelle 1: Zusammenfassung der Ergebnisse nach Raumfüllungsdesigntyp.
Zu beachten ist, dass eine vollständige faktorielle Versuchsplanung (uniforme Versuchsplanung mit neun Faktoren und 100 Versuchen pro Faktor) aufgrund des hohen Rechenaufwands nicht durchgeführt werden konnte (Abbildung 15):
Abbildung 15: JMP-Meldung für das kombinierte uniforme Design, bestehend aus neun Faktoren und 100 Läufen pro Faktor.
Die Berechnung des Versuchsdesigns wurde für diese Konfiguration vorzeitig abgebrochen. Selbst wenn dieses Experiment im vollständigen faktoriellen Versuchsdesign fehlen würde, könnte die Analyse problemlos durchgeführt werden.
Einschränkungen und zukünftige Richtungen
Einschränkungen der Studie
- Rechentechnische Beschränkungen begrenzten die Durchführung von Tests mit der höchsten Dimensionalität.
- Fokus auf kontinuierliche Faktoren ohne Einschränkungen, um das Testen verschiedener Designtypen zu ermöglichen.
Zukünftige Forschung
- Integration mit aktiven Lernstrategien (Bayes'sche Optimierung)
- Leistungsvergleich mit verschiedenen Modellen des maschinellen Lernens
- Robustheit/Empfindlichkeit gegenüber Rauschen in der Antwort
Schlussfolgerungen und Empfehlungen
Unsere umfassende Auswertung liefert eindeutige Beweise dafür, dass die Auswahl des raumfüllenden Designs eher von spezifischen experimentellen Merkmalen als von Standardeinstellungen bestimmt werden sollte.
Wichtigste Erkenntnisse
- Es gibt keinen allgemeingültigen Gewinner; der Kontext bestimmt die optimale Wahl.
- Dimensionalität ist entscheidend.
- Eine schnelle und flexible Befüllung ist die beste Lösung für optimale Projektionseigenschaften (MaxPro-Kriterium).
- Die Art der Reaktion ist entscheidend; glatte und komplexe Oberflächen erfordern unterschiedliche Vorgehensweisen.
- Wechselwirkungen zwischen Stichprobengröße und relativen Leistungsänderungen in Abhängigkeit von der Anzahl der verfügbaren Läufe.
Abschließende Empfehlung:Nutzen Sie unseren Entscheidungsrahmen als Ausgangspunkt, aber überprüfen Sie Ihre Designentscheidungen nach Möglichkeit immer anhand von Pilotstudien.
Damit ist unsere dreiteilige Serie über raumfüllende Versuchsaufbauten abgeschlossen:
- Einführung in gängige Arten von raumfüllenden Designs
- Vergleichsrahmen und Bewertungsmetriken
- Ergebnisse, Analyse und Richtlinien für die Designauswahl(dieser Beitrag)
Vielen Dank, dass Sie diese Serie verfolgt haben! Ich hoffe, diese Erkenntnisse helfen Ihnen, in Ihren eigenen Projekten fundiertere Entscheidungen hinsichtlich raumfüllender Designs zu treffen.
Ressourcen und weiterführende Literatur
- Für die Studie verwendete Konfiguration:
- Prozessor: Intel® Core™ i9-11900H der 11. Generation mit 2,50 GHz (2,50 GHz)
- Installierter Arbeitsspeicher: 64,0 GB (63,7 GB nutzbar)
- Systemtyp: 64-Bit-Betriebssystem, x64-Prozessor
- JMP-Skripte zur Entwurfserstellung und -bewertung
- Erweiterte Ergebnistabellen und Visualisierungen
- Referenzen:
- „ Versuchsplanung und maschinelles Lernen für Produktinnovationen: Eine systematische Literaturübersicht “, von Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3025
- „ Designauswahl und Modellleistungen für maschinelles Lernen “, von Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3123
- „ Raumfüllende Designs für Computerexperimente: ein Überblick “, von Joseph VR, Qual Eng. 2016; 28: 28-35.https://doi.org/10.1080/08982112.2015.1100447
- Statistik-Wissensportal:Annahmen des Regressionsmodells | Einführung in die Statistik | JMP
Hallo @Victor_G ,
Vielen Dank für Ihre Artikel; sie waren wirklich hilfreich.
Ich habe eine Frage zur Auswahl zwischen Latin Hypercube Design und Fast Flexible Design für Computersimulationen.
Berücksichtigen Sie die folgenden Faktoren;
A: Wertebereich: 0 -1 (kontinuierliche Werte)
B: Bereich: 1-100 (Alle ganzzahligen Werte innerhalb des Bereichs)
C: Bereich: 1-5 (Alle ganzzahligen Werte innerhalb des Bereichs)
Frage: JMP empfiehlt für diskrete Faktoren das FFF-Design. Faktor B und Faktor C sind zwar technisch diskret, sollen aber ausschließlich ganzzahlige Werte im Bereich von 1 bis 100 annehmen. Ich möchte jedoch vermeiden, dass sie in der Simulation Dezimalwerte verwenden. Welches Design sollte ich verwenden?
In JMP gibt es eine Option, die Breite der Faktorwerte festzulegen, wodurch ich die Dezimalstellen im lateinischen Hyperwürfel entfernen kann. Ich bin mir nicht sicher, ob dies Auswirkungen auf die Analyse hat.
Kann ich die Faktoren in LHD als stetig behandeln und die Breite anpassen oder muss ich eine Art Rundung verwenden, um ganzzahlige Werte zu erhalten?
Die für den lateinischen Hyperwürfel angegebene JMP-Dokumentation geht von kontinuierlichen Eingaben aus, die endgültige Entwurfstabelle enthält jedoch ganzzahlige Werte.
https://www.jmp.com/support/help/en/19.0/index.shtml#page/jmp/example-of-creating-a-latin-hypercube-design.shtml#
Hallo @Divya123rama ,
Vielen Dank für Ihren freundlichen Kommentar.
Zu Ihrer Frage möchte ich Folgendes sagen:
Wie Sie vielleicht bereits in Teil 1 dieser Blogreihe „Exploring space filling designs part 1: Introduction to common types of space fi... - JMP User Community“ gelesen haben, erzeugt der Latin Hypercube eine Anzahl von Bins, die der Anzahl der gewünschten Läufe im endgültigen Design entspricht. Je nachdem, wie viele Läufe Sie in Ihrem endgültigen Design wünschen, beeinflusst dies die Anzahl der Bins für die Faktoren und wie stark sich das Aufrunden der Werte auf das Design auswirkt. In dem von Ihnen gezeigten Beispiel aus der JMP-Hilfe umfasst das Design 8 Läufe für Faktoren im Bereich von 1 bis 8. Daher erzeugt der Latin Hypercube Bins der Breite 1, sodass alle 8 Bins im Design verwendet werden. Wenn die Anzahl der Faktoren der Anzahl der Läufe entspricht, werden die Bins zu diskreten ganzzahligen Werten.
In Ihrem Fall haben Sie zwei sehr unterschiedliche Faktorbereiche: Typischerweise ist bei einem Faktor mit einem kleinen diskreten Bereich (1–5) die Anzahl der Bins immer größer als die Anzahl der möglichen Werte in diesem Bereich (5). Daher würde ich hier einen diskreten numerischen Faktor verwenden, da durch das Aufrunden der Werte im Versuchsplan viele wiederholte Werte entstehen können, was die Abdeckung und die Projektionseigenschaften Ihres Versuchsplans beeinträchtigen kann.
Beispiel mit einem lateinischen Hypercube-Design mit 30 Läufen und nur stetigen Faktoren (B und C werden nach der Designgenerierung aufgerundet , sodass sie nur ganzzahlige Werte haben):
Beispiel mit schnellem, flexiblem Abfülldesign mit 30 Durchläufen, A und B kontinuierlichen Faktoren (B wird nach der Designgenerierung aufgerundet) und C ist ein diskreter numerischer Wert:
Beispiel mit schnellem, flexiblem Füllverfahren mit 30 Durchläufen, A kontinuierlich, B und C diskret numerisch:
Die Verteilung der Läufe in der zweiten und dritten Situation scheint sehr ähnlich zu sein, und beide verwenden das Fast Flexible Filling-Design aufgrund des Vorhandenseins mindestens eines diskreten numerischen Faktors. Die erste Situation wird durch eine LHD-Generierung mit ausschließlich kontinuierlichen Faktoren vor deren Aufrundung erzielt. Diese Situation erscheint nicht optimal, da die Punkteverteilung gehäuft wirkt und Lücken am Rand des Versuchsraums aufweist.
Ich würde in diesem Fall die Verwendung des Fast Flexible Filling-Designs empfehlen, entweder mit Option 2 oder 3.
Ich hoffe, diese Antwort hilft Ihnen.
Victor, deine dreiteilige Serie über raumfüllende Designs war klar und hilfreich.
Für viele Anwendungen scheinen FFF-Designs mit anschließender Analyse der Antwortdaten mithilfe von ML-Methoden, wie z. B. selbstvalidierenden Ensemble-Modellen, eine gute Wahl für Prozesse mit bekannten oder voraussichtlich komplexen Antwortflächen zu sein.
Ein wesentlicher Vorteil von raumfüllenden Designs besteht darin, dass aufgrund der relativ kleinen Lücken im Designraum weniger Testaufwand für das Vorhersagemodell erforderlich ist. Die Lücken in typischen CCD- oder optimalen Designs wirken im Vergleich zu denen in raumfüllenden Designs wie die Rub al-Khali. Dieser Vorteil führt zu einem einfacheren DOE-Workflow und verbesserter Wirtschaftlichkeit der Versuchsplanung.
Danke schön!
Stephen Czupryna, Pyzdek Institute, Prescott Valley, AZ, USA
Hallo @SteveCz ,
Vielen Dank für Ihren freundlichen Kommentar und Ihr Feedback!
Ich stimme zu, Fast Flexible Filling-Designs sind eine hervorragende Wahl, da sie gute Projektions- und Abweichungsleistungen, ein breites Anwendungsspektrum aufgrund der Berücksichtigung verschiedener Faktoren und Einschränkungen sowie eine geringe Rechengenerierungszeit bieten.
Ja, bei raumfüllenden Designs und Modellen des maschinellen Lernens geht es darum, ein Modell zu finden, das (abhängig vom gewählten Algorithmus und den Annahmen zum Antwortverhalten) zwischen den Designpunkten stetig interpolieren kann. Um die Relevanz und Nützlichkeit des angepassten Modells zu überprüfen, können spezifische Validierungsmethoden wie Leave-One-Out und selbstvalidierte Ensemble-Modelle verwendet werden. Bei einfachen Modellen wie Random Forests und Support Vector Machines (SVM) lassen sich zudem wichtige Hyperparameterwerte (Baumtiefe bei Random Forests, Regularisierung und Krümmung bei SVM) überprüfen, um das Risiko von Überanpassung zu vermeiden und geeignete Hyperparameterwerte auszuwählen.
Abschließend lässt sich sagen, dass nichts Validierungsläufe ersetzt. Es ist immer ratsam, die Gültigkeit des Modells zu bestätigen, indem man neue Experimente an interessanten Orten durchführt (beste/schlechteste Ergebnisse, Gebiet mit größerer Entfernung zu den Designpunkten usw.).
Am besten,
