Wie gestaltet man Experimente mit gut verteilten kontinuierlichen Eingaben?Hallo zusammen! Ich habe eine Frage zu einfachen Versuchsanordnungen . Ich arbeite an Versuchsanordnungen mit 4 Eingängen und 4 Ausgängen. Alle Eingänge sind kontinuierliche Werte: Die ersten beiden liegen im Bereich von 0 bis 5, die anderen beiden im Bereich von 0 bis 10.
Beim Erstellen von Versuchsdesigns stelle ich fest, dass die einzigen vom Design vorgeschlagenen Werte 0, die Hälfte des Maximums und das Maximum sind. Der Einfluss dieser Eingaben ist jedoch nicht wirklich linear, sodass mein Design aufgrund der mangelnden Diversität dieser Eingabewerte nicht sehr genau ist.
Wissen Sie, wie Sie ein Design mit besser verteilten Punkten erstellen, um die Vorhersagegenauigkeit zu verbessern?
Vielen Dank im Voraus !
Xena:)
VersuchsplanungBetreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?Ich bin mit dem Begriff „facile“ im Zusammenhang mit experimentellem Design nicht vertraut. Eine Suche zeigt, dass es
einfache, unkomplizierte Designs, die mit minimalen Ressourcen leicht umzusetzen sind
Solche Designs sind nützlich für explorative Forschung, Pilotstudien oder wenn eine echte Randomisierung nicht möglich ist. Diese Einfachheit geht jedoch oft auf Kosten der internen Validität, was es schwieriger macht, eine echte Ursache-Wirkungs-Beziehung herzustellen.
Ihre Frage lässt mich das Ziel Ihres Experiments erahnen. Sind Sie daran interessiert, die kausale Struktur zu verstehen oder „einen Gewinner auszuwählen“? Ist dies Ihr erstes Experiment im Rahmen dieser Untersuchung oder haben Sie bereits Screening-Designs erstellt? Welches Modell möchten Sie untersuchen? Wenn Sie beispielsweise ein nichtlineares Polynom verdächtig finden, aber noch versuchen, den geeigneten Designraum zu bestimmen, könnten Sie Zentralpunkt-Experimente durchführen.
Sie scheinen aufgrund Ihres Verdachts auf nichtlineare Zusammenhänge daran interessiert zu sein, die Faktoren auf drei Ebenen zu testen. Zur Schätzung quadratischer Effekte benötigen Sie normalerweise nur drei Ebenen, die gleichmäßig über den Faktorraum verteilt sind. Dies vereinfacht die Analyse. Dies wäre ein sinnvoller Ort für Ihre nächste Iteration. Anschließend können Sie den Raum durch zukünftige Experimente erweitern. Die „Genauigkeit“ Ihres Modells (vielleicht ist Präzision das bessere Wort) lässt sich durch die Analyse der Residuen (und das Kennenlernen der Auswirkungen von Rauschen) besser verstehen.
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?Hallo @Xena ,
Willkommen in der Community!
Die von Ihnen beschriebene Situation scheint darauf hinzudeuten, dass Sie an raumfüllenden Designs interessiert sein könnten.
Space-Filling-Designs sind modellunabhängige Versuchsdesigns mit Schwerpunkt auf Vorhersageleistung, die speziell für kontinuierliche Faktoren (meistens) und für rauscharme Reaktionen (typischerweise Computerexperimente und Simulationen) entwickelt wurden, bei denen stark nichtlineare und komplexe Reaktionsoberflächen erwartet werden.
Wenn Sie weitere Informationen zum Ziel (prädiktive Modellierung, Metamodellierung usw.), zu etwaigen Faktorbeschränkungen, Antworttypen (Messung? Simulationen? Variabilität/Reproduzierbarkeit? ...) und zur maximal zulässigen Anzahl von Durchläufen bereitstellen können, können wir Ihnen möglicherweise bei der Auswahl eines geeigneten raumfüllenden Designtyps helfen (sofern diese Option für Ihr Thema geeignet erscheint).
Meine erste Vermutung auf Grundlage Ihrer Informationen und Ihres Ziels ist, dass Sie keine Faktorbeschränkungen haben und für Vorhersagezwecke nur 4 kontinuierliche Faktoren verwenden (mit einer möglichen niedrigen/mittleren Stichprobengröße von weniger als 100 Experimenten). Daher könnte ein einheitliches oder lateinisches Hypercube-Design eine geeignete Wahl sein.
Hoffe, diese Antwort wird Ihnen helfen,
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?Hallo Victor, danke für deine schnelle Antwort!
Ich kenne mich mit raumfüllenden Designs nicht aus, aber nach Ihren Ausführungen scheinen sie durchaus geeignet zu sein. Mein Ziel ist es, Vorhersagen zu treffen. Meine Ergebnisse stammen aus Computersimulationen und sind daher vollständig wiederholbar. Ich suche nach einem Ergebnis, das es mir ermöglicht, meine Daten so zu analysieren, dass ich die richtige Kombination finde, wobei ich manchmal versuche, bestimmte Ergebnisse zu maximieren und andere zu minimieren.
Eine akzeptable Anzahl von Beispielen wäre etwa 50 (oder etwas mehr, wenn es sich lohnt), da ich keine API habe, mit der ich die Simulationsdaten automatisch abrufen und in JMP einspeisen könnte.
Vielen Dank für Ihre Hilfe
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?Hallo Statman,
Vielen Dank auch für Ihre schnelle Antwort!
Tatsächlich gibt es in JMP eine Kategorie namens „Easy DOE“, bei der JMP in natürlicher Sprache fragt, was Sie haben und was Sie tun möchten. Mein Ziel ist es, eine Kombination zu finden, die meinen Anforderungen entspricht (mit einigen zu minimierenden, anderen zu maximierenden oder auf ein bestimmtes Ziel ausgerichteten Ergebnissen).
Ich habe Ihren Punkt bezüglich Faktoren mit Ebenen nicht ganz verstanden, da die Variablen in meinem Fall kontinuierlich sind und ich ihren gesamten Bereich untersuchen möchte.
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?Hallo @Xena ,
Ok, wenn Sie mit Computerexperimenten arbeiten, sind raumfüllende Designs tatsächlich eine gute Möglichkeit, Punkte homogen in Ihrem experimentellen Raum zu verteilen und Ihre Simulationsreaktionen mit einem nützlichen Modell anzunähern, ohne irgendwelche Annahmen über die Gleichung/Modellform zu treffen.
Wenn Sie die Plattform für raumfüllende Designs (im Menü „DoE“, „Spezialzweck“, „Raumfüllendes Design“) mit Ihren vier kontinuierlichen Faktoren starten, beträgt die empfohlene Anzahl von Läufen von JMP standardmäßig 40 (nahe an Ihrer akzeptablen Anzahl von Läufen) und Sie haben Zugriff auf alle Designtypen. Da die Anzahl der Faktoren und Läufe recht gering ist und Sie möglicherweise an prädiktiven Leistungen interessiert sind, kann ein einheitliches Design (oder Latin Hypercube) eine geeignete Wahl sein:
Was das Modell zur Anpassung der Antworten betrifft, gibt es beim Erstellen der Datentabelle standardmäßig ein Skript zum Starten eines Gaußschen Prozessmodells für Ihre Antwort:
Dies ist ein gutes Standard-Benchmark-Modell. Sie können aber auch andere Machine-Learning-Modelle mithilfe der Model-Screening- Plattform und einer geeigneten Validierungsstrategie ausprobieren (um Überanpassung zu vermeiden). In solchen Situationen wird häufig eine zufällige oder stratifizierte K-Fold-Kreuzvalidierung gewählt, da bestimmte Punkte nicht vom Training ausgeschlossen werden sollen.
Sobald ein Modell mit guter Leistung gefunden wurde, können Sie die auf jeder Falte trainierten Modelle verwenden und ihre Vorhersagen mitteln, wie hier erwähnt: Kreuzvalidierung mit k-facher Anpassungsqualität
Wenn Sie sich insgesamt 50 Läufe leisten können, können Sie ein DoE mit 40 Läufen starten und das beste Modell trainieren/validieren und dann die Plattform Erweiterte Designs (mit einer Space-Filling-Strategie) verwenden, um 10 neue Läufe zu Ihrem Datensatz hinzuzufügen, die als Testsatz (endgültige Validierung) für Ihr Vorhersagemodell verwendet werden.
Hoffe, die Vorschläge sind sinnvoll,
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?Ich verstehe Ihre Situation nicht gut genug, um Ihnen konkrete Ratschläge zu geben. Es gibt tatsächlich eine Plattform namens „Easy DOE“. Meiner Meinung nach ist diese Plattform für diejenigen gedacht, die wenig bis gar keine Erfahrung mit Experimenten haben. Sie soll die Anwendung der Methodik fördern (und möglicherweise die Software vermarkten). Es gibt jedoch viele Nuancen, die die Plattform nicht abdeckt.
In jedem Fall ist die Diagnose der Situation wichtig, um das passende Design auszuwählen. Führen Sie erklärende oder entdeckende Arbeit durch? Haben Sie Hypothesen entwickelt (z. B. warum sollte ein Faktor einen Einfluss auf die Antworten haben oder nicht?)? Wie sind Sie auf die vier Faktoren gekommen? Welche Strategien verfolgen Sie, um mit allen anderen Faktoren umzugehen? Wurden die Messsysteme untersucht?
Es gibt nicht den einen richtigen Weg, Experimente zu entwerfen. Normalerweise beginnt man seine Experimente jedoch mit der Untersuchung der vielen möglichen Faktoren, um einen geeigneten Designraum zu entwickeln. Am effizientesten gelingt dies, indem man einen Teil des n-dimensionalen Raums durchläuft. Da die Studien kurzfristiger Natur sind (d. h., man hat keine Zeitreihen, um die inhärente Variation der Faktoreffekte aufzudecken), muss man die Effekte übertreiben. Das erreicht man, indem man die Faktorstufen fett ansetzt (die Extreme der Angemessenheit) und mit einer großen Anzahl von Faktoren experimentiert. Gleichzeitig versucht man, einen möglichst breiten Inferenzraum zu schaffen, also übertreibt man in ähnlicher Weise die Wirkung von Rauschen (Faktoren, die man zukünftig nicht mehr berücksichtigen möchte), oft mit vollständigen oder unvollständigen Blöcken. Wenn man einen angemessenen und vertretbaren Designraum hat, erweitert man diesen, um ein brauchbares Modell zu schätzen.
Wir erstellen Modelle typischerweise nach Taylorreihen. Das heißt, wir beginnen mit der ersten Ordnung (erreicht durch zweistufige Faktoreinstellungen) und erweitern sie mit höherer Ordnung (sowohl faktoriell (Interaktionen) als auch polynomisch (nichtlinear). Ziel ist nicht, das komplexeste Modell zu finden, das alles beschreibt, sondern ein nützliches Modell zur Vorhersage zukünftiger Leistung. Modelle mit Interaktionen dritter Ordnung oder kubisch+nichtlinearen Termen sind extrem schwierig zu handhaben und oft nicht nützlich.
Hier sind einige empfohlene Referenzen für die Einführung in die experimentelle Gestaltung:
Box, George EP, und Bisgaard, S. (1987) „Der wissenschaftliche Kontext der Qualitätsverbesserung.“ Qualitätsfortschritt Juni
Czitrom, Veronica, (1999) „ Ein-Faktor-nach-dem-Zeitpunkt versus geplante Experimente “, Der amerikanische Statistiker , Mai, Bd. 53, Nr. 2
Box, GEP, Patrick Liu (1999) „ Statistik als Katalysator für das Lernen mit wissenschaftlichen Methoden, Teil I – Ein Beispiel “, Zeitschrift für Qualitätstechnologie , Vol. 31, Nr. 1, Januar
Hahn, Gerald (1977) “Einige Dinge, die Ingenieure über experimentelles Design wissen sollten”, Zeitschrift für Qualitätstechnologie, January, Vol. 9, No. 1
Cochran, William „ Die Philosophie, die dem Design von Experimenten zugrunde liegt “, John Hopkins University
Montgomery, Douglas, Coleman, D., (1993). „ Ein systematischer Ansatz zur Planung eines geplanten industriellen Experiments “, Technometrie , Februar 1993, Band 35, Nr. 1
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?Hallo Victor,
Ich werde Ihre Lösung ausprobieren.
Vielen Dank !
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingaben?@statman @Victor_G – Ich verstehe jedes Mal ein bisschen mehr, danke!
Betreff: Wie entwirft man Experimente mit gut verteilten kontinuierlichen Eingangsgrößen?Es klingt, als ob Sie ein einfaches faktorielles Versuchsdesign verwenden, das sich tendenziell auf niedrige, mittlere und hohe Stufen beschränkt. Wenn Ihr System nichtlinear ist, sollten Sie zentrale zusammengesetzte Versuchsdesigns oder Latin-Hypercube-Sampling in Betracht ziehen, um den Eingaberaum besser abzudecken. Ich hatte ein ähnliches Problem und musste über einfache 3-stufige Designs hinausgehen. Ich habe meine Kenntnisse in strukturierten Versuchsplanungsmethoden mithilfe von Excedify aufgefrischt, was mir geholfen hat zu verstehen, wann ich auf Response-Surface-Methoden umsteigen sollte, um eine höhere Vorhersagegenauigkeit zu erzielen.
