Warum ist die Validierung nicht im DOE enthalten?Hallo zusammen, ich lerne gerade den Onlinekurs. Im Teil der prädiktiven Modellierung wird die Validierung verwendet, um die Leistung des Modells mit neuen Daten zu bewerten und die Auswahl des Überanpassungsmodells zu verhindern.
Die Validierung erfordert zusätzliche Daten. Im DOE-Teil sind diese zusätzlichen Daten jedoch nicht enthalten. Alle gesammelten Daten werden verwendet, um das Modell zu trainieren. Sogar die Mittelpunkte werden verwendet, um quadratische Effekte im Modell auszuwerten.
Nehmen wir als Beispiel das Response Surface DOE. Das Ziel für dieses DOE ist es, den optimalen Punkt zu finden, bei dem es sich normalerweise um "neue Daten" (im Vergleich zu den Punkten in DOE) handelt. Warum ist in diesem Fall kein Validierungsset enthalten? Ist es nicht wichtig?
AnalytikDAMHIRSCHKUHRe: Warum ist die Validierung nicht im DOE enthalten?Die Validierung des Modells ist ein wichtiger Schritt. Verwenden Sie das ausgewählte Modell, um die interessierenden Faktorstufen zu finden (z. B. werden sie voraussichtlich eine gewünschte Reaktion und eine unerwünschte Reaktion ergeben), richten Sie dann einige Durchläufe (5-6) ein und vergleichen Sie die durchschnittliche Reaktion der neuen Durchläufe mit der vorhergesagten Antwort bedeuten. Ich empfehle, einen Äquivalenztest zu verwenden, keinen Unterschiedstest.
Diese allein validierten Daten können mit dem Originalexperiment kombiniert werden, wenn Sie die Schätzungen der Modellterme verbessern möchten.
Re: Warum ist die Validierung nicht im DOE enthalten?Um ein bisschen hinzuzufügen @markbailey 's Rat, dem ich zustimme...philosophisch gesehen hat DOE als Methode zur Problemlösung die Effizienz der Wissenssammlung als grundlegendes Prinzip. Einer meiner DOE-Instruktoren aus den 1980er Jahren definierte „Effizienz im DOE“ als den Wunsch, die erforderlichen Informationen mit geringstem Ressourcenaufwand zu erhalten. Heutzutage können wir mit modellgetriebener optimaler DOE-Taktik sagen, dass das Modell unsere „benötigte Information“ ist. Daher liefern optimale DOE-Methoden die Effizienz, die jede einzelne Behandlungskombination erforderlich macht. Keine zusätzlichen Läufe erforderlich.
Aber wie Mark vorschlägt, und alle soliden DOE-Praktiker folgen normalerweise, führen wir, sobald wir das Modell haben, zusätzliche Läufe durch, um zu überprüfen, ob das Modell für das vorliegende praktische Problem tatsächlich nützlich ist. Der DOE-Prozess beinhaltet also die Validierung (manche nennen es Bestätigung oder Verifizierung) als erforderlichen Schritt ... es geschieht nur zu einem anderen Zeitpunkt, nach dem ersten Experimentieren.
Re: Warum ist die Validierung nicht im DOE enthalten?Ich stimme den Kommentaren von Mark und Pete zu ... die Ergebnisse des Experiments und das als Ergebnis der Analyse erstellte Modell (was auch immer Sie für Statistiken oder praktische Urteile dafür verwenden) sind eine Funktion des Inferenzraums des Experiments. Wenn das Experiment keine zukünftigen Bedingungen darstellt, wird das Modell, egal wie "statistisch signifikant" in der Analyse ist, keine brauchbaren wiederholbaren Ergebnisse liefern.
„Leider werden zukünftige Experimente (zukünftige Versuche, die Produktion von morgen) von anderen Umweltbedingungen (Temperatur, Materialien, Menschen) beeinflusst werden als die, die dieses Experiment beeinflussen… eventuell unterstützt durch weitere Experimente (kursiv hinzugefügt) um ein breiteres Spektrum von Bedingungen abzudecken, dass man mit der Gefahr des Irrtums entscheiden kann, ob die Umweltbedingungen der Zukunft denen von heute nahe genug sein werden, um die vorliegenden Ergebnisse zu nutzen.“
Dr. Deming
Re: Warum ist die Validierung nicht im DOE enthalten?Vielleicht ist es wichtig zu überprüfen, was jeder mit "validieren" meint.
Im Allgemeinen ist es bei der Modellierung von Ad-hoc-Daten eine wirklich gute Idee, das Modell mit einem Holdout-Datensatz zu validieren. Die Anpassungsstatistik der Holdout-Daten wird verwendet, um die Qualität des Modells aus den Trainingsdaten zu beurteilen. Bei der Modellierung von Ad-hoc-Daten versuchen wir, Schätzungen über die zugrunde liegende Population zu erstellen. Die Arbeit mit kleinen Datensätzen untergräbt die Fähigkeit, das Modell zu trainieren und zu bewerten. Für bessere Schätzungen ist es wichtig, die Anzahl der Beobachtungen über das System, das wir modellieren, zu maximieren.
Die Daten für ein DOE werden vor der Analyse sehr sorgfältig geplant und gesammelt. Dieses Design unterstützt die Aufnahme/Verwendung von Modelltermen, die a priori spezifiziert werden, im Gegensatz zur Modellierung von Zufallsdaten, bei denen wir möglicherweise nicht wissen, welche Terme in das Modell aufgenommen werden können, bis sie bewertet werden.
Im Fall eines DOE werden keine Daten für die Modellvalidierung vorgehalten, da alle Daten für die Schätzung der Modellkoeffizienten durch Design erforderlich sind. Ein zentrales Ziel des DOE ist es, möglichst wenige Daten zu generieren, die für die Modellierung physikalischer Phänomene erforderlich sind. Der Begriff "Validierung" im Fall eines DOE impliziert, dass nach Abschluss des Experiments zusätzliche Durchläufe durchgeführt werden. Die "Validierungs"-Läufe werden mit den vorhergesagten Werten verglichen, um die Qualität der Vorhersagen des DOE-Modells zu beurteilen. Oft ist die Anzahl der Validierungsläufe klein, vielleicht nur 1-3. Diese Läufe liefern Beweise für die Unterstützung von Änderungen an einem physischen System, das dann viele Läufe/Beobachtungen mit denselben Eingabeeinstellungen generiert. Das Modell wird verwendet, um das physikalische System/den Prozess in Zukunft abzustimmen.
DOE World verwendet ähnliche Methoden wie Modeling World, aber der Ansatz ist ganz anders.
Betreff: Warum ist die Validierung nicht im DOE enthalten?Gut gesagt, Byron. Ich habe es versäumt, die Validierung zu differenzieren, wie Sie es so gut gemacht haben.
