Warum ist die Validierung nicht in DOE enthalten?Hallo zusammen, ich lerne gerade den Online-Kurs. Im Teil der prädiktiven Modellierung wird die Validierung verwendet, um die Leistung des Modells anhand neuer Daten zu bewerten und die Auswahl des überangepassten Modells zu verhindern.
Für die Validierung sind zusätzliche Daten erforderlich. Im DOE-Teil sind diese zusätzlichen Daten jedoch nicht enthalten. Alle gesammelten Daten werden zum Trainieren des Modells verwendet. Sogar die Mittelpunkte werden zur Bewertung quadratischer Effekte im Modell verwendet.
Nehmen Sie als Beispiel die Antwortoberflächen-DOE. Das Ziel dieses DOE besteht darin, den optimalen Punkt zu finden, bei dem es sich normalerweise um „neue Daten“ handelt (im Vergleich zu den Punkten im DOE). Warum ist in diesem Fall kein Validierungssatz enthalten? Ist es nicht wichtig?
AnalytikDAMHIRSCHKUHBetreff: Warum ist die Validierung nicht in DOE enthalten?Gut ausgedrückt, Byron. Ich habe es versäumt, die Validierung zu differenzieren, da Sie das so gut gemacht haben.
Betreff: Warum ist die Validierung nicht in DOE enthalten?Vielleicht ist es wichtig zu überprüfen, was jeder mit „validieren“ meint.
Im Allgemeinen ist es bei der Modellierung von Ad-hoc-Daten eine wirklich gute Idee, das Modell mithilfe eines Holdout-Datensatzes zu validieren. Die Anpassungsstatistiken der Holdout-Daten werden verwendet, um die Qualität des Modells anhand der Trainingsdaten zu beurteilen. Bei der Modellierung von Ad-hoc-Daten versuchen wir, Schätzungen über die zugrunde liegende Bevölkerung zu erstellen. Die Arbeit mit kleinen Datensätzen untergräbt die Fähigkeit, das Modell zu trainieren und auszuwerten. Für bessere Schätzungen ist es wichtig, die Anzahl der Beobachtungen über das von uns modellierte System zu maximieren.
Die Daten für ein DOE werden vor der Analyse sehr sorgfältig geplant und gesammelt. Dieses Design unterstützt die Einbeziehung/Verwendung von Modellbegriffen, die a priori spezifiziert werden, im Gegensatz zur Modellierung von Zufallsdaten, bei denen wir möglicherweise erst nach der Auswertung wissen, welche Begriffe in das Modell aufgenommen werden können.
Im Falle eines DOE werden keine Daten zur Modellvalidierung zurückgehalten, da alle Daten für die Schätzung der Modellkoeffizienten konstruktionsbedingt erforderlich sind. Ein Hauptziel des DOE besteht darin, die geringstmögliche Datenmenge zu generieren, die zur Modellierung physikalischer Phänomene erforderlich ist. Der Begriff „Validierung“ im Falle eines DOE impliziert, dass nach Abschluss des Experiments weitere Durchläufe durchgeführt werden. Die „Validierungs“-Läufe werden mit den vorhergesagten Werten verglichen, um die Qualität der Vorhersagen des DOE-Modells zu bewerten. Oft ist die Anzahl der Validierungsläufe gering, vielleicht nur 1–3. Diese Läufe liefern Beweise für die Unterstützung von Änderungen an einem physischen System, die dann viele Läufe/Beobachtungen mit denselben Eingabeeinstellungen generieren. Das Modell wird in Zukunft zur Abstimmung des physikalischen Systems/Prozesses verwendet.
DOE World verwendet ähnliche Methoden wie Modeling World, der Ansatz ist jedoch sehr unterschiedlich.
Betreff: Warum ist die Validierung nicht in DOE enthalten?Ich stimme den Kommentaren von Mark und Pete zu: Die Ergebnisse des Experiments und das als Ergebnis der Analyse erstellte Modell (welche Statistiken oder praktischen Urteile Sie auch immer dafür verwenden) sind eine Funktion des Inferenzraums des Experiments. Wenn das Experiment zukünftige Bedingungen nicht abbildet, wird das Modell, unabhängig davon, wie „statistisch signifikant“ es in der Analyse ist, keine nützlichen, wiederholbaren Ergebnisse liefern.
„Leider werden zukünftige Experimente (zukünftige Versuche, die Produktion von morgen) von anderen Umweltbedingungen (Temperatur, Materialien, Menschen) beeinflusst als denen, die dieses Experiment beeinflussen … Nur durch Kenntnis des Themas kann man möglicherweise durch weitere Experimente unterstützt (Kursivschrift hinzugefügt) um ein breiteres Spektrum von Bedingungen abzudecken, so dass man mit der Gefahr eines Irrtums entscheiden kann, ob die Umweltbedingungen der Zukunft denen von heute nahe genug sein werden, um die Verwendung der vorliegenden Ergebnisse zu ermöglichen.“
Dr. Deming
Betreff: Warum ist die Validierung nicht in DOE enthalten?Um etwas hinzuzufügen @Mark_Bailey 's Rat, dem ich zustimme ... philosophisch gesehen hat DOE als Problemlösungsmethode die Effizienz der Wissensbeschaffung als Grundprinzip. Einer meiner DOE-Lehrer aus den 1980er Jahren definierte „Effizienz im DOE“ als den Wunsch, die erforderlichen Informationen mit dem geringsten Ressourcenaufwand zu erhalten. Heutzutage können wir sagen, dass bei modellgesteuerten optimalen DOE-Taktiken das Modell unsere „erforderlichen Informationen“ ist. Daher liefern optimale DOE-Methoden die Effizienz, die jede einzelne Behandlungskombination erforderlich macht. Keine zusätzlichen Läufe erforderlich.
Aber wie Mark vorschlägt und alle guten DOE-Praktiker normalerweise befolgen, führen wir, sobald wir das Modell haben, zusätzliche Durchläufe durch, um zu überprüfen, ob das Modell tatsächlich für das vorliegende praktische Problem nützlich ist. Der DOE-Prozess beinhaltet also die Validierung (manche nennen sie Bestätigung oder Verifizierung) als erforderlichen Schritt ... sie geschieht einfach zu einem anderen Zeitpunkt, nach den ersten Experimenten.
Betreff: Warum ist die Validierung nicht in DOE enthalten?Die Validierung des Modells ist ein wichtiger Schritt. Verwenden Sie das ausgewählte Modell, um die Faktorniveaus von Interesse zu finden (z. B. wird vorhergesagt, dass sie eine gewünschte und eine unerwünschte Reaktion ergeben), richten Sie dann einige Durchläufe (5–6) ein und vergleichen Sie die durchschnittliche Reaktion der neuen Durchläufe mit der vorhergesagten mittlere Antwort. Ich empfehle die Verwendung eines Äquivalenztests und nicht eines Differenztests.
Diese einzeln validierten Daten können mit dem Originalexperiment kombiniert werden, wenn Sie die Schätzungen der Modellbedingungen verbessern möchten.
