Wie viele Datenpunkte für ein Modell mit reduzierter Ordnung?Ich bin wieder einmal in der Situation, dass ich glaube zu wissen, was ich tun möchte, aber nicht weiß, wie ich die Frage richtig formulieren soll ...Vielleicht wäre jemand so freundlich, einem Ingenieur in Schwierigkeiten zu helfen?
Ich versuche, ein Modell reduzierter Ordnung zu erstellen. Ich habe ein komplexes, mechanistisches Modell und möchte eine einfache Korrelation entwickeln, um die Leistung meines Systems in einem begrenzten Betriebsraum zu beschreiben.Ich habe JMP verwendet, um ein „Space Filling“-Experiment zu entwerfen und ein Skript geschrieben, um mein mechanistisches Modell auszuführen, um die Ergebnistabelle zu füllen.Ich kann die Ergebnisse in JMP importieren und konnte mit der „Fit Model“-Plattform erfolgreich Korrelationen erstellen, die meinen Anforderungen entsprechen.
Da das mechanistische Modell jedoch relativ langsam läuft, versuche ich herauszufinden, mit wie wenigen mechanistischen Läufen ich durchkomme, aber dennoch eine gute allgemeine Anpassung erhalte.Es fühlt sich so an, als ob ich in der Lage sein sollte, meinen vorhandenen Datensatz zu verwenden, um mit der Beantwortung dieses Problems zu beginnen. Ich kann die Daten manuell maskieren, sie an eine Teilmenge anpassen und diese Anpassung dann mit dem größeren Datensatz vergleichen, indem ich den r2 mit den unsichtbaren Daten vergleiche. Zum Beispiel.Es manuell zu machen ist in Ordnung, aber zeitaufwändig (oder vielleicht bin ich einfach nur faul) – gibt es ein magisches Widget, das mir fehlt?
Ich schätze, ich könnte die „Neural“-Plattform nutzen und den „Holdback-Anteil“ erhöhen, bis der r2 des Validierungssatzes zu steigen beginnt.Ich würde lieber bei einem „linearen“ Modell bleiben (allerdings mit quadratischen und Kreuztermen), aber ich denke, das würde die Grenze abschätzen.Es sieht auch so aus, als ob ich den Holdback nur einmal auswählen kann, also muss ich die Plattform neu starten, um dieses Spiel zu spielen.
Dank im Voraus!
Charles
DatenzugriffDatenmischung und -bereinigungVersuchsplanungPrädiktive Modellierung und maschinelles LernenErgebnisse teilen und kommunizierenBetreff: Wie viele Datenpunkte für ein Modell mit reduzierter Ordnung?Nochmals vielen Dank, Dan.Ich verstehe und stimme Ihrer Antwort zu.
Das zugrunde liegende (mechanistische) Modell ist ziemlich nichtlinear, daher besteht mein Problem darin, dass ich nicht im Voraus sicher bin, ob ein quadratisches Modell gut genug ist (oder welcher der ~10 Eingabeparameter möglicherweise Nichtlinearität aufweist).Ich mag das aNN, tatsächlich erkennt es wahrscheinlich jede Nichtlinearität, aber mir gefällt nicht, dass es so viele Parameter hat, wie Sie sagen.
Mir war nicht klar, dass der Holdback-Teil des aNN direkt bei der Anpassung der Parameter verwendet wurde – ich dachte, er würde „nur“ verwendet, um auszuwählen, wann gestoppt werden soll.Wenn ich diesen Holdback-Anteil weit genug erhöhe, verringert sich sicherlich die Qualität des Modells (sowohl bei der Anpassung als auch bei der Validierung).Ich habe es tatsächlich geschafft, ein nettes Skript zu schreiben, das das aNN-Modell mehrmals in einer Schleife mit zunehmenden Holdback-Anteilen ausführt und dann den r2 für die Anpassungs- und Validierungssätze erfasst, damit ich ein Gefühl dafür bekomme, wo sich die Modellqualität zu verschlechtern beginnt. ..
Wie auch immer, vielen Dank für Ihre Hilfe – ich weiß jetzt mehr über die DoE-Plattform und fühle mich besser in der Lage, solche Probleme in Zukunft anzugehen!Wenn ich weiß, dass die Modellausgabe wahrscheinlich relativ glatt sein wird, werde ich wahrscheinlich ein strukturierteres Design verwenden, wie Sie es empfehlen, und die Kanten/Mittelpunkte testen.Wenn ich weniger sicher bin, verwende ich ein raumfüllendes Design – ich verwende mehr Datenpunkte, um eine Anpassung zu erhalten, aber ich verstehe hoffentlich die Nichtlinearität des Systems besser (falls vorhanden).
Alles Gute
Charles
Betreff: Wie viele Datenpunkte für ein Modell mit reduzierter Ordnung?Der Unterschied zwischen dem entworfenen Experiment und dem neuronalen Netzwerk hängt mit dem angepassten Modell zusammen.
Neuronale Netzwerkmodelle können SEHR nichtlineares Verhalten erfassen. Dazu benötigen Sie viel mehr Daten. Das resultierende Modell ist jedoch viel komplexer und „wackeliger“ als das quadratische Modell. Typischerweise gibt es in einem neuronalen Netzwerkmodell VIELE Parameter. Darüber hinaus erfordern neuronale Netze (wie Sie wissen) einen Holdout-Datensatz, was bedeutet, dass nicht alle Daten für die Anpassung des Modells verwendet werden. Das bedeutet auch, dass Sie einen größeren Datensatz benötigen, da nur ein Prozentsatz der Daten zum Aufbau des Modells verwendet wird. Beachten Sie jedoch, dass die Holdout-Sets verwendet werden, um zu bestimmen, wann die Parameterschätzung des neuronalen Netzwerks gestoppt werden soll. Das Zurückhalten größerer Prozentsätze der Daten ist also nicht ganz dasselbe wie die Verwendung weniger Daten. Der Holdout-Satz wird immer noch verwendet, allerdings in geringerem Umfang als die Trainingsdaten.
Welcher Ansatz der beste ist, hängt also davon ab, wie nichtlinear Sie dieses mechanistische Modell erwarten. Es wird für Sie ein Kosten-Nutzen- oder Risiko-Ertrags-Kompromiss sein.
Wenn Sie wirklich glauben, dass das quadratische Modell die Beziehung ausreichend schätzen kann, wählen Sie den experimentellen Designansatz und weniger Daten.
Wenn Sie erwarten, dass das neuronale Netzwerk die Beziehung besser erfassen kann, entscheiden Sie sich für das neuronale Netzwerk, allerdings auf Kosten der benötigten Daten.
Betreff: Wie viele Datenpunkte für ein Modell mit reduzierter Ordnung?Danke Dan. Ich habe das durchgearbeitet und als Antwort kamen 21 Fälle zurück (anstelle der ~2200, die ich tatsächlich ausgeführt habe). Alle meine „Leistungs“-Werte in der Leistungsanalyse ergaben den Wert 1, daher denke ich, dass dies bedeutet, dass das Modell gut sein sollte.
Vor diesem Hintergrund habe ich die Neural-Plattform verwendet, um Teile der ursprünglichen 2200 Gehäuse zu montieren. Ich habe ein Skript erstellt, das die Anpassung viermal ausführte, und r2 und q2 verglichen, während ich den Holdback-Anteil erhöht habe. Beide waren gut (> 0,995 für mindestens 3 von 4 Modellen), als mein Holdback-Anteil <0,925 war. Wenn ich 0,95 der Variablen zurückgehalten habe (d. h. ich habe 0,05*2200 = 110 Bedingungen für die Anpassung verwendet), dann war r2 für 3 von 4 Anpassungen < 0,985 und q2 war für 3 von 4 < 0,97.
Ich bin mir nicht sicher, warum ich mehr Fälle benötige, wenn ich die Neural-Plattform verwende. Ich vermute, dass das „benutzerdefinierte Design“ ein -1/+1-Muster verwendet, bei dem mein ursprünglicher raumfüllender Entwurf über den Raum verteilt war und daher vielleicht weniger aufschlussreich ist?
Danke
CharlesBetreff: Wie viele Datenpunkte für ein Modell mit reduzierter Ordnung?So haben Sie ein quadratisches Modell, bei dem Sie sich von der Passform wohl fühlen. Jetzt möchten Sie ermitteln, wie viele Läufe Sie WIRKLICH benötigt hätten, um eine ähnliche Passform zu erreichen, oder? Interessieren Sie sich mehr für den vorhergesagten Wert des linearen Modells oder für die Schätzung der Parameter dieses linearen Modells? Ich gehe davon aus, dass Sie an der Vorhersage interessiert sind.
Vielleicht würde dieser Ansatz funktionieren. Wählen Sie „DOE“ > „Benutzerdefiniertes Design“. Geben Sie Ihre Faktoren ein. Geben Sie das RSM-Modell an (Haupteffekte, alle wechselseitigen Interaktionen und alle quadratischen Terme – ich denke, das haben Sie gesagt). Sehen Sie sich die Anzahl der Standardläufe an. Klicken Sie auf Design erstellen.
JMP erstellt mit dieser Anzahl an Durchläufen ein I-optimales Design (am besten für die Vorhersage).
Öffnen Sie den Abschnitt „Leistungsanalyse“ der Ausgabe. Geben Sie den erwarteten RMSE ein (dies wäre der RMSE des Modells, das Sie bereits angepasst haben). Geben Sie die erwarteten Koeffizienten aus dem bereits vorhandenen linearen Modell ein. Klicken Sie auf Änderungen auf erwartete Koeffizienten anwenden. Die resultierenden Leistungszahlen geben die Wahrscheinlichkeit an, mit der dieses Design diesen Effekt erkennt. Sie möchten, dass diese Zahlen hoch sind. Wie hoch, bleibt Ihnen überlassen. Wenn sie nicht hoch genug sind, gehen Sie zurück und erhöhen Sie die Anzahl der Läufe im Design.
Ich möchte Sie auch dazu ermutigen, sich das Fraction of Design Space Plot und das Prediction Variance Profile anzusehen. Diese Diagramme zeigen Ihnen die Vorhersagegenauigkeit des Modells bei dieser Anzahl von Durchläufen. Achten Sie auf eine niedrige Vorhersagevarianz, die über den gesamten Entwurfsbereich hinweg ziemlich flach ist.
Ich hoffe das hilft!
