Betreff: Ungültiger RMSE für ValidierungsdatenHallo @AAYH ,
Willkommen in der Community!
Anscheinend kommt es bei deinen Trainingsdaten zu einer Überanpassung. Es ist etwas schwierig, Ihnen ohne Beispieldaten (z. B. anonymisierte Daten) zu helfen, die von Ihnen durchgeführten Schritte und die Art der Daten, die Sie haben, im Detail zu untersuchen. Trotzdem hier einige Fragen zu Beginn:
- Haben Sie Korrelationen zwischen Ihren Eingaben überprüft (Menü Analysieren -> Multivariate Methoden -> Multivariate) bzw
- Haben Sie die Multikollinearität zwischen Ihren Prozessfaktoren überprüft (in der Plattform "Modell anpassen", Panel " Parameterschätzungen (jmp.com) ", klicken Sie mit der rechten Maustaste auf die Spaltenparameter und klicken Sie auf Spalten -> VIF, um ihre Werte zu überprüfen) ?
Dies könnte eine zu untersuchende Richtung sein, da Korrelationen oder Multikollinearität die Leistung linearer Modelle ernsthaft "beschädigen" können, wenn keine Vorsichtsmaßnahmen getroffen werden.
Wenn zwischen Ihren Faktoren eine Korrelation oder Multikollinearität besteht, ist es möglicherweise sicherer:
- Wählen Sie ein Modell, das Multikollinearität handhaben kann (z. B. Partial Least Square, Bootstrap Forest) oder
- Verarbeiten Sie Ihre Eingaben mit einem PCA vor und verwenden Sie die Hauptkomponenten in Ihrem linearen Modell, oder
- Verwenden Sie benachteiligte Methoden (JMP Pro, Generalized Regression) wie LASSO, Ridge oder Elastic Net, um robustere lineare Regressionsmodelle zu erstellen.
Lassen Sie uns wissen, was diese erste Untersuchung gebracht hat, und wenn Sie hoffentlich einige Beispieldaten liefern können, wäre es für andere Mitglieder einfacher, sich an dieser Diskussion zu beteiligen.
Betreff: Ungültiger RMSE für ValidierungsdatenHallo Victor Vielen Dank für Ihre Antwort und ich denke, Sie haben Recht. Ich werde es so schnell wie möglich untersuchen.
Betreff: Ungültiger RMSE für ValidierungsdatenHallo Statmann.
Vielen Dank, dass Sie sich die Zeit genommen haben, meine Frage zu beantworten, und vielen Dank für Ihren wertvollen Beitrag. Ich werde es so schnell wie möglich untersuchen.
Betreff: Ungültiger RMSE für ValidierungsdatenHallo nochmal.
Ich habe ein endgültiges Screening-Design erstellt, in dem ich aufgrund unterschiedlicher Tage blockiert habe. Jetzt weiß ich, dass ich vielleicht einen Fehler gemacht habe, indem ich die unkontrollierten Variablen nicht von Anfang an berücksichtigt habe.
Ich habe 3 Variablen (UB1-3), die ich während zweier verschiedener Produktionsläufe (Block 1 und Block 2) geändert habe. Unkontrollierte Var. 1 und 2 werden gemessen, aber ich kann sie nicht ändern. Meine Qualitätsvariable wird am Ende des Prozesses gemessen. Unkontrollierte Variable 2 ist stark abhängig von Tag/Block und wirkt sich auf Unkontrollierte Var aus. 1 sowie UB1 bis UB3.
Ich bin nur neugierig zu verstehen, ob ich die Daten, die ich jetzt habe, verwenden kann oder ob ich ein weiteres Experiment durchführen muss. Vielen Dank für Ihre Zeit.
Betreff: Ungültiger RMSE für ValidierungsdatenHallo @AAYH ,
Erstens, ist diese DSD mit dem Problem der RMSE-Änderung mit Validierungsdaten verbunden oder ist dies anders und nicht besonders verwandt? Ich versuche nur zu sehen, ob dies der Beispieldatensatz ist, um Ihr Problem zu veranschaulichen, oder etwas zusätzlich zu Ihrem Problem. Was ist Ihr Ziel mit diesem DoE? In Ihrer Datentabelle fehlt ein Wert für die zweite unkontrollierte Variable.
Wenn ich es richtig verstehe, haben Sie einen Blockierungsfaktor hinzugefügt (in der DSD-Erstellung haben Sie ihn als kategorialen Faktor erstellt?) Und 2 unkontrollierbare Variablen, die Sie aufgezeichnet haben, aber nicht auf DoE-Weise randomisiert/kontrolliert sind.
Wie Sie bereits gesehen haben, haben Sie starke Korrelationen zwischen Ihren beiden unkontrollierbaren Variablen und zwischen Block und unkontrollierten Variablen 1/2, was sich stark auf die Vorhersageleistung Ihres Modells bei neuen Daten auswirken kann (Skript „1. Multivariat" in der beigefügten Datentabelle).
Ich habe einige Spalteneigenschaften zu Ihrem Block-Zufallsfaktor und unkontrollierbaren Variablen hinzugefügt (damit sie in JMP-Plattformen korrekt verwendet werden können) und dann zwei Modelle realisiert:
- Einer mit der gemischten Modellpersönlichkeit, der „Block“ als zufälligen Effekt spezifiziert (Skript „2.a. Passform Gemischt"),
- Eine mit der Standard-Least-Squares-Persönlichkeit mit „Block“ als Zufallseffekt (Skript „2.b. Modell anpassen (mit zufälligem Block)").
Es überrascht nicht, dass die beiden Modelle ähnliche Ergebnisse liefern, und wie erwartet scheinen die unkontrollierbaren Variablen 1 und 2 einen wichtigen Einfluss auf die Antwortqualität zu haben. Der zufällige Blockfaktor scheint nicht signifikant zu sein.
Die Modelle an sich sind ziemlich korrekt (abhängig von der erwarteten Genauigkeit des Modells), mit hohem R² (0,87) und ziemlich niedrigem RMSE (um 0,5). Wie jedoch bereits in der multivariaten Plattform (Korrelationen) zu sehen ist, hängen einige Ihrer Faktoren linear voneinander ab, was zu einem hohen VIF (etwa 20 für die beiden unkontrollierten Variablen) führt und zu einer Erhöhung der Varianz in den Vorhersagen führen kann:
Eine Möglichkeit, diese Kollinearität zu reduzieren, könnte darin bestehen, Hauptkomponenten aus diesen beiden Variablen zu erstellen (Skript „3.a. PCA der unkontrollierten Variablen 1&2") und realisieren den gleichen Modelltyp wie zuvor (wobei jedoch die unkontrollierten Variablen 1&2 durch ihre 2 Hauptkomponenten ersetzt werden, Skript "3.b. Modell mit PCs anpassen"):
Dies ändert die Leistung des Modells in Bezug auf R² und RMSE nicht, aber das Verringern der VIFs trägt dazu bei, die Varianz der Parameterschätzungen zu verringern (für Parameter, die an dieser Kollinearitätssituation beteiligt sind).
Zu deiner Eingangsfrage, Ob Sie die Daten, die Sie jetzt haben, verwenden können, hängt alles von Ihrer Zielsetzung ab (Erklärung und/oder Vorhersage) und davon, wie Sie die "Nützlichkeit" Ihrer Daten bewerten (Präzision der Vorhersage?).
Aus dieser ersten Datentabelle sind bereits einige wichtige Dinge zu bemerken, aber ohne weitere Informationen ist es schwierig, die Verwendung der Daten zu interpretieren oder daraus zu schließen (Repräsentativität der Bereiche der unkontrollierten Variablen 1 und 2 oder erforderliche Korrektur des fehlenden Werts Zum Beispiel...). Aber es ist ein interessanter erster Schritt, auf dem Sie Ihr Design erweitern könnten, um Ihre 2 unkontrollierten Variablen besser zu berücksichtigen und sie durch Faktoren in Ihren Experimenten kontrolliert zu machen.
Beachten Sie, dass das, was ich getan habe, je nach Ihren Zielen und Bedürfnissen möglicherweise nicht der beste Ansatz ist und dass für dieselben Aufgaben auch andere Optionen verfügbar sein könnten.
Betreff: Ungültiger RMSE für ValidierungsdatenErstens bin ich mir nicht sicher, ob ich das Problem verstehe? Kannst du deine Datentabelle posten? Was mich verwirrt, ist der offensichtliche Konflikt, je nachdem, wie Sie die "neuen" Daten auswerten? Kannst du beschreiben, wie du das gemacht hast? Was ist das Delta aus der Vorhersage und dem tatsächlichen Wert? (Residuen) Haben Sie Residuen analysiert?
Zusätzlich zu Victors hervorragenden Gedanken zur Multikollinearität hier meine:
1. Was ist die Quelle der Daten, die Sie zum Ausführen des Fit-Modells verwendet haben? Sind das Produktionsdaten? Ist es aus einem Experiment?
2. Wie repräsentativ sind Ihre Daten für zukünftige Bedingungen?
3. Wie Victor andeutet, gibt es eine Reihe von Fragen zu den Daten. Es gibt keine Statistik, die alle Informationen über unser Modell liefert. R-sq selbst hat sehr wenig Nutzen (es wird immer zunehmen, wenn Sie DFs in Ihrem Modell erhöhen). Sie möchten R-sq mit R-sq adjustiert vergleichen. Dies gibt Aufschluss über eine Überanpassung des Modells.
Schlechter RMSE für ValidierungsdatenHallo
Mit „Fit Model“ habe ich ein Modell erstellt, um den Feuchtigkeitsgehalt in einem Produkt anhand verschiedener Prozessparameter zu ermitteln. Das Modell ist in Ordnung (Rsq=0,97) und hat einen relativ niedrigen RMSE. Der Logworth der verwendeten Variablen liegt alle über dem Grenzwert.Das Problem entsteht, wenn ich neue Daten zur Validierung aufnehmen möchte. Hier ist die Vorhersage sehr schlecht. Die Daten, die ich validieren möchte, unterscheiden sich nicht wesentlich von den im Testsatz verwendeten Daten. Wenn ich die Validierungsdaten als Testsatzdaten einbeziehe, passen sie sehr gut in das Modell, der Feuchtigkeitsvorhersagefehler ist ähnlich wie bei den „ursprünglichen“ Daten
Ich habe ein Modell, das sowohl aus Haupteffekten als auch aus Wechselwirkungen besteht. Was mache ich falsch?
Datenexploration und -visualisierung
