Prediction Profiler und ErwünschtheitsfunktionenHallo alle,
JMP Pro 16.1.0.
Ich verwende den Prediction Profiler, um eine Überprüfung der Modelloptimierung durchzuarbeiten, und habe mich gefragt, ob es eine Möglichkeit gibt, die Erwünschtheitsfunktionen dazu zu bringen, etwas zu tun, wofür sie nicht wirklich ausgelegt sind. Bei der Standardeinstellung für Erwünschtheit haben Sie die Wahl zwischen Maximieren, Ziel abgleichen, Minimieren oder Keine.
Während des Modell-Tuning-Prozesses zeichne ich die R^2-Werte für Training und Validierung sowie die Differenz zwischen den beiden auf. Eines der Dinge, nach denen ich beim Modelltuning zu suchen versuche, sind Parametereinstellungen, die nicht nur R^2 für Training und Validierung maximieren, sondern auch den Unterschied zwischen den beiden minimieren. Zum Beispiel ist es für mich besser, wenn ich ein Modell habe, das ein R^2-Training von 0,4 und eine R^2-Validierung von 0,35 hat, als ein R^2-Training von 0,7 und eine R^2-Validierung von 0,25 zu haben. Das heißt, je näher die Trainings- und Validierungssets beieinander liegen, auch wenn kleinere tendenziell besser für meine Situationen geeignet sind.
Das Problem besteht darin, dass beim Prediction Profiler, wenn Sie sowohl Training als auch Validierung R^2 festlegen, um den Unterschied zu maximieren und zu minimieren, der Profiler Einstellungen vorschlägt, die zu einem Training R^2 von 0,6 und einem Validierungs-R^2 von etwa 0,2 führen. Nicht das, wonach ich suche.
Was ich wirklich möchte, dass der Profiler versucht, Training und Validierung von R^2 zu konvergieren, die so nah wie möglich beieinander liegen und gleichzeitig so groß wie möglich sind, um den Unterschied zu minimieren und gleichzeitig ein großes R zu halten ^2 Werte. Leider bringt das Ändern von Dingen wie der Wichtigkeit (0 zu 1) oder des Ziels nicht wirklich das, was ich anstrebe.
Wenn jemand einen Trick kennt, wie man den Profiler dazu bringt, so etwas zu tun, wäre es großartig zu wissen. Oder, wenn dies nicht möglich ist, könnte es eine wirklich nette neue Funktion sein, den Profiler anweisen zu können, zwei der Antworten zu versuchen und zu konvergieren, während sie maximiert (oder minimiert) werden.
Danke!,
DS
AnalytikRe: Prediction Profiler und ErwünschtheitsfunktionenSie verwenden die Profiler- und Erwünschtheitsfunktionen korrekt. Es ist nicht falsch, Erwünschtheit = (0,1) zu verwenden, aber Sie könnten versuchen, Werte wie 1 für Maximieren und 2 für Differenz zu verwenden und sehen, ob Sie damit dem, was Sie wollen, näher kommen. Die Definition der Funktionen (Grenzen, Wichtigkeit) ist der Schlüssel, um dem Profiler zu sagen, was Sie wollen.
Das heißt, es ist nicht garantiert, dass Sie bekommen, was Sie wollen!
Re: Prediction Profiler und ErwünschtheitsfunktionenIch vermute, dass es Ihnen egal ist, ob die R2-Differenz 0,01 oder 0,1 beträgt, aber Sie kümmern sich allmählich mehr darum, wenn sie über einen bestimmten Schwellenwert ansteigt. Sie könnten versuchen, die R2-Differenz zu einer Formel zu machen, die flach ist, wenn sie unter einem bestimmten Wert liegt, und dann allmählich abnimmt, wenn sie über diese Grenze hinausgeht, oder Sie könnten die Erwünschtheitsfunktion einrichten, um dies zu beschreiben.Letzteres mache ich oft mit der T2-Metrik in multivariaten Modellen.Sie können ein Beispiel dafür sehen, indem Sie in dem unten verlinkten Video zu etwa 16:30 springen.
Optimierung multivariater Modelle: Von der Datenerfassung zu optimalen Bedingungen und Bewertungsmodellen (2021-US-45MP-927)
Re: Prediction Profiler und ErwünschtheitsfunktionenSie können auch die Form des Diagramms der Erwünschtheit ändern, um anzuzeigen, dass ein größerer Unterschied eine größere Strafe bedeutet. Es muss nicht linear sein mit einem Mittelwert in der Mitte.
Hinweis: Sie können auf das Diagramm des Funktionsdiagramms per Mausklick (Windows) oder Befehlsklick (macOS) klicken und Werte schnell ändern, während Sie verschiedene Schemata ausprobieren. Ich empfehle, die Erwünschtheit NICHT zu ändern, sondern nur die Antwortpegel. Bewegen Sie den mittleren Wert zu einem Ende hin, um ihn nichtlinear zu machen.
Re: Prediction Profiler und ErwünschtheitsfunktionenHi @markbailey und @ich h ,
@markbailey , Ihre erste Antwort war eine, die "es zum Laufen bringen wird". Leider ist es kein automatisierter Optimierungsprozess, also findet es nicht iterativ die optimalen Bedingungen. Nichtsdestotrotz ist es sicherlich einfach genug, die relative Wichtigkeit jeder Antwort manuell zu ändern.
Verwenden Sie eine Mischung aus Ihrem Vorschlag und @ich h 's Vorschlag erweist sich eher als das, was ich denke, was ich letztendlich tun möchte. Es gibt nur eine Menge manueller Anpassungen der Erwünschtheitsfunktionen – entweder das Ändern der Zahlen von Hand oder das Verschieben der kleinen Kästchen im Diagramm. Es wäre schön, eine stärker automatisierte und etwas weniger subjektive Methode zu haben, um mein Endziel zu erreichen.
@ich h Sie haben teilweise Recht, dass es mir egal ist, ob der R2-Diff 0,01 oder 0,1 beträgt. Wenn ich jedoch einen R2-Diff von 0,1 habe und mein Trainings-R2 0,8 beträgt und mein Validierungs-R2 0,7 beträgt, würde ich das einem R2 vorziehen Diff von 0,01, wenn mein Training bei 0,31 und meine Validierung bei 0,3 liegt. In der Praxis verhalten sich meine Datensätze eher wie Letzteres als wie Ersteres – ich wünschte, ich könnte meine beiden R2 so hoch wie 0,8 und 0,7 bekommen!
Das Mischen der beiden Vorschläge gibt mir viel zu spielen, ich wünschte nur, es wäre etwas weniger subjektiv.
Danke für die Rückmeldung!,
DS
