476226_de-DE

liliconcom

Prediction Profiler und Erwünschtheitsfunktionen

Hallo alle,

 

JMP Pro 16.1.0.

 

Ich verwende den Prediction Profiler, um eine Überprüfung der Modelloptimierung durchzuführen, und frage mich, ob es eine Möglichkeit gibt, die Erwünschtheitsfunktionen dazu zu bringen, etwas zu tun, wofür sie eigentlich nicht konzipiert sind. Bei der Standardeinstellung für die Erwünschtheit haben Sie die Wahl zwischen „Maximieren“, „Ziel anpassen“, „Minimieren“ oder „Keine“.

 

Während des Modelloptimierungsprozesses zeichne ich die R^2-Werte für Training und Validierung sowie den Unterschied zwischen beiden auf. Eines der Dinge, auf die ich bei der Modelloptimierung zu achten versuche, sind Parametereinstellungen, die nicht nur R^2 für SOWOHL das Training als auch die Validierung maximieren, sondern auch den Unterschied zwischen beiden minimieren. Zum Beispiel ist es für mich besser, wenn ich ein Modell habe, das ein R^2-Training von 0,4 und eine R^2-Validierung von 0,35 hat, als ein R^2-Training von 0,7 und eine R^2-Validierung von 0,25. Das heißt, je näher die Trainings- und Validierungssätze beieinander liegen, desto besser sind für meine Situationen tendenziell auch kleinere Sätze.

 

Das Problem besteht darin, dass beim Prediction Profiler: Wenn Sie sowohl Trainings- als auch Validierungs-R^2 so einstellen, dass die Differenz maximiert bzw. minimiert wird, der Profiler Einstellungen vorschlägt, die zu einem Trainings-R^2 von 0,6 und einem Validierungs-R^2 von etwa 0,2 führen. Nicht das, was ich suche.

 

Ich würde mir wirklich wünschen, dass der Profiler versucht, sich auf Trainings- und Validierungs-R^2 anzunähern, die so nah wie möglich beieinander liegen und gleichzeitig so groß wie möglich sind, um den Unterschied zu minimieren und gleichzeitig ein großes R beizubehalten ^2 Werte. Leider bringt das Ändern von Dingen wie der Wichtigkeit (0 auf 1) oder dem Ziel nicht wirklich das, was ich anstrebe.

 

Wenn jemand einen Trick kennt, wie man den Profiler dazu bringt, so etwas zu tun, wäre es toll, das zu wissen. Wenn dies nicht möglich ist, könnte es eine wirklich nette neue Funktion sein, den Profiler anweisen zu können, zu versuchen, zwei der Antworten zusammenzuführen und sie gleichzeitig zu maximieren (oder zu minimieren).

 

Danke!,

DS

DatenzugriffDatenexploration und -visualisierungMassenanpassungBetreff: Prediction Profiler und Erwünschtheitsfunktionen

Hallo @ich h ,

 

Sie haben sicherlich beide Recht, dass ich meine Gedanken und meinen subjektiven Einfluss auf den Prozess und die Entscheidungen nicht umgehen kann, was das Ganze daher etwas subjektiv und anfällig für die Voreingenommenheit anderer macht. Es wäre schön, so viel wie möglich davon zu entfernen, um die Voreingenommenheit einer Person gegenüber der jeweiligen Angelegenheit zu begrenzen. Schließlich sind wir auf der Suche nach dem leistungsstärksten Modell und nicht nach dem, was jemand als leistungsstärkstes Modell haben möchte.

 

Es stimmt auch, dass ich R2 nicht nur als Metrik für die von mir generierten Modelle verwende. Es ist jedoch eine der zuverlässigeren Methoden, um den Optimierungsprozess einiger Modellanpassungen voranzutreiben, beispielsweise mit Boosted Trees und Bootstrap Forest. Beide Methoden beinhalten eine gewisse Zufälligkeit im Prozess, was gut ist, aber die Feinabstimmung der Parameter des Modells kann ziemlich unpraktisch sein – es ist sehr einfach, große Abstimmungstabellen zu generieren, da es mehrere Parameter gibt, wodurch der Hyperparameterraum sehr groß wird . Um diesen Prozess ein wenig zu unterstützen, kann die Gaussian Fit-Plattform den Parameterraum bei iterativen Optimierungsanpassungen reduzieren. R2 fungiert als sehr effektive Ersatzmetrik für diese Plattform.

 

Die Bootstrap-Option für die Berichtsdiagnose ist ein sehr hilfreiches Tool, das ich regelmäßig verwende. Ich finde es auch sehr hilfreich, mit dem Nullfaktor aus dem Autovalidierungs-Add-in zu testen, welche Faktoren (aus einer großen Menge) wirklich im Modell beibehalten werden sollten – eine Art Faktorreduzierungstechnik vor der Modellierung.

 

Wie bereits erwähnt, erzielen die Modelle tendenziell eine bessere Leistung, wenn sich der Trainings- und Validierungs-R2 ähnlichen Werten annähert. Das andere Extrem, hohes Training und niedrige Validierung, schneiden insgesamt weitaus schlechter ab. Bei der Festlegung der Erwünschtheitsfunktionen und -niveaus (oder Grenzwerte) kann dies ein sehr subjektiver Teil sein und das Ergebnis stark beeinflussen. Schöner wäre ein Algorithmus, der diesen Prozess für Sie optimiert. Natürlich ist die endgültige Entscheidung immer noch eine Entscheidung, bei der der Benutzer selbst entscheiden muss, ob das Ergebnis eine physikalische und nicht nur eine mathematische Bedeutung hat. Eine Analogie wären Spektraldaten, beispielsweise Raman- oder Photoelektronenspektren, die oft Linienformen haben, die Lorentz oder Gauß (oder eine Mischung) sind. Mathematisch ist es möglich, ein negatives Sigma (Standardabweichung) zu haben, da Sigma in der Funktion quadriert wird. Physikalisch hat dies jedoch keine Bedeutung, sodass jedes Anpassungsergebnis eines Algorithmus, der ein negatives Sigma für die Kurve vorgeschlagen hat, verworfen werden kann, da es keine physikalische Grundlage dafür gibt, dass eine Messung eine negative Standardabweichung aufweist. Ebenso kann man R2-Werte erhalten, die negativ sind oder R2-Validierungswerte haben, die größer sind als für den Trainingssatz, aber diese Fälle sollten wichtige Warnsignale sein und in der weiteren Analyse nicht berücksichtigt werden.

 

Letztendlich wird diese Methode verwendet, um den Hyperparameterraum einzugrenzen, sodass die Suche nach einem stabileren globalen Minimum schneller und einfacher ist als die Erstellung einer riesigen Abstimmungstabelle mit Hunderttausenden Zeilen zum Testen aller möglichen Kombinationen. Dabei werden immer noch nur Empfehlungen für die Tuning-Parameter gegeben, und es muss noch beurteilt werden, ob diese Erkenntnisse sinnvoll sind. Das Modell wird immer noch iterativ unter zufälligen Startbedingungen generiert, wobei jedoch jedes Mal ein stabilerer Parametersatz eingegrenzt wird. Dieser Ansatz ist bei anderen Modellierungsplattformen hilfreich, die über viele Eingabeparameter für deren Optimierung verfügen.

 

Danke!,

DS

Betreff: Prediction Profiler und Erwünschtheitsfunktionen

Ich bin einverstanden mit @Mark_Bailey , können Sie nicht darum herumkommen, dass Ihre Gedanken und Ansichten Teil der Lösung sind, die Sie hier anbieten.

 

Ich ermutige Sie, sich nicht auf RSquared einzulassen.Ein hoher R2-Wert bedeutet nicht, dass Sie ein brauchbares Modell haben, und ein niedriger R2-Wert bedeutet nicht, dass Ihr Modell seinen Zweck nicht erfüllen wird.Es wäre fair, wenn jemand sagen würde, dass der RMSE Ihres Modells unter einem Schwellenwert liegen muss, aber es ist für ihn sinnlos zu sagen, dass R2 über einem willkürlichen Wert liegen muss.Wenn Sie tatsächlich etwas mit großen Messfehlern oder Schwankungen vorhersagen, die auf etwas zurückzuführen sind, das nicht in Ihrem Datensatz enthalten ist, und Sie einen wirklich hohen R2 haben, dann haben Sie wahrscheinlich ein Problem.

 

Die Verwendung von R2 zum Vergleich von Test und Validierung ist sicherlich gültig und kann dabei helfen, ein überangepasstes Modell zu erkennen. Einfach dadurch, dass Ihr Datensatz unterschiedliche Zeilen enthält, obwohl Sie möchten erwarten der R2 soll anders sein.Versuchen Sie beispielsweise, den Datensatz der großen Klassen zu verwenden und die Körpergröße mithilfe eines linearen Modells der kleinsten Quadrate aus Alter und Gewicht vorherzusagen.Wenn Sie nun JMP Pro haben, klicken Sie mit der rechten Maustaste auf den angezeigten RSquare-Wert und wählen Sie Bootstrap.Verwenden Sie die Standardeinstellungen und führen Sie dann eine Verteilung in der resultierenden Tabelle durch. Sie sollten eine Verteilung erhalten, die der folgenden ähnelt.Wenn Sie nicht über JMP Pro verfügen, können Sie etwas Ähnliches erhalten, indem Sie eine Teilmenge der Tabelle mit 30 zufälligen Zeilen nehmen, die Methode der kleinsten Quadrate anpassen, den R2 aufzeichnen und den Vorgang dann einige Male wiederholen.

 

 

Das Modell hat sich nicht geändert, nur die Reihen, aus denen es erstellt wurde, und doch sehen Sie sich diese Variation in R2 an!Wenn Sie also davon ausgehen, dass Ihr Trainings- und Validierungs-R2 immer innerhalb von 10 % voneinander liegen, könnte dies zu einer unnötigen künstlichen Einschränkung Ihrer Lösung führen.

 

Wenn Sie mit einer Skriptlösung testen möchten, ob eine Überanpassung vorliegt, können Sie zusätzlich zu einer gewissen „Keep it on the road“-Grenze für die Differenz in R2 versuchen, die Col Shuffle-Formel zu verwenden und Ihr Modell mit den zufälligen Ys anzupassen, sollten Sie sehen der R2 sinkt auf nahezu Null.Ist dies nicht der Fall, ist Ihr Modell in der Lage, das zufällige Rauschen in Ihren Daten zu modellieren.

 

 

 

Betreff: Prediction Profiler und Erwünschtheitsfunktionen

Der Prozess ist objektiv. Die Entscheidungen sind es nicht.

Betreff: Prediction Profiler und Erwünschtheitsfunktionen

Hallo @Mark_Bailey Und @ich h ,

 

@Mark_Bailey , Ihre erste Antwort war eine, die „es zum Laufen bringt“. Da es sich leider nicht um einen automatisierten Optimierungsprozess handelt, werden die optimalen Bedingungen nicht iterativ ermittelt. Dennoch ist es ganz einfach, die relative Wichtigkeit jeder Antwort manuell zu ändern.

 

Nutzen Sie eine Mischung aus Ihrem Vorschlag und @ich h Es erweist sich, dass der Vorschlag von 's eher dem entspricht, was ich mir letztendlich wünschen würde. Es gibt lediglich viele manuelle Anpassungen der Erwünschtheitsfunktionen – entweder durch manuelles Ändern der Zahlen oder durch Verschieben der kleinen Kästchen in der Grafik. Es wäre schön, eine automatisiertere und etwas weniger subjektive Methode zu haben, um mein Endziel zu erreichen.

 

@ich h Sie haben teilweise recht, dass es mir egal ist, ob der R2-Diff 0,01 oder 0,1 beträgt. Wenn ich jedoch einen R2-Diff von 0,1 habe und mein Trainings-R2 0,8 und mein Validierungs-R2 0,7 beträgt, würde ich das einem R2 vorziehen Diff von 0,01, wenn mein Training bei 0,31 und meine Validierung bei 0,3 liegt. In der Praxis verhalten sich meine Datensätze eher wie Letzteres als Ersteres – ich wünschte, ich könnte meine beiden R2-Werte auf 0,8 und 0,7 bringen!

 

Das Mischen der beiden Vorschläge gibt mir viel Spielraum, ich wünschte nur, es wäre etwas weniger subjektiv.

 

Danke für die Rückmeldung!,

DS

Betreff: Prediction Profiler und Erwünschtheitsfunktionen

Sie können auch die Form des Diagramms der Erwünschtheit ändern, um anzuzeigen, dass ein größerer Unterschied eine größere Strafe darstellt. Es muss nicht linear mit einem Mittelwert in der Mitte sein.

 

Hinweis: Sie können einen Steuerklick (Windows) oder einen Befehlsklick (MacOS) auf den Plot des Funktionsdiagramms ausführen und Werte schnell ändern, während Sie verschiedene Schemata ausprobieren. Ich empfehle, NICHT die Erwünschtheit zu ändern, sondern nur die Antwortstufen. Verschieben Sie den Mittelwert zu einem Ende, um ihn nichtlinear zu machen.

Betreff: Prediction Profiler und Erwünschtheitsfunktionen

Ich vermute, dass es Ihnen egal ist, ob die R2-Differenz 0,01 oder 0,1 beträgt, aber Sie interessieren sich allmählich mehr dafür, wenn sie über einen bestimmten Schwellenwert ansteigt. Sie könnten versuchen, die R2-Differenz in eine Formel umzuwandeln, die flach ist, wenn sie unter einem bestimmten Wert liegt, und dann allmählich abnimmt, wenn sie diesen Grenzwert überschreitet, oder Sie könnten die Erwünschtheitsfunktion einrichten, um dies zu beschreiben.Letzteres mache ich oft mit der T2-Metrik in multivariaten Modellen.Ein Beispiel hierfür können Sie sehen, indem Sie im unten verlinkten Video auf etwa 16:30 Uhr springen.

 

Optimierung multivariater Modelle: Von der Datenerfassung zu optimalen Bedingungen und Bewertungsmodellen (2021-US-45MP-927)

Betreff: Prediction Profiler und Erwünschtheitsfunktionen

Sie verwenden die Profiler- und Desirability-Funktionen korrekt. Es ist nicht falsch, Erwünschtheit = (0,1) zu verwenden, aber Sie könnten versuchen, Werte wie 1 für Maximierung und 2 für Differenz zu verwenden und sehen, ob Sie dadurch Ihrem Wunsch näher kommen. Die Definition der Funktionen (Grenzwerte, Wichtigkeit) ist der Schlüssel, um dem Profiler mitzuteilen, was Sie suchen.

 

Allerdings gibt es keine Garantie dafür, dass Sie das bekommen, was Sie wollen!