384042_de-DE

liliconcom

Modell-Screening-Plattform: Option „Einstellungen merken“ unter Decision Threshold Profiler

Mir gefällt die neue Plattformoption „Modell-Screening“ in JMP unter „Analysieren > Prädiktive Modellierung > Modell-Screening“ sehr gut, auf die hier verwiesen wird: Modell-Screening in JMP Pro 16

 

https://community.jmp.com/t5/JMP-Blog/Model-Screening-in-JMP-Pro-16/bc-p/384039#M4078 .

 

Eine Funktion, die meiner Meinung nach für mich besonders nützlich wäre – im Kontext dieses Beispiels oder anderswo – wäre eine Option ähnlich dem Prediction Profiler, wenn ich Anpassungsmodelle auf bestimmten Plattformen in JMP spezifiziere (z. B. Analysieren > Modell anpassen) – um „ Einstellungen merken“, damit ich effektiv zwischen verschiedenen Kompromissszenarien für Falsch-Positiv- und Falsch-Negativ-Raten „wechseln“ kann.

 

Das Szenario, das mich besonders interessiert, ist die Option, die Level-Einstellung auf der Wahrscheinlichkeit des Entscheidungsschwellenwerts zu „profilieren“, um das Modell so abzustimmen, dass es sich auf die Minimierung falsch-negativer Ergebnisse konzentriert, was möglicherweise auf Kosten einer Zunahme falsch-positiver Ergebnisse geht.Unter dem Gesichtspunkt des Qualitätsrisikos (Schutz des Endbenutzers auf Kosten eines höheren Herstellungsausschusses) können höhere Fehlalarme toleriert werden.

 

Hier ist ein Bild, das veranschaulicht, wovon ich spreche (nur eine schlichte „Einstellungen merken“-Ausgabe von der Fit Model Platform unter dem Prediction Profiler nach Auswahl von „Einstellungen merken“ bei verschiedenen Kombinationen von Eingabeeinstellungen von X auf Y (das Gleiche). Diabetes.jmp Beispiel eines Beispieldatensatzes):

 

Danke!

 

Datenexploration und -visualisierungBetreff: Modell-Screening-Plattform: Option „Einstellungen merken“ unter Decision Threshold Profiler

Ich würde um eine Klarstellung dieses Wunsches bitten: Möchten Sie, dass für alle Modelle die gleiche Schwellenwertwahrscheinlichkeit gilt, oder fordern Sie einen „optimalen“ Schwellenwert für jedes Modell, das gespeichert und verglichen werden soll?Wenn ersteres der Fall ist, halte ich es für eine schlechte Idee.Die Verteilung der Wahrscheinlichkeiten variiert erheblich zwischen den Modellen, sodass für verschiedene Modelle wahrscheinlich unterschiedliche Schwellenwerte gewählt werden.Wenn letzteres der Fall ist, bin ich mir nicht sicher, wie dies umgesetzt werden soll (aber mir gefällt die Idee).Es kann nicht automatisch erfolgen, wie zum Beispiel die Minimierung der falsch-negativen Ergebnisse, da dies einfach die Schwellenwertwahrscheinlichkeiten auf 0 setzen würde. Es müsste Ihnen also ermöglichen, für jedes Modell unterschiedliche Schwellenwerte auszuwählen, je nachdem, wie Sie die Kompromisse sehen – vielleicht das hier könnte in Verbindung mit der Gewinnmatrix verwendet werden (obwohl ich finde, dass die Gewinnmatrix sehr schwierig zu verwenden ist).

 

Ein einfacher Schieberegler, der den Schwellenwert für alle Modelle ändert und die Verwirrungsmatrix anzeigt, wäre für mich nicht sehr nützlich. Ich denke, es würde eine Illusion der relativen Modellleistung vermitteln – es ist mir eigentlich egal, ob ein Modell einen Schwellenwert von 0,15 und ein anderes einen Schwellenwert von 0,30 erfordert – mir geht es darum, wie jedes Modell für Vorhersagen verwendet werden kann.