Modell-Screening-Plattform: Option "Einstellungen speichern" unter Decision Threshold ProfilerDie neue Plattformoption für das Modell-Screening in JMP unter Analysieren> Vorhersagemodellierung> Modell-Screening gefällt mir sehr gut, wie in: https://community.jmp.com/t5/JMP-Blog/Model-Screening-in-JMP-Pro-16/bc-p/384039#M4078 .
Eine Funktion, von der ich denke, dass sie für mich besonders nützlich ist - im Kontext dieses Beispiels oder auf andere Weise -, wäre eine Option ähnlich dem Vorhersageprofiler, wenn ich Anpassungsmodelle auf bestimmten Plattformen in JMP (wie Analysieren> Modell anpassen) spezifiziere. Denken Sie an die Einstellungen ", damit ich effektiv zwischen verschiedenen Kompromiss-Szenarien für falsch positive und falsch negative Raten wechseln kann.
Die Option, die Pegeleinstellung für die Wahrscheinlichkeit des Entscheidungsschwellenwerts zu "profilieren", damit sich das Modell auf die Minimierung falsch negativer Ergebnisse auf potenzielle Kosten der Erhöhung falsch positiver Ergebnisse konzentriert, ist das Szenario, an dem ich besonders interessiert bin.Unter dem Gesichtspunkt des Qualitätsrisikos (Schutz des Endbenutzers auf Kosten eines höheren MFG-Ausschusses) können höhere Fehlalarme toleriert werden.
Hier ist ein Bild, das zeigt, wovon ich spreche (nur eine einfache Vanille-Ausgabe "Einstellungen speichern" von der Fit Model Platform unter dem Vorhersage-Profiler, nachdem Sie "Einstellungen speichern" bei verschiedenen Kombinationen von Eingabeeinstellungen von X auf Y ausgewählt haben (gleich) Diabetes.jmp Beispieldatensatz Beispiel):
Vielen Dank!
AndereStatistik und AnalytikBetreff: Model Screening Platform: Option "Einstellungen speichern" unter Decision Threshold ProfilerIch würde um eine Klärung dieses Wunsches bitten: Möchten Sie, dass für alle Modelle die gleiche Schwellenwahrscheinlichkeit gilt, oder fordern Sie einen "optimalen" Schwellenwert für jedes Modell, an das erinnert und verglichen werden soll?Wenn erstere, halte ich es für eine schlechte Idee.Die Verteilung der Wahrscheinlichkeiten variiert erheblich zwischen den Modellen, sodass für verschiedene Modelle wahrscheinlich unterschiedliche Schwellenwerte gewählt werden.Wenn letzteres der Fall ist, bin ich mir nicht sicher, wie dies umgesetzt werden würde (aber ich mag die Idee).Es kann nicht automatisch sein, z. B. die Minimierung der falsch negativen Ergebnisse, da dadurch einfach die Schwellenwahrscheinlichkeiten auf 0 gesetzt werden. Daher müssten Sie für jedes Modell unterschiedliche Schwellenwerte auswählen können, je nachdem, wie Sie die Kompromisse betrachten - möglicherweise dies könnte in Verbindung mit der Gewinnmatrix verwendet werden (obwohl ich die Gewinnmatrix sehr schwierig finde).
Ein einfacher Schieberegler, der den Schwellenwert für alle Modelle ändert und die Verwirrungsmatrix anzeigt, wäre für mich nicht sehr nützlich. Ich denke, es würde eine Illusion der relativen Modellleistung liefern - es ist mir egal, ob ein Modell einen Schwellenwert von 0,15 und ein anderes von 0,30 verlangt - was mich interessiert, ist, wie jedes Modell verwendet werden kann, um Vorhersagen zu treffen.
