Bei der Vorhersagemodellierung geht es darum, das Modell zu finden, das das gewünschte Ergebnis genau vorhersagt. Nehmen wir zum Beispiel an, ich möchte anhand verschiedener Faktoren den Verlauf einer bestimmten Krankheit – in diesem Fall Diabetes – nach einem Jahr vorhersagen. Genauer gesagt möchte ich Patienten identifizieren, die am wahrscheinlichsten eine hohe Krankheitsprogression haben, damit geeignete Interventionen vorgenommen werden können.
Ich habe JMP Pro, und ich weiß, dass es mehrere mögliche Vorhersagemodelle gibt, die ich anpassen kann. Zum Beispiel kann ich ein Regressionsmodell, verschiedene Arten von baumbasierten Modellen oder ein neuronales Netzwerk anpassen, um nur einige zu nennen. Welche Modellierungsplattform sollte ich verwenden? Welche Art von Modell wird das Ergebnis am genauesten vorhersagen? Für jede gegebene Modellierungssituation hängt das beste Modell weitgehend von den Daten ab – es gibt keinen Modelltyp, der für alle Probleme am besten funktioniert.
Um das beste Modell für das Diabetes-Szenario zu finden, kann ich alle möglichen Modelle einzeln durch Kreuzvalidierung anpassen. Ich kann die einzelnen Modelle in der Datentabelle oder im Formeldepot speichern und dann den Modellvergleich verwenden, um die Leistung der Modelle im Validierungssatz zu vergleichen und das beste auszuwählen. Oder ich kann die beste Kombination von Modellen auswählen. Während diese Methode die Arbeit mehr als erledigt, erfordert sie ein wenig Arbeit.
Mit der neuen Model-Screening-Plattform in JMP Pro 16 haben wir dies jetzt viel einfacher gemacht. Model Screening bietet einen effizienten Arbeitsablauf zum gleichzeitigen Anpassen, Vergleichen, Untersuchen, Auswählen und anschließenden Bereitstellen des besten Vorhersagemodells.
Zur Veranschaulichung verwende ich die Diabetes-Daten aus der JMP Sample Data Library. Die Antwort- oder Ergebnisvariable ist Y Binary, die zwei mögliche Werte hat: Niedrig (für geringe Krankheitsprogression) und Hoch. Die Prädiktoren oder Faktoren sind Alter durch Glukose.
Ich wähle im Menü „Analysieren“ > „Vorhersagemodellierung“ die Option „Modellscreening“ aus und gebe die Antwortvariablen und Faktoren an. Die Spalte „Validation“ unterteilt die Daten in Trainings- und Validierungssätze, daher verwende ich diese für die Modellvalidierung.
Der obere Teil des Dialogfelds „Model Screening“ wird hier angezeigt:
Am unteren Rand des Dialogfelds stehen mehrere verschiedene Modellierungsmethoden zur Auswahl, zusammen mit vielen verschiedenen Anpassungs- und Kreuzvalidierungsoptionen. Beachten Sie, dass XGBoost eine verfügbare Methode ist, da ich die installiert habe XGBoost-Add-In von dem JMP-Benutzergemeinschaft .
Ich werde die Standardmodelle verwenden, aber bidirektionale Interaktionen hinzufügen und den Zufallsstartwert auf 11111 setzen, um meine Ergebnisse reproduzierbar zu machen.
Alle Modelle, die für diese Daten sinnvoll sind, sind geeignet, und es werden mehrere Validierungsstatistiken bereitgestellt. Die Modelle sind in absteigender Reihenfolge von Generalized RSquare sortiert, aber um das Modell oder die Modelle zu finden, die sich in allen Validierungsstatistiken abheben, klicke ich auf Dominante auswählen.
Ich kann sehen, dass die Top-Modelle insgesamt Neural Boosted und Generalized Regression Lasso mit Zwei-Wege-Interaktionen sind.
Um die Klassifikationen für diese Modelle zu untersuchen, wähle ich Entscheidungsschwelle aus dem oberen Menü mit dem roten Dreieck aus. Diese Option bietet eine Fülle von Informationen zum Vergleich der Klassifizierungsgenauigkeit der ausgewählten Modelle. Der obere Abschnitt zeigt die Aufschlüsselung der wahren und falschen Klassifizierungen für jedes Modell, und wenn ich die Wahrscheinlichkeitsschwelle ändere (entweder durch Ziehen der Schiebereglerlinie oder mithilfe des Bearbeitungsfelds), kann ich sehen, wie sich die Klassifizierungen und Klassifizierungsfehler für verschiedene Grenzwerte ändern.
Der untere Abschnitt enthält Registerkarten mit verschiedenen Klassifizierungsdiagrammen und -metriken. Hier wird die Registerkarte Metriken für die Validierungsdaten angezeigt. In diesem Szenario möchte ich Patienten identifizieren, die am ehesten eine hohe Rate an Diabetesprogression aufweisen. Also möchte ich das Modell finden, das die niedrigste falsch-negativ-Rate ergibt. Bei einem Wahrscheinlichkeitsschwellenwert von 0,42 weist das generalisierte Regressionsmodell eine niedrige falsch-negative Rate auf, während es im Vergleich zum anderen Modell immer noch eine niedrige falsch-positive Rate beibehält.
Nun möchte ich mir dieses Modell genauer ansehen. Model Screening macht dies nahtlos. Ich kann das ausgewählte Modell einfach in einem neuen Fenster ausführen, indem ich auf „Ausgewählte ausführen“ klicke.
Oder ich kann, ohne Model Screening zu verlassen, die Ergebnisse direkt in der Detailansicht sehen, wie hier gezeigt. Bei der Modellprüfung habe ich Zugriff auf alle Optionen, die ich bei der generalisierten Regression sehen würde. So kann ich beispielsweise mit dem Lösungspfad interagieren und das Modell für die Bereitstellung speichern oder veröffentlichen. Ich kann sogar andere Modelle ausführen, um zu sehen, ob ich eine weitere Verbesserung der Modellgenauigkeit erzielen kann.
Ich habe hier nur die Oberfläche des Model Screening berührt, aber hoffentlich können Sie sehen, wie dieser optimierte Arbeitsablauf Ihnen helfen kann, viel Zeit und Mühe zu sparen! Sie müssen lediglich die Variablen in Ihrem Modell spezifizieren, die anzupassenden Modelle und die Validierungsmethode auswählen, und Model Screening erledigt den Rest!
Weitere Informationen zum Anpassen und Validieren von Vorhersagemodellen in JMP Pro finden Sie unter die Seite mit den wichtigsten Funktionen auf unserer Website.
Was Kunden sagen
„Nachdem ich das Modell-Screening in den letzten Monaten auf JMP Pro 16 Beta verwendet habe, ist es bereits zu einem unverzichtbaren Bestandteil meiner Forschung zur Vorhersagemodellierung von Korallenriffen geworden. Obwohl Modelle in früheren Versionen von JMP Pro relativ einfach verglichen werden konnten (z. B. die „Modellvergleichs“-Plattform von JMP Pro 15), macht es dieses neue Tool für Benutzer noch einfacher, viele verschiedene Modelle gleichzeitig zu testen (z. B. Gen-Reg, PLS, Diskriminante, neuronale Netze usw.) mit demselben Datensatz. Etwas, das mich früher Stunden oder sogar Tage gekostet hat, kann jetzt in Minuten (oder sogar Sekunden) erledigt werden.Wow, was für ein tolles Feature! Dies muss sicherlich die größte Verbesserung von Version 15 zu 16 sein, und ich bin sicher, dass viele andere genauso denken werden."
- Anderson Mayfield, National Oceanic and Atmospheric Administration (NOAA) und der University of Miami
Hi @mia_stephens Danke für deine zusätzliche Klarstellung! Ich stimme zu, dass dies ein Kompromissproblem ist, das weitgehend von der Fachkompetenz und der Produkt-/Benutzeranwendung und dem Risiko abhängt.Ich sehe, wie die Diagramme zu diesem Kompromiss kommen, obwohl die Linien in der Flugbahn, die sich in beide Richtungen kreuzen, zunächst etwas verwirrend sein können, denke ich (die durchgezogenen Linien in zunehmender Richtung, die gestrichelten Linien in abnehmender Richtung).Die Themenidee nehme ich auf die Wunschliste!@PatrickGiuliano
HALLO @PatrickGiuliano , dies war ein relativ oberflächliches Beispiel, und ich habe mich zu Illustrationszwecken auf 0,42 als Schwellenwert festgelegt. Das Ziel hier war es, einen Grenzwert zu finden, der zu einer niedrigen falsch-negativ-Rate führt, während eine niedrige falsch-positiv-Rate beibehalten wird. Aber was macht akzeptable Preise aus? Dies hängt stark von der Forschungssituation bzw. Problemstellung und den „Kosten“ einer bestimmten Fehlerart ab. In einer bestimmten Situation sind Sie möglicherweise bereit, eine höhere Falsch-Positiv-Rate zu akzeptieren, wenn dies zu einer besseren Falsch-Negativ-Rate führt.Die Grafiken können helfen, den optimalen Punkt zu finden, um die beiden Raten auszugleichen.
Dies ist ein kleiner Datensatz, daher sind die Ergebnisse ziemlich granular. Aber in der zweiten Grafik hier sehe ich, dass die Falsch-Positiv-Rate für neural verstärkt nach etwa 0,45 oder 0,5 schnell zu wachsen beginnt und die Falsch-Negativ-Rate bis etwa zu diesem Punkt schnell abfällt und sich etwas einzupendeln beginnt.
Die Idee, eine Option für „gespeicherte Einstellungen“ hinzuzufügen, ist überzeugend. Wären Sie bereit, dies auf der JMP-Wunschliste zu veröffentlichen?
Vielen Dank!
Mia
@mia_stephens Das ist super cool, ich bin fasziniert von der Funktion "Entscheidungsschwellenwerte" und versuche, sie ein bisschen besser zu verstehen.Haben Sie in Ihrem Beispiel hier im Wesentlichen den "Schnittpunkt" auf der Fehlklassifizierungsanzahl im Vergleich zum Wahrscheinlichkeitsschwellenwert für hohe Kurven (den Punkt, den ich im angehängten Bild schwarz eingekreist habe) ausgewählt, um festzustellen, dass der Wahrscheinlichkeitsschwellenwert von 0,42 eine gute Wahl wäre zur Minimierung falsch negativer Ergebnisse (während die falsch positive Rate auf etwa dem gleichen Niveau gehalten wird?)
Ich habe JMP 16 EA8 verwendet und fast das gleiche Setup ausgeführt, außer dass ich „XGBoost“ als Modellanpassungsoption im Modell-Screening-Dialog angegeben habe (dieselben Zufallsstartwert bei 1111 beibehalten). 
Vielleicht wäre eine nützliche Funktion hier, sich die Einstellungen auf ähnliche Weise zu "merken", wie dies im Prediction Profiler möglich ist (wo er ein Optionsfeld für die gespeicherte Reichweiteneinstellung generiert), sodass Sie einfach zwischen verschiedenen Wahrscheinlichkeitsschwellen wechseln können, um direkt zu sehen / Vergleichen Sie die Wirkung bei den spezifischen Schwellenwerten, an denen Sie interessiert sind. Beispielbild anbei.
