Bei der prädiktiven Modellierung geht es darum, das Modell zu finden, das das gewünschte Ergebnis genau vorhersagt. Nehmen wir zum Beispiel an, ich möchte anhand mehrerer Faktoren den Verlauf einer bestimmten Krankheit – in diesem Fall Diabetes – nach einem Jahr vorhersagen. Genauer gesagt möchte ich Patienten identifizieren, bei denen die Wahrscheinlichkeit eines hohen Krankheitsverlaufs am höchsten ist, damit entsprechende Interventionen durchgeführt werden können.
Ich habe JMP Pro, und ich weiß, dass es mehrere mögliche Vorhersagemodelle gibt, die ich anpassen kann. Ich kann beispielsweise ein Regressionsmodell, verschiedene Arten von baumbasierten Modellen oder ein neuronales Netzwerk anpassen, um nur einige zu nennen. Welche Modellierungsplattform soll ich verwenden? Welche Art von Modell wird das Ergebnis am genauesten vorhersagen? Für jede gegebene Modellierungssituation hängt das beste Modell weitgehend von den Daten ab – es gibt keinen Modelltyp, der für alle Probleme am besten geeignet ist.
Um das beste Modell für das Diabetes-Szenario zu finden, kann ich mithilfe der Kreuzvalidierung alle möglichen Modelle einzeln anpassen. Ich kann die einzelnen Modelle in der Datentabelle oder im Formeldepot speichern und dann den Modellvergleich verwenden, um die Leistung der Modelle im Validierungssatz zu vergleichen und das beste Modell auszuwählen. Oder ich wähle die beste Modellkombination aus. Obwohl diese Methode ihre Aufgabe mehr als erfüllt, erfordert sie doch ein wenig Arbeit.
Mit der neuen Model Screening-Plattform in JMP Pro 16 haben wir dies jetzt viel einfacher gemacht. Model Screening bietet einen effizienten Arbeitsablauf zum gleichzeitigen Anpassen, Vergleichen, Erkunden, Auswählen und anschließenden Einsatz des besten Vorhersagemodells.
Zur Veranschaulichung verwende ich die Diabetes-Daten aus der JMP Sample Data-Bibliothek. Die Antwort- oder Ergebnisvariable ist Y Binär und hat zwei mögliche Werte: Niedrig (für geringe Krankheitsprogression) und Hoch. Die Prädiktoren oder Faktoren sind Alter durch Glukose.
Ich wähle „Modell-Screening“ aus dem Menü „Analysieren > Prädiktive Modellierung“ und gebe die Reaktion und die Faktoren an. Die Spalte „Validierung“ unterteilt die Daten in Trainings- und Validierungssätze, daher verwende ich diese für die Modellvalidierung.
Der obere Teil des Dialogfelds „Modellüberprüfung“ wird hier angezeigt:
Am unteren Rand des Dialogs stehen verschiedene Modellierungsmethoden sowie viele verschiedene Anpassungs- und Kreuzvalidierungsoptionen zur Auswahl. Beachten Sie, dass XGBoost eine verfügbare Methode ist, da ich das installiert habe XGBoost-Add-In von dem JMP-Benutzergemeinschaft .
Ich verwende die Standardmodelle, füge jedoch bidirektionale Interaktionen hinzu und setze den Zufallsstartwert auf 11111, um meine Ergebnisse reproduzierbar zu machen.
Alle Modelle, die für diese Daten sinnvoll sind, sind geeignet, und es werden mehrere Validierungsstatistiken bereitgestellt. Die Modelle werden in absteigender Reihenfolge nach Generalized RSquare sortiert. Um jedoch das Modell oder die Modelle zu finden, die in allen Validierungsstatistiken hervorstechen, klicke ich auf „Dominant auswählen“.
Ich kann sehen, dass die Top-Modelle insgesamt Neural Boosted und Generalized Regression Lasso mit bidirektionalen Interaktionen sind.
Um die Klassifizierungen für diese Modelle zu erkunden, wähle ich „Entscheidungsschwelle“ aus dem oberen Menü des roten Dreiecks aus. Diese Option bietet umfangreiche Informationen zum Vergleich der Klassifizierungsgenauigkeit der ausgewählten Modelle. Der obere Abschnitt zeigt die Aufschlüsselung der wahren und falschen Klassifizierungen für jedes Modell. Wenn ich den Wahrscheinlichkeitsschwellenwert ändere (entweder durch Ziehen der Schiebereglerlinie oder mithilfe des Bearbeitungsfelds), kann ich sehen, wie sich die Klassifizierungen und Klassifizierungsfehler für verschiedene Grenzwerte ändern.
Der untere Abschnitt enthält Registerkarten mit verschiedenen Klassifizierungsdiagrammen und -metriken. Hier wird die Registerkarte „Metriken“ für die Validierungsdaten angezeigt. In diesem Szenario möchte ich Patienten identifizieren, bei denen die Wahrscheinlichkeit einer hohen Diabetes-Progressionsrate am höchsten ist. Ich möchte also das Modell finden, das zu der niedrigsten Falsch-Negativ-Rate führt. Bei einem Wahrscheinlichkeitsschwellenwert von 0,42 weist das Modell der verallgemeinerten Regression eine niedrige Falsch-Negativ-Rate auf, während es im Vergleich zum anderen Modell immer noch eine niedrige Falsch-Positiv-Rate aufweist.
Jetzt möchte ich mir dieses Modell vielleicht genauer ansehen. Model Screening macht dies nahtlos. Ich kann das ausgewählte Modell ganz einfach in einem neuen Fenster ausführen, indem ich auf „Ausgewählte ausführen“ klicke.
Oder ich kann, ohne das Modell-Screening zu verlassen, die Ergebnisse direkt in der Detailübersicht sehen, wie hier gezeigt. Im Model Screening habe ich Zugriff auf alle Optionen, die ich in der Generalisierten Regression sehen würde. So kann ich beispielsweise mit dem Lösungspfad interagieren und das Modell zur Bereitstellung speichern oder veröffentlichen. Ich kann sogar andere Modelle ausführen, um zu sehen, ob ich die Modellgenauigkeit weiter verbessern kann.
Ich habe hier nur die Oberfläche des Model-Screenings berührt, aber hoffentlich können Sie sehen, wie dieser optimierte Arbeitsablauf Ihnen helfen kann, viel Zeit und Mühe zu sparen! Sie müssen lediglich die Variablen in Ihrem Modell angeben, die anzupassenden Modelle und die Validierungsmethode auswählen, und Model Screening erledigt den Rest!
Weitere Informationen zum Anpassen und Validieren von Vorhersagemodellen in JMP Pro finden Sie unter die Seite mit den wichtigsten Funktionen auf unserer Website.
Was Kunden sagen
„Nachdem ich in den letzten Monaten das Modell-Screening in der Beta-Version von JMP Pro 16 verwendet habe, ist es bereits zu einem unverzichtbaren Bestandteil meiner Forschung zur prädiktiven Modellierung von Korallenriffen geworden.“ Obwohl Modelle in früheren Versionen von JMP Pro recht einfach verglichen werden konnten (z. B. die „Modellvergleichs“-Plattform von JMP Pro 15), macht es dieses neue Tool für Benutzer noch einfacher, viele verschiedene Modelle gleichzeitig zu testen (z. B. Gen-Reg, PLS, Diskriminanz, neuronale Netze usw.) mit dem gleichen Datensatz. Etwas, das früher Stunden oder sogar Tage gedauert hat, kann jetzt in Minuten (oder sogar Sekunden) erledigt werden.Wow, was für eine tolle Funktion! Dies muss sicherlich die größte Verbesserung von Version 15 auf 16 sein, und ich bin sicher, dass es vielen anderen genauso gehen wird.“
– Anderson Mayfield, National Oceanic and Atmospheric Administration (NOAA) und der University of Miami
Hallo @mia_stephens Vielen Dank für Ihre zusätzliche Klarstellung! Ich stimme zu, dass dies ein Kompromissproblem ist, das weitgehend von der Fachkompetenz sowie der Produkt-/Benutzeranwendung und dem Risiko abhängt.Ich sehe, wie die Diagramme zu diesem Kompromiss kommen, obwohl die Linien in der Flugbahn, die sich in beide Richtungen kreuzen, zunächst etwas verwirrend sein können (die durchgezogenen Linien in der zunehmenden Richtung, die gestrichelten Linien in der abnehmenden Richtung).Ich werde die Themenidee zur Wunschliste hinzufügen!@PatrickGiuliano
HALLO @PatrickGiuliano Dies war ein relativ oberflächliches Beispiel, und ich habe mich zur Veranschaulichung für einen Schwellenwert von 0,42 entschieden. Ziel war es hier, einen Grenzwert zu finden, der zu einer niedrigen Falsch-Negativ-Rate führt und gleichzeitig eine niedrige Falsch-Positiv-Rate beibehält. Aber was sind akzeptable Tarife? Dies hängt weitgehend von der Forschungssituation bzw. dem Forschungsproblem und den „Kosten“ einer bestimmten Fehlerart ab. In einer bestimmten Situation sind Sie möglicherweise bereit, eine höhere Falsch-Positiv-Rate zu akzeptieren, wenn dies zu einer besseren Falsch-Negativ-Rate führt.Die Grafiken können dabei helfen, den Sweet Spot zu finden und die beiden Raten auszugleichen.
Da es sich um einen kleinen Datensatz handelt, sind die Ergebnisse ziemlich detailliert. Aber in der zweiten Grafik hier sehe ich, dass die Falsch-Positiv-Rate für neuronale Verstärkung ab etwa 0,45 oder 0,5 schnell zu wachsen beginnt und die Falsch-Negativ-Rate bis etwa zu diesem Punkt schnell abfällt und sich dann etwas einpendelt.
Die Idee, eine Option zum Speichern von Einstellungen hinzuzufügen, ist überzeugend. Wären Sie bereit, dies auf der JMP-Wunschliste zu posten?
Danke!
Mia
@mia_stephens Das ist super cool, ich bin fasziniert von der Funktion „Entscheidungsschwellenwerte“ und versuche, sie etwas besser zu verstehen.Haben Sie in Ihrem Beispiel hier im Wesentlichen den „Schnittpunkt“ zwischen Fehlklassifizierungsanzahl und Wahrscheinlichkeitsschwelle für hohe Kurven (den Punkt, den ich im angehängten Bild schwarz eingekreist habe) ausgewählt, um zu der Entscheidung zu gelangen, dass die Wahrscheinlichkeitsschwelle von 0,42 eine gute Wahl wäre? zur Minimierung falsch-negativer Ergebnisse (während die Falsch-Positiv-Rate ungefähr auf dem gleichen Niveau gehalten wird?)
Ich habe JMP 16 EA8 verwendet und fast das gleiche Setup ausgeführt, außer dass ich „XGBoost“ als Modellanpassungsoption im Modell-Screening-Dialog angegeben habe (derselbe Zufallsstartwert wurde bei 1111 beibehalten). 
Vielleicht wäre es hier eine nützliche Funktion, sich Einstellungen zu „merken“, ähnlich wie dies im Prediction Profiler möglich ist (wo ein Optionsfeld für die gespeicherte Einstellung „Reichweite“ generiert wird), sodass Sie problemlos zwischen verschiedenen Wahrscheinlichkeitsschwellenwerten wechseln können, um diese direkt anzuzeigen. Vergleichen Sie die Wirkung bei den spezifischen Schwellenwerten, die Sie interessieren. Beispielbild im Anhang.
