In einem früheren Beitrag habe ich die Plattform Generalized Regression (Genreg) in verwendet JMP Pro zu Daten analysieren, die ich gesammelt habe, als ich mit meiner Tochter ein Brettspiel gespielt habe . Da es in meinem Modell (Player) nur einen einzigen Effekt gab, konnte ich die in Genreg verfügbaren variablen Auswahlmethoden nicht zeigen.
Der Zugriff auf variable Auswahlmethoden wie das Lasso oder die Vorwärtsauswahl ist besonders wichtig, wenn Ihre Antwort nicht numerisch ist (wie rot/blau/grün oder klein/mittel/groß), da ordinale und nominale logistische Regressionsmodelle leicht überangepasst werden können. Hier sehen wir uns ein Beispiel an, in dem wir viele weitere Effekte berücksichtigen, um die Antwort zu modellieren.
Die Daten
Wir verwenden die Datei Diabetes.jmp, die im verfügbar ist JMP Beispieldatenordner. Der Datensatz misst die Diabetesprogression im Laufe eines Jahres mit Attributen wie Alter, Geschlecht und Cholesterinspiegel für jeden Einzelnen in der Stichprobe von 442 Patienten. Wir möchten diese Attribute verwenden, um „Y Ordinal“ zu modellieren, das den Schweregrad des Diabetes jedes Patienten bezeichnet: niedrig, mittel oder hoch. Wie der Name der Antwortspalte schon sagt, modellieren wir sie mit einem ordinalen logistischen Regressionsmodell, das in Genreg für Version 14 neu ist. Es ist vernünftig zu vermuten, dass es Wechselwirkungen zwischen unseren erklärenden Variablen gibt, also werden wir Haupteffekte und Zwei-Faktor-Wechselwirkungen in unser Modell aufnehmen. Das Angeben dieses Modells im Dialogfeld "Modell anpassen" ist mit dem Makro "Fakultät zu Grad" einfach.
Launching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes data Einführung eines ordinalen Logistikmodells für die Diabetes-Daten
Nachdem wir unser Modell angegeben und auf die Schaltfläche „Ausführen“ geklickt haben, gelangen wir zur Generalized Regression-Plattform. Genreg führt für uns automatisch eine Maximum-Likelihood-Anpassung (vollständiges Modell, keine Variablenauswahl) an den Trainingsdaten durch. Aber ich mache mir Sorgen wegen Overfitting, also will ich die MLE nicht. Ich möchte stattdessen das Lasso verwenden, da es uns ein sparsameres Modell liefert, das besser zu neuen Daten passen sollte.
Doing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in Genreg Ein Lasso machen passt in Genreg
Lasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes dataLasso-Ausgabe für die Diabetes-Daten
Wie wir in der Ausgabe sehen können, ergibt das Lasso ein Modell, das nur 15 Parameter der ursprünglich 57 Kandidaten verwendet. Wir haben also ein Modell, das viel einfacher zu interpretieren/erklären ist als das MLE. Wie viel besser schneidet das Lasso-Modell bei neuen Beobachtungen ab als das vollständige 57-Term-Modell? Das lässt sich am einfachsten über die Modellvergleichsplattform einsehen. Wir können sehen, dass das vollständige Modell sehr gut zu den Trainingsdaten und schlecht zu den Validierungsdaten passt (die Validierung R^2 ist negativ, immer ein schlechtes Zeichen). Dies ist ein klassischer Fall von Überanpassung . Inzwischen hat das Lasso-Modell viel bessere R^2- und Fehlklassifizierungsraten bei den Validierungsdaten. Das Lasso-Modell ist hier also der klare Favorit.
Lasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs. MLE unter Verwendung der Modellvergleichsplattform
Der Multinomialfall
Wie in mein vorheriger Beitrag , hat unsere Antwort eine natürliche Reihenfolge. Aber lassen Sie uns das jetzt ignorieren, damit wir eine Variablenauswahl für ein multinomiales Problem durchführen können. Die Variablenauswahl ist in diesem Fall besonders wichtig, weil das multinomiale Modell so leicht überparametrisiert oder überangepasst werden kann.
Warum ist dieses Modell so leicht zu überanpassen? Wenn wir p Prädiktoren haben und unsere Antwort k Stufen annimmt, dann hat das Modell, das wir anpassen, p*(k-1) Parameter. Im Falle unserer Diabetesdaten haben wir 56 Prädiktoren und drei Stufen unserer Reaktion, sodass wir 56*(3-1) = 112 zu berücksichtigende Parameter haben. Das kann schnell außer Kontrolle geraten! Weitere Informationen zu diesem Modell finden Sie unter JMP-Hilfe .
Wir starten Genreg genauso wie zuvor. Wir stellen einfach die Verteilung auf Multinomial um.
Launching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in Genreg Starten des Multinomials in Genreg
Auch hier verwenden wir das Lasso zur Schätzung und Variablenauswahl. Dieses Mal ergibt das Lasso ein Modell mit nur 25 Variablen, was bedeutet, dass es fast 90 Parameter aus unserem Modell entfernt hat. Und während es nicht den Anschein haben mag, dass das Lasso-Modell ein großartiges verallgemeinertes R^2 auf den Validierungsdaten (etwa 0,35) hat, hat das vollständige Modell ein verallgemeinertes R^2, das auf dem Validierungssatz schlechter als -2 ist!
Lasso summaryLasso summaryLasso summaryLasso summary Lasso-Zusammenfassung
Lasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso schlägt die MLE im Multinomial-Fall sogar noch schlechter
Versuch es selber!
Ich freue mich über die Unterstützung für ordinale und multinomiale Antworten in Genreg in JMP Pro 14. Diese Art von Daten ist in der Praxis sehr verbreitet, aber wie wir bei den Diabetes-Daten gesehen haben, müssen wir beim Erstellen von Modellen vorsichtig sein. Die interaktiven Tools zur Variablenauswahl in Genreg können Ihnen dabei helfen, Modelle zu erstellen, die besser passen und einfacher zu interpretieren sind. Lass mich wissen was du denkst.
