An die JMP Japan Community:
Könnten Sie mir bitte etwas über Kreuzvalidierungsmethoden für Daten mit einer kleinen Anzahl von Stichproben erzählen?
Anzahl der Fälle: 44, positiv: 23, negativ: 21.
Da zahlreiche Faktoren extrahiert wurden, wurden zwei Metriken anhand der Datenzuverlässigkeit (ICC zwischen zwei Beurteilern) und des ROC-AUC-Werts ausgewählt und eine logistische Regressionsanalyse durchgeführt. Beide Faktoren waren für die Ergebnisse signifikant, und die Kombination beider führte zu einem zufriedenstellenden ROC-AUC-Wert > 0,85. Der Gutachter wies darauf hin, dass eine Kreuzvalidierung erforderlich sei, um Überanpassung zu vermeiden. Aufgrund der geringen Fallzahl entschieden wir uns für die LOOCV-Methode (Leave-One-Out-of-the-Box-Methode).
Wenn ich „Analysieren > Verallgemeinerte Regression > Lasso > LOOCV“ ausführe, werden die folgenden Ergebnisse angezeigt. Ich habe diese Methode noch nie zuvor verwendet und bin mir daher unsicher, wie ich die Ergebnisse interpretieren soll. Könnte mir das bitte jemand mit mehr Erfahrung erklären?
Die Ergebnisse der binomialen logistischen Regression lauten übrigens wie folgt.
Vielen Dank für Ihre Mitarbeit.
Die Lasso-Regression (ausgesprochen „Lasso“ oder „Ras-“) gehört zu einer Gruppe von Regressionsmethoden, die allgemein als penalisierte oder regularisierte Regression bezeichnet werden. Weitere Arten der penalisierten Regression (regularisierten Regression) sind die Ridge-Regression und die Elastic-Net-Regression.
Bei der Standard-logistischen Regression werden die Regressionskoeffizienten (Parameter) ermittelt, die die Log-Likelihood maximieren. Die Methode zur Bestimmung dieser Parameterwerte wird als Maximum-Likelihood-Schätzung bezeichnet. Je größer die aus den Trainingsdaten berechnete Log-Likelihood ist, desto besser passt das Modell zu den Trainingsdaten. Daher kann die Maximum-Likelihood-Schätzung als Schätzmethode zur Ermittlung der Regressionskoeffizienten (Parameter) verstanden werden, die die Trainingsdaten optimal beschreiben.
Die Maximum-Likelihood-Schätzung in der logistischen Regression weist bei großen Datenmengen gute mathematische Eigenschaften auf (Konsistenz, Validität, asymptotische Normalität).
Die regularisierte Regression ist eine Methode zur Vermeidung von Überanpassung und Verbesserung der Vorhersagegenauigkeit. Sie verwendet die negative Log-Likelihood plus einen Strafterm als Zielfunktion. Bei der Lasso-Regression ist der Strafterm die Summe der Absolutwerte der Parameterschätzungen ohne Achsenabschnitt, multipliziert mit einer Konstanten (dem Strafparameter). Setzt man diesen Strafparameter auf null (d. h., schwächt die Strafe ab), erhält man eine normale Maximum-Likelihood-Schätzung. Setzt man den Strafparameter hingegen auf unendlich (d. h., verstärkt die Strafe), werden alle Parameterschätzungen ohne Achsenabschnitt null.
In dem von Ihnen geposteten Screenshot-Bericht ist zu sehen, dass die Strafparameter steigen, wenn man sich nach links bewegt, und sinken, wenn man sich nach rechts bewegt.
Die „negative Log-Likelihood“ ist die Log-Likelihood mit umgekehrtem Vorzeichen. Die „skalierte negative Log-Likelihood“ ist die durchschnittliche negative Log-Likelihood pro Beobachtung (Zeile). Eine höhere Log-Likelihood deutet auf eine bessere Anpassung an die Daten hin, ebenso wie eine niedrigere negative Log-Likelihood mit umgekehrtem Vorzeichen.
Bei der Berechnung von Parameterschätzungen mittels Maximum-Likelihood-Schätzung oder penalisiertem Regressionsverfahren wird die negative Log-Likelihood der Trainingsdaten verwendet. In der Grafik rechts in Ihrem Bericht ist nicht nur die negative Log-Likelihood der Trainingsdaten, sondern auch die der Validierungsdaten dargestellt. Je komplexer das Modell ist (z. B. durch Lockerung der Regularisierung, Erhöhung der Anzahl erklärender Variablen usw.), desto kleiner wird die negative Log-Likelihood der Trainingsdaten. Dies gilt jedoch nicht für die negative Log-Likelihood der Validierungsdaten.
Im Allgemeinen gilt: Wenn Sie über eine ausreichend große Datenmenge und ein einfaches Modell verfügen und das wahre Modell angeben, sind die negativen Log-Likelihoods der Trainingsdaten und der Validierungsdaten gleich, wie in der folgenden Abbildung dargestellt.
In Situationen, in denen nur wenige Daten vorliegen, ist die negative Log-Likelihood der Validierungsdaten jedoch größer als die negative Log-Likelihood der Trainingsdaten, selbst wenn das wahre Modell angepasst wird, wie in der folgenden Abbildung dargestellt, und der Verlauf der Validierungsdaten ist oft U-förmig.
Ein größerer negativer Log-Likelihood-Wert für die Validierungsdaten als für die Trainingsdaten deutet darauf hin, dass das Modell an die Trainingsdaten überangepasst ist. Das bedeutet, dass es die Trainingsdaten gut, die Validierungsdaten jedoch schlecht abbildet. Ein U-förmiger Verlauf der Validierungsdaten zeigt an, dass die Anpassung an die Validierungsdaten umso schlechter ist, je komplexer das Modell ist.
■ Das Konfidenzintervall für die AUC liefert eine grobe Schätzung der Unsicherheit der AUC-Schätzung. Bei der Anpassung eines logistischen Regressionsmodells mittels „Generalisierter Regression“ lässt sich das Konfidenzintervall für die AUC wie folgt ermitteln:
(1) Klicken Sie auf die rote Dreiecksschaltfläche im Abschnitt „Logistische Regression“ .
(2) Wählen Sie im daraufhin erscheinenden Menü [Spalten speichern] → [Vorhersageformel speichern] .
Durch diesen Vorgang wird eine Spalte mit Wahrscheinlichkeitsvorhersageformeln in der Datentabelle erstellt.
(3) Wählen Sie im Dropdown-Menü [Analyse (A)] → [Vorhersagemodell] → [Modelle vergleichen] .
(4) Wählen Sie im Listenfeld „Spalten auswählen“ auf der linken Seite des aufgerufenen Startfensters die beiden Spalten aus, die die Wahrscheinlichkeitsvorhersagewerte enthalten ( „Wahrscheinlichkeit (Spaltenname = Ereignisname)“ und „Wahrscheinlichkeit (Spaltenname = Nicht-Ereignisname)“) und klicken Sie auf die Schaltfläche [Y, Prädiktoren] .
(5) Klicken Sie auf die Schaltfläche [OK] .
(6) Klicken Sie auf die rote Dreiecksschaltfläche im Abschnitt „Modellvergleich“ und wählen Sie „AUC-Vergleich“.
■Wenn Sie aufgefordert werden, „die AUC basierend auf Wahrscheinlichkeitsvorhersagen zu berechnen, die mit der Leave-One-and-Leave-One-Methode ermittelt wurden“, bietet JMP keine grafische Benutzeroberfläche für diesen Vorgang. Um dies in JMP durchzuführen, müssen Sie die JMP Scripting Language (JSL) verwenden.
Nachfolgend finden Sie ein Beispielprogramm. Es dient lediglich als Beispiel.
Dadurch werden die Zeilenattribute der Datentabelle gelöscht. Bereiten Sie daher bitte nur die Datentabelle vor, die Sie analysieren möchten. Entfernen Sie dabei bitte alle Zeilen mit ausgeschlossenen Attributen.
Im folgenden Beispiel werden die Zeilen nacheinander entfernt, ein logistisches Regressionsmodell angepasst und die vorhergesagte Wahrscheinlichkeit für jede Zeile berechnet. Anschließend werden die ROC-Kurve und die AUC auf Basis der vorhergesagten Wahrscheinlichkeit berechnet.
Die folgenden Beispiele sind lediglich Beispiele.
Damit dies funktioniert, müssen Sie außerdem die Spaltennamen und Ereignisdatenwerte entsprechend anpassen. Beachten Sie, dass standardmäßig alle Zeilen mit fehlenden Werten vor der Analyse entfernt werden (die Analyse erfolgt mittels Listenbereinigung).
Names Default To Here(1);
dt = Current Data Table();
eta = J(NRow(dt),1,.);
For(i = 1, i <= NRow(dt), i++,
dt << Clear Row States; // 行属性のクリア
Row State(i)= Excluded State(1); // 第i行に除外属性を付与
// ロジスティックモデルのあてはめ
plat = dt << Fit Model(
<
<INVISIBLE></INVISIBLE>
<DIV>
</DIV>
<DIV>■Sofern es sich bei den erklärenden Variablen um logistische Regressionsmodelle mit zwei Variablen und n = 50 handelt (Ereignis- und Nicht-Ereignisvariablen mit jeweils etwa n = 25), ist der Schätzfehler selbst bei korrekter Modellanpassung groß. Es ist dann schwierig zu beurteilen, ob das Zwei-Variablen-Modell ein gutes Modell darstellt (z. B. ob andere oder zusätzliche erklärende Variablen besser geeignet wären). Auch die zukünftige Praxistauglichkeit des geschätzten Modells als Vorhersagemodell lässt sich nur schwer einschätzen. Selbst wenn die interne Validierung mithilfe der oben genannten und weiterer Methoden bestätigt werden kann, sollten Beurteilungen meiner Meinung nach konservativ und vorsichtig erfolgen.</DIV>
<DIV>
</DIV>
<DIV>■TRIPOD ist ein Leitfaden für die Erstellung von Vorhersagemodellen im medizinischen Bereich, aber ich habe die TRIPOD-Richtlinien bei der Beantwortung der obigen Frage nicht berücksichtigt. Meiner Meinung nach gibt es viele weitere Aspekte, die beim Erstellen eines Vorhersagemodells beachtet werden sollten.</DIV>
<DIV>
</DIV>
