Ausgelassene KreuzvalidierungKann mir jemand helfen, das unten gezeigte Diagramm von der Plattform von Gen Reg für die einmalige Validierung zu verstehen (oder mir vielleicht helfen, die einmalige Validierung besser zu verstehen)?Ich habe Diabetes verwendet und sage Y (kontinuierlich) voraus.Warum wird ein bestimmter Datensatz im Validierungsdiagramm angezeigt?Nach meinem Verständnis zeigt der Validierungsplot für den Lösungspfad den Durchschnittswert über alle Auslassungen.
Datensatz unten mit Skript angehängt.
Betreff: Ausgelassene KreuzvalidierungHallo Wendy,
Ich denke, wenn Sie sich das ansehen Hilfedokumentation für k-fold es wird helfen, dies zu erklären. Das Auslassen ist nur ein Sonderfall von k-fach, wobei k = Anzahl der Datenzeilen.
"Um das endgültige Modell zu erhalten, werden alle k Modelle, die für den optimalen Wert des Abstimmungsparameters abgeleitet wurden, an den gesamten Datensatz angepasst. Von diesen wird das Modell mit der höchsten Validierungsprotokollwahrscheinlichkeit als endgültiges Modell ausgewählt. Der für dieses endgültige Modell verwendete Trainingssatz wird als Trainingssatz bezeichnet, und die Holdout-Falte für dieses Modell ist der Validierungssatz. Dies sind die Trainings- und Validierungssätze, die in Plots und in den angegebenen Ergebnissen für die endgültige Lösung verwendet werden. "
Sie sehen also nur die Diagramme für eines der k Modelle: das Modell mit der höchsten Wahrscheinlichkeit für das Validierungsprotokoll.
Ich bin damit einverstanden, dass es etwas seltsam ist, nur das tatsächliche vs zu sehen, das für einen Validierungssatz mit einem Datenpunkt vorhergesagt wurde. Aber hoffentlich erklärt dies warum jetzt.
Prost,
Phil
Betreff: Ausgelassene KreuzvalidierungHallo Wendy,
Ja, die skalierte Wahrscheinlichkeit (= negative logarithmische Wahrscheinlichkeit geteilt durch # Beobachtungen), die bei der K-Fold- oder Leave-One-Out-Validierungsmethode verwendet wird, wird gemittelt, aber die diagnostischen Diagramme wie Actual by Predicted zeigen die Ergebnisse für ein einzelnes Modell.
Die Lösung für die von Lasso bestrafte Regression hängt von einem einzelnen Abstimmungsparameter ab. Bei der Suche nach dem optimalen Wert über dem Raster mithilfe der LOO-Validierung passen N (z. B. 442 in Ihrem Fall) Modelle an jeder Wert des Drehparameters.Viele Modelle werden fit sein! Die skalierten -LL-Werte werden für jede der 442 LOO-Beobachtungen berechnet und ein Durchschnitt von ihnen wird dann mit einem anderen durchschnittlichen skalierten -LL aus Modellen verglichen, die mit einem anderen Drehparameterwert passen.Dies wird im Validierungsdiagramm angezeigt.(Beachten Sie, dass die Werte der Größe der Schätzungen der skalierten Parameter den Werten des Abstimmungsparameters entsprechen.)
Anschließend wird aus 442 Modellen ein endgültiges Modell ausgewählt, wie in der Dokumentation von beschrieben @phil_kay : Es ist das Modell, das den höchsten LL bei der Validierung von "all" zeigt k Modelle, die für den optimalen Wert des Abstimmungsparameters abgeleitet wurden, werden an den gesamten Datensatz angepasst. "The Actual by Predicted zeichnet die Ergebnisse des endgültigen Modells auf dem Trainingssatz und der LOO-Beobachtung auf. In diesem Fall ist es Zeile 305, da dieser Datenpunkt den höchsten LL-Wert ergibt, wenn er als LOO-Validierung verwendet wird.
Wie Sie sehen können, funktionieren die K-Fold- und LOO-Validierungsmethoden bei bestrafter Regression etwas anders als bei Partition und NN.Ich hoffe das hilft.
Jian
