Meine Frage betrifft die Verwendung der K-fachen Kreuzvalidierung für künstliche neuronale Netze (NN). Insbesondere möchte ich wissen, woher die endgültigen NN-Modellparameter kommen. Wurden sie durch eine Anpassung an den gesamten Datensatz ermittelt? Oder entstammten sie einer Anpassung an einen der K-Datensätze, die aus K-1-Falten bestanden, die für das Training verwendet wurden? Wenn ja, wie wurde der beste Trainingsdatensatz ausgewählt? Die SAS-Dokumentation ist zu diesem Thema nicht klar. Hat jemand eine Antwort?
Es scheint also, dass die endgültigen Modellparameter diejenigen sind, die an den „endgültigen Modell-Trainingssatz“ angepasst sind, also den Trainingssatz, der dem „Validierungssatz“ entspricht, der die beste Log-Likelihood erzeugt. Macht Sinn, aber die Beschreibung verwirrt mich. Vielen Dank für Ihre Antwort.
Nach meinem Verständnis wird der Parameter des besten K-Modells verwendet.
Dies stammt aus der Hilfedokumentation zur Generalized Regression-Plattform, aber ich erwarte, dass das Gleiche auch für die Neural-Plattform gilt: https://www.jmp.com/support/help/en/15.1/#page/jmp/validation-method-options.shtml
„Für jeden Wert des Tuning-Parameters werden die folgenden Schritte durchgeführt:
–Die Beobachtungen werden in k Teilmengen oder Faltungen unterteilt.
–Im Gegenzug wird jede Falte als Validierungssatz verwendet. Ein Modell wird an die Beobachtungen angepasst, die nicht in der Falte enthalten sind. Die auf diesem Modell basierende Log-Likelihood wird für die Beobachtungen in der Falte berechnet und stellt eine Validierungs-Log-Likelihood bereit.
–Der Mittelwert der Validierungs-Log-Likelihoods für die k-Falten wird berechnet. Dieser Wert dient als Validierungsprotokollwahrscheinlichkeit für den Wert des Optimierungsparameters.
Der Wert des Optimierungsparameters mit der maximalen Validierungs-Log-Wahrscheinlichkeit wird zum Erstellen der endgültigen Lösung verwendet. Um das endgültige Modell zu erhalten, werden alle k Modelle, die für den optimalen Wert des Abstimmungsparameters abgeleitet wurden, an den gesamten Datensatz angepasst. Von diesen wird das Modell mit der höchsten Validierungs-Log-Wahrscheinlichkeit als endgültiges Modell ausgewählt. Der für dieses endgültige Modell verwendete Trainingssatz wird als Trainingssatz bezeichnet und der Holdout-Fold für dieses Modell ist der Validierungssatz. Dies sind die Trainings- und Validierungssätze, die in Diagrammen und in den gemeldeten Ergebnissen für die endgültige Lösung verwendet werden.“
