Kreuzvalidierung unter Verwendung der K-fachen AnpassungsqualitätIch verwende Lasso-Fit mit Leave-One-Out oder K-facher Kreuzvalidierung. Bitte teilen Sie mir mit, wie Sie das R-Quadrat und andere Qualitätsmetriken (z. B. AIC) in der Ausgabe am besten anzeigen können. Es wäre hilfreich, dies für das Trainingsset und das Validierungsset (Durchschnitt aller Hold-Outs) zu haben.
Prädiktive Modellierung und maschinelles LernenBetreff: Kreuzvalidierung mithilfe der K-fachen AnpassungsqualitätHallo @daniel_s ,
Willkommen in der Community!
Um Leistungsmesswerte Ihrer LASSO-Regression für die einzelnen Falten und im Durchschnitt zu erhalten, ist es meiner Meinung nach einfacher, die verallgemeinerte Regression von der Model Screening- Plattform aus zu starten, indem Sie nur die Optionen „Verallgemeinerte Regression“ und „Zusätzliche Methoden“ aktivieren und die Art der Terme angeben, die in das Modell eingehen können (z. B. Einführung von Interaktionen und quadratischen Effekten), die Anzahl der Falten und den Startwert für die Reproduzierbarkeit (falls erforderlich):
Sobald die Plattform gestartet ist, wird ein neues Fenster mit allen Informationen zu den einzelnen Falten und einer Zusammenfassung geöffnet:
Hoffe, diese Antwort wird Ihnen helfen,
Betreff: Kreuzvalidierung mithilfe der K-fachen AnpassungsqualitätDanke. Das ist hilfreich. Ich nehme an, ich würde dann die beste Falte auswählen und „Ausgewählt ausführen“, woraufhin Sie die Lasso-Fit-Ergebnisse erhalten, wobei die beste K-Falte als Validierung verwendet wird.
Betreff: Kreuzvalidierung mithilfe der K-fachen AnpassungsqualitätHallo @daniel_s ,
Nachdem Sie Ihr LASSO-Modell mit K-facher Kreuzvalidierung gestartet haben, gibt es tatsächlich mehrere Möglichkeiten, mit den Ergebnissen weiterzufahren:
- Wählen Sie das LASSO-Modell mit der besten Leistung auf der „besten“ Validierungsseite : Nicht empfohlen , da dies eher nach „Rosinenpickerei“ und nicht nach einem „ehrlichen Beurteilungs- und Auswahlverfahren“ aussehen würde: Es ist eher so, als würden Sie die richtigen Daten für das Modell auswählen, anstatt das richtige Modell an Ihre Daten anzupassen, sodass Sie am Ende möglicherweise Ihre Validierungsdaten überanpassen.
- Nachdem Sie die Konsistenz und Robustheit der Ergebnisse bewertet haben, trainieren Sie das Modell erneut anhand aller Daten : Dieser Ansatz mag logisch erscheinen, da Sie, sobald Sie die Robustheit Ihres Modells und die Ergebnisse über alle Folds hinweg als ähnlich beurteilt haben, versucht sein könnten, alle Daten zur weiteren Verbesserung Ihres Modells zu verwenden. Dies könnte eine praktikable Option sein, wenn Sie sicher sind, dass die Modellparameter (z. B. enthaltene Terme und Strafwert) zwischen der Anpassung mit Kreuzvalidierungsdaten und der Anpassung mit allen Daten gleich bleiben, um sicherzustellen, dass Ihr Modell nicht am gesamten Datensatz überangepasst wird. Dieser Ansatz hat den Nachteil, dass die Modellvalidierung aus den Augen verloren wird. Wenn also bei den Testdaten etwas schiefgeht, ist es schwierig, das Modell ohne Validierungsdaten zu debuggen.
- Erstellen Sie eine Modellmittelung Ihrer K-Modelle : Dies ist mein bevorzugter Ansatz (sofern möglich). Sobald Sie Ihre K-Modelle haben, können Sie jedes Modell ausführen und die Vorhersageformel mit „Vorhersageformel veröffentlichen“ speichern, um Ihre Modelle im Formeldepot zu speichern:
Sobald die Modellformel im Formeldepot ist, können Sie auf das rote Dreieck neben „Formeldepot“ klicken und „ Modellvergleich “ auswählen. Dadurch wird eine kurze Zusammenfassung der Leistung Ihres Modells erstellt. Wenn Sie auf das rote Dreieck neben „Modellvergleich“ klicken, können Sie eine Modellmittelung erstellen:
Diese Option erstellt eine neue Formel in Ihrer Datentabelle, die der Durchschnittsgleichung Ihrer K-Modelle entspricht (in meinem Fall der Durchschnittsgleichung/dem Durchschnittsmodell meiner 5 einzelnen kreuzvalidierten Modelle):
Anschließend können Sie die Leistung Ihrer K Einzelmodelle und Ihres Durchschnittsmodells mithilfe derselben Modellvergleichsplattform noch einmal vergleichen.
Beachten Sie, dass dieser Ansatz möglicherweise nicht einfach/durchführbar ist, wenn Sie eine große Anzahl von Falten haben und/oder die verwendeten Modelle komplex sind (z. B. neuronale Netze). Bei einfachen Modellen wie Regressionsmodellen und „Basismodellen“ des maschinellen Lernens (z. B. Entscheidungsbaum, SVM, kNN usw.) hilft dieser Ansatz, Überanpassung zu vermeiden und Robustheit und Generalisierungseigenschaften sicherzustellen, ohne dass bei der Validierung Daten verloren gehen.
Weitere Informationen zur Kreuzvalidierung finden Sie in den folgenden Beiträgen:
Kreuzvalidierung - Validierungsspaltenmethode
k-fach r2
Ich empfehle außerdem wärmstens die Playlist „Making Friends with Machine Learning“ von Cassie Kozyrkov, um mehr über das Trainieren, Validieren und Testen von Modellen zu erfahren: Making Friends with Machine Learning – YouTube
Ich hoffe, diese Antwort hilft Ihnen und beantwortet Ihre Fragen.
Betreff: Kreuzvalidierung mithilfe der K-fachen AnpassungsqualitätVielen Dank! Ihre Erkenntnisse waren genau richtig für meinen aktuellen Machine-Learning-Bereich.
Betreff: Kreuzvalidierung mithilfe der K-fachen AnpassungsqualitätUm meine Analyse abzuschließen: Wenn ich das Durchschnittsmodell des K-fachen Modells wie oben beschrieben verwende, möchte ich die Bedeutung der einzelnen modellunabhängigen Variablen überprüfen. Normalerweise würde ich einen VIF verwenden. Wie kann ich das mit der Durchschnittsformel erreichen?
Danke schön.
Betreff: Kreuzvalidierung mithilfe der K-fachen AnpassungsqualitätHallo @daniel_s
Ich bin nicht sicher, ob ich Ihnen folgen kann. VIF -Werte sind hilfreich, um den Grad der Kollinearität zwischen Ihren Variablen zu beurteilen, spiegeln jedoch nicht die Bedeutung dieser Variablen für die Antwort wider.
Sie können die Parameterschätzungen aus der durchschnittlichen Modellformel vergleichen, um die Bedeutung der Faktoren zu vergleichen.
Sie können die Durchschnittsformel auch in den Profiler laden (verfügbar im Menü „Diagramm“. Aktivieren Sie „Zwischenformel erweitern“, um sicherzustellen, dass Ihre Antwort mit Ihren ursprünglichen Prädiktoren verknüpft wird) und die Option „ Variablenwichtigkeit bewerten “ verwenden, um die Variablenwichtigkeiten (hinsichtlich Haupteffekte und Gesamteffekte) basierend auf Sobol-Indizes zu berechnen.
Hoffe, diese Antwort wird Ihnen helfen,
Betreff: Kreuzvalidierung mithilfe der K-fachen AnpassungsqualitätDanke! Ich muss noch mehr lernen und Ihre Antwort gibt mir die Möglichkeit, weiterzumachen.
