Zugriff auf Out-of-Fold-Metriken für K-Fold-CVGibt es eine Möglichkeit, bei der Verwendung von K-Fold-CV mit Methoden wie neuronalen Netzen und SVM auf die Out-of-Fold-Metriken zuzugreifen? Soweit ich weiß, meldet JMP nur Metriken des leistungsstärksten Folds, was wenig hilfreich ist.
Fortgeschrittene statistische ModellierungPrädiktive Modellierung und maschinelles LernenBetreff: Zugriff auf Out-of-Fold-Metriken für K-Fold-CVHallo @CentroidError56 ,
Ja, bitte verwenden Sie die Plattform Modell-Screening und wählen Sie die Modelle aus, die Sie testen möchten, um Zugriff auf die Validierungsergebnisse im Bericht zu erhalten.
Training, Validierung und Testmaßnahmen zur Beurteilung der Passung
Über die Optionen der Model Screening Plattform können Sie eine KFolds-Ergebnistabelle speichern .
Ich hoffe, diese Lösung hilft Ihnen.
Betreff: Zugriff auf Out-of-Fold-Metriken für K-Fold-CVHallo Victor,
Danke für die Antwort. Soweit ich das sehe, funktioniert das nur mit den Standardeinstellungen der jeweiligen Methode. Ich habe Konfigurationen aus den Optimierungsdesigns, die ich gerne anhand von Faltungsdaten vergleichen möchte. Das scheint nur möglich zu sein, wenn ich jede Faltung manuell durchführe, was sehr zeitaufwendig wäre. Übersehe ich hier etwas?
Betreff: Zugriff auf Out-of-Fold-Metriken für K-Fold-CVHallo @CentroidError56 ,
Sie haben Recht, diese Option funktioniert nur mit den Standardeinstellungen für Hyperparameter.
So würde ich bei spezifischen Hyperparameter-Konfigurationen vorgehen, die auf denselben Faltungen getestet werden sollen:
- Erstellen Sie eine K-fache Validierungsspalte mithilfe der Plattform „Validierungsspalte erstellen“ . Geben Sie die Stratifizierungsspalten (die X-Werte) und das Ziel (Y-Wert) an. Anschließend können Sie die Anzahl der Faltungen festlegen und einen Zufallswert bestimmen.
- Starten Sie die Modellierungsplattform Ihrer Wahl mit dieser K-folds-Spalte in der Validierungsrolle.
In diesem Beispiel habe ich zur Veranschaulichung den JMP-Diabetes-Datensatz und die SVM-Plattform verwendet. Ich habe ein Optimierungsdesign implementiert, um 3 geeignete Hyperparameter-Einstellungen zu finden (Modelle 2, 3 und 20):
-
Anschließend drücke ich STRG und klicke auf die Option „Vorhersageformel veröffentlichen“ (verfügbar im roten Dreieck neben jedem Modell). Ein neues Formel-Depot-Fenster mit den Formeln der drei zuvor angezeigten Modelle wird erstellt:
-
Im roten Dreieck neben Formula Depot klicke ich auf die Option Modellvergleich und wähle meine drei Modelle aus:
JMP stellt fest, dass meine 5-fache Validierungsspalte für alle Modelle verwendet wird und fragt, ob sie als Gruppierungsspalte verwendet werden kann. Ich klicke auf Ja, um für jede Faltung individuelle Modellergebnisse zu erhalten.
- Ich habe nun Zugriff auf die einzelnen Faltungsleistungsmaße für jedes der drei Modelle:
Diese Methode sollte unabhängig von der verwendeten Modellierungsplattform funktionieren, da sie lediglich die Vorhersageformel des Modells verwendet, sodass Sie verschiedene Modelltypen kombinieren können.
Ich hoffe, diese Antwort löst Ihr Problem.
Betreff: Zugriff auf Out-of-Fold-Metriken für K-Fold-CVHallo Victor,
Das funktioniert! Vielen Dank!
