ValidierungsspalteIch arbeite an einer logistischen Regression in jmp pro. Bei Verwendung der Validierungsspaltenoption wird der Datensatz in einen festen Trainings- und Validierungsteil aufgeteilt (ich habe keinen Testsatz verwendet). Ich verstehe, dass Holdback Vallidation verwendet wird? Gibt es auch die Möglichkeit, eine Kreuzvalidierung zu wählen?
Betreff: ValidierungsspalteJa, in der Validierungsspalte können Hold-Out-Sets für Training, Validierung und Tests definiert werden.
Die Verwendung von Hold-Out-Sets ist eine Kreuzvalidierung. Wenn Sie eine andere Methode zum Definieren von Hold-Out-Sets meinen, z. B. die K-fache Kreuzvalidierung bei kleinen Datensätzen, ist diese auf den Plattformen Nominal Logistic oder Ordinal Logistic nicht verfügbar. Es ist in der Gliederung des Modellstarts verfügbar, sobald Sie die allgemeine Regression starten.
Betreff: ValidierungsspalteHallo Marc, denke es gibt eine Verwirrung, lass mich nachsehen:
Ich habe verstanden, dass die Kreuzvalidierung wie K-means & Jack Knife ist, bei der alle Daten im Validierungsprozess verwendet werden und zum Erstellen des Modells verwendet werden, das auf der internen zyklischen Validierung basiert. In diesem Fall ist ein Testsatz erforderlich, um die Modellleistung für neue Daten zu überprüfen.
Die Hold-Back-Validierung hält einen Bruchteil des Datensatzes auseinander, der zur Validierung der Modellleistung verwendet wird. Da die Daten im Hold-Back hier nicht zur Modellbildung beitragen, ist kein Testsatz erforderlich, oder?
Betreff: ValidierungsspalteIch weiß, dass es Verwirrung gibt. K-Means ist eine überwachte Lernmethode für Cluster. Das Jack-Messer ist eine Technik zur Schätzung des Standardfehlers unabhängig vom Modell. Eine ehrliche Bewertung ist ein Ansatz zur Auswahl und Bewertung von Kandidatenmodellen anstelle zukünftiger Beobachtungen. Die Kreuzvalidierung wird im Allgemeinen zur ehrlichen Beurteilung verwendet. Die Kreuzvalidierung wird im Allgemeinen entweder durch Halten von Teilmengen von Daten (Fall eines großen Datensatzes) oder durch K-fache Kreuzvalidierung (Fall eines kleinen Datensatzes) erreicht.
Siehe Hastie, Trevor, Robert Tibshirani und Jerome Friedman. " Elemente des statistischen Lernens: Data Mining, Inferenz und Vorhersage, 2. Auflage "Springer. Sehen Abschnitt 7.10: Kreuzvalidierung .
Betreff: ValidierungsspalteIn meiner Antwort oben meinte ich Kfold nicht K bedeutet ..
Also ging ich zur allgemeinen Regression, erstellte eine Validierungsspalte und wählte Kfold - 5-fach aus. Welche Modellschätzung für meine nominelle logistische Anpassung (drei kontinuierliche Faktoren): Lasso, elastisches Netz ..? Gibt es eine Faustregel für die Auswahl der Schätzmethode?
Betreff: ValidierungsspalteDie Optionen sind eine Frage der persönlichen Präferenz. Lasso dient zur Variablenauswahl. Elastic Net wird daher auch zur Variablenauswahl verwendet. Ridge dient zum Verkleinern von Schätzungen, um eine Überanpassung zu vermeiden.
Das Bestrafte Schätzmethoden sind in der JMP-Hilfe dokumentiert.
