Leave-One-Out- oder K-fach-Kreuzvalidierungsmethoden?Wir haben den folgenden Kommentar des Rezensenten erhalten:
Um die Nützlichkeit des Cut-off-Werts zu bestätigen, wäre eine Validierung erforderlich. In dieser Kohorte wurde jedoch keine Validierungsanalyse durchgeführt. Da die Stichprobengröße klein war, wäre es schwierig, eine externe Validierungsstudie durchzuführen. Eine interne Validierungsanalyse (oder Kreuzvalidierungsanalyse) könnte jedoch mithilfe statistischer Methoden wie Leave-One-Out- oder K-fach-Kreuzvalidierungsmethoden möglich sein.
Ich konnte die vom Gutachter beabsichtigte statistische Methode nicht verstehen.
Könnten Sie dieses Problem mit JMP lösen?
WindowsBetreff: Leave-One-Out- oder K-fach-Kreuzvalidierungsmethoden?@Marimo ,
Leave-One-Out ist eine Version der k-fachen Kreuzvalidierung, bei der alle Zeilen in Ihrem Datensatz einzeln als Validierungssatz verwendet werden.
Wenn Ihr Datensatz beispielsweise 20 Zeilen enthält, können Sie eine k-fache 5-Kreuzvalidierung durchführen, bei der 20 % Ihrer Daten 5-mal verwendet werden. In diesem Fall wären das 4 Zeilen für die Kreuzvalidierung und 16 Zeilen für das Training.
Bei jedem 20 % wird etwas verwendet, das als Sampling mit Zurücklegen bezeichnet wird, um sicherzustellen, dass alle Daten in einem der fünf K-Faltungen enthalten sind. Die andere Option in diesem Beispiel besteht darin, eine K-Faltung 20 zu erstellen, die dann jede Zeile des Datensatzes als Validierungssatz verwendet. Je höher die Anzahl der Falten, desto geringer ist der Prozentsatz der Daten, der für die Kreuzvalidierung verwendet wird. K-Falt-Kreuzvalidierung ist in den meisten Plattformen in JMP verfügbar.
Eine andere Möglichkeit wäre, eine Methode wie Bootstrap Forest zu verwenden, bei der Sampling mit Ersetzung in den Algorithmus integriert ist. Um diese Plattform voll ausnutzen zu können, benötigen Sie JMP Pro. Bootstrap Forest verwendet Modellmittelung, um die wichtigsten Variablen in Ihrem Datensatz zu finden, indem viele kleinere Modelle (Bäume) mit unterschiedlichen Teilmengen der Daten erstellt werden.
HTH
Rechnung
Betreff: Leave-One-Out- oder K-fach-Kreuzvalidierungsmethoden?Frage: Wenn ich 20 Zeilen habe und K=20-Faltungen verwende, ist das dann genau dasselbe wie die „Leave-One-Out“-Validierung? Ich habe immer gedacht, dass letztere jede Beobachtung als Validierungssatz verwendet (rotiert durch den gesamten Datensatz), während die K-Faltungen Stichproben mit Zurücklegen erstellen . Daher ist mir nicht klar, dass jede Beobachtung zur Validierung verwendet wird. Können Sie das klarstellen?
Betreff: Leave-One-Out- oder K-fach-Kreuzvalidierungsmethoden?Hallo @Marimo ,
Willkommen in der Community!
Hier sind einige Informationen zur Validierung, der Verwendung bestimmter Validierungsmethoden und wie man sie in JMP durchführt aus einem meiner vorherigen Beiträge: https://community.jmp.com/t5/Discussions/CROSS-VALIDATION-VALIDATION-COLUMN-METHOD/mp/588349/highlight/true#M79332
Ich hoffe, diese erste Antwort wird Ihnen helfen,
