Hola, tengo un problema al realizar una validación cruzada de k veces con regresión por pasos: quiero ejecutar la validación cruzada de k veces con regresión por pasos 100 veces usando el mismo conjunto de datos y guardar los cuadrados R tanto para el entrenamiento como para la validación. conjuntos. La tabla de resultados de JMP incluye dos columnas, "RSquare" y "RSquare K-Fold". Aunque puedo obtener diferentes “RSquare K-Fold”, parece que cada vez los “RSquare” son los mismos. Eso significa que tal vez el “RSquare” no sea el R cuadrado del conjunto de entrenamiento y el “RSquare K-Fold” no sea el R cuadrado del conjunto de validación.
Entonces, ¿cómo podría obtener los dos valores (es decir, R cuadrados para el conjunto de entrenamiento y validación)? ¿Cómo podría cambiar mi script para obtener estos valores?
Encontré que en la opción "Trazar historial de cuadrados R" podemos obtener un gráfico de los R cuadrados de los conjuntos de entrenamiento y validación. Entonces ¿cómo puedo obtener el valor? Parece que sólo da un gráfico (ver la Figura).
Aquí está mi guión:
los nombres por defecto son aquí (1);
dt=Tabla de datos actuales();
dtb=Nueva tabla( "Resultados de K-Fold",
Agregar filas (0),
Nueva columna( "StringColBox",
Personaje,
"Nominal"
)
);
Para (i = 1, i <= 100, i++,
obj = dt << Ajustar modelo(
Y( :FP estándar ),
Efectos(
:Std wl,
:Estándar activado,
:Hfn estándar,
:ODC estándar,
: CVQ estándar,
:Std hijo,
:lNo,
:wNo
),
Personalidad (paso a paso),
Correr,
invisible
);
obj << Nombre( "Validación cruzada de K-Fold")(10);
obj << Finalizar;
kfold = obj << informe;
cuadro de tabla = kfold[Cuadro de tabla (3)];
dt1=tablebox <
dt1<
dt1<
dtb << Concatenar(dt1, "Agregar a la primera tabla");
cerrar(dt1, nosguard);
);
¿Dónde puedo encontrar instrucciones sobre cómo realizar una validación cruzada sin utilizar JMP Pro?
Estoy tropezando con lo que parece un proceso arduo y parece que esta comunidad tiene gente mucho más inteligente y experimentada.
La columna "RSquare K-Fold" se agregó al informe Historial para obtener una perspectiva adicional al considerar los modelos candidatos. Las otras columnas son iguales que sin esta regla de detención. Es decir, son el resultado de encajar todas las filas. Puede observar el cambio en el cuadrado R en general y, para los datos reservados, buscar signos de sobreajuste.
No conozco una manera de obtener el R cuadrado para el ajuste del modelo solo con los conjuntos de entrenamiento en la plataforma Stepwise.
El gráfico al que usted hace referencia traza el valor de R cuadrado de la columna RSquare. Puede ver eso si agrega una línea de referencia al eje vertical para el valor máximo de R cuadrado en el Historial.
Ellos son iguales.
