Proporción entre el tamaño del entrenamiento y el conjunto de datos de pruebaHola, tengo un conjunto de datos relativamente pequeño con 95 observaciones / registros y alrededor de 70 variables para cada registro. El objetivo es detectar qué variables influyen en la respuesta y encontrar la configuración óptima de estas variables. Debido al pequeño número de observaciones, decidí dividir los datos en solo dos categorías, conjunto de datos de entrenamiento y prueba (omitiendo el conjunto de datos de validación). Mi estrategia es aplicar un árbol de decisión con la plataforma de partición seguido de una regresión de mínimos cuadrados con las variables que parecen más importantes. Mi pregunta es, si hay un consejo general sobre las proporciones de los tamaños del conjunto de datos de entrenamiento y prueba. He intentado con una división donde el 75% de las observaciones se incluyen en los datos de entrenamiento y el 25% en el conjunto de datos de prueba, pero no estoy seguro de si esta es la proporción óptima.
También me pregunto si algún procedimiento de arranque podría aplicarse para la división en conjunto de datos de entrenamiento y prueba. La idea es hacer una gran cantidad de divisiones y de alguna manera promediar los resultados. No estoy seguro de si esto tiene sentido. Estoy ejecutando JMP 15.
AnalíticaRe: Proporción entre el tamaño del entrenamiento y el conjunto de datos de prueba.Puede usar la validación cruzada de k-folds, la adaptación de CV para pequeños conjuntos de datos.
Además, con JMP Pro, puede usar Regresión generalizada con LASSO para la selección de variables.
Re: Proporción entre el tamaño del entrenamiento y el conjunto de datos de prueba.Gracias, tiene sentido aplicar la validación cruzada de k-folds. Supongo que debería usar la regresión gradual, ya que k-pliegues de validación cruzada no es una opción con mínimos cuadrados estándar. Desafortunadamente, no soy un usuario Pro (todavía), así que no tengo acceso a Regresión generalizada.
¿Supongo que aún reservaría una parte de los datos para probar la capacidad predictiva del modelo final?
Re: Proporción entre el tamaño del entrenamiento y el conjunto de datos de prueba.El papel del conjunto de prueba es útil en la evaluación honesta mediante validación cruzada, pero existen compensaciones. Utiliza K-fold CV porque tiene un pequeño conjunto de datos. Retener una porción para la prueba puede comprometer tanto la capacitación como la selección del mejor modelo. El método de validación cruzada se basa en la confirmación del modelo con datos futuros, pero utilizando en su lugar algunos de los datos existentes. ¿Tiene la intención de evaluar el modelo con nuevas observaciones? Entonces, el conjunto de prueba podría no proporcionar un beneficio único.
