¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?Tengo un pequeño conjunto de datos con 154 moléculas (adjunto). Estoy intentando predecir KV40 usando 6 factores. Al observar estudios similares en la literatura, muchos usan el método de validación de dejar uno fuera para construir modelos para conjuntos de datos tan pequeños, así que para replicar esto en JMP, hice lo siguiente:
Modelo de ajuste: regresión por pasos
- superficie de respuesta utilizada para factores
- usado k (validación cruzada de k veces) = número de muestras = 154
- dejó todo lo demás por defecto
Resultado:
r2 = 0,84; r2 (k veces) = 0,72
Después de la transformación box-cox: r2 = 0,87 (r2_adj = 0,86)
Intenté hacer esto con una columna de validación (70:30) y no obtuve un resultado tan bueno. Tengo JMP pro. Mi preocupación es: ¿estoy creando un modelo falso o sobreajustado cuando hago este tipo de validación cruzada? ¿Hay una mejor manera de hacer esto? ¿Hay algo que debería observar o probar? Gracias.
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?Hola @tnad ¡Acabo de encontrar esta publicación y espero que no te importe recibir una respuesta adicional 3,5 años después!
Creo que en este caso no se recomienda establecer K = 154 para Stepwise, ya que el algoritmo busca el mejor pliegue, que en este caso consistiría en una sola observación.En general, es importante realizar un anidamiento gradual dentro de cada pliegue para evitar el sobreajuste, y esto está disponible en la opción Pliegue en K anidado en Detección de modelo.También creo que 154 observaciones es suficiente para k-fold y que k-fold anidado repetido es una excelente manera de comparar modelos.
Model Screening revela que Neural Boosted funciona mejor que Stepwise para estos datos con la prueba R2 = 0,87 frente a 0,77 usando Log10 (KV40) como Y, K = 5 y L = 4.También probé el nuevo complemento Torch Deep Learning (disponible previa solicitud en Adoptador pionero del JMP ) y con un pequeño ajuste estoy obteniendo resultados similares, si no mejores, con su validación cruzada quíntuple.
En general, Neural, Torch, XGBoost y otras plataformas en JMP pueden resultar valiosas para el modelado predictivo QSAR.
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?Sí, K = N produce una validación cruzada de "dejar uno fuera".
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?Me acabo de dar cuenta de esto...
cocción: incorporar el huevo a la mezcla
Geología: intenso plegamiento del manto terrestre
negocio: el club cerró después de un año
Deportes: el corredor se retiró después de una milla
Tarjetas: sepa cuándo doblarlas.
Geografía: la ciudad se encuentra en un pliegue de las colinas.
Diseño web: el texto de la mitad superior de la página no requiere desplazamiento
Cambio: los accidentes se multiplican por 10
papel: pliegues de origami para hacer un pato
modismo: cruza las manos
agricultura: poner las ovejas en el redil
¡Tiene que ser la versión agrícola! ¡Significa bolígrafo! Los datos se dividen en K plumas/subconjuntos/pliegues.
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?¡Guau! Es bastante sorprendente para mí, ya que la idea de la validación cruzada de K-pliegues se basa en dividir un conjunto de datos en K-pliegues donde K-1 está destinado al entrenamiento y 1, a la validación. Aunque puede que esté confundido. Por tu publicación parece que esta estrategia se atribuye más a "dejar fuera", ¿no es así?Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?La evaluación honesta mediante validación cruzada se implementa comúnmente de una de tres maneras: mantener conjuntos (entrenar, validar, probar), doblar k o dejar uno fuera. Usar k = N (tamaño de muestra) es una forma de usar CV k veces para lograr el último enfoque.
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?¡Hola! ¿Puedo preguntarle por qué k = 154 fue para su validación cruzada?
Normalmente pongo 5 (20% para validación) para k dependiendo del conjunto de datos, aunque todos eran lo suficientemente pequeños para pruebas de validación y entrenamiento normales.
¡Gracias!
En el futuro, es deseable que JMP Pro implemente una opción para visualizar la distribución de los pliegues mientras procesa los datos de esta manera.
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?La preocupación es el sobreajuste, pero el motivo de mi afirmación se basa en todo el esquema de la "evaluación honesta". Se utilizan algunos datos para entrenar el modelo y datos separados completamente nuevos para validar o seleccionar el modelo (dos conjuntos de reserva). Este enfoque es válido pero aún está limitado a los datos que ya se ven mediante el aprendizaje y la selección. No puede hablar de generalización de nuevos datos. Se necesitan nuevos datos para probar la elección de modelos. Estos datos pueden ser un tercer conjunto reservado o datos futuros. El riesgo de esperar datos futuros depende de la situación, por lo que si hay una gran cantidad de datos disponibles, se prefiere el tercer conjunto de reservas.
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?@Mark_Bailey Cuando mencionaste: "Ha utilizado validación cruzada para la selección de modelos. Necesitará nuevos datos para probar el modelo seleccionado y ver si el entrenamiento se generaliza a la población en general".
¿Esto se debe a que la validación cruzada tiende a ajustarse demasiado?
Re: ¿Qué tan buena es la validación cruzada K-fold para conjuntos de datos pequeños?Correcto, una evaluación honesta para la selección de modelos con validación cruzada siempre es válida, pero el uso de conjuntos de reserva para la validación y las pruebas solo es práctico y gratificante si se tienen grandes conjuntos de datos (también existe el problema de los objetivos raros, incluso con grandes datos). conjuntos.) Es por eso que se inventó la validación cruzada K-fold. Dejar uno fuera es simplemente llevar los pliegues de K al extremo. No esperaría que el enfoque con una duración de 70:30 funcionara bien con este tamaño de muestra pequeño.
Ha utilizado validación cruzada para la selección de modelos. Necesitará nuevos datos para probar el modelo seleccionado y ver si el entrenamiento se generaliza a la población más grande.
