En el archivo JMP adjunto, construí tres modelos de regresión separados para cada variable de respuesta: peso, radio de giro y potencia con tres columnas de validación separadas (Conjunto de entrenamiento = 70 %, Conjunto de validación = 15 %, Conjunto de entrenamiento = 15 %).
¿Es necesario crear una columna de validación para cada variable de respuesta para construir modelos de regresión o es suficiente una columna de validación con cualquier variable de respuesta?
Hola @madhu ,
¡Feliz año nuevo 2025!
No hay soluciones correctas o incorrectas para tu pregunta.
Dado que está construyendo un modelo predictivo mediante aprendizaje automático (también conocido como basado en datos) para diferentes respuestas, aquí se muestra el uso de los diferentes conjuntos:
- Conjunto de entrenamiento :Se utiliza para el entrenamiento real del(los) modelo(s),
- Conjunto de validación :Se utiliza para la optimización del modelo (ajuste fino de hiperparámetros, selección de características/umbral, ... por ejemplo) y la selección del modelo.
- Conjunto de prueba : Se utiliza para la generalización y la evaluación predictiva del rendimiento del modelo seleccionado en datos nuevos o no vistos. En esta etapa, no debería haber varios modelos en competencia.
Consideraría más útil para "depurar" el uso de una columna de validación para las tres respuestas, para comprender cuánta información se puede extraer de los datos y proporcionar una mejor evaluación/comparación de la dificultad de la tarea predictiva dependiendo de la respuesta, utilizando los mismos datos de entrenamiento y validación.
Si cambia la repartición de las observaciones en sus conjuntos de entrenamiento, validación y prueba con diferentes columnas de validación, puede resultar más difícil determinar por qué una determinada respuesta no se predice de forma correcta o precisa: ¿se debe a la estratificación o repartición de los puntos utilizados para ajustar el modelo? ¿O se debe a que la predicción de esta respuesta es más difícil de lograr?
Como nota al margen, incluso si utiliza una columna de validación, le recomendaría crear una fórmula de columna de validación estratificada: la estratificación de las características ayuda a garantizar que las distribuciones de sus conjuntos de entrenamiento, validación y prueba sean similares, lo que evita cualquier cambio en la distribución de datos entre los conjuntos que pueda comprometer la generalización del aprendizaje/ajuste del modelo de su algoritmo. El uso de un tipo de columna de validación de fórmula le permite crear simulaciones y evaluar la solidez de su algoritmo con varias divisiones similares de sus datos.
Ver Resuelto: ¿Cómo puedo automatizar y resumir muchas validaciones repetidas en una tabla de salida? - Comunidad de usuarios de JMP
y Resuelto: Árbol Potenciado - Tuning DISEÑO DE TABLA - Comunidad de Usuarios JMP
También puede utilizar una columna de validación cruzada K-Fold con una semilla aleatoria fija (para garantizar la reproducibilidad de los resultados del modelo) para evaluar la solidez y el rendimiento predictivo de su algoritmo en las distintas respuestas.
Espero que esta respuesta te ayude.
Hola @Victor_G
Gracias por los comentarios sobre mi consulta. Tienen sentido. Saludos.
