Se utiliza para subconjuntos de datos en un conjunto para construir un modelo (entrenamiento) y un conjunto para evaluar el rendimiento predictivo de un modelo (validación). Si se ajustan varios modelos, suele elegirse el que mejor se adapte a los datos de validación. En ocasiones, se utiliza un tercer conjunto (prueba) para evaluar el rendimiento predictivo del modelo elegido con nuevos datos. Esto se considera un método más preciso para evaluar el rendimiento futuro de un modelo, ya que el conjunto de prueba no se utilizó en el proceso de construcción ni de selección del modelo. El uso de una columna de validación es especialmente útil al construir modelos que tienden a sobreajustar los datos. Algunas plataformas de modelado en JMP permiten especificar la parte de validación al ajustar el modelo, por lo que no es necesario crear una columna de validación.
Creación de una columna de validación (Entrenamiento, Validación, Prueba) en JMP Pro
- Desde una tabla de datos JMP abierta, seleccione Analizar > Modelado predictivo > Crear columna de validación .
- Las columnas de Estratificación, Agrupación y Punto de corte permiten personalizar la partición. Si se desea una columna de validación simple, haga clic en Aceptar .
- En la ventana resultante, introduzca valores (conteos o proporciones) que indiquen cómo se asignarán los datos a los conjuntos de entrenamiento, validación y prueba. Seleccione una Semilla Aleatoria para reproducir la misma asignación aleatoria si lo desea. Haga clic en Aceptar. Se creará una nueva columna, rellenada con los valores 0, 1 y 2 en las proporciones (o conteos) especificadas.
• 3.576 (60%) de las observaciones (conjunto de entrenamiento) se utilizarán para construir (entrenar) el modelo.
• Se utilizarán 1.758 (30%) de las observaciones (conjunto de validación) para validar y seleccionar el mejor modelo.
• 596 (10%) de las observaciones (conjunto de prueba) se utilizarán para probar el rendimiento del modelo elegido en nuevos datos.
Creación de una columna de validación en JMP
- Desde una tabla de datos JMP abierta, seleccione Nueva columna en el menú Columnas .
- En la ventana Nueva columna resultante, cambie el Nombre de la columna a Validación .
- Junto a Inicializar datos , haga clic en la flecha y seleccione Aleatorio .
- Seleccione Indicador aleatorio . Introduzca las proporciones deseadas. Aquí elegimos 50 % de 0 (entrenamiento), 30 % de 1 (validación) y 20 % de 2 (prueba).
- Para mostrar las etiquetas Entrenar, Validar y Probar en lugar de 0, 1 y 2, haga clic derecho en la columna y seleccione Propiedades de columna > Etiquetas de valor. Ingrese el valor y la etiqueta deseada y haga clic en Agregar un valor a la vez.
- Haga clic en Aplicar para ver la nueva columna en la tabla de datos (para verificar que se creará correctamente). Luego, haga clic en DE ACUERDO para crear la columna.
Visite Modelos predictivos y especializados > Crear columna de validación en la Ayuda de JMP para obtener más información.
