JMP Pro es una gran herramienta para construir rápidamente múltiples modelos con sus datos usando una variedad de técnicas, a saber, métodos basados en árboles (Boostrap Forest, opciones de Boosted Tree en la plataforma de partición), redes neuronales y regresión penalizada (usando el Regresión generalizada personalidad en modelo Fit).
Al crear modelos predictivos, necesita formas sólidas de validar su modelo, o puede fácilmente tener problemas de sobrealimentación. Muchas plataformas de modelado en JMP Pro admiten una columna de validación. La columna de validación se utiliza para dividir sus datos en partes de capacitación y validación. Formación los datos se utilizan para construir el modelo, y validación Los datos se utilizan para ajustar el modelo. A veces una tercera división prueba - se utiliza para simular los nuevos datos que han entrado, de modo que pueda ver cómo funciona el modelo con los datos que el modelo no había visto previamente.
Digamos que desea utilizar el 70 por ciento de sus datos para construir el modelo y ahorrar un 30 por ciento para validar o ajustar el modelo. Podría pensar que tomar una muestra aleatoria de todas sus filas podría ser la mejor manera de hacerlo, pero eso puede llevar fácilmente a problemas si está lidiando con muchos valores atípicos o un evento raro. Una muestra aleatoria simple podría colocar fácilmente todos los puntos de datos importantes (como los eventos raros) en el conjunto de entrenamiento o el conjunto de validación. Esto crea condiciones de modelado subóptimas y puede llevarlo a construir modelos que no son muy útiles.
La plataforma Neural en JMP Pro puede ayudarlo a crear una columna de validación imparcial y equilibrada automáticamente en solo unos pocos pasos. Estoy usando el conjunto de datos de Boston Housing, que se encuentra en los Datos de muestra en JMP (Ayuda> Datos de muestra). Para estos datos, quiero predecir una casa mvalor basado en una serie de posibles predictores. La siguiente distribución muestra que la respuesta tiene un número alto de mvalores Queremos asegurarnos de que se dividan por igual en nuestros conjuntos de capacitación y validación.
En el lanzamiento del modelo neuronal, puedo especificar una proporción de retención para el método de validación. Porque quiero una división 70/30, pondré .3 en el campo. La plataforma Neural ordenará automáticamente la respuesta de menor a mayor valor y luego asignará aleatoriamente el registro al entrenamiento o al conjunto de validación en función de la proporción deseada.
No estoy particularmente interesado en el modelo Neural real aquí, así que solo puedo aceptar los valores predeterminados y hacer clic en: Ir. Luego, desde el menú del triángulo rojo en el ajuste, voy a seleccionar la opción "Guardar validación".
Esto creará automáticamente una nueva columna de Validación en mi tabla de datos, con cada fila etiquetada como "Entrenamiento" o "Validación".
Si volvemos a ajustar una Distribución a la respuesta con validación como la Por , se puede ver que las propiedades de los conjuntos de entrenamiento y validación están muy cerca. La plataforma Neural ha hecho un gran trabajo al dividir mis datos de forma inteligente, de forma automática.
Ahora, estoy listo para continuar con el proceso de construcción de mis modelos, sabiendo que tengo un sólido esquema de división de datos que me permitirá construir el modelo más informativo y útil con mis datos. Gracias a Chris Gotwalt , el desarrollador de la Plataforma Neural, por mostrarme esta poderosa capacidad. Sin duda, ha sido la forma más rápida y confiable de crear una columna de validación en JMP Pro que he encontrado hasta ahora.
Daniel Valente escribió:
Gracias Scott, me alegro de que lo hayas disfrutado! Usted tiene razón, solo puede hacer un conjunto de entrenamiento y validación con este método. El conjunto de pruebas está disponible solo cuando se utiliza una columna de validación (en el lanzamiento de la plataforma).
Scott Wise escribió:
Gran blog Dan! ¿Podemos también hacer una división Prueba, Entrenar y Validar con este método ... o solo una división Prueba y Entrenar? Creo que sé la respuesta (no), pero quería comprobar!
