Re: Dividir datos que no están destinados a ser utilizados como columnas de validaciónGrabé esto internamente y agregué la identificación del defecto arriba.
@reese_sj , ¿puede ingresar un nuevo elemento para la segunda parte de esta solicitud (es decir, las estimaciones fuera de bolsa para la validación del modelo)? Son dos solicitudes diferentes.
¡Gracias!
Dividir datos que no están destinados a ser utilizados como columnas de validaciónColumna de validación: muy a menudo necesitamos dividir los datos en un conjunto de prueba y entrenamiento, pero no en un conjunto de validación que se usa para la selección del modelo. Esto no funciona en JMP. Por ejemplo, para métodos de modelado en los que podemos usar validación cruzada, como NN o GLR, y queremos hacer la selección/validación del modelo en función de los datos de entrenamiento y usar los datos de prueba realmente solo para probar el modelo. Además, cuando se excluyen los datos de prueba, los árboles potenciados y los bosques aleatorios utilizan los datos excluidos para validar el modelo (posiblemente para NN). Esto requiere pasos adicionales para eliminar los datos de prueba para el modelado y agregarlos más tarde para la comparación del modelo.
Estadísticas y AnalíticaRe: Dividir datos que no están destinados a usarse como columnas de validación - El estado cambió a: No planificado por ahora@reese_sj es la preocupación de que los datos de validación están haciendo trampa?¿Cómo propone que el modelo decida cuándo se ha ajustado mejor a los datos?A menudo vemos solo datos de validación sin conjunto de prueba, pero no al revés.JMP no tiene una forma de ajustar un NN sin algún tipo de validación o retención.Si deja que el algoritmo se ajuste a los datos de entrenamiento lo mejor que pueda, lo más probable es que termine con un modelo sobreajustado.Crearía el modelo y lo publicaría en el almacén de fórmulas y luego lo ejecutaría en el conjunto de datos de prueba si desea ver qué tan bien encaja.
