¿Cómo realizar una validación cruzada de k veces en modelos de ML (por ejemplo, redes neuronales y bosques aleatorios) y verificar el rendimiento del modelo en datos de prueba fijos?Tengo un conjunto de datos de clasificación en el que quiero ajustar la red neuronal y el modelo de bosque aleatorio. Estoy realizando la validación cruzada k-fold para seleccionar el mejor modelo .
Tengo datos separados (datos de prueba fijos) en los que quiero probar el rendimiento del modelo. ¿Cómo puedo pasar esos datos a JMP y obtener un informe de clasificación?
Modelado predictivo y aprendizaje automáticoRe: ¿Cómo realizar una validación cruzada de k veces en modelos de ML (por ejemplo, redes neuronales y bosques aleatorios) y verificar el rendimiento del modelo en datos de prueba fijos?Hola @abhinavsharma91 ,
Para utilizar la validación cruzada de K-folds en varios modelos de Machine Learning, puede utilizar la plataforma "Model Screening" (accesible en "Analyze", "Predictive Modeling", "Model Screening") y seleccionar qué algoritmos le gustaría probar. (en su ejemplo, Neural Networks y Random Forest) y el número de pliegues utilizados para la validación cruzada (ejemplo aquí en el conjunto de datos de juguete "Diamonds Data" con una validación cruzada de 5 pliegues):
Para sus datos de prueba, hay varias opciones:
- Si sus datos están divididos en dos conjuntos de datos (uno para entrenamiento, otro para prueba), puede ejecutar el modelo en su tabla de datos de entrenamiento con validación cruzada, guardar las fórmulas para el modelo con mejor rendimiento y luego copiar y pegar la columna de fórmula del modelo. en su tabla de datos de prueba, de modo que no se produzca ninguna fuga de datos para la evaluación imparcial del rendimiento del modelo en los datos de prueba.
- También puede tener todos sus datos en la misma tabla de datos, pero "ocultar y excluir" las filas que se utilizarán para las pruebas; de esta manera, los modelos no usarán sus datos de prueba para el entrenamiento y la validación cruzada, pero al guardar las fórmulas aún tendrá predicciones para sus filas ocultas y excluidas (y en la misma tabla).
Espero que esta respuesta te ayude,
