La minería de datos está buscando patrones y relaciones en (a veces grandes volúmenes de) datos. Muchos métodos, como la partición recursiva y las redes neuronales, son extremadamente sensibles a la muestra de datos que se están extrayendo. ¿Cómo sabe si está creando un modelo que sería útil para predecir resultados futuros?
Queremos un modelo que sea repetible. Es decir, si se utiliza en datos futuros, tendría un éxito similar en la predicción del resultado. Los mineros de datos separan sus datos en tres subconjuntos diferentes para garantizar la precisión del modelo. Son datos de entrenamiento, datos de validación y datos de prueba. No hay una regla de conjunto en cuanto a la proporción de datos en cada conjunto de datos, pero una buena regla general es 40/40/20.
Vamos a crear dos nuevas variables. La primera variable asigna valores de una distribución uniforme aleatoria, que asigna aleatoriamente un valor entre 0 y 1, ambos inclusive. A continuación, cree una nueva variable llamada "Subconjunto" utilizando el editor de fórmulas que agrupa nuestros datos en los tres subconjuntos. Si el valor es inferior a 0,40, estos datos se utilizarán para entrenar. Los datos entre 0.40 y 0.80 se utilizan para validar. Los datos por encima de 0,80 se utilizan para probar. Ver el editor de fórmulas a continuación. Manténgase sintonizado para una manera más fácil de hacer esto en la próxima versión de JMP .
Los datos de entrenamiento se utilizan para construir su modelo. Cuando sienta que ha modelado el patrón y no el ruido, ejecute el modelo en su conjunto de datos de validación. Los resultados, especialmente si los conjuntos de datos son grandes, deberían ser similares. Si los resultados son diferentes, el modelo que creó superpone los datos (es decir, modela el ruido). Habrá algunos de ida y vuelta en este proceso. Una vez que los resultados de capacitación y validación son similares, ha encontrado un buen modelo que espera que sea repetible. Este modelo se pone a prueba con el conjunto de datos de prueba. Los tres modelos deben tener un ajuste similar; de lo contrario, no ha descubierto el patrón subyacente en los datos.
Entrene a su modelo utilizando los datos de entrenamiento ocultando y excluyendo los datos de validación y prueba utilizando el Filtro de datos en JMP. Vuelva a ejecutar su modelo utilizando la validación y luego pruebe los conjuntos de datos alternando entre la validación y los datos de prueba utilizando el Filtro de datos.
El uso del método de prueba de validación de trenes es especialmente importante cuando se comparan modelos de diferentes métodos. Si encuentra que, por ejemplo, los modelos son repetibles para redes neuronales pero no particiones recursivas, habrá descubierto el modelo y el mejor método para predecir el resultado en el futuro.
Nota del editor: esta entrada fue publicada originalmente por un blogger diferente.
Haciendo mejores modelos predictivos rápidamente con JMP escribió:
[...] hace tiempo, este blog presentó una gran publicación sobre el concepto de capacitación, validación y pruebas para construir sus modelos. Para construir un modelo que no solo sea descriptivo sino también predictivo, [...]
Michael Joner escribió:
En la captura de pantalla del editor de fórmulas, en realidad hay dos llamadas "Uniforme aleatorio ()". Esto resulta en obtener un 40% en el Tren, pero luego se divide 40/60 en el 60% restante (sin tren) de los datos. Por lo tanto, obtienes una división 40/24/36 con ese código. Puede ver esto directamente creando la columna de fórmula como se describe y luego ejecutando la plataforma de Distribución en esa columna de fórmula. Hay algunas soluciones a este problema. Una forma involucra crear dos columnas: una columna de números de Uniforme Aleatorio () y la segunda columna para categorizar.
