Prueba de la capacidad predictiva del modelo en JMP normalHola, he desarrollado un modelo basado en un conjunto de datos de entrenamiento y me gustaría probar la capacidad predictiva del modelo en un conjunto de datos de prueba. ¿Hay alguna manera de que pueda hacer esto en JMP normal? Mi modelo consta de efectos continuos y categóricos.Supongo que tendría que ser capaz de arreglar los parámetros del modelo. ¿O tal vez esta es otra buena razón para obtener JMP Pro?
AnalíticaRe: Probar la capacidad predictiva del modelo en JMP normalEstoy de acuerdo, al menos una de las variables en mi modelo sigue una distribución completamente diferente en el conjunto de datos de entrenamiento que en el conjunto de datos de prueba (ver archivo adjunto con prueba = 0 igual a datos de entrenamiento y prueba = 1 igual a datos de prueba). Un análisis de tendencia revela que el nivel de esta variable se ha desplazado hacia arriba. No estoy seguro de por qué, pero esto es algo para investigar.
Re: Probar la capacidad predictiva del modelo en JMP normalSolo para agregar @P_Bartell Comentarios de... Si su conjunto de datos original no es representativo de las condiciones futuras, entonces la capacidad de un modelo que se crea a partir de dicho conjunto de datos no es muy útil para la predicción. Esto no significa que no haya aprendido nada, pero deberá expandir su espacio de inferencia para mejorar la previsibilidad del modelo (y es posible que el modelo deba modificarse con el tiempo).
Re: Probar la capacidad predictiva del modelo en JMP normalCuando dices 'período posterior'... De donde venía, la selección aleatoria de observaciones para colocar en el conjunto de entrenamiento se basó en mi premisa de que esencialmente toda la colección de datos era representativa de una sola población de estudio. Y estabas dispuesto a asumir este tipo de evaluación del modelo. Ahora, cuando dice, 'más tarde'... ¿cuán dispuesto está a asumir que esta idea de población única es cierta? De acuerdo, tiene una pequeña cantidad de observaciones en ambos conjuntos de datos ... pero usar K fold es una forma de validación cruzada que puede ayudar con una cantidad relativamente pequeña de observaciones para crear y evaluar un modelo para sobreajuste.
En mi opinión, incluso con una pequeña cantidad de observaciones en su conjunto de datos de prueba... si su conjunto de prueba no se ajusta bien a las predicciones/resultados reales, entonces eso le está diciendo algo... que su modelo NO es particularmente efectivo para predecir el futuro actuación. Entonces, en cierto sentido, su conjunto de prueba no le está fallando... le está gritando que proceda con cautela con la adopción del modelo de entrenamiento como evangelio.
Además, no ha compartido ninguno de los diagnósticos del modelo de entrenamiento... tal vez haya algunos problemas con el modelo que dificultarían el ajuste de futuras observaciones. ¿Puedes compartir los datos o diagnósticos? Puede haber algunas pistas ocultas en estos resultados.
Re: Probar la capacidad predictiva del modelo en JMP normalGracias.
Mi conjunto de datos de entrenamiento consta de 95 observaciones y apliqué regresión paso a paso con selección de k veces. Luego reduje el modelo aún más con mínimos cuadrados ordinarios aplicando un límite de significancia del 5%. La idea era utilizar un nuevo conjunto de observaciones (de un período de tiempo posterior) como conjunto de datos de prueba, lo que significa que los datos no se asignan al azar al conjunto de datos de entrenamiento y prueba. ¿Crees que hay un problema con este procedimiento?
Aplicando su procedimiento obtuve un R-cuadrado muy pobre para la prueba de datos de prueba.Creo que el problema es que mi conjunto de datos de prueba es demasiado pequeño (solo tiene 20 observaciones), también los valores de las variables explicativas tienen un rango más pequeño que en el conjunto de datos de entrenamiento. Encuentro que realmente no es posible evaluar la capacidad predictiva de mi modelo con este conjunto de datos de prueba.
Re: Probar la capacidad predictiva del modelo en JMP normal¿Qué plataforma se ha utilizado para crear el modelo?
Re: Probar la capacidad predictiva del modelo en JMP normalUna pregunta para usted... ¿Ojalá haya seleccionado aleatoriamente las observaciones para incluirlas en su conjunto de "entrenamiento"? Si no, daría marcha atrás y comenzaría con eso. Suponiendo que lo hicieras...
Bueno, sí, si desea evaluar modelos utilizando una construcción de entrenamiento/validación/prueba, que generalmente es una mejor práctica para el trabajo de modelado predictivo, entonces JMP Pro es el camino a seguir. Muchas capacidades muy útiles, como las plataformas Model Comparison y Formula Depot, que están dirigidas específicamente a una evaluación de múltiples modelos muy eficiente.
Pero, a falta de JMP Pro, aquí hay dos ideas simples para que las considere. Guarde el modelo que ha creado con su conjunto de datos de entrenamiento en una nueva fórmula de columna llamándolo 'Valores previstos' o alguna construcción similar, en una tabla de datos que contiene su conjunto de datos de 'prueba'. Ahora debería tener predicciones de la respuesta en la columna. Ahora trace un gráfico de Ajuste Y por X de los 'Valores previstos' y los valores reales para las respuestas y examine la 'adecuación del ajuste' de los dos conjuntos de respuestas. Forzaría los límites iguales de los ejes x e y en el gráfico para todo, excepto para replicar el informe de la plataforma Fit Model, el gráfico real frente al predicho. Use su ojo para encontrar esa línea de 45 grados... o simplemente superponga una en Graph Builder.
Otra variación sería restar los valores previstos de los reales y trazar los residuales en un formato de histograma.
Estas técnicas no harán nada para evaluar el ajuste... pero si su énfasis es estrictamente predicción... bueno, es un comienzo.
