Evaluación del modelo existente.Hola a todos,
Había creado un modelo predictivo y recientemente mis colegas de control de calidad tuvieron que cambiar uno de sus ingredientes, que es una de las muchas variables del modelo, para continuar con el procesamiento por lotes de sus productos. Quiero evaluar el modelo existente en lugar de ajustarlo porque todavía no hay suficientes datos y cambiarlo reducirá la precisión. Tienen nuevas respuestas medidas, utilizando el nuevo ingrediente, que puedo usar para comparar las predicciones del modelo. Esa es una forma de evaluar mi modelo. Pero me pregunto si JMP ya tiene alguna herramienta que pueda utilizar para hacerlo y tal vez para profundizar más. Cualquier cosa desde el Gráficos de control estadístico de procesos (SPC) ?!
Cualquier sugerencia es muy apreciada.
Re: Evaluación del modelo existente.@statman Muchas gracias por el enlace, el libro y tu tiempo nuevamente.
1. Es significativo según los factores de selección y las columnas de factores de contribución. El nuevo ingrediente proviene de un proveedor diferente. Todavía está dentro de los límites de ASTM para el mismo tipo. Sí, puedo experimentar. Lo haré en un futuro próximo.
1. Sí, soy consciente de ello. Boosted Tree probablemente no me da R2 ajustado.
2. Sí, obviamente para delta. Quise decir qué delta usar. Pero parece que se basa en mi propia decisión... gracias de nuevo.
Re: Evaluación del modelo existente.Por favor mira equivalencia univariada para obtener información sobre esta prueba en Distribución. Ver equivalencia unidireccional para obtener información en Oneway.
Re: Evaluación del modelo existente.Discusión de seguimiento:
1. ¿Qué importancia tuvo la sustancia química anterior en el modelo anterior? ¿Qué tan diferente es la nueva sustancia química? ¿Puedes experimentar con esta variable para ver su efecto?
1. R^2 no tiene nada que ver con la precisión de su modelo. R^2 es la cantidad de variación EN EL CONJUNTO DE DATOS que explica el modelo. R^2 no debe evaluarse por sí solo. Debes comparar R^2 con R^2 ajustado. R^2 siempre aumentará a medida que aumentes los grados de libertad en el modelo (que aparentemente tienes mucho DF en el modelo), pero el punto es incluir solo variables significativas en el modelo. R^2 ajustado representa términos insignificantes en el modelo, por lo que desea que el delta entre R^2 y R^2 ajustado sea mínimo.
2. Para crear una columna de deltas entre el modelo anterior (columna 1) y el nuevo modelo (columna 2), simplemente cree una columna con una fórmula que reste las 2 columnas.
Para obtener información sobre el uso de gráficos de control, debe leer:
Wheeler, Donald y Chambers, David (1992) “ Comprender el control estadístico de procesos ” Prensa SPC (ISBN 0-945320-13-2)
Para distribuciones: https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
Re: Evaluación del modelo existente.@Mark_Bailey Muchas gracias por tu respuesta. ¿Hay alguna página donde pueda ver un ejemplo y saber cómo ejecutarlo en JMP? Muy apreciado.
Re: Evaluación del modelo existente.Gracias @statman y @Mark_Bailey . Sigo adelante y respondo sus preguntas y espero obtener sus mejores pensamientos/soluciones finales. Agradezco su tiempo y su amable ayuda nuevamente:
1. Creo que el modelo actual (Boosted Tree) está funcionando bien. R2 es 92% y verifiqué sus predicciones con nuevas respuestas medidas y el control de calidad está muy contento. Las respuestas a las que me refiero son de producciones con los mismos 30 ingredientes. Sólo un ingrediente ha cambiado recientemente porque no pueden importarlo y están usando uno alternativo.
2. Creo que respondí esto en el punto 1. Entonces, el único modelo que he creado utiliza 30 variables con las que hemos estado trabajando durante varios años. Uno de ellos tuvo que cambiarse recientemente, es de tipo similar pero tiene una composición química ligeramente diferente.
3. Oh, lo siento. No se ha eliminado nada del modelo. Quiero comprobar si el único modelo que creé todavía predice las respuestas de manera aceptable.
4. Me gusta tener la misma precisión que el modelo anterior. Ese 92% R2 fue para entrenamiento, validación y conjunto de pruebas. Es un gran modelo. Si quiero crear un nuevo modelo usando las 29 variables anteriores y el nuevo ingrediente (30 en total), no tendría suficiente conjunto de datos para entrenar un buen modelo. Así que tengo que esperar al menos un año para producir suficientes datos.Respecto al delta, ¿cómo calcularlo para comprobar que se mantiene la misma precisión? ¿Puedo utilizar la Comparación de modelos desde el menú?
Entonces creo que tu último párrafo es muy interesante. ¿Hay algún ejemplo de cómo aplicar la fórmula de predicción en esos gráficos?
Soy un novato en estos gráficos. Además, ¿qué quiere decir con resúmenes distributivos? Lo siento, estoy un poco confundido.
Re: Evaluación del modelo existente.Añadiendo a @statman , quieres demostrar equivalencia después del cambio en el ingrediente para validar el modelo actual sigue siendo preciso. Ese propósito invierte las hipótesis nula y alternativa. Podrás realizar la prueba de equivalencia con las plataformas Distribución o Oneway. Deberá indicar el intervalo en el que los resultados se consideran prácticamente iguales.
Re: Evaluación del modelo existente.Algunas reflexiones y preguntas:
1. ¿Cómo? Bueno ¿Funcionaba su modelo predictivo antes del cambio de ingredientes?
2. ¿El modelo actual utiliza un ingrediente completamente diferente o está "relacionado" desde una perspectiva teórica científica?
3. ¿No estoy seguro de lo que quiere decir con "afinar" el modelo? Si ha eliminado una variable del modelo, el modelo podría ser completamente diferente en términos de los coeficientes beta de los otros términos del modelo. ¿Qué sucede con la precisión del modelo sobre datos históricos cuando ese término se elimina del modelo?
4. Creo que su idea de tener una columna con el valor predicho actual (de su fórmula), una columna de la variable de respuesta medida y una columna que sea el delta de las 2 sería una forma sencilla de comparar. ¿Cuánta diferencia te importaría?
Los gráficos de control son un diagnóstico. Su objetivo es comparar diferentes fuentes de variación y determinar dónde está el mayor apalancamiento. Lo hacen evaluando primero la estabilidad de la base de comparación (el gráfico de rango, que evalúa la estabilidad de las fuentes de variación dentro del subgrupo en función de las variables que cambian con esa frecuencia). Luego, compare el efecto que esas fuentes tienen sobre la variabilidad en la respuesta con las otras fuentes en su estudio (el gráfico de barras x, que compara la variación dentro del subgrupo (límites de control) con las fuentes de variación entre subgrupos.
Ahora, podría tomar un muestreo del proceso tal como funcionaba antes de que se cambiara el ingrediente (si solo está dando un vistazo rápido y no busca diagnósticos, puede usar el gráfico MR, X de los datos en series de tiempo) y el proceso después de cambiar el ingrediente para ver si había un cambio apreciable en la respuesta. También puede consultar los resúmenes de distribución para obtener una visión gráfica.
