DOE: Modelo significativo con falta de ajuste significativa<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hola a todos los JMPers,
Tengo un problema con un DOE y me gustaría conocer su opinión al respecto.
Estoy tratando de modelar dos respuestas Y1, Y2 como una función de 2 factores X1, X2, su interacción de primer orden y efectos cuadráticos.
Para hacerlo, tengo los datos de un diseño factorial completo de 2^3 más dos experimentos replicados (no centrados) de un conjunto de datos anterior.
No tengo ningún problema con Y1, pero cuando se trata de Y2, parece que ni los factores X1*X2 ni X2*X2 son significativos.
Cuando vuelvo a ejecutar el script sin estos 2 factores, obtengo lo siguiente:
Mi modelo es significativo (valor p <0,0001), tiene un R² alto (0,96) pero también tiene una falta de ajuste significativa (valor p 0,024) !
Qué tengo que hacer ? No puedo repetir los experimentos y transformar la respuesta puede ser complicado aquí.
¿Tengo que tirar mi modelo a la basura?
Gracias por la ayuda.
Re: DOE: Modelo significativo con falta de ajuste significativaquentin,
Puede mantener X2 debido al efecto de la herencia con los términos de interacción.Dicho de otra manera, tiene interacciones con X2 que son significativas, por lo que puede mantener ese efecto principal (X2) en su modelo.Con JMP 12, puede usar la capacidad Resumen de efectos en el modelo de ajuste para eliminar términos y solo eliminar el X2 para ver cómo cambia su modelo, pero en su caso recomendaría simplemente mantenerlo en el modelo.
Factura
Re: DOE: Modelo significativo con falta de ajuste significativaMuchas gracias a Bill y Peter por estos consejos.
Sacar las 2 muestras y usarlas para la validación funciona bien y los resultados pronosticados están muy cerca de los reales.
Sin embargo, hay un pequeño cambio en el modelo para Y1. Anteriormente, todos los efectos lineales, cuadráticos y de interacción de X1 y X2 eran significativos para Y1 (valor de p <0,05).
Sin embargo, ahora que saqué las 2 muestras adicionales, los factores X2 no tienen un efecto significativo en Y1 (valor p = 0.0852), mientras que todos los demás factores son significativos como antes.
Mi pregunta es: no puedo eliminar X2 sin eliminar sus efectos cuadráticos y de interacción con X1, que son significativos, entonces, ¿puedo mantener X2 en mi modelo indicando que es significativo en el nivel de confianza de 0.1?
Creo que el enfoque sugerido por Bill es mejor que el que uso, pero antes de usarlo solo quiero asegurarme de que ahora el modelo para Y1 también es válido.
Gracias por sus respuestas.
Re: DOE: Modelo significativo con falta de ajuste significativaQuentin: Bill Worley ofrece algunos buenos consejos que, francamente, me da vergüenza no haber sugerido también. Estaba demasiado concentrado en su preocupación por el valor de ap asociado con la prueba LOF como para considerar los problemas que plantea Bill. Con demasiada frecuencia, creo que algunas personas tratan de destilar la decisión de 'aceptar y usar el modelo' en una única estadística de diagnóstico del modelo. Llamo a este comportamiento ser víctima de 'mononumerosis'.
En cuanto a su última pregunta en la publicación: "¿Entonces cree que con todas estas observaciones tomadas en cuenta podría aceptar razonablemente este modelo e intentar validarlo con ejecuciones adicionales?"
Sería muy presuntuoso de mi parte hacerle una recomendación de una forma u otra con respecto a '...acepte este modelo...'. De lejos, soy reacio a saber poco sobre su problema, la realización del experimento, el conocimiento del proceso, etc. para comenzar a darle otra cosa que no sea una opinión muy desinformada. Por lo tanto, me negaré.
Esto es lo que ofreceré; Durante mi mandato como estadístico industrial durante décadas, no puedo decir cuántas veces me hicieron esta misma pregunta. Mi respuesta siempre era algo así: "Está bien, Quentin, en lugar de darte mi opinión, esto es lo que te sugiero que hagas. Haga una pausa por un momento y piense en la decisión hacia la que lo están conduciendo los datos, el experimento y su análisis. Piensa en las consecuencias de esa decisión desde un punto de vista práctico. Especialmente si el resultado es menos que deseable. ¿Cómo te sientes acerca de esa decisión? No desde un punto de vista estadístico sino desde un punto de vista práctico. Ahora, en la boca del estómago, ¿cómo te sientes acerca de esa decisión? Si siente mariposas... entonces deténgase, haga una pausa y regrese en círculo para obtener más información/datos/análisis/experimentación/conjeturas... lo que sea... pero retrase la decisión".
Hace mucho tiempo leí una cita de Moen, Nolan y Provost que decía algo así: "En el análisis final, no es una cuestión de inferencia estadística sino una cuestión de grado de creencia". O como decía el Dr. Deming: "Las figuras más importantes son desconocidas e incognoscibles". P - valores que conocemos... pero las 'cifras' más importantes son incognoscibles.
Re: DOE: Modelo significativo con falta de ajuste significativaquentin,
Voy a apilar la respuesta de Peter.
Usted afirma que extrajo dos muestras de un conjunto de datos anterior y las agregó a sus resultados del DOE.Es muy probable que sesgue el resultado de su DOE/modelo al usar esas muestras "externas" para construir su modelo.
Solo una sugerencia, saque esas dos muestras y vuelva a montar sus modelos.Luego use esas muestras como datos de prueba agregándolas a su tabla de datos y vea dónde salen las predicciones.Asegúrese de guardar su fórmula de predicción en la tabla de datos primero y luego agregue los datos "nuevos" en la parte inferior.Compare los datos reales con los valores predichos.También puede hacer esto con su generador de perfiles de predicción cambiando la configuración de entrada y viendo cuál es el valor predicho a la izquierda.
En cuanto a su gráfico de residuos, parece que el punto en la parte superior derecha es un valor atípico potencial y esto también sesgará sus resultados.Vuelva a ajustar el modelo sin ese punto y luego verifique los parámetros de su modelo de ajuste.
Espero que esto ayude,
Factura
Re: DOE: Modelo significativo con falta de ajuste significativaGracias Pedro.
Ya miré los residuos (ver el gráfico a continuación). No hay un patrón latente observable en la gráfica de residuos, pero hay una dispersión aleatoria de los residuos. La respuesta de Y2 varía entre 0 y 100 (es un rendimiento), por lo que considero que la magnitud (<5%) de los residuales es aceptable. Sin embargo, puedo decir que el residuo correspondiente al valor más alto de Y2 es 'relativamente' más alto (~4) que los demás sugiriendo un menor grado de confianza para la predicción de los valores altos de Y2. Esto también fue visible al graficar Y2 observado frente a Y2 pronosticado con intervalos de confianza.
Entonces, ¿piensa que con todas estas observaciones tomadas en cuenta podría aceptar razonablemente este modelo e intentar validarlo con ejecuciones adicionales?
¡Gracias de nuevo por la ayuda!
Re: DOE: Modelo significativo con falta de ajuste significativaQuentin: Preguntas: "¿Tengo que tirar mi modelo a la basura?" Solo si el modelo es, parafraseando a George Box, "no útil". LOF es solo uno, y enfatizo solo una prueba que se usa para evaluar la utilidad del modelo. ¿Ha echado un vistazo a sus parcelas residuales? ¿Son problemáticos desde el punto de vista de la predicción? ¿Qué tal la magnitud del tamaño de los residuos en el espacio experimental? No me obsesiono demasiado con LOF, especialmente si he agotado los medios para modificar el modelo agregando términos. Lo que haría sería echar un vistazo a las predicciones frente a los residuos... y evaluar lo que llamo "magnitud del fallo" o valor residual. ¿Es el tamaño o la dirección del residuo problemático desde un punto de vista práctico? Si no... ¿por qué preocuparse por LOF?
Por último, le animo a realizar algunas pruebas adicionales para fines de verificación del modelo. Este paso debe realizarse independientemente de los resultados de LOF de todos modos para verificar la utilidad del modelo... si estas ejecuciones de verificación resultan correctas desde un punto de vista práctico... nuevamente, ¿a quién le importa LOF?
Buena suerte.
