Problema con el análisis RSMEstimados empleados y usuarios de JMP!
Soy estudiante de pregrado y estoy en proceso de realizar una investigación. Tengo algunos problemas con el análisis de resultados. Utilicé RSM (diseño clásico) para optimizar mi respuesta con una matriz que incluye 3 variables independientes. Para aumentar el nivel de confianza, agregué 1 réplica en mi diseño, por lo que la matriz incluyó 40 ejecuciones. Luego comencé a analizar los resultados del diseño matricial experimental, mi valor R2 es 96% y valor P <0,001, pero la falta de valor de ajuste de P es significativa. De otra manera, no mostré replicar en mi diseño, pero cada ejecución aún se replicó 1 vez y se calculó el valor medio. Entonces, mi R2 y mi valor P no cambian y la falta de valor de ajuste de P no es significativa. Por tanto, quiero saber ¿cuál es la forma correcta de analizar los resultados?
Espero sus respuestas.
¡Cordial saludo!
Exploración y visualización de datosDiseño de experimentosCompartir y comunicar resultadosRe: Problema con el análisis RSMFue un placer ayudar. Me interesaría ver tu tesis, si puedes compartirla. Estos son datos realmente interesantes, así que espero que los publiquen y los pongan a disposición del público.
Re: Problema con el análisis RSMEstimado Sr. Phil_Kay!
Este resultado se utilizó en mi tesis de pregrado. Muchas gracias por dedicar su valioso tiempo a resolver mi problema, ¡realmente lo aprecio!
¡Cordial saludo!
Re: Problema con el análisis RSMHola de nuevo, @HoaLe99 !
¡Este es un ejemplo realmente interesante! Acabo de pasar las últimas 2 horas explorando esto cuando realmente debería estar haciendo otras cosas. Pero fue muy divertido. ¡Gracias por compartir!
En primer lugar, sobre el umbral: no estaba recomendando que cambiara el umbral del valor p en el análisis. Creo que puedes hacer eso, pero no cambiaría nada. Seguiría obteniendo exactamente el mismo análisis y valores p. En realidad solo estaba diciendo que declaramos "significancia" cuando un valor p está por debajo del umbral de 0,05. Y ese umbral es sólo una convención o una "regla general". Podríamos utilizar fácilmente un umbral diferente y eso cambiaría lo que decimos que es "significativo".
De todos modos, en este caso es en gran medida irrelevante porque el valor p de falta de ajuste está muy por debajo de 0,05. Realmente parece que tienes una falta de ajuste bastante grave, como puedes ver en algunas de las tramas:
Observe cómo los puntos no se distribuyen simplemente aleatoriamente alrededor de la línea en lo real frente a lo predicho. Hay agrupaciones por encima y por debajo de la línea en diferentes puntos.
Esto sugiere que el modelo es inadecuado de algún modo, por lo que podría requerir términos de orden superior. Solo consideró términos de primer y segundo orden (el modelo RSM). Miré para agregar términos de tercer orden.
Esto es complicado porque hay más términos de tercer orden de los que caben. De hecho, utilicé algunas de las herramientas de JMP Pro para ayudar con esto, incluidas Best Subset y SVEM Lasso en Gen Reg en JMP Pro 17. Sin embargo, puede utilizar Stepwise en JMP estándar. Bloqueé todos los términos de segundo orden y luego avancé paso a paso para ver qué términos de tercer orden eran los más importantes. (Hay un script para Stepwise en la versión adjunta de la tabla)
También me pareció que su respuesta no debería ser menor que cero y posiblemente no mayor que 1, así que agregué una transformación Logit a la respuesta para el "mejor" modelo (script en la tabla adjunta). Sin esta transformación, puedes obtener predicciones de respuesta inferiores a 0, lo que sospecho que no es posible aquí.
Encontré que el mejor modelo era el RSM con el término cúbico para X2 (X2*X2*X2) y la interacción del X3 con la cuadrática de X1 (X1*X1*X3). Este es un efecto complicado. Significa que la naturaleza curvilínea de X1 se ve afectada por X3. La curva de X1 es más pronunciada cuando X3 es mayor. ¿Quizás eso tenga sentido científicamente? Es inusual incluirlos en modelos de experimentos, pero mi sensación es que probablemente sean efectos bastante importantes en muchos casos.
El modelo todavía tiene una falta de ajuste significativa, pero es mucho menor (p = 0,009 versus 0,0004). Y todos los residuos me parecen mejores. Para mejorar aún más el modelo, probablemente necesite aumentarlo con más ejecuciones para probar los términos de tercer orden. No estoy seguro de que valga la pena, pero depende de para qué necesites el modelo.
Este es un ejemplo realmente interesante, así que avíseme si alguna vez se publicará o si estaría bien usarlo de forma anónima.
Espero que esto haya sido útil para ti. Sospecho que el modelo que ya tenías habría sido útil para tus objetivos. El modelo mejorado se ve mejor estadísticamente, pero la diferencia podría no ser tan importante en la práctica.
filo
Re: Problema con el análisis RSMEstimado Sr. Phil_Kay!
Entendí lo que dijiste pero no sé cómo configurar otro umbral de valor p en JMP. ¿Puedes mostrarme la forma de configurarlo? Y adjunté un archivo y una imagen sobre mi modelo a continuación. ¿Puedes ayudarme a comprobarlo?
Muchas gracias
Re: Problema con el análisis RSM¡Estoy muy agradecido por tu ayuda!
Re: Problema con el análisis RSM¡Muchas gracias por tu ayuda, realmente lo aprecio!
Re: Problema con el análisis RSMEsto es lo que hago cuando veo falta de ajuste en un DOE.
1. Guarde mis residuos en la tabla de datos.La trama luego contra cada uno de los factores que tenemos en el diseño.Busque patrones que puedan ser indicativos de la causa de la falta de ajuste.
2. El ANOVA de falta de ajuste descompone la variación del error en un componente de falta de ajuste y error puro.A menudo veo personas que subestiman el componente de error puro; esto ocurre porque hay pocos DoF que contribuyen a la estimación o porque el procedimiento experimental no capturó completamente la variabilidad que buscamos en la replicación.Busque las filas en su tabla de datos que correspondan a estas réplicas y cambie su color.Ahora mire los gráficos del paso (1).Lo más probable es que la variación en los gráficos sea mucho menor que la que se ve en los puntos replicados. ¿A qué se debe?O la falta de ajuste es demasiado grande (es decir, es necesario mejorar el modelo) o el error puro es demasiado pequeño (su procedimiento experimental subestimó la variación).
3. Trace sus residuos con respecto a los valores previstos.El 'sobre' que contiene los residuos debe ser uniforme en todo el rango de valores predichos.Si, por ejemplo, diverge a medida que aumentan los valores predichos, esto podría sugerir que el modelo mejoraría con una transformación logarítmica.Puede utilizar la opción de transformación Box-Cox para investigar transformaciones.
Re: Problema con el análisis RSMLo sentimos, también podrías considerar una transformación de la respuesta. Especialmente si tiene motivos para creer que una distribución normal no es apropiada. Por ejemplo, si la respuesta es % de rendimiento, por ejemplo.
Re: Problema con el análisis RSMHola @HoaLe99 ,
Solo para aclarar, al decir que agregó 1 réplica, ¿quiere decir que tenía un diseño con 20 ejecuciones (probablemente el compuesto central con 6 puntos centrales) y duplicó todas las ejecuciones para 40 ejecuciones en total? ¿Y puedo comprobar que son réplicas verdaderas? Es decir, las 40 ejecuciones se llevaron a cabo de forma independiente en lugar de simplemente replicar la medición de la respuesta.
Suponiendo que todo eso sea cierto, entonces el primer análisis que hizo con 40 ejecuciones es apropiado. Este análisis refleja adecuadamente el ruido del experimento y, por lo tanto, se podría esperar que diera lugar a la detección de una falta de ajuste significativa.
Una falta significativa de ajuste no es necesariamente un problema. Es una indicación de que el modelo podría no ser del todo adecuado.
Debes considerar qué tan grande es la falta de ajuste. Debido a que tiene tantas réplicas (creo que también tiene muchos puntos centrales repetidos), la prueba será sensible para detectar faltas de ajuste realmente pequeñas como significativas.
Recuerde también que la significancia se basa en una elección bastante arbitraria del umbral del valor p (normalmente 0,05). Podría elegir razonablemente otro umbral (digamos 0,01) y la falta de ajuste ya no sería "significativa".
Debe considerar otras partes del informe, incluidos los gráficos de residuos, para considerar si realmente hay un problema con el modelo. ¿Cómo ayuda el modelo con sus objetivos generales? El alto R^2 indica que el modelo está capturando casi toda la variación en los datos de respuesta, lo cual es positivo.
Espero que esto ayude,
filo
