¿Qué es un buen r2 en el diseño de mezclas DOE?Viniendo de un campo donde solo he tenido contacto con curvas de calibración, donde solo 0,999 se considera un buen ajuste, me pregunto qué valor de r² se consideraría bueno en el modelado de mezclas dOE. ¿Existen otros valores importantes que deba verificar para saber si tengo un buen modelo?
Diseño de experimentosRe: ¿Qué es un buen r2 en el diseño de mezclas DOE?En mi opinión, los diseños de mezclas son principalmente diseños de optimización. Esto significa que ya se ha realizado el análisis preliminar, se cuenta con un modelo de primer orden razonable y se comprenden el ruido y las consideraciones multivariadas. Ahora se llega al punto de seleccionar el punto óptimo para la ejecución. Esto se realiza principalmente mediante gráficos de superficie de respuesta (respuesta de la mezcla). Las estadísticas típicas para la construcción del modelo pueden ser complejas. Puede existir una cantidad considerable de multicolinealidad, lo cual puede ser completamente aceptable, pero dificulta la interpretación de las estadísticas y los coeficientes tradicionales.
Teniendo esto en cuenta, Cornell parece sugerir un R cuadrado ajustado mínimo de 0,85 (el R cuadrado por sí solo rara vez es útil), pero si no es eso lo que se pretende, simplemente significa que una modificación de la forma del modelo puede ser útil.
Véase Piepel, Gregory, Cornell, John (1994) "Enfoques de experimentación con mezclas: ejemplos, discusión y recomendaciones", Journal of Quality Technology, vol. 26, n.° 3, julio.
Los tres pasos básicos del diseño de mezclas según Snee (basado en la metodología de superficie de respuesta de Box y Wilson):
1. Los datos se generan mediante diseño experimental.
2. Se ajusta un modelo (generalmente polinómico) a los datos.
3. Se examinan los contornos de la superficie de respuesta para determinar las regiones donde se pueden obtener los mejores valores de respuesta.
Véase Snee, Ronald (1971) "Diseño y análisis de experimentos de mezclas", Journal of Quality Technology", Vol. 3, No. 4, octubre
Re: ¿Qué es un buen r2 en el diseño de mezclas DOE?Mi modelo es un modelo de mezcla cuadrática con un R2 de 0,92 y un R2 ajustado de 0,90. Me preguntaba cuándo puedo afirmar con seguridad que "mi modelo es suficientemente bueno", si esto depende del R2 o más de la precisión de mis predicciones. Al probar un punto que no forma parte del modelo, se observó cierta desviación respecto al valor predicho, lo cual es de esperar, pero me resulta difícil determinar si se debe a la varianza experimental o a un modelo deficiente. La falta de ajuste se sitúa en 0,9.
Re: ¿Qué es un buen r2 en el diseño de mezclas DOE?No existe una evaluación estadística absoluta que determine si "mi modelo es suficientemente bueno". El concepto de "suficientemente bueno" no se define operativamente. Los mejores modelos son aquellos que tienen sentido desde el punto de vista del tema en cuestión y que resultan útiles desde una perspectiva operativa.
Re: ¿Qué es un buen r2 en el diseño de mezclas DOE?Eso suena bien, pero de alguna manera debe haber un umbral donde la gente diría: definitivamente no es un buen modelo o no se ajusta bien. Desde mi punto de vista como usuario, estoy contento con el modelo que tengo y lo que me permite, siendo consciente de sus limitaciones, pero como soy nuevo en el campo, no me veo en posición de decir si es un buen modelo/DOE ejecutado.Re: ¿Qué es un buen r2 en el diseño de mezclas DOE?Hay muchas pistas que te llevarían a concluir que el modelo no es adecuado. Pero, de nuevo, ¿no defines qué significa "bueno"? ¿Por qué pensarías que alguien con amplios conocimientos estadísticos, pero sin experiencia en el dominio específico, sería mejor juez de la adecuación del modelo? Quieres que tu modelo prediga respuestas de manera que los errores se distribuyan aleatoriamente alrededor de cero. El modelo debe ser consistente ante cambios en las condiciones.
"Un buen modelo es una aproximación, preferiblemente fácil de usar, que captura las características esenciales del fenómeno estudiado y produce procedimientos que son robustos ante posibles desviaciones de los supuestos."
Caja GEP
Re: ¿Qué es un buen r2 en el diseño de mezclas DOE?Estoy de acuerdo con todo lo que @statman ha aportado hasta ahora. Una cosa que añadiré es que espero que no te fijes solo en R² para evaluar la "calidad" (y tal cosa no existe) del modelo. Si te centras únicamente en R², estás cayendo víctima de la temida enfermedad llamada mononumerosis. En cambio, responde a esta pregunta: "¿El modelo aborda adecuadamente las metas y objetivos del experimento en cuestión?" Francamente, si respondes "sí" a esa pregunta, no me importa qué valor tenga R². Cuando trabajaba en la industria, nos pagaban por resolver problemas... no por obtener estadísticas "buenas" (¡uy, ahí voy de nuevo!) como R², valor p, razón F, error cuadrático medio, estadístico t y cualquier otro estadístico que se te ocurra.
Re: ¿Qué es un buen r2 en el diseño de mezclas DOE?Gracias a ambos por sus aclaraciones. La razón por la que me he centrado principalmente en R² hasta ahora es que mi profesor, también nuevo en el diseño de experimentos (DOE), hizo exactamente eso, probablemente porque es el único valor que ha visto antes (en otros contextos, donde es un valor importante). Siendo también nuevo en la teoría del DOE y usándola más para ayudarme a alcanzar el siguiente paso en mi investigación, no pude convencerlo de que un modelo funcional (aunque no perfecto) es más que suficiente. La próxima vez me centraré más en los beneficios y resultados prácticos que en los valores estadísticos. ¡Gracias por sus aportaciones!
