Tengo un diseño de trama dividida con factor A,B,C,D. C se utilizó como bloqueo. D fue asignado como no controlado.
1. Cuando se analiza mediante el script del modelo, R aparece como 1. Intenté reducir el modelo eliminando efectos de orden superior, por ejemplo, A*B*C*D, etc. En el modelo reducido, A muestra un efecto de curvatura con R de 0,93 y AIC. de 174.
2. También analicé la respuesta con efectos factoriales completos y efecto de orden superior reducido. En este modelo reducido, A muestra un efecto lineal con R de 0,69 y AIC 85.
Siento que el segundo modelo, al ser más simple y con un AIC más bajo, explica adecuadamente el resultado observado, que es mi objetivo aquí. ¿Es correcta mi interpretación?
Adjunto archivo con dos análisis.
El problema es que tienes tantos términos de modelo como observaciones. No quedan grados de libertad para estimar el error (o cualquiera de las otras estadísticas jugosas).
Si no necesita las interacciones de 3 y 4 vías (y probablemente no las necesite), puede eliminarlas.
Luego, si el bloqueo no es significativo en absoluto, probablemente también puedas eliminarlo (aunque algunas personas podrían asustarse por eso)
En este caso más simple, es posible que tenga algunos datos interpretables... y un número muy razonable de grados de libertad para estimar el error.
Hola @OrdinaryShark22 ,
Es una buena idea utilizar AICc/BIC como métrica para evaluar y comparar modelos, pero en mi opinión no debería ser la única base para la selección de modelos. Una métrica siempre se centra en una parte de la información de ajuste del modelo, por lo que es mejor usar y comparar varias métricas relevantes.
Los modelos de superficie de respuesta son diseños de optimización, donde el énfasis está en el rendimiento/optimización predictivos. Hay varias métricas que pueden ayudarle a determinar qué modelo parece interesante considerar:
- R²/R² ajustado (métrica explicativa) : es interesante considerar R² y R² ajustados simultáneamente, ya que es posible que desee saber cuánta variabilidad puede explicar el modelo. Cuanto mayor sea el R², mayor será la parte de variabilidad que estarás explicando a través de tu modelo. Cuanto menor sea la diferencia entre R² y R² ajustado, mejor será el ajuste de su modelo: R² puede aumentar agregando más y más términos en el modelo (incluso si no son relevantes/importantes), mientras que R² ajustado tiene un término de penalización por la cantidad de términos. en el modelo. Entonces, cuanto menor sea la diferencia entre estos términos, mejor será el ajuste y la cantidad de términos que tendrá en el modelo.
Al observar sus dos modelos, parece que el "modelo reducido del guión original" tiende a ser una mejor opción que el otro: R² y R² ajustados más altos, y una diferencia baja entre R² y R² ajustados (similar al segundo modelo).
- RMSE (métrica predictiva) : como asumió un modelo de superficie de respuesta, es interesante considerar también el rendimiento predictivo del modelo. RMSE (error cuadrático medio) es una métrica posible que se puede utilizar para evaluar y comparar el rendimiento predictivo de sus modelos. Cuanto menor sea el RMSE, mejores serán la precisión y el rendimiento predictivo.
Al observar sus dos modelos, parece que el "modelo reducido del guión original" tiende a realizar un modelado más preciso que el otro: tiene un RMSE más bajo (0,82 frente a 1,16).
Luego están las métricas de criterios de información, como AICc y BIC, que ayudan a comparar modelos equilibrando la probabilidad con la complejidad del modelo. En su caso, estos criterios son más altos para el primer modelo, lo que implica modelos más complejos. Sin embargo, los valores de BIC entre los dos modelos son muy cercanos (82,5 frente a 79,1), por lo que no existe un gran beneficio de elegir uno frente al otro basándose únicamente en esta métrica.
También puede utilizar valores p para la selección de términos, pero nuevamente, esta métrica no debería guiar únicamente su decisión, ya que RSM se centra en el rendimiento predictivo, por lo que crear un RSM con pocos factores implica que es posible que ya haya filtrado términos no importantes en un fase de selección previa. Como estás en una fase de optimización, evitaría eliminar por completo un factor y todos sus términos relacionados, como es el caso en el modelo 2: has eliminado el efecto principal B y todos los efectos que contienen B, lo que parece ser un bonito " Decisión "agresiva" para un modelo que se ajusta con pocos factores y se centra en la optimización y el rendimiento predictivo.
Finalmente, para ayudarle en su elección, verifique los supuestos detrás del uso de modelos de regresión lineal: Supuestos del modelo de regresión | Introducción a la estadística | JMP
En su modelo "modelo reducido del guión original", no parece haber un patrón en los residuos:
Sin embargo, en su modelo más simple, los residuos parecen un poco más sospechosos, con cierta tendencia y posible curvatura para valores de residuos positivos:
Al final, utilice siempre la experiencia en el dominio para guiar la evaluación, comparación y selección del modelo. Las métricas estadísticas están aquí para ayudar a filtrar los modelos no relevantes, pero los modelos restantes deberían ser útiles y tener sentido para los expertos en el dominio.
En su caso, puede usar ambos modelos y ver cómo las conclusiones pueden diferir: si intenta minimizar la respuesta, usar el Profiler e intentar minimizar la respuesta conduce a los mismos valores de factores: A=0,6 / B=30 /C=28/D=12:15. Es posible que desee ejecutar un punto de validación en estas configuraciones para ver si el óptimo encontrado es relevante, sin importar el modelo elegido. Ya tiene el valor de respuesta más bajo en estas configuraciones A,B,C en la fila 8, lo cual es una buena indicación de que el modelo puede ser diferente, pero esté de acuerdo con la optimización.
Espero que esta respuesta te ayude,
