¿Por qué mi valor p de falta de ajuste es muy pequeño?Hola, comunidad de JMP. Recientemente terminé mis experimentos siguiendo un diseño RSM. Ingresé los datos en el software y ejecuté el modelo (considerando interacciones y RS). Excluí los factores e interacciones que no eran relevantes según la tabla de Resumen de Efectos. Sin embargo, el valor p de falta de ajuste sigue siendo muy pequeño (ver captura de pantalla a continuación). Me preocupa que el modelo esté sobreajustado, ya que, si bien esto es así, mi valor RSq es alto, entre 0,97 y 0,98 (sé que esto podría no ser un buen indicador, dado que existen interacciones no lineales entre mis factores).
También he probado el modelado por pasos, pero el valor p de falta de ajuste no mejoró. ¿Podrían ayudarme a saber qué hacer a partir de ahora o qué debería intentar para encontrar el modelo que se ajuste a mis datos? Estoy atascado y no logro encontrar las condiciones óptimas que busco. Gracias.
Análisis y modelado de datos básicosModelado predictivo y aprendizaje automáticoRe: ¿Por qué mi valor p de falta de ajuste es muy pequeño?Hola @Químico9 ,
¡Bienvenidos a la comunidad!
La prueba de falta de ajuste es útil para evaluar si su modelo se ajusta bien a los datos.
Es muy difícil ayudarte solo con una captura de pantalla de este informe del modelo. ¿Podrías compartir más capturas de pantalla de las diferentes partes del informe (gráfico de valores reales frente a valores predichos, residuos, etc.) o, mejor aún, el conjunto de datos anonimizado? Un valor p estadísticamente significativo para esta prueba indica que el error del modelo es mucho mayor que el error puro y que tu modelo podría no ser adecuado.
Esta situación puede ocurrir en su ejemplo por varias razones:
- Si su modelo es "demasiado simple" para los resultados/datos que ha recopilado, por ejemplo, si faltan algunos términos para modelar la curvatura en sus datos (a través de términos de segundo orden, interacción, efectos cuadráticos o efectos de orden superior). ¿En qué información se basó para eliminar algunos términos del modelo (solo valores p)? ¿Cuál es el comportamiento y el rendimiento del modelo completo asumido? Dado que ha realizado un modelo RSM, cuyo objetivo es la optimización y la predicción, le recomendaría utilizar varias métricas para refinar su modelo, como el RMSE del modelo (precisión del modelo) y un criterio de información (AICc/BIC) para ayudarle a evaluar y equilibrar la relación entre complejidad y precisión de su modelo.
- Si sus puntos replicados tienen una varianza extremadamente baja en comparación con el modelo, ¿son sus experimentos replicados independientes de los demás experimentos? ¿Cómo realizó estos experimentos? ¿Son réplicas "verdaderas"? Es decir, ¿ha creado y medido estos experimentos de forma independiente (no solo los ha medido una segunda o tercera vez)?
También recomiendo verificar la adecuación de su modelo de regresión mediante un análisis de residuos , para comprobar si se cumplen los supuestos de regresión y si se detecta algún patrón en los residuos que pudiera indicar la insuficiencia del modelo. Si se observa algún patrón, esto podría confirmar que faltan algunos términos en el modelo o que se necesita una transformación para ajustar correctamente los datos.
Espero que esta respuesta te ayude.
Re: ¿Por qué mi valor p de falta de ajuste es muy pequeño?¡Gracias por tu útil respuesta, @Victor_G !
Para darles una idea de lo que ya he explorado hasta ahora:
- Intenté ejecutar el modelo incluyendo todas las interacciones bidireccionales posibles y los términos cuadráticos. Luego excluí algunos términos según sus valores p, tal como se indica en la tabla resumen de efectos. Eliminé los términos con un valor p > 0,05 (excepto la temperatura, ya que presenta otras interacciones importantes con otros factores).
- En el modelo donde eliminé las interacciones "insignificantes", obtuve un RMSE normalizado del 5,66 %, que considero aceptable para los procesos metalúrgicos que estoy investigando actualmente. Sin embargo, me gustaría saber si tenemos un criterio diferente para evaluar un buen o mal RMSE.
- Todavía no he explorado el criterio de información (AICc/BIC) que mencionaste. ¿Puedo obtenerlo mediante el modelado con el método Stepwise Personality?
- Sí, mis réplicas se realizaron y midieron de forma independiente. ¿Es posible que el modelo ya esté siendo demasiado quisquilloso debido a la pequeña varianza?
Para ayudarnos aún más en esta discusión, aquí están los gráficos relevantes que mencionaste:
- Real frente a previsto: Personalmente no veo un patrón (S, etc.), pero parece que la mayoría de los puntos se concentran en la región superior derecha.
- Residuo por predicción: No estoy seguro de si hay un patrón en el gráfico, pero no creo que esté distribuido aleatoriamente.
- Residuos estudentizados: Según mi comprensión actual, dado que todos los puntos se encuentran dentro de los límites verdes y rojos, no hay valores atípicos en mis datos que deba eliminar.
Mi problema ahora es que no sé qué hacer a partir de aquí, ya que tengo conocimientos muy limitados sobre estas herramientas.
Como nuevo miembro de la comunidad y usuario de JMP, su respuesta me ha sido de gran ayuda. Espero con interés nuestra conversación. ¡Gracias!
Re: ¿Por qué mi valor p de falta de ajuste es muy pequeño?Vale, esto es útil.
Al observar la gráfica de valores reales frente a valores predichos, parece que algunos valores bajos podrían estar sobreestimados y algunos valores altos subestimados. También me intrigan algunas "líneas de puntos" en estas gráficas: ¿son réplicas o puntos diferentes donde falta un término en el modelo para diferenciarlos?
El criterio de información es una métrica adicional disponible en el informe de Ajuste por mínimos cuadrados, en el panel Resumen de ajuste .
Sí, en casos donde la varianza de puntos replicados es muy pequeña, puede obtener una prueba de falta de ajuste estadísticamente significativa, con un modelo apropiado (de ahí mi pregunta sobre réplicas "verdaderas", para asegurarse de que las ha hecho correctamente y no subestima la variación experimental natural). También puede obtener una prueba de falta de ajuste estadísticamente significativa más fácilmente con un alto número de puntos centrales: https://statease.com/blog/importance-center-points-central-composite-designs/#:~:text=El%206%20diseño%20de%20punto%20central,haciendo%20que%20la%20prueba%20casi%20sin%20significa .
Por favor, revise el panel de transformación Box-Cox, accesible en las opciones de Perfilado de factores, para asegurarse de que no necesita una pequeña transformación para ajustar mejor sus datos. Las respuestas en porcentaje generalmente requieren una transformación LogitPct o LogisticPct para garantizar que los valores predichos se mantengan dentro del rango de 0 a 100. Estas transformaciones deberían ayudar a reducir los patrones en forma de S en los residuos y en los gráficos de comparación entre valores reales y predichos.
Espero que este seguimiento te ayude.
Re: ¿Por qué mi valor p de falta de ajuste es muy pequeño?Hola @Victor_G !
Intenté seguir tus recomendaciones y creo que el modelo ha mejorado un poco. Sin embargo, todavía no estoy seguro de si este es el modelo que mejor se ajusta a mis datos.
Esa "línea de puntos" a la que te refieres son réplicas exactas.
Realicé los métodos LogitPct y LogisticPct, y parece que LogitPct funciona mejor con mi conjunto de datos. Obtuve un perfil de predicción más realista y un valor de AICc menor en comparación con LogisticPct. Esto también limitó la respuesta máxima de Y al 100%, que había experimentado anteriormente. Sin embargo, mi valor p de falta de ajuste sigue siendo muy pequeño, aunque el RMSE mejoró. ¿Es posible que aún obtenga un valor p de falta de ajuste bajo debido a mis puntos centrales? Diseñé mis experimentos siguiendo el diseño compuesto central-RSM.
También estoy pensando en aplicar un modelo de orden superior. ¿Existe alguna forma en que JMP pueda sugerir las posibles interacciones de orden superior? ¿O se realiza manualmente en la ventana de Ajuste del modelo?
¡Muchas gracias por sus valiosas aportaciones!
Re: ¿Por qué mi valor p de falta de ajuste es muy pequeño?Hola @Químico9 ,
Vale, el modelo tiene mucho mejor aspecto en las capturas de pantalla que envías.
¿Cuántos puntos centrales tiene su RSM? Si consulta el enlace anterior de StatEase , verá que lo habitual es que haya entre 3 y 5 puntos centrales. Si tiene un número mayor, es posible que haya aumentado drásticamente la sensibilidad de la prueba de falta de ajuste y que el pequeño valor p obtenido sea un falso positivo. Puede intentar ocultar y excluir algunos puntos centrales para comprobar si el diagnóstico de la prueba sigue siendo el mismo.
También puedes intentar añadir otros términos a tu modelo manualmente en la ventana Ajustar modelo. ¿Qué tipo de diseño RSM compuesto central has elegido? ¿Centrado en la cara? Si es así, significa que tienes tres niveles diferentes por factor, por lo que el orden de tu modelo se limitará a 2. Aún puedes intentar añadir términos cúbicos parciales al modelo, que son interacciones entre efectos principales y efectos cuadráticos. Estos términos suelen ser poco frecuentes, pero si alguno de ellos está activo, podría mejorar significativamente tu modelo.
Finalmente, piensa en cómo validar tu modelo:
- ¿Cuál es el propósito de este modelo? ¿Optimización, predicción, generación de conocimiento, etc.? ¿Cuáles son sus criterios de éxito?
- ¿El comportamiento del modelo coincide con sus conocimientos del dominio y sus expectativas?
- ¿La precisión de las predicciones es prácticamente aceptable?
- ¿Planeas validar tu modelo en todo el espacio experimental (probando nuevos experimentos en ubicaciones no probadas del espacio experimental)? ¿O solo te interesa el óptimo encontrado por el modelo?
Estas preguntas, que no son exhaustivas, pueden ayudarte a definir cuándo dejar de mejorar tu modelo y empezar a usarlo.
Espero que esta respuesta te ayude.
Re: ¿Por qué mi valor p de falta de ajuste es muy pequeño?Coincido con Victor en que quizás tu modelo cuadrático no explique la variación total de la respuesta; tu modelo podría ser más complejo, por lo que resulta interesante analizar el efecto de términos de orden superior. ¿Supongo que tu RSM se generó con un CCD? Ampliar tu DOE para obtener un modelo de tercer orden podría ser interesante para comprobar su efecto en el valor p de la prueba de falta de ajuste.
Re: ¿Por qué mi valor p de falta de ajuste es muy pequeño?Hola @Químico9 : ¿La "línea de puntos" está anidada dentro de algo que no está incluido en el modelo? Es decir, ¿cada "línea de puntos" proviene de una "ejecución" o algún otro factor de bloqueo o unidad experimental similar?
