Re: ¿Predicción e intervalo de confianza para DOE con bloque aleatorio?Hola @JMPLearner_2022 ,
Mirando su archivo, aquí hay algunos comentarios que pueden ayudarlo:
- Mirando su modelo, he reconstruido el modelo paso a paso (con la misma personalidad, énfasis y método) para ver si encontraría los mismos resultados que para el modelo que ha guardado. Tengo un modelo ligeramente diferente, menos "parcioso" ya que tengo tres términos más en mi modelo: X1*X6, X2*X3 y X2*X4. Al comparar los dos modelos, veo que tener tres términos más en el modelo permite tener un R² más alto (0,95 vs 0,86), un R² ajustado más alto (0,90 vs 0,79), un RMSE más bajo (1 ,51 vs 2,13) y un valor p más bajo para el modelo (<0,0001 vs 0,0003), incluso si mi último término X2*X4 tiene un valor p superior a 0,05. Este nivel de importancia le ayuda a distinguir los factores significativos de los no significativos, pero no debe ser su única guía en la fase de modelado/análisis. También debe observar qué tan bien explica su modelo la respuesta (con métricas como R², R² ajustado, ...) y qué tan precisa es (con métricas como RMSE). Puede ser mejor dejar de eliminar términos incluso si uno está por encima del umbral 0,05 si ha encontrado un modelo más confiable. También puede echar un vistazo a los residuos: también puede mostrar curvaturas o patrones que pueden ayudarlo a determinar si aún puede faltar un efecto. Además, si es posible, evalúe el modelo final y compárelo con la experiencia en el dominio: ¿tiene sentido el modelo? ¿Esperaría que algunos efectos/términos fueran insignificantes o importantes? Consulte el script "Fit Model 2" en la tabla de datos de JMP para obtener más detalles sobre el modelo que encontré.
- En su plataforma "Fit model", dado que ha especificado e introducido un bloque aleatorio, puede ser interesante saber si este bloque aleatorio es un término significativo, es el modelo o no, o dicho de otra manera en su caso: ¿hay un efecto de bloque? en mis resultados debido al límite de mi equipo que debo cuidar/usar en el modelado? Mirando el panel "Estimaciones de componentes de varianza de REML", puede ver que el valor p de Wald está por encima del umbral de 0,05, lo que significa que el efecto de bloque no es significativamente diferente de cero. Eso le da una indicación de que este efecto de bloqueo puede eliminarse en futuros experimentos o en el análisis. Más información aquí: Método de máxima verosimilitud restringida (REML) (jmp.com)
- En mi caso, al hacer clic en el triángulo rojo de "Respuesta Y" y luego en "Perfilado de factores" y "Perfilador", no aparece el bloque aleatorio. Lo tienes en el perfilador de tu modelo ( Perfiladores condicionales (jmp.com) ), porque la opción "Predicciones Condicionales" está marcada en el triángulo rojo de tu perfilador. Si lo desmarca, ya no verá este efecto de bloque aleatorio y los valores del intervalo de confianza del 95 % también cambiarán para reflejar este cambio.
- Una vez hecho esto, puede guardar la "Fórmula de predicción" y el "Intervalo de confianza medio" a través del triángulo rojo, "Guardar columnas" y elegir la fórmula adecuada. No debería ver con los pasos anteriores el bloque aleatorio en la fórmula.
Espero que esto te ayudará,
Re: ¿Predicción e intervalo de confianza para DOE con bloque aleatorio?Hola @Victor_G , muchas gracias por tu rápida respuesta. Tu explicación es de mucha ayuda. Todavía tengo una pregunta, como mencionaste, el efecto aleatorio no es significativo. Eliminé el bloque en el modelo y eliminé el término cuyo valor p> 0.05, y obtuve un modelo totalmente diferente (Fit model 3 in the JMP file), cuyo R2 adj es bastante bajo. ¿Podría explicar en qué situación tenemos que incluir el efecto aleatorio en el modelo o no? Muchas gracias de nuevo.
Re: ¿Predicción e intervalo de confianza para DOE con bloque aleatorio?Hola @JMPLearner_2022 ,
Es posible que haya respondido demasiado rápido sobre el efecto de bloqueo aleatorio y la sugerencia de eliminarlo, lo siento.
Una pregunta general antes de mis comentarios/respuestas: ¿conoce el verdadero modelo detrás de Y (ya que estaba hablando de resultados simulados) para comparar los diferentes modelos con el modelo de simulación "verdadero"?
El efecto de bloqueo aleatorio le ayuda a reducir el ruido en el análisis mediante la creación de bloques donde la variabilidad dentro de un bloque será pequeña. Este proceso le ayuda a determinar y clasificar más fácilmente los efectos significativos.
- A nivel "conceptual", ya que ha diseñado su DoE con él, parece más relevante mantener este efecto de bloque aleatorio.
Incluso si no es significativo, su efecto de bloque aleatorio parece ser bastante efectivo para eliminar el ruido de los experimentos, ya que captura del 70 (en su primer modelo) al 83 % (en el segundo modelo) de la varianza total a través de este efecto de bloque. Entonces, incluso si no es significativo, ciertamente obtiene más precisión en su modelo al mantenerlo (esto también se puede ver comparando los RMSE de sus modelos 1, 2 y 3).
- En un nivel de "análisis", mantener su efecto de bloque aleatorio lo ayuda a reducir la varianza en su modelo (y predicciones).
¿Cuáles son las consecuencias de eliminar el efecto de bloqueo aleatorio?
- El error inexplicable en el modelo será mayor (como puedes ver mirando el RMSE de tu modelo 3 en comparación con los modelos 2 y 1),
- Por lo tanto, la prueba del efecto del tratamiento puede ser menos poderosa, por lo que es posible que pierda/elimine algunos efectos significativos debido al mayor "ruido"/error (es por eso que puede terminar con un modelo más parco en el modelo 3).
- Los valores estimados de los parámetros y las desviaciones estándar pueden cambiar (esto también se ve al agregar o eliminar un efecto en el modelado).
En este caso presente, a menos que tenga el verdadero modelo simulado para Y para saber qué modelo funciona mejor, es difícil elegir un modelo a favor de otro, ya que están muy cerca uno del otro (observando qué efectos están en el modelo). y sus estimaciones de parámetros). También puede comparar los diferentes generadores de perfiles de predicción (consulte el script "Comparación de modelos - Perfilador" en la tabla de datos), parecen estar de acuerdo con la importancia de los factores y qué nivel para cada factor parece ser el óptimo. Hay algunas diferencias en las curvaturas de algunos factores (por ejemplo, X1 tiene alguna curvatura en el modelo 3, mientras que X3 tiene alguna curvatura en el modelo 1 y 2 con bloques aleatorios).
Todavía preferiría el modelo 2, ya que tiene en cuenta el bloqueo aleatorio y parece tener mejores "rendimientos", pero puede que esta no sea la elección definitiva.
Al final, recordemos de Georges Box que: "Todos los modelos están equivocados pero algunos son útiles". La elección del modelo también debe hacerse teniendo en cuenta su "utilidad" y de acuerdo con la experiencia en el campo.
En caso de duda, aún puede agregar algunas ejecuciones de validación que pueden ayudarlo a ver/comparar qué modelo(s) generaliza mejor que el otro(s).
Perdón por esta respuesta "no determinista", pero espero que esto te ayude,
Feliz año nuevo !
Re: ¿Predicción e intervalo de confianza para DOE con bloque aleatorio?Hola @Victor_G , Aprecié mucho su explicación, entiendo mucho mejor el efecto aleatorio en el análisis de datos del DoE. Como mencionó, podemos mantener mejor el modelo para que se ajuste a los datos existentes con un alto R2 adj y menos RMSE.Todavía tengo una pregunta sobre el efecto aleatorio sobre la predicción. Noté que la fórmula de predicción es condicional, lo que significa que tiene diferentes compensaciones para diferentes bloques, pero es cero para la ejecución futura. ¿Es verdad? Traté de ajustar algún modelo cuyo efecto aleatorio es significativo, pero el desplazamiento de predicción todavía tiene un cero. ¿Podría por favor explicar mi pregunta? Muchas gracias por tu ayuda de nuevo.
Re: ¿Predicción e intervalo de confianza para DOE con bloque aleatorio?Hola @JMPLearner_2022 ,
Tiene la opción en el Perfilador de elegir entre "Predicciones condicionales" o predicciones no condicionales (en el triángulo rojo del Perfilador, verifique si la opción "Predicciones condicionales" está marcada, justo antes de la última opción del menú "Apariencia" ).
Como menciona, "Predicciones condicionales" le permite elegir el nivel del bloque aleatorio (por lo que terminará con intervalos de confianza más pequeños, ya que el efecto de bloque aleatorio ya no es aleatorio sino más bien un efecto fijo que puede elegir), mientras que cuando la opción condicional está desmarcada, el efecto de bloque aleatorio se tiene en cuenta para la varianza de las predicciones (no puede elegir el nivel del bloque aleatorio y termina con intervalos de confianza más grandes).
- En el caso de las "Predicciones condicionales", las nuevas ejecuciones futuras se atribuirán a un nuevo bloque, pero dado que aún se desconoce el efecto de este nuevo bloque, tiene un valor de compensación de 0 por defecto (no es posible saberlo de antemano). si las nuevas ejecuciones en este bloque serán en promedio más altas o más bajas que las ejecuciones anteriores de otro bloque, por lo que no tiene compensación).
- En su caso, puede desmarcar "Predicciones condicionales" y mirar la fórmula de predicción en el triángulo rojo junto a "Respuesta Y", "Estimaciones", "Mostrar fórmula de predicción". Puede tener una fórmula similar a esta (y puede verificar que los niveles de bloques aleatorios no están presentes en esta fórmula):
2.41318058401651 + 1.08446092046299 * :X1 + 0.672993409088489 * :X2 + 1.00977007848638 * :X3
+1.41114309105797 * :X4 + Match( :X6,
"L1", 1.46585081504277,
"L2", -1.30266943360671,
"L3", -0.163181381436053,
.
) + :X1 * (:X2 * 1.58560226366689) + :X2 * (:X3 * 1.30368310940107) + :X3 * (:X3 *
3.86103114153648) + :X2 * (:X4 * 0.591689620884462) + :X1 *
Match( :X6, "L1", 1.6824493957067, "L2", -0.835857163875241, "L3", -0.846592231831457, . ) +
:X2 * Match( :X6, "L1", 2.20524178427256, "L2", -2.78718463269197, "L3", 0.58194284841941, . )
+ :X4 * Match( :X6,
"L1", 3.57200821808011,
"L2", -3.45349090461962,
"L3", -0.118517313460483,
.
)
Puede guardar fórmulas para la respuesta y para el IC del 95 % inferior/superior. Esto le dará predicciones teniendo en cuenta el efecto de bloque aleatorio y puede ser más relevante en su caso.
Espero que esta respuesta te ayude,
¿Predicción e intervalo de confianza para DOE con bloque aleatorio?Tengo un diseño personalizado en el archivo adjunto que tiene 5 factores continuos, un factor categórico con tres niveles, este diseño tiene 36 experimentos en 6 bloques debido al límite del equipo. Los resultados de este archivo son simulados en lugar de resultados reales. Usé el modelo predeterminado y luego eliminé los términos cuyo PValue> 0.05 uno por uno en el resumen del efecto, y finalmente obtuve un modelo. Sin embargo, en el generador de perfiles de predicción hay un bloque aleatorio [1-6], tengo que elegir uno de ellos, lo que no tiene sentido porque el nuevo experimento será un bloque diferente. ¿Cómo puedo elegir un bloque diferente en lugar de 1-6? Agregué una nueva fila en el archivo JMP, que puede predecir un nuevo valor, pero sin un intervalo seguro. ¿Cómo puedo obtener el intervalo de confianza? Sabía que podemos calcular el CI según la fórmula a continuación. Para el DoE con efecto aleatorio, ¿cuál es la fórmula para el cálculo del intervalo de confianza? ¿Debo agregar el valor promedio del efecto aleatorio encima de CI?
Muchas gracias por tu ayuda.
Diseño de experimentosventanas
