¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?Hola a todos,
Agradecería cualquier consejo.Estoy ayudando a un científico de mi empresa a diseñar un experimento de mezcla con 5 ingredientes.Deseamos medir los efectos principales y las interacciones de primer orden.
Le pedí al científico que proporcionara valores mínimos y máximos para las concentraciones de los ingredientes, la desviación estándar de precisión de la prueba y que estimara el tamaño del efecto del ingrediente dominante.Confío en Power para decidir cuántas ejecuciones se necesitan.El tamaño del efecto del ingrediente dominante es de aproximadamente 20 desviaciones estándar.Encuentro que para 30 ejecuciones, la potencia de este ingrediente es solo 0,168.Para 60 carreras, es 0,33.
Un tamaño del efecto de 20 desviaciones estándar es obviamente muy grande, por lo que no entiendo por qué la potencia es tan baja en este caso.
Investigué más a fondo simulando resultados para 5 instancias de la variable de respuesta con el coeficiente y la desviación estándar apropiados, y el ingrediente con el tamaño del efecto grande es estadísticamente significativo (p < 0,001) en los 5 casos.
¿Qué puedo hacer?No estoy seguro de confiar en el cálculo de potencia para este caso.¿Me encuentro con una limitación en el cálculo de potencia?¿Cómo puedo proporcionar orientación sobre la cantidad de ejecuciones necesarias?
Los objetivos del científico para el diseño son perfectamente razonables y me siento frustrado por no poder darle la orientación que necesita.
¡Muchas gracias!Adjunté una captura de pantalla de la potencia, el diseño .jmp y la salida de texto de los modelos con las respuestas simuladas, si desea echar un vistazo.
Ingeniería de Calidad y ProcesosRe: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?Al dimensionar los diseños de mezclas, es posible que desee seguir las recomendaciones de Brad y considerarlos de la misma manera que lo haría con un diseño de superficie de respuesta para optimizar sus respuestas. En cuyo caso, considere utilizar el fracción de espacio de diseño (FDS) para comprobar que su experimento tiene el tamaño suficiente para permitirle predecir su(s) respuesta(s) media(s) con precisión, como lo haría para un diseño RSM.
Las interacciones entre los componentes o ingredientes de las formulaciones en sus modelos de mezcla son, de hecho, mezclas: dos componentes, una mezcla de dos partes de los ingredientes, tres componentes, una mezcla de tres partes, etc. Estas interacciones o combinaciones entre sus componentes causan curvatura en la respuesta, razón por la cual no se ven términos cuadráticos puros en un Scheffé modelo. Cuando se incluye la combinación, a menudo se intenta construir un modelo para buscar la formulación óptima de la misma manera que se podría buscar un óptimo resultante de un experimento de superficie de respuesta que involucre factores de proceso. Por lo tanto, utilice el gráfico FDS para evaluar la capacidad del diseño de su mezcla como lo haría si configurara una superficie de respuesta. Por todas las buenas razones que toda la buena gente ha mencionado en este hilo (por ejemplo, multicolinealidad y VIF elevados), el cálculo de potencia no sólo es inapropiado para objetivos de superficie de respuesta sino también para diseños de mezclas.
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?Debería pensar en un experimento de mezcla como un experimento de superficie de respuesta en lugar de un experimento de detección. Debido a las correlaciones inherentes entre los efectos principales y los efectos principales con interacciones de dos factores debido a la restricción de la mezcla, las estimaciones de los coeficientes prácticamente no tienen sentido. Por lo tanto, es muy difícil seleccionar modelos con experimentos de mezclas. Una posibilidad es considerar eliminar todas las interacciones de dos factores como grupo. Si la suma de cuadrados de la regresión no disminuye significativamente, entonces puede eliminar todos estos efectos. En general, eliminar efectos individuales tiene una utilidad cuestionable.
Sin embargo, las varianzas de predicción para nuevas respuestas dentro de la región de experimentación suelen ser bastante bajas, especialmente cuando la varianza del error no es grande. Por lo tanto, puede confiar en las predicciones y elegir una nueva configuración operativa que coincida con la respuesta deseada.
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?¡Realmente excelentes consejos tanto de Mark como de Dan! El punto clave sobre los diseños de mezclas (o cualquier estrategia de diseño de optimización) es que, en teoría, ya ha descartado variables sin importancia (tal vez a través de múltiples iteraciones, comenzando con configuraciones de nivel en negrita) y ahora está intentando optimizar una (o probablemente más) respuesta. variables. La significancia estadística (y las estadísticas relacionadas) ya no son tan importantes. Normalmente, los coeficientes se comparan entre sí para determinar la importancia relativa; sin embargo, en experimentos de mezclas, el orden de los términos afecta la importancia relativa.También X 1 X 2 no se interpreta como una interacción, sino como una relación de combinación no lineal (lo considero una desviación de lo lineal).
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?La codificación de pseudocomponentes hará que los rangos sean lo más grandes posible, pero es posible que aún no sean muy grandes. Solo puedes hacer mucho para rangos estrechos. Es muy posible que el modelado no sea capaz de distinguir entre un modelo lineal puro (para dos componentes: Y=B1*X1 + B2*X2) y un modelo cuadrático puro (Y=B11*X1*X2). No se puede determinar qué efectos en el modelo son reales porque están interrelacionados y parecen extremadamente similares, especialmente en el rango elegido. Por tanto, baja potencia.
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?¡Gracias por toda la atención a mi pregunta!
JMP codifica las variables como pseudocomponentes restando el mínimo. Pensé que eso resolvería los problemas relacionados con el rango restringido.Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?Algunos puntos más para agregar a todos los excelentes consejos de Mark. La baja potencia en una formulación suele deberse a un rango de factor estrecho, lo cual es cierto en este caso. Además, es difícil pensar en el concepto de potencia en un experimento de mezcla. La potencia es la probabilidad de detectar un efecto real. Si X3 tiene un efecto, ¿no tiene sentido que los otros factores (al menos en combinación) tengan un efecto ya que deben cambiar en relación con X3? La gente suele pensar en el poder como si los factores fueran independientes cuando no lo son.
Finalmente, recuerde que los términos bidireccionales son términos cuadráticos en el modelo de mezcla de Scheffe y describen la curvatura a lo largo del borde de su ventana de experimentación. A lo largo de ese borde, en un caso sin restricciones, es posible que tengas una forma similar a esta:
De hecho, este es un efecto grande. Sin embargo, debido a que está restringiendo el rango a (aproximadamente) 0 a 0,1, en realidad está estimando esta forma:
que no se ve mucho mejor, incluso cuando se hace zoom:
Lo que parece un efecto grande, puede no ser tan grande como se cree debido a la interacción con otros factores y al rango restringido. Dicho de otra manera, al modelo le resultaría difícil distinguir entre un modelo lineal puro y un modelo cuadrático puro: son indistinguibles en este rango estrecho. La replicación por sí sola no solucionará adecuadamente este tipo de problema.
Entonces, el poder es algo bueno, pero en muchos experimentos de mezclas la atención se centra más en predecir la respuesta. Como dijo Mark, se pueden obtener muy buenos modelos predictivos incluso con poca potencia.
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?Generalmente, pero no siempre, realizamos experimentos de mezclas para optimizar una formulación de algún tipo en comparación con los componentes de la pantalla. No estamos tan interesados en el poder. En cambio, nos interesa el rendimiento de predicción del modelo que es posible con un diseño candidato. Aun así, este rendimiento no será tan bueno como estamos acostumbrados con factores independientes o sin restricciones.
No hay nada nuevo en tu caso. Simplemente no eras consciente del problema ni de su origen antes. Hemos utilizado con éxito estos diseños durante décadas a pesar de la correlación para encontrar las mejores mezclas.
Recomiendo " Estrategias para el desarrollo de formulaciones: una guía paso a paso utilizando JMP " de Ronald Snee y Roger Hoerl como referencia, en caso de que necesite una. Esta recomendación no es un respaldo ya que existen otros excelentes libros de texto sobre experimentos de mezclas, pero este es riguroso y práctico.
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?Muchas gracias a Mark por la respuesta detallada. Es un alivio tener alguna orientación.
Utilicé un coeficiente de "200" para el Ingrediente3 tanto para el cálculo de potencia como para las simulaciones (y un RMSE de 1). Debido a que Ingredient3 varía de aproximadamente 0 a aproximadamente 0,1 en el diseño, consideré que esto produce un tamaño del efecto de aproximadamente 20 desviaciones estándar (200 * 0,1).
Desde mi punto de vista ingenuo, configuré el cálculo de potencia y las simulaciones de manera consistente. Cuando ajusto los datos simulados, el RMSE de los modelos es aproximadamente 1 y el rango de respuesta es aproximadamente de 0 a 20, por lo que todavía parece moverse. ¿Hay algún error en este pensamiento?
Volviendo a la raíz del problema... Se le muestra que hay mucha correlación entre las variables y esto infla la varianza en las estimaciones. ¿Significa esto que este diseño de mezcla con 5 ingredientes, efectos principales e interacciones de primer orden es imposible de estimar incluso con 60 ejecuciones?
Tengo un plan alternativo para utilizar sólo un modelo con efectos principales para estimar la potencia y, una vez recopilados los datos, considerar cualquier estimación de interacciones como una "bonificación". ¿Qué piensas sobre esto? ¿Es demasiado derrotista?
Muchas gracias. Aprecio mucho la idea.Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?Aquí está el mapa de colores de las correlaciones que resultan del uso del diseño con 30 ejecuciones.
Esta correlación infla la varianza de las estimaciones como se muestra en el esquema de Eficiencia de estimación:
Sus simulaciones utilizan un efecto relativo de 400 desviaciones estándar, no 20. Utilicé un coeficiente de 10 para corresponder a un efecto de tamaño 20. JMP Pro proporciona una función incorporada para simular datos muy fácilmente y producir resultados rápidamente para cada remuestreo, como la columna Estimaciones del esquema Estimaciones de parámetros en Ajustar mínimos cuadrados. Aquí está el resultado de la estimación del ingrediente 5 a partir de 2500 simulaciones.
Te adjunto la tabla de la simulación para que puedas explorarla por tu cuenta.
Otro aspecto de los diseños y modelados de mezclas a tener en cuenta es que JMP prueba la hipótesis nula de que el parámetro es 0. Esa prueba tiene sentido en el contexto habitual del modelo lineal sin restricciones entre los predictores. No es simplemente un modelo sin término de intersección. La intercepción es parte de las estimaciones de los efectos lineales. Por lo tanto, la prueba de parámetros lineales debe realizarse contra la hipótesis nula de que el parámetro es la respuesta media.
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?¡Gracias por la respuesta! Entiendo cómo la multicolinealidad puede reducir la potencia de diseño, pero ¿no debería esto afectar también el coeficiente de regresión en los modelos de mis datos simulados? ¿Por qué la multicolinealidad fue tan perjudicial para el poder, pero no para los coeficientes de regresión?
Re: ¿Por qué la potencia del diseño de mi mezcla es tan baja, incluso con un tamaño del efecto de 20 desviaciones estándar?La restricción de que los componentes de la mezcla sumen 1 introduce correlaciones entre las estimaciones de los parámetros. Esta correlación infla los errores estándar de las estimaciones de los parámetros, lo que a su vez reduce el poder. Si usted...
- use una suma <1,
- restringir el rango del componente con un límite inferior > 0 o un límite superior < 1,
- incluir restricciones lineales a los componentes,
- incluir términos de orden superior en el modelo,
la correlación es mayor y los efectos son más pronunciados.
Examine el mapa de colores sobre correlaciones en el esquema de evaluación del diseño.
