¿Por qué el poder de mi diseño de mezcla es tan bajo, incluso con un tamaño de efecto de 20 desviaciones estándar?Hola a todos,
Agradecería cualquier consejo.Estoy ayudando a un científico de mi empresa a diseñar un experimento de mezcla con 5 ingredientes.Deseamos medir los efectos principales y las interacciones de primer orden.
Le pedí al científico que proporcionara los mínimos y máximos para las concentraciones de los ingredientes, la desviación estándar de precisión de la prueba y que estimara el tamaño del efecto del ingrediente dominante.Confío en Power para decidir cuántas carreras se necesitan.El tamaño del efecto del ingrediente dominante es de aproximadamente 20 desviaciones estándar.Encuentro que para 30 ejecuciones, el poder de este ingrediente es solo 0.168.Para 60 carreras, es 0,33.
Un tamaño de efecto de 20 desviaciones estándar es obviamente muy grande, por lo que no entiendo por qué la potencia es tan baja en este caso.
Investigué más a fondo mediante la simulación de resultados para 5 instancias de la variable de respuesta con el coeficiente y la desviación estándar apropiados, y el ingrediente con el tamaño del efecto grande es estadísticamente significativo (p < 0,001) en los 5 casos.
¿Que puedo hacer?No estoy seguro de confiar en el cálculo de potencia para este caso.¿Estoy chocando con una limitación del cálculo de potencia?¿Cómo puedo proporcionar orientación sobre el número de ejecuciones necesarias?
Los objetivos del científico para el diseño son perfectamente razonables y me siento frustrado porque no puedo darle la orientación que necesita.
¡Muchas gracias!Adjunté una captura de pantalla de la potencia, el diseño .jmp y la salida de texto de los modelos con las respuestas simuladas, si está dispuesto a echar un vistazo.
GAMARe: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?Al dimensionar los diseños de mezcla, es posible que desee hacer lo que Brad recomienda y considerarlos de la misma manera que lo haría con un diseño de superficie de respuesta para optimizar sus respuestas. En cuyo caso, considere usar el fracción del espacio de diseño (FDS) para verificar que su experimento tenga el tamaño suficiente para permitirle predecir su(s) respuesta(s) media(s) con precisión, como lo haría para un diseño RSM.
Las interacciones entre los componentes o ingredientes de las formulaciones en sus modelos de mezcla son, de hecho, mezclas: dos componentes, una mezcla de dos partes de los ingredientes, tres componentes, una mezcla de tres partes, etc. Estas interacciones o mezclas entre sus componentes provocan una curvatura en la respuesta, por lo que no ve términos cuadráticos puros en un Scheffé modelo. Cuando incluye la combinación, a menudo intenta construir un modelo para buscar la formulación óptima de la misma manera que podría buscar un resultado óptimo de un experimento de superficie de respuesta que involucre factores de proceso. Por lo tanto, use la gráfica FDS para evaluar la capacidad de su diseño de mezcla como lo haría si configurara una superficie de respuesta. Por todas las buenas razones que toda la buena gente ha mencionado en este hilo (p. ej., multicolinealidad y VIF elevados), el cálculo de potencia no solo es inapropiado para objetivos de superficie de respuesta, sino también para diseños de mezcla.
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?Debe pensar en un experimento de mezcla como un experimento de superficie de respuesta en lugar de un experimento de detección. Debido a las correlaciones integradas entre los efectos principales y los efectos principales con las interacciones de dos factores debido a la restricción de mezcla, las estimaciones de los coeficientes prácticamente no tienen sentido. Por lo tanto, es muy difícil hacer una selección de modelos con experimentos mixtos. Una posibilidad es considerar la eliminación de todas las interacciones de dos factores como grupo. Si la suma de los cuadrados de la regresión no cae significativamente, puede eliminar todos estos efectos. En general, la eliminación de efectos individuales tiene una utilidad cuestionable.
Sin embargo, las varianzas de predicción para nuevas respuestas dentro de la región de experimentación suelen ser bastante bajas, especialmente cuando la varianza del error no es grande. Por lo tanto, puede confiar en las predicciones y elegir una nueva configuración operativa basada en la respuesta deseada.
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?¡Muy buenos consejos de Mark y Dan! El punto clave sobre los diseños de mezcla (o cualquier estrategia de diseño de optimización) es, en teoría, que ya ha descartado variables sin importancia (quizás a través de múltiples iteraciones, comenzando con configuraciones de nivel en negrita) y ahora está tratando de optimizar una (o probablemente más) respuesta variables La significación estadística (y las estadísticas relacionadas) ya no son tan importantes. Por lo general, los coeficientes se comparan entre sí para determinar la importancia relativa; sin embargo, en los experimentos de mezcla, el orden del término afecta la importancia relativa.También X 1 X 2 no se interpreta como una interacción, sino como una relación de combinación no lineal (lo considero una desviación de lo lineal).
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?La codificación de pseudocomponentes hará que los rangos sean lo más grandes posible, pero aún así puede que no sea muy grande. Solo puede hacer mucho para rangos estrechos. Es muy posible que el modelado no sea capaz de distinguir entre un modelo lineal puro (para dos componentes: Y=B1*X1 + B2*X2) y un modelo cuadrático puro (Y=B11*X1*X2). No puede determinar qué efectos en el modelo son reales porque están interrelacionados y se ven extremadamente similares, especialmente en el rango elegido. Por lo tanto, baja potencia.
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?Gracias por toda la atención a mi pregunta!
JMP codifica las variables como pseudocomponentes restando el mínimo. Pensé que eso resolvería los problemas relacionados con el rango restringido.Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?Algunos puntos más para agregar a todos los excelentes consejos de Mark. La baja potencia en una formulación generalmente es causada por un rango de factor estrecho, lo cual es cierto en este caso. Además, el concepto de poder en un experimento de mezcla es difícil de pensar. La potencia es la probabilidad de detectar un efecto real. Si X3 tiene un efecto, ¿no tiene sentido que los otros factores (al menos en combinación) tengan un efecto ya que deben cambiar en relación con X3? La gente a menudo piensa en el poder como si los factores fueran independientes cuando no lo son.
Finalmente, recuerde que los términos de dos vías son términos cuadráticos en el modelo de mezcla de Scheffe y describen la curvatura a lo largo del borde de su ventana de experimentación. A lo largo de ese borde, en un caso sin restricciones, puede tener una forma que se vea así:
Esto es de hecho un gran efecto. Sin embargo, debido a que está restringiendo el rango a (aproximadamente) 0 a 0.1, en realidad está estimando esta forma:
que no se ve mucho mejor, incluso cuando se acerca:
Lo que parece un gran efecto, puede no ser tan grande como cree debido a la interacción con otros factores y el rango restringido. Dicho de otra manera, el modelo tendría dificultades para distinguir entre un modelo lineal puro o un modelo cuadrático puro; son indistinguibles en este rango estrecho. La replicación por sí sola no solucionará adecuadamente este tipo de problema.
Por lo tanto, la potencia es algo bueno, pero en muchos experimentos de mezclas el enfoque se centra más en predecir la respuesta. Como dijo Mark, se pueden obtener muy buenos modelos predictivos incluso con poca potencia.
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?En general, pero no siempre, realizamos experimentos de mezcla para optimizar una formulación de algún tipo en lugar de componentes de pantalla. No nos interesa tanto el poder. En cambio, estamos interesados en el rendimiento de predicción del modelo que es posible con un diseño candidato. Aun así, este rendimiento no será tan bueno como estamos acostumbrados con factores independientes o sin restricciones.
No hay nada nuevo en tu caso. Simplemente no estaba al tanto del problema o su origen antes. Hemos utilizado con éxito tales diseños durante décadas a pesar de la correlación para encontrar las mejores mezclas.
Yo recomiendo " Estrategias para el desarrollo de formulaciones: una guía paso a paso utilizando JMP " por Ronald Snee y Roger Hoerl como referencia, en caso de que necesite uno. Esta recomendación no es un respaldo ya que existen otros libros de texto excelentes sobre experimentos de mezclas, pero este es riguroso y práctico.
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?Muchas gracias Mark por la respuesta detallada. Es un alivio tener alguna orientación.
Usé un coeficiente de "200" para Ingredient3 tanto para el cálculo de potencia como para las simulaciones (y un RMSE de 1). Debido a que Ingredient3 varía de aproximadamente 0 a aproximadamente 0,1 en el diseño, consideré que esto produce un tamaño del efecto de aproximadamente 20 desviaciones estándar (200 * 0,1).
Desde mi punto de vista ingenuo, configuré el cálculo de potencia y las simulaciones de manera consistente. Cuando ajusto los datos simulados, el RMSE de los modelos es de aproximadamente 1 y el rango de respuesta es de aproximadamente 0 a 20, por lo que todavía parece funcionar. ¿Hay un error en este pensamiento?
Volviendo a la raíz del problema... Se muestra que hay mucha correlación entre las variables y esto infla la variación en las estimaciones. ¿Significa esto que este diseño de mezcla con 5 ingredientes, efectos principales e interacciones de primer orden es imposible de estimar incluso con 60 corridas?
Tengo un plan de respaldo para usar solo un modelo con efectos principales para estimar el poder, y una vez que se recopilan los datos, considerar cualquier estimación de interacciones como una "bonificación". ¿Qué piensas sobre esto? ¿Es demasiado derrotista?
Muchas gracias. Aprecio mucho la idea.Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?Aquí está el mapa de colores sobre las correlaciones que resultan de usar el diseño con 30 corridas.
Esta correlación infla la varianza de las estimaciones como se muestra en el esquema de Eficiencia de estimación:
Sus simulaciones usan un efecto relativo de 400 desviaciones estándar, no 20. Usé un coeficiente de 10 para corresponder a un efecto de tamaño 20. JMP Pro proporciona una función integrada para simular datos de manera muy fácil y producir resultados rápidamente para cada nueva muestra, como la columna Estimaciones del esquema Estimaciones de parámetros en Ajustar mínimos cuadrados. Aquí está el resultado de la estimación del Ingrediente 5 de 2500 simulaciones.
Adjunté la tabla de la simulación para que puedas explorarla por tu cuenta.
Otro aspecto de los diseños y modelos de mezclas a tener en cuenta es que JMP contrasta la hipótesis nula de que el parámetro es 0. Esa prueba tiene sentido en el contexto habitual del modelo lineal sin restricciones entre los predictores. No es simplemente un modelo sin término de intersección. El intercepto es parte de las estimaciones de los efectos lineales. Por lo tanto, la prueba de parámetros lineales debe estar en contra de la hipótesis nula de que el parámetro es la respuesta media.
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?¡Gracias por la respuesta! Entiendo cómo la multicolinealidad puede reducir la potencia de diseño, pero ¿no debería afectar esto también al coeficiente de regresión en los modelos de mis datos simulados? ¿Por qué la multicolinealidad fue tan dañina para el Poder, pero no para los coeficientes de regresión?
Re: ¿Por qué la potencia de mi diseño de mezcla es tan baja, incluso con un tamaño de efecto de 20 desviaciones estándar?La restricción de que los componentes de la mezcla sumen 1 introduce correlaciones entre las estimaciones de los parámetros. Esta correlación infla los errores estándar de las estimaciones de los parámetros, lo que a su vez reduce la potencia. Si usted...
- usa una suma < 1,
- restringir el rango del componente con un límite inferior > 0 o un límite superior < 1,
- incluir restricciones lineales a los componentes,
- incluir términos de orden superior en el modelo,
la correlación es mayor y los efectos son más pronunciados.
Examine el mapa de colores en las correlaciones en el esquema de evaluación de diseño.
