¿Cuál es el mejor diseño DOE personalizado?Estoy diseñando un DOE personalizado con 8 factores (5 son continuos, 3 son categóricos - 2 niveles). Me gustaría incluir todas las interacciones de segundo orden junto con 4 puntos centrales. Estoy intentando decidir entre dos opciones para el diseño del DOE:
1.) Incluyendo las interacciones de segundo orden en el modelo (48 ejecuciones en total)
Al utilizar este método, JMP sugiere un valor predeterminado de 48 ejecuciones. El mapa de colores de las correlaciones se ve muy bien, con mis términos de primer y segundo orden en 1 y todo lo demás cerca de 0. Sin embargo, las eficiencias son bajas (D = 82,5, G = 44,1 y A = 72,5). Además, la varianza promedio de la predicción es 0,41. Los perfiles de varianza de predicción me dan una varianza máxima de 1,85, y mi gráfico de fracción del espacio de diseño oscila entre 0,3 y 1,75.
2.) Incluyendo las interacciones de segundo orden como términos de alias (48 ejecuciones en total)
Al utilizar este método, JMP sugiere un valor predeterminado de 20 ejecuciones, pero aumento manualmente el número a 48 para compararlo directamente con la opción 1. El mapa de colores de las correlaciones parece notablemente peor, con un número significativo de términos cercanos a 0,5. Sin embargo, todo lo demás sobre el diseño se ve mejor. Las eficiencias son mucho mayores (D = 95,3, G = 95,2 y A = 95,2). La varianza promedio de la predicción es 0,12. Los perfiles de varianza de predicción me dan una varianza máxima de 0,20, y mi gráfico de fracción del espacio de diseño oscila entre 0,08 y 0,20.
Ayúdenme a elegir entre las dos opciones y háganme saber cuál de estas métricas de evaluación de diseño es la más importante. ¡Gracias!
Re: ¿Cuál es el mejor diseño DOE personalizado?Gracias @statman , esto es muy revelador. Tendré todo esto en cuenta a medida que avancemos en el proyecto.
Re: ¿Cuál es el mejor diseño DOE personalizado?Gracias @Mark_Bailey , eso es muy útil. Parece ser un híbrido de las dos opciones que mencioné inicialmente.
Re: ¿Cuál es el mejor diseño DOE personalizado?Dado que clasificó en primer orden y luego el ruido como los 2 efectos más importantes, deberá incorporar una estrategia para aprender sobre el ruido:
1. Bloques incompletos (RIBD o BIB): sacrificar un grado de libertad de los factores de diseño para crear los bloques incompletos
2. RCBD: Sólo 2 serían suficientes
3. Repita los tratamientos para obtener una estimación de la variación dentro del tratamiento (debido al ruido a corto plazo, como el error de medición).
4. Parcelas divididas
En cuanto a la curvatura, piénselo de esta manera. ¿Crees que la desviación del efecto lineal será más significativa que la pendiente del efecto lineal? Según su otra entrada, podría esperar para comprender la curvatura hasta una iteración posterior o, como sugiere Box, estimar las iteraciones directas no lineales frente a algún diseño de tipo compuesto central.
Sacrificaría la resolución basada en su entrada para incorporar ruido. Podrías ejecutar 2^8-4 res IV en 2 bloques incompletos en 16 tratamientos.
Re: ¿Cuál es el mejor diseño DOE personalizado?Estoy interviniendo aquí para una sugerencia específica. Por favor continúe su discusión con @statman .
No realice un experimento inicial sólo para determinar si tiene curvatura en la respuesta. Esto será un desperdicio con su presupuesto fijo. Puedes abordarlo en un solo experimento.
Considere cuántos efectos de interacción es razonable esperar. Tienes 8 factores. ¿Esperas que 8 elijan 2 efectos? Probablemente no. Quizás esperes hasta 5 de ellos, pero no puedes estar seguro de cuáles a priori . Luego ingréselos todos en la sección Modelo, pero luego cambie su Estimabilidad a Si es posible . Luego agregue 3-4 ejecuciones por efecto esperado. entonces 5 veces 3-4 significa agregar 15-20 carreras para interacciones.
Re: ¿Cuál es el mejor diseño DOE personalizado?Gracias @statman , @Mark_Bailey , @P_Bartell , y @cwillden .Todos sus comentarios han sido extremadamente útiles y creo que entiendo mucho mejor esta herramienta de diseño personalizado y cómo proceder con el diseño. Yo diría que comprendemos muy bien lo que esperamos que suceda en base a años de experiencia en el campo, por lo que mientras analizamos algunos efectos, tenemos una buena idea de cómo los demás afectarán los resultados.
En respuesta a @cwillden , las eficiencias de la Opción 1 aumentan significativamente si solo se tienen en cuenta los efectos principales (D = 93,8, G = 77,8 y A = 92,3). Además, como dije en mi respuesta a @statman , al comparar las opciones 1 y 2 utilizando todos los efectos de primer y segundo orden, la opción 1 es muy superior.
Re: ¿Cuál es el mejor diseño DOE personalizado?Debe darse cuenta de que esas eficiencias se calculan en función de los términos del modelo requeridos, y las interacciones de dos factores en el Diseño 2 no se incluirían en esa evaluación.Obviamente, la variación de la predicción será mucho menor para el segundo diseño porque se utilizan 48 ejecuciones para básicamente modelar los efectos principales.En el primer diseño, se deben estimar los efectos principales y las interacciones de segundo orden.
No se obtienen comparaciones de manzanas con manzanas en términos de varianza de predicción promedio y eficiencia de los criterios de optimización.Puede hacerlo utilizando Comparar diseños y especificando el modelo que se utiliza para comparar ambos.Probablemente valga la pena mirar la comparación de diseño de ambos modelos (todos los efectos principales y luego todos los efectos principales + 2FI).Es posible que no pueda realizar la segunda si alguna interacción se confunde completamente en el Diseño 2.Como mínimo, es una buena idea comparar los diseños para el modelo de efectos principales porque si el Diseño 2 no ofrece ninguna ventaja importante sobre el Diseño 1 en ese escenario, entonces la elección es fácil.El Diseño 1 funciona mejor con muchas interacciones activas y funciona de manera comparable si no hay interacciones activas.
De hecho, no creo que esas eficiencias sean tan bajas para cada uno de esos diseños, ni es una métrica a la que suelo prestar atención.Estos son relativos a diseños hipotéticos con características que son inalcanzables con el tamaño de diseño dado.Por ejemplo, no se puede obtener un diseño completamente ortogonal para factores de 2 niveles, excepto cuando el tamaño de ejecución sea una potencia de 2, pero esa es la única manera de obtener una eficiencia D del 100%.Digamos que puedes obtener 100% de eficiencia D en 32 ejecuciones, pero elige 48.En 48, no tendrá una eficiencia del 100% porque no puede obtener un diseño completamente ortogonal, pero aún puede tener una potencia mucho mayor para todos los términos del modelo en comparación con las 32 ejecuciones.Si no me cuesta mucho hacer las 16 tiradas adicionales, obviamente voy a preferir ese diseño aunque no sea completamente ortogonal.Creo que las eficiencias son mucho más útiles al comparar dos diseños en una proporción que como una métrica independiente.De hecho, me interesarían mucho los índices de eficiencia del Diseño 1 frente al Diseño 2 para el modelo de efectos principales.
Re: ¿Cuál es el mejor diseño DOE personalizado?Hola @statman ,
Gracias por tu pronta respuesta. Intentaré responder a tus preguntas a continuación. Sin embargo, una nota rápida: me di cuenta de que estaba comparando incorrectamente las métricas de evaluación del diseño del DOE. Ahora entiendo que JMP proporcionará métricas de variación de evaluación de diseño basadas en los términos del modelo y no en los términos de alias. Agregar las interacciones de segundo orden a la evaluación de la opción 2 del DOE deteriora significativamente las métricas para que sean peores que las de la opción 1.
1.) Es posible que un par de nuestros factores continuos tengan curvatura, aunque no estoy seguro. Quizás este sería un buen ejercicio de selección antes del DOE.
2.) Buen punto. Tenemos un presupuesto para 30-40 ejecuciones, por lo que estoy intentando optimizar dentro de ese rango. Quizás las interacciones de segundo orden no sean tan críticas si nos van a costar datos ruidosos que podrían enturbiar los resultados de los efectos principales.
3.) Clasificación de cada uno de estos:
Posible efecto | Posible estrategia | Rango |
Ruido | RIBD o BIB | 2 |
Efectos principales (primer orden) | Res. III | 1 |
Interacciones de dos factores | Res. IV o superior | 3 |
Interacciones ruido por factor | RCBD | 5 |
curvatura simple | Puntos centrales | 6 |
Complejo no lineal (≥cúbico) | RSM | 10 |
≥3er orden lineal | Factorial completo | 9 |
Estabilidad y apalancamiento | Muestreo | 7 |
Incertidumbre de medicion | MSE anidado | 8 |
Media/variación | Se repite, Y | 4 |
4.) En este caso, los efectos de primer orden probablemente prevalecerán sobre todos los efectos de segundo orden.
5.) Intentaré predecir los resultados y veré cómo eso guiaría las iteraciones posteriores.
¡Gracias!
Re: ¿Cuál es el mejor diseño DOE personalizado?Además de las preguntas y temas planteados por @statman y @Mark_Bailey ¿Has articulado el objetivo del experimento? ¿Tiene conocimientos previos empíricos sólidos sobre la influencia de los factores seleccionados? De lo contrario, sugeriría que su objetivo esté en consonancia con la detección de efectos influyentes. Como tal, entonces el segundo diseño es probablemente un diseño más apropiado, aunque solo sea por otra razón, si los fenómenos de escasez de efectos y herencia se mantienen, entonces gastará menos recursos para obtener sus conocimientos. Entonces quizás puedas realizar experimentos adicionales con los nuevos conocimientos que has adquirido.
Si su objetivo no es la detección (es decir, la optimización o la predicción), probablemente sea más apropiado algún otro diseño. No estoy seguro de recomendar tu primer diseño. Dado que no sabemos lo suficiente sobre lo que usted sabe, no sabe y quiere aprender... y mucho menos sobre el problema práctico que nos ocupa.
Re: ¿Cuál es el mejor diseño DOE personalizado?Quiero añadir un par de cosas a los puntos importantes ya planteados por @statman .
En primer lugar, la principal diferencia entre los dos diseños es el objetivo que definiste para cada uno de ellos. El primer diseño debe proporcionar las mejores 48 observaciones para estimar todos los efectos principales y los efectos de interacción. El segundo diseño debe proporcionar las 48 mejores observaciones para estimar sólo los efectos principales, una tarea mucho más sencilla. Además, el modelo más simple utiliza menos grados de libertad (¡38 menos!), por lo que hay más grados de libertad de error, lo que proporciona una mejor varianza de predicción, etc.
Debo suponer que utilizó el criterio predeterminado para un diseño D-óptimo. Esa elección es un buen criterio general, pero es particularmente bueno para diseños de selección o cualquier caso donde el énfasis esté en la estimación o prueba de parámetros. Su solicitud de puntos centrales me lleva a creer que está examinando y que también desea verificar efectos no lineales. Si su objetivo es la optimización de los niveles de los factores, entonces es más importante estimar la respuesta o predicción. No creo que la elección del criterio importe mucho los modelos que estés considerando.
Re: ¿Cuál es el mejor diseño DOE personalizado?No tengo una buena respuesta para usted, pero sí tengo algunas preguntas/comentarios para que considere:
1. ¿Cómo se crean puntos centrales cuando se tienen 3 factores categóricos? ¿Por qué sospecha que hay curvatura dentro de su espacio de diseño?
2. Creo que le falta una consideración importante en la selección del diseño: ¿cómo manejará el ruido? No sirve de mucho tener alta resolución cuando los resultados no se pueden replicar (similar a mapear la base de la montaña cuando tu objetivo es llegar a la cima de la montaña). Le sugiero que considere tanto la resolución del factor de diseño como la "resolución" de los efectos del ruido.
3. Le sugiero que ordene los siguientes efectos para ayudar a desarrollar los pros y los contras de cada posible diseño que se esté considerando.
Posible efecto | Posible estrategia | Rango |
Ruido | RIBD o BIB | |
Efectos principales (primer orden) | Res. III | |
Interacciones de dos factores | Res. IV o superior | |
Interacciones ruido por factor | RCBD | |
curvatura simple | Puntos centrales | |
Complejo no lineal (≥cúbico) | RSM | |
≥3er orden lineal | Factorial completo | |
Estabilidad y apalancamiento | Muestreo | |
Incertidumbre de medicion | MSE anidado | |
Media/variación | Se repite, Y | |
4. Cree una lista priorizada (orden de clasificación) de efectos de modelo hasta el segundo orden. Si esa lista tiene todos los efectos de primer orden seguidos de los de segundo orden, utilice una resolución más baja. A medida que los efectos de segundo orden ascienden a la parte superior de la lista, aumente la resolución. Con 8 efectos principales, parece que estás bastante lejos del espacio de diseño óptimo. Probablemente necesitará mover el espacio mediante iteraciones. Entonces, si estás moviendo el espacio, ¿te ayudan las interacciones?
5. Por último, sugiero que para cada diseño posible, prediga todos los resultados posibles y cómo esos resultados afectarían su próxima iteración.
¡El mejor diseño que jamás diseñarás es el que diseñas después de ejecutarlo!
