Esfuerzo para cada DOEHola,
He realizado varios diseños de experimentos (DOE), pero un desafío recurrente es la gran cantidad de ensayos necesarios. Por ejemplo, al utilizar un diseño de cribado con 7 ejecuciones experimentales, solemos analizar de 4 a 6 réplicas por ejecución para evaluar la reproducibilidad. Esto resulta en un total de 28 a 42 ensayos por DOE.
Sin embargo, tras realizar todas estas pruebas, el rendimiento del modelo suele ser insatisfactorio, con valores de R² entre 0,55 y 0,59. Además, debido a los amplios intervalos de confianza y a la inconsistencia en las estimaciones de los parámetros, nos resulta difícil identificar un modelo fiable o repetible. En muchos casos, incluso recopilando datos Y en condiciones controladas, el modelo carece de consistencia y no proporciona información concluyente. Por lo tanto, necesitamos recopilar una gran cantidad de datos de proceso de cada experimento.
Esto se está volviendo cada vez más frustrante. ¿Cómo podemos abordar este problema eficazmente y reducir el desperdicio de esfuerzos, a la vez que mejoramos la fiabilidad del modelo?
Diseño de experimentosRe: Esfuerzo de cada DOEAlgunos pensamientos para ti:
1. En el modo de cribado, trate de no obsesionarse demasiado con el rendimiento del modelo... en el modo de cribado, su objetivo principal es identificar los efectos/factores activos, con menos énfasis en el modelo y su efectividad en la predicción. Pregúntese: "¿Hemos identificado factores que merezcan investigación adicional?". Si es así, proceda en consecuencia. Si no es así, comience a hacerse otras preguntas, como:
a. ¿Elegimos niveles que no son lo suficientemente amplios para que la señal se eleve por encima del ruido?
b. ¿Existen variables de ruido latentes que influyen en nuestras respuestas? Si es así, ¿cómo las manejaremos en el futuro? ¿Bloqueo?
c. ¿Hay otros factores que debemos tener en cuenta?
2. Con todas esas réplicas, deberías poder obtener una buena estimación del error puro... que, si es lo suficientemente grande, empezará a saturar la señal. ¿Qué sabes sobre la variación de tu sistema de medición con respecto a las respuestas? Si es lo suficientemente grande, ¿quizás debas trabajar para reducir el ruido del sistema de medición?
Estoy seguro de que otros participarán... y como siempre, si puedes compartir un experimento o algo, ¿quizás podamos ayudar más?
Re: Esfuerzo de cada DOEHola @Statexplorer ,
@P_Bartell proporcionó mucha información y consejos útiles. Me gustaría completar algunos de los puntos mencionados, ya que parece que realizas experimentos en entornos con un nivel de ruido (relativamente) alto.
¿Ha intentado analizar la posible causa del ruido o la alta incertidumbre? Insuficiencia del modelo (¿faltan términos de interacción o efectos cuadráticos?), alto error de medición, variables molestas (diarias, operadores, variabilidad del proceso). Evaluar la fuente del ruido sería útil para recomendar estrategias de mitigación adecuadas.
- En caso de inadecuación del modelo, ¿qué modelo suele utilizar en el modo de cribado (solo efectos principales)? ¿Observa patrones específicos en los residuos o en la prueba de falta de ajuste que puedan indicar algún problema?
¿Espera efectos de interacción fuertes o efectos polinómicos o no lineales? ¿Ha probado otros métodos de modelado (no lineales), por ejemplo, algoritmos de aprendizaje automático adecuados para el tamaño y la complejidad de su conjunto de datos, como Bootstrap Forest y SVM?
- En caso de un error de medición alto, ¿se pueden ampliar los rangos de los factores (para que la señal sea relativamente más alta que el ruido)? ¿Se pueden añadir mediciones repetidas, además de las réplicas, o se puede reducir el número de ejecuciones de réplicas independientes y compensar con mediciones repetidas, modelando la media y la varianza de la respuesta de las mediciones repetidas para cada ejecución?
- En caso de variables de interferencia conocidas, podría añadir al diseño algunas medidas de seguridad, como el bloqueo, para evitar la influencia del operador, la variabilidad diaria, el cambio de equipo de medición, etc. El uso de una variable de bloqueo aleatoria permite capturar la varianza de esta variable de interferencia de la varianza experimental total para evitar que esta "oculte" posibles efectos activos. Si las variables de interferencia se pueden gestionar o modificar y son conocidas (por ejemplo, variables de proceso), también podría utilizar diseños de Taguchi para crear un diseño robusto o la plataforma de Diseño Personalizado: Experimentos para el Diseño Robusto de Procesos y Productos .
Espero que esta respuesta pueda contribuir a la discusión.
Re: Esfuerzo de cada DOELamentablemente, no puedo ofrecer consejos específicos debido a la falta de contexto. Estos problemas no pueden abordarse globalmente. Estas son mis reflexiones iniciales:
1. No conozco ningún diseño de cribado con 7 ejecuciones. ¿Quisiste decir 8 (2^7-4 ResIII)?
2. No entiendo el número de réplicas. En primer lugar, ¿son réplicas (ejecución independiente de las mismas combinaciones de tratamientos) y no repeticiones? Una de las cosas que se sacrifican con el diseño experimental es la estabilidad. Si se busca comprender los problemas de estabilidad, el muestreo y los estudios de COV serían la herramienta ideal. De todos modos, no se puede lograr estabilidad al ejecutar de 4 a 6 réplicas.
3. Parece que hay mucho ruido. Quizás necesite una mejor estrategia para gestionarlo (p. ej., RCBD, BIB, parcelas divididas).
4. Sin prácticamente ningún conocimiento de la situación, sugeriría comenzar con COV/muestreo antes del DOE.
4. R^2 es solo una de las varias estadísticas que debes usar para evaluar el modelo (y no es la mejor).
Re: Esfuerzo de cada DOEGracias @P_Bartell
Pero, ¿cuál debería ser el Rsq mínimo que debemos tener como parte de los diseños de selección?
a. ¿Elegimos niveles que no son lo suficientemente amplios para que la señal se eleve por encima del ruido? ¿Cómo encontrarlos?
b. ¿Existen variables de ruido latentes que influyan en nuestras respuestas? De ser así, ¿cómo las gestionaremos en el futuro? ¿Cómo detectarlas?
c. ¿Hay otros factores que debemos tener en cuenta ?
2. Con todas esas réplicas, deberías poder obtener una buena estimación del error puro... que, si es lo suficientemente grande, empezará a saturar la señal. ¿Qué sabes sobre la variación de tu sistema de medición con respecto a las respuestas? Si es lo suficientemente grande, ¿quizás deberías trabajar para reducir el ruido del sistema de medición? - Conozco los fundamentos del MSA y sus efectos en las respuestas. Entonces, ¿cómo usar esto a nivel de DOE?
Re: Esfuerzo de cada DOEGracias @statman
Lo siento, no fueron 7, son 10 ejecuciones utilizando un diseño personalizado y siete, solo se cambiaron dos variables continuas.
3. Parece que hay mucho ruido. Quizás necesite una mejor estrategia para gestionarlo (p. ej., RCBD, BIBD, parcelas divididas). ¿ Cómo puedo usarlas en JMP DOE?
4. Sin un conocimiento profundo de la situación, sugeriría comenzar con el COV/muestreo antes del DOE. ¿Cómo realizar un estudio de COV y elegir el número correcto de muestras antes del DOE? Normalmente, mantengo entre 38 y 52 muestras para el DOE completo (es decir, las células que se analizan para el DOE completo).
4. R^2 es solo una de varias estadísticas que se deben usar para evaluar el modelo (y no es la mejor). ¿ Podría decirme cuáles son las otras mejores para evaluar el modelo? Siempre busco patrones, IC, falta de ajuste, estimación de parámetros y, a veces, RMSE normalizado.
Re: Esfuerzo de cada DOEGracias @Victor_G
No, nunca intenté evaluar la causa del ruido, porque hubo muchos procesos involucrados antes de crear una celda final.
No tengo ningún patrón específico en cuanto a residuos.
Dado que es el primer DOE para este proceso (no según mi experiencia), no preveo efectos polinomiales ni de interacción. No hemos aplicado ningún método de aprendizaje automático.
El bloqueo es algo que aún no está completamente hecho, pero que agregaría una ventaja porque en caso de que todas las células se realicen en el mismo día, con los mismos instrumentos, por la misma persona y utilizando los mismos materiales.
Re: Esfuerzo de cada DOEEn mi opinión, existe un valor mínimo de R^2 para cualquier análisis de cualquier diseño. R^2 es solo un número que ayuda a articular la variabilidad explicada por un modelo específico. El objetivo de su análisis no es obtener buenas estadísticas, sino satisfacer sus objetivos experimentales. Por lo tanto, si estos objetivos no se responden o satisfacen, me da igual R^2 ni ningún otro estadístico. Respecto a las otras tres preguntas que plantea, "¿cómo las encuentro?", estas se abordan mediante el conocimiento del dominio, la conducta experimental, la experiencia previa y cualquier conocimiento de principios básicos que pueda aportar al problema en cuestión. Así que permítame comenzar e intentar ayudar.
1. En cuanto a los niveles, si no sabes dónde establecerlos, probablemente sea prematuro establecer el DOE. No me gusta recomendarlo... pero si no tienes ni idea, quizás sea hora de probar un factor a la vez para ver si puedes encontrar esos niveles.
2. Factores latentes... aquí es donde el conocimiento del dominio juega un papel importante. Por ejemplo, quizás tengas que ejecutar el experimento en dos "máquinas" diferentes... que esperas que sean iguales... pero quieres evitar que no sean idénticas en cuanto a cómo influyen en las respuestas. Aquí es donde entra en juego algún tipo de bloqueo. O los factores son difíciles de cambiar... como por ejemplo la temperatura en un recipiente, por lo que te gustaría restringir la aleatorización de la temperatura ejecutando todos los valores bajos juntos, seguidos de los valores altos. En esta situación se recomienda lo que se llama un diseño de "gráfico dividido" (solo una forma de bloqueo). Piensa en el experimento y las condiciones que lo rodean y usa tu conocimiento del dominio para evitar o al menos tener en cuenta estos factores latentes. Además, siempre intenté estar presente durante el experimento para simplemente "observar" cualquier cosa que pudiera ser sospechosa.
3. ¿Al planificar el experimento, dedicaste tiempo a pensar en todos los factores que podrían influir? Con suerte, sí, y elaboraste una lista. Y la conservaste. Quizás, después del análisis, sea hora de revisarla y probar otros factores.
4. En cuanto a la variación del sistema de medición, la regla general que usábamos era que la variación del sistema de medición debía ser 1/4 de la variación de la señal que buscábamos encontrar. Tu situación podría ser completamente diferente.
¿Espero que esto ayude?
