¿Por qué incluir réplicas en el diseño de experimentos? (Comparación de diseños)Hola,
Entiendo el concepto de lo que se supone que hacen las réplicas de diseño (Ayuda con). Las réplicas de ejecución permiten comprender el error experimental general (¿Ruido?).
Sin embargo, al comparar diseños personalizados generados con y sin réplicas (manteniendo el mismo número total de ejecuciones), se observa que en la mayoría de los casos (si no en todos), el diseño sin réplicas supera al diseño con réplicas.
Creé dos diseños:
- Diseño 1 (Réplicas)
- Factor #3, interacción de segundo orden y ecuaciones cuadráticas
- 13 carreras en total
- 2 réplicas
- Design 2 (No Replicates)
- Factor #3, interacción de segundo orden y ecuaciones cuadráticas
- 13 carreras en total
- 0 réplicas
Al comparar los diseños, la evaluación indica lo siguiente:
- Análisis de potencia: Diseño 2 > Diseño 1
- Capaz de detectar más fácilmente ecuaciones cuadráticas
- Fracción del espacio de diseño: Diseño 2 > Diseño 1
- La varianza de predicción es menor en todo el espacio de diseño.
- Correlaciones: Diseño 2 > Diseño 1
- Factor de correlación inferior
- ¿Existe alguna razón cuantificable para elegir un diseño con réplicas en lugar de un diseño sin réplicas (cuando se limita el número de ejecuciones)?
Obviamente, realizar la prueba con un número de ejecución mayor (Diseño 2 + réplicas) daría como resultado un diseño mejorado, pero si ese es el caso, ¿por qué no dejar que JMP optimice nuevamente para obtener el mejor diseño sin réplicas con el número de ejecución mayor?
2. ¿Es el concepto de incluir réplicas un vestigio de los diseños clásicos, mientras que la plataforma de diseño personalizada más reciente generalmente puede proporcionar un diseño mejorado algorítmicamente?
Diseño de experimentosWindowsRe: ¿Por qué incluir réplicas en el diseño de experimentos? (Comparación de diseños)Hola @MetaLizard62080 ,
Evidentemente, no me sorprende la situación ni la comparación que presentas. Empecemos a explicar por qué:
En primer lugar, es importante distinguir entre réplicas y ejecuciones de réplicas. En JMP existen dos opciones:
- En un diseño clásico, JMP muestra el número de réplicas , que indica cuántas veces se debe ejecutar cada prueba (es decir, cuántas veces se debe ejecutar el diseño completo, además de las ejecuciones originales). Esta opción también está disponible en la plataforma Augment: Replicar un diseño .
- En un diseño personalizado, JMP muestra el " Número de ejecuciones replicadas ", que indica cuántas ejecuciones se repetirán. Estás utilizando esta opción en tu publicación.
En cuanto a la configuración, tiene diseños con 3 factores y un modelo de superficie de respuesta asumido (con todos los efectos principales, interacciones y efectos cuadráticos). Para 3 factores, esto significa que debe estimar 10 términos: 1 intercepto, 3 efectos principales, 3 interacciones de dos factores y 3 efectos cuadráticos. Por lo tanto, el diseño de series mínimas debe incluir al menos 10 ejecuciones.
Con las 3 carreras adicionales que tienes, efectivamente hay 2 opciones:
- Utilice estas ejecuciones como réplicas para mejorar la estimación de algunos efectos y tener la posibilidad de realizar una prueba de falta de ajuste .
- Deje que el diseño personalizado elija qué otras unidades agregar al diseño, entre las 27 combinaciones únicas posibles; dado que asume un modelo RSM completo, cada factor se puede ver en 3 niveles, lo que da un número de combinaciones de factores únicas de 3^3 = 27.
La opción 1 permite estimar algunos efectos con mayor precisión que sin réplicas. En su diseño, las ejecuciones 2 y 5, y las ejecuciones 6 y 11 son réplicas. Si consulta el informe de comparación de diseños, verá que esta opción 1 permite obtener un error estándar relativo de las estimaciones para los efectos de interacción ligeramente menor (es decir, una eficiencia de estimación relativa ligeramente superior a 1 para estos efectos). Además, tendrá acceso a la prueba de falta de ajuste, ya que cuenta con réplicas, lo que puede ayudar a evaluar la adecuación de su modelo (entre otras visualizaciones, como la comparación entre valores reales y predichos y el análisis/visualización de residuos).
La opción 2 permite probar combinaciones de factores distintas a las 10 imprescindibles para la estimación de los efectos del modelo. Esto permite reducir las correlaciones entre términos y obtener una mejor cobertura del espacio de diseño, lo que disminuye la correlación entre términos ( Mapa de colores de correlaciones ) y reduce globalmente la varianza promedio de la predicción.
Respecto a tus preguntas, no hay una respuesta definitiva, ya que depende de tus necesidades (y hábitos):
- Podrías sentirte más seguro al incluir réplicas para realizar la prueba de falta de ajuste y evaluar la idoneidad de tu modelo, o para estimar con mayor precisión términos de efectos específicos. Ten en cuenta que, en este último caso, los diseños A-óptimos podrían ser una opción más adecuada, ya que permiten definir, mediante ponderaciones de parámetros de optimalidad A, los efectos que deseas estimar con mayor precisión. Consulta «¿Por qué es tan baja la potencia de los factores cuadráticos en el diseño de experimentos?» para obtener más información.
- Es posible que desee reducir al máximo las correlaciones entre los efectos para garantizar una estimación relativamente imparcial de estos, por lo que tiene sentido dejar que el diseño personalizado elija los más relevantes entre todas las combinaciones posibles.
En cuanto a tu segunda pregunta, creo que depende del ámbito de actividad. Algunos ámbitos siempre utilizan réplicas, o incluso varias réplicas, debido a la alta variabilidad de los sistemas (por ejemplo, los sistemas biológicos). Por lo tanto, depende de la relación señal/ruido esperada en tus respuestas. En algunos sectores, se recomienda o incluso se exige el uso de réplicas en los estudios.
Pero, en términos generales, el diseño personalizado proporcionará el diseño óptimo en función de sus parámetros, por lo que si no tiene fuertes incentivos para usar ejecuciones replicadas, dejaría que el algoritmo elija las ejecuciones más informativas.
Espero que esta respuesta te ayude.
Re: ¿Por qué incluir réplicas en el diseño de experimentos? (Comparación de diseños)Tengo un par de comentarios que quizás quieras ignorar. Primero, ten cuidado al atribuir demasiada importancia a las estadísticas de evaluación del diseño. Todas son estimaciones a priori para una realidad potencialmente desconocida. Segundo, hay más de una forma de realizar réplicas. Si usas RCBD o BIB, puedes aumentar el espacio de inferencia y, al mismo tiempo, mejorar la precisión del diseño.
Re: ¿Por qué incluir réplicas en el diseño de experimentos? (Comparación de diseños)Gracias por la respuesta @Victor_G ,
Trabajo en el área de desarrollo de procesos farmacéuticos. He utilizado con éxito ambos tipos de diseño (donde el modelo proporciona resultados significativos que conducen a mejoras en el proceso). Por ello, no estoy seguro de cuál es el enfoque "mejor". En mi opinión, si podemos confiar en la evaluación de diseño de JMP, me inclino por la opción 2. @statman sugiere (acertadamente) que esto es, en efecto, una suposición.
En general, muchos de mis colegas discrepan por completo de la idea de que se puedan extraer conclusiones estadísticas sin realizar réplicas. Creo que esto se debe a la naturaleza intuitiva de lo que proporciona una réplica y a la dificultad de comprender los conceptos abstractos que utiliza el diseñador personalizado de JMP. Para que quede claro, ninguno de nosotros es estadístico y nuestro nivel de conocimiento sobre métodos estadísticos varía (desde un gran interés y un uso intensivo hasta un temor o desconfianza general hacia la estadística).
Por curiosidad, al final de tu afirmación, sugieres que la opción 2 es la mejor. ¿Por qué tu primera reacción o costumbre te lleva a inclinarte por esta opción?
Re: ¿Por qué incluir réplicas en el diseño de experimentos? (Comparación de diseños)Hola @MetaLizard62080 ,
Comprendo perfectamente tu situación, y de hecho me siento en una situación similar (en cuanto a mi formación también, soy ingeniero de formulación química).
Algunos de mis colegas que crean y recomiendan diseños para laboratorios también se sienten más seguros al recomendar un diseño con réplicas; de esta manera, se proporciona una forma fácil y muy visual de evaluar el error puro/la reproducibilidad de los experimentos.
Entiendo sus argumentos, pero no estoy del todo seguro de esta situación, ya que, aunque expliquemos la razón de ser de las réplicas, algunas personas realizan mediciones repetidas en lugar de réplicas para ahorrar tiempo y porque consideran que replicar un experimento es un desperdicio de tiempo y materiales. Por lo tanto, al final, lo que podríamos visualizar o analizar no es el error puro ni la reproducibilidad total del montaje experimental (con error experimental + error de medición), sino solo el error de medición, lo que lleva a una evaluación erróneamente optimista del error puro.
En el caso de un diseño sin réplicas (como el diseño 2 en su caso), usar otras combinaciones para las ejecuciones adicionales permite explorar más combinaciones en el espacio de diseño, aumentar la potencia, reducir la varianza de predicción en la mayor parte del espacio de diseño y, si el presupuesto experimental es suficiente para el tema y el modelo no es demasiado complejo, estas ejecuciones adicionales permitirán estimar aproximadamente el error/varianza. En cuanto a la evaluación del modelo, no usar ejecuciones o réplicas le impedirá realizar una prueba de falta de ajuste, pero existen suficientes herramientas y visualizaciones para evaluar la adecuación de un diseño. Además, en algunos casos de diseño (como el Diseño de Cribado Definitivo), no se pueden agregar ejecuciones de réplica, ya que esto podría generar correlaciones entre términos (como efectos principales e interacciones) y algunos métodos de análisis no estarían disponibles (como el Cribado Definitivo de Ajuste) , dado que la estructura del diseño se modifica.
En definitiva, se trata más bien de una cuestión de suposiciones y hábitos, y de conocimiento sobre el montaje experimental y el sistema de medición. Suelo recomendar un enfoque secuencial con diseños de alcance (pruebas preliminares) para evaluar la variabilidad, la curvatura y la reproducibilidad del montaje, antes de recomendar un diseño que explore a fondo el tema (dentro de los límites del presupuesto experimental).
No existe una respuesta "buena" sobre este tema, pero espero que esta respuesta te ayude a determinar qué es lo mejor para tus casos de uso.
