¿Debo considerar el análisis de potencia en el DOE?Alguien me dijo que necesitamos mantener la potencia >=80 % cuando evaluamos un DOE, pero ¿por qué la potencia es tan baja cuando usamos el diseño PB? Por ejemplo, la potencia es de alrededor de 0,27 si realizo 12 experimentos con 11 factores. ¿Puedo confiar en este diseño con tan poca potencia? Gracias.
Diseño de experimentosRe: ¿Debo considerar el análisis de potencia en el DOE?@Victor_G Las respuestas de son realmente buenas.
En la pregunta 2, agregaría que no puede calcular la potencia basándose solo en alfa = 0.5 y RMSE = 1. Como dije en una respuesta anterior, también necesita una estimación del tamaño de la señal que necesita detectar.
También agregaría que calcular la potencia en Excel no va a ser fácil. No recomendaría probar esto.
Si realmente quiere comprender el poder, le recomendaría ejecutar algunas simulaciones en su lugar.
1. Crea tu diseño experimental
2. Determine un modelo para calcular su respuesta para cada ejecución con parámetros para cada efecto de factor "activo" (en JMP estos son los "coeficientes anticipados")
3. Agregue ruido aleatorio a cada uno de sus valores de respuesta (p. ej., con desviación estándar de 1, media de 0)
4. Analice los datos simulados para determinar si los efectos activos son significativos en su nivel determinado de alfa (0.05 se usa con mayor frecuencia, ¡0.5 sería una elección extraña!)
5. Repita los pasos 3 y 4 muchas veces con un nuevo ruido aleatorio.
6. Contar el número de veces que se declara significativo cada efecto activo
Debería encontrar que la proporción de veces que los efectos activos se declaran significativos coincide con la potencia calculada por JMP.
Este tipo de simulación es muy fácil de hacer en JMP Pro. De hecho, se utiliza en situaciones en las que a priori la estimación de potencia no es posible. Por ejemplo, donde la respuesta es binaria. Una vez usé esto para ayudar a una empresa de marketing a determinar el poder de un experimento para comprender los factores que afectan la respuesta (responder/no responder) a sus promociones.
Sería más esfuerzo y requeriría algunas secuencias de comandos para hacer este tipo de simulación en JMP. Pero sigo pensando que sería un mejor uso del tiempo que tratar de calcular la potencia en Excel.
Re: ¿Debo considerar el análisis de potencia en el DOE?Añadiendo a @Victor_G Según la explicación de , la vista 'macro' se responde específicamente con la relación F en la tabla Análisis de varianza. La hipótesis nula es que solo el parámetro de intersección no es cero. La hipótesis alternativa es que no sólo el intercepto no es cero. La vista 'micro' es la prueba de nivel de términos proporcionada por las Pruebas de efectos o el nivel de parámetro proporcionado por las Estimaciones de parámetros. Las pruebas de efecto abordan el término completo, mientras que las pruebas de estimación de parámetros abordan los parámetros individuales. Son iguales a menos que tenga un factor categórico con más de dos niveles. Las pruebas de efectos son quizás más útiles en la selección de modelos porque normalmente se elimina un término, no un parámetro. La prueba de efecto se basa en la relación F y la estimación del parámetro se basa en la relación t. La relación t es (estimación - estimación hipotética) / error estándar de la estimación. Supusieron que el valor es cero (sin efecto) para estas pruebas.
Re: ¿Debo considerar el análisis de potencia en el DOE?Hola @lazzybug ,
Responderé lo mejor que pueda a sus preguntas:
1. En DoE, realiza pruebas de hipótesis en una vista "macro" (el modelo en sí) y en una vista "detallada" (significado de cada parámetro). Esto se puede ver en el informe "Ajustar mínimos cuadrados" del modelado de respuestas en DoE, donde se proporciona un valor p para el modelo general (bajo la visualización "Real frente a previsto"), lo que le da una idea de cuán significativo es su modelo. vs. la media de los valores y los valores p calculados para cada factor en la "Tabla de resumen de efectos".
- Bajo la vista "macro" (modelo completo), la hipótesis nula sería: los cambios en la respuesta no están correlacionados con los cambios en los factores (o los factores tienen estimaciones cercanas a 0). La hipótesis alternativa sería que los cambios en la respuesta están correlacionados con al menos un factor (o al menos un factor tiene una estimación significativamente diferente de 0).
- Bajo la "vista detallada" (para cada factor), la hipótesis nula sería: este factor no tiene impacto en el resultado final (Nivel (-1) = Nivel (+1)). Hipótesis alternativa: este factor tiene un impacto en el resultado final (Nivel (-1) != Nivel (+1)).
Interesante recurso para este tema: Los fundamentos del diseño experimental para el análisis multivariado - Comunidad de usuarios de JMP
2. No estoy seguro de dónde y/o cómo encontrarlo, pero puede encontrar respuestas aquí:
Cálculos de potencia (jmp.com)
Potencia y tamaño de la muestra prospectiva (jmp.com)
También puede consultar las diferentes calculadoras y simulaciones en el Índice de datos de muestra: Ayuda -> Datos de muestra -> Recursos didácticos, o en el Índice de estadísticas y luego buscar "poder".
@Phil_Kay y otros expertos técnicos de JMP podrán completar o corregir mis respuestas 
Espero que esto ayude,
Re: ¿Debo considerar el análisis de potencia en el DOE?Hola Victor, muchas gracias por tu material. Introduciré DSD en nuestro grupo para trabajos de optimización en el futuro.
¿Podría explicar mis preguntas sobre el DoE?
1. Conocía el error tipo I y tipo II en estadística, cómo los aplicamos en DoE. Por ejemplo, error tipo I (alfa): H0 es verdadera, la probabilidad la rechazamos. error tipo II (beta): Ha es verdadera, la probabilidad aceptamos H0. Para un DoE en particular, ¿cuál es el H0 y el Ha?Digamos que tenemos 6 factores, ¿debemos tener 6 hipótesis nulas, y cada una será como H0: Nivel (-1) = Nivel (+1), Ha: Nivel (-1)!=Nivel (+1)?
2. ¿Tiene un ejemplo para explicar cómo puedo calcular manualmente la potencia para el efecto principal, la interacción y la función cuadrática en función de alfa = 0,5, RMSE = 1, como se muestra en JMP DoE? Quiero calcular la potencia manualmente con Excel.
Muchas gracias por tu ayuda de nuevo.
Re: ¿Debo considerar el análisis de potencia en el DOE?Hola @lazzybug ,
Dado que su objetivo será detectar qué factores son significativos de una gran lista de factores, definitivamente utilizará un diseño de detección.
Por lo que leí, hay dos diseños principales que pueden funcionar muy bien en tu caso, dependiendo del tipo y número de factores:
- Diseño personalizado D-optimal (a través de la plataforma "Diseño personalizado", especifique sus factores y rango, y JMP encontrará el diseño óptimo para su espacio experimental). Una plataforma de diseño muy conveniente, que permite mucha flexibilidad para el tipo de factores, con la posibilidad de restringir la aleatorización (cuando tiene factores difíciles de cambiar) y la posibilidad de agregar covariables, factores de bloqueo...
- Diseño de evaluación definitiva cuando desea evaluar muchos factores (útil para más de 5 factores) de una manera muy eficiente, pero tiene restricciones con este tipo de diseño: solo factores categóricos continuos o de 2 niveles, y no hay posibilidad de agregar un factor de bloqueo (por ejemplo, si solo puede medir 10 experimentos por ejecución de equipo, puede agregar un factor de bloqueo de 10 mediciones por ejecución para tener en cuenta la variabilidad entre diferentes ejecuciones de equipo). Pero si tiene una cantidad baja de factores que son significativos, es posible que pueda detectar interacciones y efectos cuadráticos con este diseño, lo que lo hace muy eficiente. Es importante notar que los efectos principales no están correlacionados (ortogonales) entre sí, y también con interacciones de 2 factores y efectos cuadráticos.
También puede probar un enfoque más clásico (como los diseños de cribado de Plackett-Burmann), pero a veces estos diseños clásicos pueden ser difíciles de adaptar a un problema específico.
Al final, la elección del diseño será el mejor compromiso que pueda encontrar entre su configuración experimental (número y tipo de factores, restricciones, número máximo de experimentos, ...) y las especificaciones/características del diseño. Recomiendo encarecidamente probar diferentes diseños y números de ejecución, y usar la plataforma "Comparar diseños" (DoE -> Diagnóstico de diseño -> Comparar diseños) para tener una buena visión general de las fortalezas y debilidades de cada diseño, para decidir qué diseño y configuración hacer el mejor compromiso para su tema específico.
Independientemente del diseño que elija, una vez realizada la evaluación e identificados los factores/efectos principales significativos, puede aumentar su diseño para crear una superficie de respuesta completamente personalizada para la optimización de estos factores.
Algunos recursos sobre diseños de cribado definitivos:
Diseño de Cribado Definitivo: Definición Simple, Cuándo Usar - Estadísticas Cómo
Diseño de cribado definitivo - Comunidad de usuarios de JMP
Potente análisis de diseños de cribado definitivo: aprovechando su especialización... - Comunidad de usuarios de JMP
Espero que esto te ayudará,
Re: ¿Debo considerar el análisis de potencia en el DOE?@Victor_G y @Phil_Kay , muchas gracias por tu explicación. Es muy útil para mí entender el poder y RMSE. Tengo una pregunta más. Para mi experimento, solo quiero detectar qué factores en muchos factores son significativos para mi respuesta mediante el diseño de detección, luego usaré la superficie de respuesta para optimizar esos factores seleccionados. Antes del experimento, no sé qué es el RMSE y qué coeficiente configurar en el análisis de potencia. ¿Puedes explicar más cómo debo diseñar mi experimento? Muchas gracias de nuevo.
Me acabo de dar cuenta de que este es un gran lugar para hacer preguntas. Espero haber conocido esta comunidad antes.
Re: ¿Debo considerar el análisis de potencia en el DOE?estoy de acuerdo con todo lo que @Victor_G ha dicho. Solo quiero repetir que el poder solo tiene sentido cuando:
- Conoce el tamaño de la señal que necesita detectar Y...
- Tiene buenas estimaciones del ruido de medición experimental y de respuesta (RMSE)
(También debe decidir un nivel de significancia)
Es muy común que falte una o ambas cosas. En esos casos, el poder aún puede ser útil, pero solo como una forma de comparar diseños alternativos.
No tiene mucho sentido preocuparse por si la potencia es inferior al 80% si solo está utilizando las estimaciones predeterminadas de señal y ruido en JMP.
Adjunto algunas diapositivas que creé para explicar cómo funciona la energía en JMP DOE.
Espero que eso ayude,
phil
Re: ¿Debo considerar el análisis de potencia en el DOE?Hola @lazzybug ,
El poder es la capacidad de detectar efectos significativos si están efectivamente presentes.
Este 80% es una regla general práctica para evaluar si su diseño de detección puede detectar los efectos principales de manera eficiente, pero tengamos en cuenta que el cálculo de la potencia depende no solo del diseño (y el tamaño de la muestra), sino también de la importancia. nivel (a menudo 0,05), tamaño de la diferencia a detectar y relación señal/ruido esperada (o RMSE) de la(s) respuesta(s).
Por lo tanto, si su RMSE anticipado es más bajo (las respuestas se miden con mayor precisión y con una varianza más baja) y/o el tamaño de la diferencia que desea detectar es mayor, es posible que espere una mayor potencia para sus efectos.
Puede que no sea muy interesante considerar la potencia en el caso del diseño de optimización (diseños de mezcla, diseños de relleno de espacio...), porque su enfoque principal estará en la precisión de la predicción de la(s) respuesta(s), no en la precisión del cálculo de las estimaciones. Pero el poder es de interés primordial en el caso del diseño de detección, como en su caso.
Es difícil saber si podemos confiar en su diseño con esta información, ya que no solo depende del diseño en sí y sus expectativas (RMSE, nivel de significación, tamaño de diferencia a detectar, ...), sino también de qué factores desea evaluar. , cuáles espera ver una diferencia significativa y esperada para detectar... = experiencia en el dominio.
Tal vez una solución para usted sería intentar calcular diferentes diseños para comparar las fortalezas y debilidades de los diferentes diseños de cribado.
Mirando el diseño personalizado, si arreglo 12 experimentos para 11 factores continuos (número mínimo de ejecuciones requeridas), también encuentro un poder para los efectos principales cercano a 0,21 (por lo tanto, 21% de posibilidades de ver un efecto significativo si está presente). Pero si se aumenta el número de ejecuciones a 16 (recomendado por JMP, configuración "Default"), la potencia de los efectos principales aumenta hasta 0,84. Si el costo experimental no es demasiado, aumentar el tamaño de la muestra puede ayudarlo mucho a ganar más confianza en su capacidad de detección.
Espero que esto te ayudará,
