Diseños de cribado: ¿cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Para mostrar la solidez de un proceso químico, a menudo necesitamos mostrar a los reguladores que los parámetros seleccionados (temperatura, equivalentes, tiempo y relaciones de reactivos) no están afectando la calidad (pureza) del producto final.Para demostrar esto, los reguladores prefieren realizar diseños de cribado.Por lo general, queremos mostrar que los parámetros no tienen efecto perjudicial dentro de los rangos estudiados, por lo que el proceso es robusto.
Mi pregunta es si el experimentador se desempeña con la máxima precisión y los datos muestran que ninguno de los factores (o términos de interacción) influye en la calidad, entonces está bien.Si el experimentador recopiló datos que no son buenos y el modelo muestra que ninguno de los factores influye, entonces, ¿cómo averiguar si podemos confiar en los datos y el modelo?¿Existe de todos modos, especialmente si no tenemos ejecuciones repetidas para ver variaciones?
Veo que los diseños de cribado definitivo no incluyen necesariamente experimentos repetidos, entonces, ¿cómo saber si hay una variabilidad significativa en las respuestas?
GAMARe: Diseños de cribado - ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Intentaré pensar en algunos pensamientos.
Primero: si la variación en las respuestas está inundando cualquier señal que pueda estar oculta a la variación de factores en mi mente, hay una de tres causas:
1. Variación excesiva del sistema de medición. En este escenario, la principal causa de la variación de la respuesta es predominantemente la variación del sistema de medición. ¿Tiene un sistema de control de proceso continuo para el sistema de medición? ¿Conoce la variación "normal" inherente del sistema de medición? De lo contrario, nunca sabrá si su conclusión de 'ningún efecto' debido a la variación del factor es real o simplemente una ilusión causada por una variación excesiva del sistema de medición.
2. Variables de ruido / molestias que influyen en el proceso experimental de una manera que aumenta la variación de la respuesta. Es importante estar siempre atento a este tipo de influencias durante la realización de experimentos. Esto es complicado porque nunca se puede saber con certeza ... pero una mirada atenta, tal vez por parte de un tercero independiente, durante la conducción y la planificación experimentales puede ser útil.
3. Realmente no pasa nada ...
En general, su pregunta está en el corazón de la prueba de hipótesis, nunca podemos "aceptar" una hipótesis nula de que "no les está sucediendo nada a los factores" ... sólo fallar en rechazarla. En el caso que ha descrito, todo lo que realmente puede decir es que no rechazamos la hipótesis nula de que cada efecto estimable es igual a cero.
Re: Diseños de cribado - ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Primero, bienvenido a la comunidad. Intentaremos darle algunas ideas y no dude en responder con más información sobre su situación.
Pete mencionó algunos puntos excelentes. Aquí están mis pensamientos adicionales:
1. Para mí, robustez significa Rendimiento constante del modelo frente al ruido cambiante. (cuantitativamente la ausencia de interacciones ruido por modelo). El ruido puede ser las condiciones ambientales, la pureza de los productos químicos entrantes, la limpieza de la tina, los errores del sistema de medición, la variación de las X no controladas específicamente, la variación de las X dentro de los niveles de control, etc., o como defino el ruido: los factores que no está dispuesto a gestionar / controlar ).
2. ¿Podría recopilar datos para la variable de respuesta mientras registra simultáneamente los valores de las X? Utilice estos datos para realizar una regresión lineal. Es de esperar que la variación en la variable de respuesta sea relativamente pequeña y que no haya relación con las X. Esto se debe a la probabilidad de que las X tampoco varíen mucho (razón por la cual hay poca evidencia de una relación causal incluso cuando en realidad puede haberla).
3. Lo que realmente están pidiendo (supongo) no es que hagas un diseño de detección, ya que la intención de esto es cambiar audazmente las X y descubrir relaciones potencialmente causales, sino algo más como un diseño de tolerancia. Quizás sea semántica, pero lo que quieren saber es si la variación aleatoria normal de las X impacta en la variable de respuesta. Así que elija niveles que sean representativos de los extremos de la variación natural de las x y ejecute algún tipo de diseño factorial. Creo que debería emplear alguna estrategia para manejar también otras fuentes de ruido (bloqueo, repetición, parcelas divididas, et. Al.)
4. No estoy seguro de a qué te refieres con " Si el experimentador recopiló datos que no son buenos ". ¿Significa esto que los sistemas de medición son sospechosos? En cuyo caso, debe estudiar los sistemas de medición y, si realiza un experimento, tomar medidas repetidas para estimar el componente de medición y quizás promediar su variación para aumentar la precisión del diseño.
Re: Diseños de cribado - ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Gracias por su respuesta.Déjame aclarar algunas cosas.
Digamos que los factores A, B, C tienen potencial para impactar la pureza de un producto en una reacción química, pero solo cuando se prueban en extremos.Habrá muchos otros factores (llamémoslos X) que tienen un efecto muy marginal sobre la pureza.Estos otros factores no se incluyen en el estudio porque tienen un impacto insignificante en la pureza o una alta confianza en que pueden controlarse bien con precisión en el punto de ajuste a medida que el proceso llega a la planta.
Ahora, el objetivo del estudio es realizar experimentos en el laboratorio (en pequeñas escalas, imitando la operación a gran escala tanto como sea posible), variando sistemáticamente los factores A, B y C mientras se mantienen constantes todos los demás factores de ruido.
En una situación hipotética en la que el químico que está ejecutando estas reacciones no realizó los experimentos meticulosamente, lo que significa que no mantuvo los factores A, B y C en los puntos necesarios para el estudio y no controló los factores de ruido en los valores designados, entonces hay Podría ser una situación en la que la combinación de factores de ruido difumine la señal real que proviene de la variación sistemática de los factores A, B y C.En esa situación, los resultados pueden indicar que los factores no afectan la pureza dentro de los rangos probados.
¿Hay alguna manera de decir que los resultados no son confiables porque los experimentos no se realizaron como se esperaba?¿Especialmente si no hay experimentos repetidos en la matriz?
Re: Diseños de cribado: ¿cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Gracias statman, por favor vea mi respuesta a P_Bartell.
Consulte los detalles adicionales que proporcioné.
Re: Diseños de cribado - ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?La única técnica en la que puedo pensar es que podría usar para el escenario que describe examinando los resultados empíricos hasta lo que se espera SI los ensayos experimentales se realizaron según lo prescrito. Obviamente, tendrá que haber una diferencia entre las respuestas esperadas y las observadas que sea lo suficientemente grande como para despertar sospechas ... pero esa es mi única idea para ti.
Una técnica informativa potencialmente útil podría ser usar el JMP Prediction Profiler que contiene un modelo que usted cree ... luego, para combinaciones dadas del 'nuevo' experimento, pregunte '¿qué tan lejos de la respuesta predicha está la respuesta real?'. .utilizando el intervalo de predicción como criterio informativo.
El escenario que describiste realmente me sucedió una vez en un proyecto con un equipo de escépticos del DOE en general ... Yo era el estadístico del equipo y muchos en el equipo sentían que DOE era similar a la magia negra. Realizamos una prueba de confirmación basada en nuestras x óptimas elegidas. Los resultados ni siquiera fueron cercanos para prácticamente todas nuestras respuestas. Así que el equipo entró en nuestro mejor modo de Sherlock Holmes para tratar de encontrar '¿qué salió mal?' Resulta que el operador había elegido intencionalmente uno de los factores x clave para ser "lo que siempre usamos ... no este nivel ridículo escrito en la hoja". Es una vergüenza para nosotros no mantener al operador informado ... queríamos que ese 'nivel ridículo' confirmara nuestro conocimiento del proceso. Entonces, una vez que descubrimos lo que el operador realmente había elegido, saqué el JMP Prediction Profiler e ingresé el nivel inapropiado para el factor x ... he aquí, el Profiler predijo con notable precisión los pésimos resultados que observamos. Al final de esa reunión, incluso los escépticos del DOE quedaron convencidos.
Re: Diseños de cribado - ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Aquí tienes una segunda idea que no ayuda a DETECTAR la causa raíz de los 'datos erróneos' ... pero a PREVENIRla ... nacida de la experiencia personal. Después de algunos años de consultoría del DOE para numerosos proyectos en mi empleador (principalmente en un nuevo espacio de desarrollo de procesos / productos), me di cuenta de que con demasiada frecuencia, para nuestro gusto, las personas que realmente ejecutan los experimentos 'tomarían las cosas en sus propias manos' en ejecución experimental y no seguir al pie de la letra lo que queríamos que se hiciera.
Por ejemplo, la aleatorización de los ensayos a menudo se quedó en el camino porque el operador encontró un problema el restablecimiento de los factores de una manera aleatoria y agruparía las ejecuciones del 'factor de dolor para cambiar' juntas para hacer que el experimento, bueno, sea menos doloroso. Ay ... ahí va la aleatorización ... y no especificamos un diseño de parcela dividida. Así que ahí mismo nos abrimos al potencial de "datos erróneos".
Entonces, en lo que comencé a insistir fue en estar presente cuando se ejecutó el experimento y observar e intentar ayudar en el camino con los operadores. Descubrí que esto tenía varios beneficios ... uno es que a menudo vi algo que podría influir en nuestros resultados de una manera que no queríamos que sucediera ... como el escenario anterior. Insistiría en ejecutar el experimento en el orden aleatorio en el que especificamos ... y no tomar el asunto en sus propias manos. Por el lado del trabajo en equipo ... también me ayudó a crear credibilidad en la calle con los operadores porque yo, el estadístico de camisa blanca, estaba dispuesto a ir al laboratorio o al taller, ensuciarse las manos y, a veces, trabajar de noche o de noche. turno de noche junto con todos los demás trabajadores ... y no sentarme en mi oficina de marfil todo el día emitiendo proclamas al proletario.
Re: Diseños de detección - ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Compartiré mis pensamientos aunque es posible que no estés de acuerdo con ellos. Los diseños replicados son solo una forma de incluir ruido en el experimento. Los diseños no replicados pueden ser muy útiles. Utilizo diagramas de relación de factores para mostrar gráficamente las relaciones entre los factores de diseño y los factores de ruido en un experimento. De esta manera, comprenderá qué factores constituyen la base de la comparación y podrá utilizar el juicio científico o de ingeniería para determinar si ese ruido es representativo de las condiciones futuras y podría estimular el desarrollo de pensamientos e hipótesis sobre el efecto potencial de dicho ruido. Particionar el ruido puede ser bastante útil para aumentar la precisión de los diseños sin afectar negativamente el espacio de inferencia.
Su declaración " Ahora, el objetivo del estudio es hacer experimentos en el laboratorio (en pequeñas escalas imitando la operación a gran escala tanto como sea posible), variando sistemáticamente los factores A, B y C mientras manteniendo todos los demás factores de ruido constantes ." no tiene ningún sentido para mí. En primer lugar, el objetivo debe ser en mi humilde opinión, comprender el estructura causal que afecta a la pureza química! En segundo lugar, el ruido, por definición, es el conjunto de factores que NO ESTÁS DISPUESTO/CAPAZ DE CONTROLAR. La forma en que está recopilando datos es mediante la experimentación (en lugar del muestreo dirigido donde no se realiza ninguna manipulación y depende de la partición de las fuentes a través de cómo muestrea y subagrupa racionalmente los datos). Mantener el ruido constante durante todo el experimento es una idea terrible a menos que pretenda mantenerlo constante para siempre (y pagar el costo adicional de controlar el ruido), lo que, por supuesto, hace que esos factores sean controlables, no el ruido.
Como probablemente sepa, Fisher descubrió que esto era una mala idea ya que el espacio de inferencia resultante era tan estrecho que resultaba inútil cuando se enfrentaba a la realidad de que el ruido varía y puede afectar los resultados (consulte los artículos de Fisher sobre sus experimentos agrícolas). Introdujo la técnica de bloqueo para manejar el ruido, de modo que el ruido se mantenga constante dentro del bloque y se varíe deliberadamente entre los bloques para que pueda expandir el espacio de inferencia y aumentar la precisión del diseño simultáneamente. También permite la estimación de interacciones bloque por factor, una medida de robustez.
"Bloquea lo que puedas, aleatoriza lo que no puedas" GEP Caja
Shewhart sugirió en el ciclo de Shewhart "llevar a cabo el estudio, preferiblemente a pequeña escala". Creo que lo que se pretende es simular las condiciones del mundo real en el estudio a pequeña escala. Creo que la forma de hacer esto es exagerar los efectos del ruido para capturar la variación a largo plazo del ruido en un período de tiempo muy corto (el experimento).
Dicho esto, para responder a su pregunta, utilizo una filosofía pseudo bayesiana. Hago que los científicos/ingenieros predigan los datos para cada tratamiento del experimento (a priori, por supuesto y sesgado por las hipótesis de los ingenieros), prediga TODOS los resultados posibles (para mitigar el sesgo) y prediga qué acciones tomaría para TODOS los resultados posibles . Esto da contexto al análisis experimental y proporciona un enfoque práctico para evaluar los datos. Por ejemplo, si obtiene un resultado de un tratamiento que es muy diferente de lo que se esperaba, ¿pueden explicarse esos datos (hipótesis o una hipótesis modificada), si no, quizás cuestione la ejecución de ese tratamiento o cuestione qué más estaba pasando? durante la ejecución de ese tratamiento (y si predice por qué los datos no coincidirían, esto aumenta la posibilidad de que encuentre el efecto aleatorio).
Parafraseado de la cita de Louis Pasteur "El azar favorece a la mente preparada".
