Diseños de detección: ¿cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin realizar réplicas?Para demostrar la solidez de un proceso químico, a menudo necesitamos mostrar a los reguladores que los parámetros seleccionados (temperatura, equivalentes, tiempo y proporciones de reactivos) no afectan la calidad (pureza) del producto final.Para demostrar esto, los reguladores prefieren realizar diseños de detección.Generalmente queremos demostrar que los parámetros no tienen efectos perjudiciales dentro de los rangos estudiados, para que el proceso sea robusto.
Mi pregunta es si el experimentador actúa con la máxima precisión y los datos muestran que ninguno de los factores (o términos de interacción) influye en la calidad, entonces está bien.Si el experimentador recopiló datos que no son buenos y el modelo muestra que ninguno de los factores es influyente, entonces ¿cómo saber si podemos confiar en los datos y el modelo?¿Hay alguna forma, especialmente si no tenemos ejecuciones replicadas para ver la variación?
Veo que los Diseños de Detección Definitivos no necesariamente incluyen experimentos replicados, entonces ¿cómo saber si existe una variabilidad significativa en las respuestas?
Diseño de experimentosRe: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Creo que ya respondí a tu pregunta. Puede que no sea glamoroso, pero creo que la interpretación a través de los ojos del científico/ingeniero es un enfoque racional y lógico. Si puede evaluar si los resultados parecen razonables o si están "completamente terminados" mediante un análisis práctico (que se mejora enormemente al predecir los resultados antes de obtenerlos), entonces debería tener pistas de que algo no se hizo correctamente. Supongo que podrías desarrollar un modelo y observar los residuos, RMSE, delta R-cuadrado-Rcuadrado-Adj, valores p, etc. Alabama. para determinar qué tan mal describe el modelo el proceso.
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Estoy de acuerdo en que mi afirmación "mantener constantes todos los factores de ruido" no es correcta en el verdadero sentido.Pero mi definición de "ruido" es diferente en este contexto.Déjame dar un ejemplo.
Digamos que mi reacción no es muy sensible al agua.No tenemos que medir el contenido de agua del medio de reacción.Sin embargo, si hay una gran cantidad de agua (algo así como un 20% de agua), puede afectar la calidad.De nuevo, lo suficientemente significativo como para sesgar la respuesta.Si el químico realiza la reacción química en un reactor a escala de laboratorio debidamente secado (práctica común), no debería ser un problema.Pero digamos que el químico estaba haciendo un trabajo deficiente al secar el reactor a escala de laboratorio y tomó un reactor que está significativamente húmedo y realizó uno (o varios) de los experimentos en la tabla de diseño, entonces el resultado no es confiable.En una buena práctica de laboratorio esto no debería suceder, pero estoy hablando de condiciones no ideales.Este no es un factor que estudiaríamos, pero podría tener un impacto significativo si los químicos no siguen las instrucciones correctamente.Cuando dije "ruido", me refiero a una situación como esta.Ahora bien, si los experimentos en la tabla de diseño se realizaron con algunos reactores adecuadamente secos y algunos parcialmente secos y otros sin secar en absoluto; Si bien la instrucción es realizar todos los experimentos en reactores adecuadamente secos, los resultados pueden ser completos.
En este escenario, ¿es posible determinar que los datos no son confiables basándose en el análisis?
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Muchas gracias por sus aportes, entiendo completamente que los operadores tomen el asunto en sus manos y el "sesgo inherente" de un parámetro sobre otros.Puedo conectarme con eso y la sugerencia es bien aceptada.
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Compartiré mis pensamientos aunque es posible que no estés de acuerdo con ellos. Los diseños replicados son sólo una forma de incluir ruido en el experimento. Los diseños no replicados pueden resultar muy útiles. Utilizo diagramas de relación de factores para mostrar gráficamente las relaciones entre los factores de diseño y los factores de ruido en un experimento. De esta manera, comprenderá qué factores constituyen la base de la comparación y podrá utilizar el criterio científico/de ingeniería para determinar si ese ruido es representativo de condiciones futuras y podría estimular el desarrollo de pensamientos y hipótesis sobre el efecto potencial de dicho ruido. Dividir el ruido puede ser muy útil para aumentar la precisión del diseño sin afectar negativamente el espacio de inferencia.
Tu declaración " Ahora el objetivo del estudio es hacer experimentos en el laboratorio (a pequeña escala, imitando la operación a gran escala tanto como sea posible), variando sistemáticamente los factores A, B y C mientras manteniendo constantes todos los demás factores de ruido ." no tiene ningún sentido para mí. Primero, el objetivo debería ser, en mi humilde opinión, comprender el estructura causal que afecta la pureza química! En segundo lugar, el ruido, por definición, es el conjunto de factores que NO ESTÁS DISPUESTO/NO PUEDES CONTROLAR. La forma en que recopila datos es mediante la experimentación (en lugar de un muestreo dirigido donde no se realiza ninguna manipulación y se basa en dividir las fuentes a través de la forma en que se muestrean y subgrupos racionalmente los datos). Mantener el ruido constante durante todo el experimento es una idea terrible a menos que pretenda mantenerlo constante para siempre (y pagar el gasto adicional de controlar el ruido), lo que, por supuesto, hace que esos factores sean controlables, no el ruido.
Como probablemente sepa, Fisher descubrió que esto era una mala idea ya que el espacio de inferencia resultante era tan estrecho que resultaba inútil ante la realidad de que el ruido varía y puede afectar los resultados (consulte los artículos de Fisher sobre sus experimentos agrícolas). Introdujo la técnica de bloqueo para manejar el ruido de modo que el ruido se mantuviera constante dentro del bloque y variara intencionalmente entre los bloques para poder expandir el espacio de inferencia y aumentar la precisión del diseño simultáneamente. También permite estimar las interacciones bloque por factor, una medida de robustez.
"Bloquea lo que puedas, aleatoriza lo que no puedas" GEP Caja
Shewhart sugirió en el Ciclo Shewhart "llevar a cabo el estudio, preferiblemente a pequeña escala". Creo que lo que se pretende es simular las condiciones del mundo real en el estudio a pequeña escala. Creo que la forma de hacer esto es exagerar los efectos del ruido para capturar la variación a largo plazo del ruido en un período de tiempo muy corto (el experimento).
Dicho esto, para responder a tu pregunta, utilizo una filosofía pseudobayesiana. Hago que los científicos/ingenieros predigan los datos para cada tratamiento del experimento (a priori, por supuesto y sesgados por las hipótesis de los ingenieros), predicen TODOS los resultados posibles (para mitigar el sesgo) y predicen qué acciones tomaría para TODOS los resultados posibles. . Esto da contexto al análisis experimental y proporciona un enfoque práctico para evaluar los datos. Por ejemplo, si obtiene un resultado de un tratamiento que es muy diferente de lo esperado, ¿se pueden explicar esos datos (hipótesis o hipótesis modificada)? Si no, tal vez cuestione la ejecución de ese tratamiento o qué más estaba sucediendo. durante la ejecución de ese tratamiento (y si predice por qué los datos no coincidirían, esto aumenta las posibilidades de encontrar el efecto aleatorio).
Parafraseado de la cita de Louis Pasteur "El azar favorece a la mente preparada".
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Aquí hay una segunda idea para usted que no ayuda a DETECTAR la causa raíz de los 'datos incorrectos'... sino a PREVENIRLOS... basada en una experiencia personal. Después de algunos años de consultoría del DOE para numerosos proyectos en mi empleador (principalmente en un nuevo espacio de desarrollo de procesos/productos), me di cuenta de que, con demasiada frecuencia, para nuestro gusto, las personas que realmente ejecutaban los experimentos "tomaban las cosas en sus propias manos". en ejecución experimental y no seguir al pie de la letra lo que queríamos que se hiciera.
Por ejemplo, la aleatorización de los ensayos a menudo quedaba en el camino porque el operador consideraba que restablecer los factores de forma aleatoria era una molestia y agrupaba las ejecuciones del 'factor doloroso para cambiar' para hacer que el experimento, bueno, fuera menos doloroso. Ay... ahí va la aleatorización... y no especificamos un diseño de trama dividida. Entonces, ahí mismo nos abrimos a la posibilidad de que haya "datos incorrectos".
Entonces, en lo que comencé a insistir fue en estar presente cuando se ejecutara el experimento, observar y tratar de ayudar a los operadores en el camino. Descubrí que esto tenía varios beneficios... uno es que a menudo veía algo que podría influir en nuestros resultados de una manera que no queríamos que sucediera... como el escenario anterior. Insistiría en ejecutar el experimento en el orden aleatorio que especificamos... y no tomar el asunto en sus propias manos. Desde el punto de vista del trabajo en equipo... también me ayudó a ganar credibilidad entre los operadores porque yo, el estadístico de camisa blanca, estaba dispuesto a ir al laboratorio o al taller, ensuciarme las manos y, a veces, trabajar de noche o turno de noche junto con todos los demás trabajadores rígidos... y no sentarme en mi oficina de marfil todo el día emitiendo proclamas al proletariado.
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?La única técnica que se me ocurre es que podría utilizarla para el escenario que describe examinando los resultados empíricos según lo esperado SI las pruebas experimentales se realizaron según lo prescrito. Obviamente tendrá que haber una diferencia entre las respuestas esperadas y las observadas que sea lo suficientemente grande como para despertar sospechas... pero esa es mi única idea para ti.
Una técnica informativa potencialmente útil podría ser utilizar JMP Prediction Profiler que contiene un modelo que usted cree... luego, para combinaciones dadas del 'nuevo' experimento, pregunte "¿a qué distancia de la respuesta predicha está la respuesta real?". .utilizando el intervalo de predicción como criterio informativo.
El escenario que describiste en realidad me sucedió una vez en un proyecto con un equipo de escépticos del DOE en general... Yo era el estadístico del equipo y muchos en el equipo sentían que el DOE era similar a la magia negra. Realizamos una prueba de confirmación basada en las x óptimas elegidas. Los resultados ni siquiera estuvieron cerca en prácticamente todas nuestras respuestas. Entonces el equipo entró en nuestro mejor modo Sherlock Holmes para tratar de encontrar "¿qué salió mal?" Resulta que el operador había elegido intencionalmente uno de los factores clave x para que fuera "lo que siempre usamos... no este nivel ridículo escrito en la hoja". Qué vergüenza para nosotros por no mantener al operador informado... queríamos que ese 'nivel ridículo' confirmara nuestro conocimiento del proceso. Entonces, una vez que descubrimos lo que el operador realmente había elegido, saqué el JMP Prediction Profiler e ingresé el nivel inapropiado para el factor x... he aquí que el Profiler predijo con notable precisión los pésimos resultados que observamos. Al final de esa reunión, incluso los escépticos del DOE estaban convencidos.
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Gracias statman, consulte mi respuesta a P_Bartell.
Consulte los detalles adicionales que proporcioné.
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Gracias por su respuesta.Déjame aclarar algunas cosas.
Digamos que los factores A, B, C tienen potencial para afectar la pureza de un producto en una reacción química, pero solo cuando se prueban en extremos.Habrá muchos otros factores (llamémoslos X) que tendrán un efecto muy marginal sobre la pureza.Estos otros factores no se incluyen en el estudio porque tienen un impacto insignificante en la pureza o porque tienen una alta confianza en que se pueden controlar bien con precisión en el punto establecido a medida que el proceso llega a la planta.
Ahora el objetivo del estudio es realizar experimentos en el laboratorio (a pequeña escala, imitando la operación a gran escala tanto como sea posible), variando sistemáticamente los factores A, B y C mientras se mantienen constantes todos los demás factores de ruido.
En una situación hipotética en la que el químico que está ejecutando estas reacciones no realizó los experimentos meticulosamente, es decir, no mantuvo los factores A, B y C en los puntos necesarios para el estudio y no controló los factores de ruido en los valores designados, entonces habría Podría darse una situación en la que la combinación de factores de ruido desdibuja la señal real que surge de la variación sistemática de los factores A, B y C.En esa situación, los resultados pueden indicar que los factores no afectan la pureza dentro de los rangos probados.
¿Hay alguna manera de decir que los resultados no son confiables porque los experimentos no se realizaron como se esperaba?¿Especialmente si no hay experimentos replicados en la matriz?
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Primero, bienvenido a la comunidad. Intentaremos darle algunas ideas y no dude en responder con más información sobre su situación.
Pete mencionó algunos puntos excelentes. Aquí están mis pensamientos adicionales:
1. Para mí, robustez significa Rendimiento constante del modelo frente a cambios de ruido. (cuantitativamente la ausencia de interacciones ruido por modelo). El ruido podría ser las condiciones ambientales, la pureza de los productos químicos entrantes, la limpieza de la tina, los errores del sistema de medición, la variación de las X no controladas específicamente, la variación de las X dentro de los niveles de control, etc., o como yo defino el ruido: Los factores que no estás dispuesto a gestionar/controlar. ).
2. ¿Podrías recopilar datos para la variable de respuesta y al mismo tiempo registrar los valores de las X? Utilice estos datos para realizar una regresión lineal. Es de esperar que la variación en la variable de respuesta sea relativamente pequeña y que no haya relación con las X. Esto se debe a la probabilidad de que las X tampoco varíen mucho (razón por la cual hay poca evidencia de una relación causal, incluso cuando en realidad puede haberla).
3. Lo que realmente están pidiendo (supongo) no es que se haga un diseño de detección, ya que la intención de esto es cambiar audazmente las X y descubrir relaciones potencialmente causales, sino algo más parecido a un diseño de tolerancia. Quizás sea semántica, pero lo que quieren saber es si la variación aleatoria normal de las X afecta la variable de respuesta. Así que elija niveles que sean representativos de los extremos de la variación natural de las x y ejecute algún tipo de diseño factorial. Creo que deberías emplear alguna estrategia para manejar también otras fuentes de ruido (bloqueo, repetición, tramas divididas, etc.)
4. No estoy seguro de lo que quieres decir con " Si el experimentador recogió datos que no son buenos". ¿Significa esto que los sistemas de medición son sospechosos? En cuyo caso debe estudiar los sistemas de medición y, si realiza un experimento, tomar medidas repetidas para estimar el componente de medición y tal vez promediar su variación para aumentar la precisión del diseño.
Re: Diseños de detección: ¿Cómo sabemos si los efectos no son significativos o si todos los datos no son buenos (variación significativa) sin hacer réplicas?Intentaré analizar algunas ideas.
Primero: si la variación en las respuestas está inundando cualquier señal que pueda estar oculta a la variación de los factores en mi mente, hay una de tres causas:
1. Variación excesiva del sistema de medición. En este escenario, la principal causa de la variación de la respuesta es predominantemente la variación del sistema de medición. ¿Tiene implementado un sistema de control de procesos continuo para el sistema de medición? ¿Conoce la variación "normal" inherente del sistema de medición? De lo contrario, nunca sabrá si su conclusión de "ningún efecto" debido a la variación de los factores es real o simplemente una ilusión causada por una variación excesiva del sistema de medición.
2. Variables de ruido/molestias que influyen en el proceso experimental de una manera que aumenta la variación de la respuesta. Es importante estar siempre atento a este tipo de influencias durante la realización de experimentos. Esto es complicado porque nunca se puede saber con certeza... pero una mirada atenta, tal vez por parte de un tercero independiente, durante la realización y planificación experimental puede ser útil.
3. Realmente no pasa nada...
En general, su pregunta está en el centro de la prueba de hipótesis, nunca podemos "aceptar" una hipótesis nula de que "no sucede nada fuera de los factores"... solo no podemos rechazarla. En el caso que ha descrito, todo lo que realmente puede decir es que no rechazamos la hipótesis nula de que cada efecto estimable es igual a cero.
