El modelo RSM era inexacto (no está de acuerdo con los datos históricos): cómo solucionarlo y dónde salió malHola chicos,
Tenemos un proceso que está bastante bien caracterizado en este punto, pero ahora estamos eliminando el riesgo de una posible variabilidad del proceso desde el material de partida. La intención es maximizar la pureza y maximizar la recuperación de esta operación unitaria.
Hay dos parámetros que sabemos que son factores importantes, ya que han sido modelados en DoE anteriores y son simplemente parámetros bien conocidos (B,C). Se está investigando un tercer parámetro (A), ya que en teoría podría tener un impacto. Esta es la pureza inicial del material, que puede ser variable (y no podemos controlarla por completo).
A partir de experimentos casuales, he demostrado una purificación exitosa en un amplio rango de A (~30-50% de pureza inicial). Quería investigar dónde no se puede alcanzar el punto de falla (¿a qué pureza del material inicial no se puede alcanzar la pureza final objetivo?). También quería caracterizar completamente nuestro espacio de diseño en torno a esto para que podamos saber si la condición óptima de B y C se ha movido con un cambio en A.
Realicé un modelo RSM que osciló entre B y C en su rango normalmente probado, y A osciló entre aproximadamente el 5% de pureza y ~85% de pureza. Identificó A como un parámetro significativo pero, en general, el modelo se aleja de los datos históricos. Entonces, por ejemplo, después de reducir el modelo, predijo que el 30 % del material tendría una pureza de ~60 % al final de la operación, pero tenemos múltiples puntos de datos que muestran que esto está subestimado y debería estar más cerca del 85 %.
Se produjo un problema en la realización de este estudio. Las condiciones objetivo A fueron las siguientes: 5%, 40%, 85%. Después de realizar la prueba, se descubrió que la condición intermedia realmente probada estaba más cerca del 55%, por lo que se trataba de un error de ejecución. ¿Podría esto haber causado el problema?
En general, el ajuste del modelo fue muy bueno, con un RSME bajo. Las condiciones de baja pureza definitivamente fueron una prueba de estrés y no es algo que esperaríamos ver en producción, pero parecía beneficioso explorar un amplio espacio para la comprensión del proceso. Mis teorías son que el error experimental que ocurrió ha llevado a un problema, o el rango era demasiado amplio y la condición inferior Una que luchó repetidamente por purificar, bajó el modelo.
1.) ¿Cómo puedo reparar este DOE para mejorar la precisión?
Puedo aumentar las ejecuciones y enfocar el conjunto de datos en el "rango MFG" que esperaríamos
Podría agregar un término de tercer orden para evaluar más condiciones de A en lugar de solo 3.
2.) ¿Cómo puedo evitar un modelo inexacto en el futuro?
Si no tuviera datos históricos, no habría cuestionado este conjunto de datos, ya que parece correcto.
Diseño de experimentosventanasRe: El modelo RSM era inexacto (no está de acuerdo con los datos históricos): cómo solucionarlo y dónde salió malGracias por la descripción detallada. ¿Qué mostró el análisis residual sobre el modelo en el reciente experimento RSM?
Además, ¿alguna de las ejecuciones de RSM tenía en común con experimentos o pruebas anteriores y, por lo tanto, podría actuar como control?
Re: El modelo RSM era inexacto (no está de acuerdo con los datos históricos): cómo solucionarlo y dónde salió malPara aclarar, ¿"A" no es controlable por usted?¿Es una "materia prima" de un proveedor?Si es así, me parece que debería desarrollar un modelo mixto con A como variable aleatoria (covariable) en el modelo.
Pensamientos adicionales:
1. ¿Ha evaluado los sistemas de medición de A y de pureza?
2. ¿Dónde estaba A (por ejemplo, en qué niveles estaba) cuando estudiaste B y C en experimentos anteriores?Si interactúa con B y/o C, entonces sus modelos anteriores serían condicionales.
3. No entiendo a qué te refieres con " reparar este DOE para mejorar la precisión"?Supongo que quieres mejorar el modelo, el DOE es un medio para lograr un fin.
4. Los modelos son aproximaciones y, con suerte, utilizables. Pueden utilizarse con fines explicativos o predictivos.Su desempeño en la predicción depende de qué tan representativos sean sus estudios (por ejemplo, los DOE) del futuro. Los DOE tienen, por diseño, un espacio de inferencia estrecho.Esto se debe a que está eliminando/reduciendo drásticamente la serie temporal y, por lo tanto, evitando que los factores varíen en el DOE.Para superar esta desventaja, debe exagerar el ruido en su experimento y utilizar una estrategia para manejar el ruido de manera adecuada (por ejemplo, repeticiones, réplicas, bloques, diagramas divididos, covariables, etc.)
Re: El modelo RSM era inexacto (no está de acuerdo con los datos históricos): cómo solucionarlo y dónde salió mal¡Gracias por su respuesta!
Para aclarar, ¿"A" no es controlable por usted?¿Es una "materia prima" de un proveedor?Si es así, me parece que debería desarrollar un modelo mixto con A como variable aleatoria (covariable) en el modelo.
"A" no será controlable en MFG pero sí en este experimento. Combiné dos grupos de material de partida que era de alta y baja pureza, aunque mi objetivo medio estaba fuera del objetivo de pureza (utilicé un enfoque de promedio ponderado).
Pensamientos adicionales:
1. ¿Ha evaluado los sistemas de medición de A y de pureza?
La medición de la pureza aquí es muy precisa. Por lo general, podemos estimar dentro del 5%, generalmente más preciso, pero eso es ser conservador.
2. ¿Dónde estaba A (por ejemplo, en qué niveles estaba) cuando estudiaste B y C en experimentos anteriores?Si interactúa con B y/o C, entonces sus modelos anteriores serían condicionales.
"A" en experimentos anteriores del DoE se mantuvo constante en alrededor del 40-45% de pureza. A escala, los análisis han llegado a tan solo el 30% sin ningún impacto notable en la pureza final.
3. No entiendo a qué te refieres con " reparar este DOE para mejorar la precisión"?Supongo que quieres mejorar el modelo, el DOE es un medio para lograr un fin.
Correcto, mi terminología era incorrecta. ¿Cómo puedo mejorar el modelo y cuál es la teoría que explica por qué es inexacto?
4. Los modelos son aproximaciones y, con suerte, utilizables. Pueden utilizarse con fines explicativos o predictivos.Su desempeño en la predicción depende de qué tan representativos sean sus estudios (por ejemplo, los DOE) del futuro. Los DOE tienen, por diseño, un espacio de inferencia estrecho.Esto se debe a que está eliminando/reduciendo drásticamente la serie temporal y, por lo tanto, evitando que los factores varíen en el DOE.Para superar esta desventaja, debe exagerar el ruido en su experimento y utilizar una estrategia para manejar el ruido de manera adecuada (por ejemplo, repeticiones, réplicas, bloques, diagramas divididos, covariables, etc.)
Lo entiendo totalmente, el problema es que este modelo sugiere que "A" es un factor significativo en un espacio donde se ha demostrado que no lo es. Estoy tratando de determinar si esto fue algo que hice incorrectamente en mi diseño DoE, o si fue experimental, etc.
Re: El modelo RSM era inexacto (no está de acuerdo con los datos históricos): cómo solucionarlo y dónde salió mal"A" no será controlable en MFG pero sí en este experimento. Combiné dos grupos de material de partida que era de alta y baja pureza, aunque mi objetivo medio estaba fuera del objetivo de pureza (utilicé un enfoque de promedio ponderado).
Entiendo que manejaste A durante el experimento, esa no es la cuestión.La pregunta es: ¿está usted dispuesto a gestionar A en el futuro? Lo que quiero decir con querer es; ¿Tiene la capacidad, el dinero o el deseo de gestionar A?Si no, A es ruido. Tratar a A como un factor de diseño no es lo que recomendaría.
La medición de la pureza aquí es muy precisa. Por lo general, podemos estimar dentro del 5%, generalmente más preciso, pero eso es ser conservador.
No estoy seguro de entender su terminología.Existe una diferencia entre exactitud y precisión, pero ¿parece que las usas indistintamente?La precisión es una medida de qué tan cerca está una medición del valor verdadero o aceptado de la cantidad que se está midiendo (por ejemplo, un estándar de referencia). La precisión es una medida de qué tan cerca están una serie de mediciones entre sí (es decir, repetibilidad y reproducibilidad).Pero en cualquier caso usted sugiere que la medición no es un problema.
"A" en experimentos anteriores del DoE se mantuvo constante en alrededor del 40-45% de pureza. A escala, los análisis han llegado a tan solo el 30% sin ningún impacto notable en la pureza final.
Este es un problema potencial.Dado que A era constante, durante experimentos anteriores, no hay una estimación de los posibles efectos de interacción entre A y otros factores.Además, su modelo depende de que A sea constante en niveles de pureza del 40-45%.Si A cambia, no tenemos idea de cómo funcionará su modelo.
Lo entiendo totalmente, el problema es que este modelo sugiere que "A" es un factor significativo en un espacio donde se ha demostrado que no lo es. Estoy tratando de determinar si esto fue algo que hice incorrectamente en mi diseño DoE, o si fue experimental, etc.
I No estoy seguro de seguir tu lógica... ¿Cómo "probaste" que A no era significativo en el espacio del diseño?Si ya sabes que A es insignificante, ¿por qué estás experimentando con él?Si ejecutó el diseño apropiado o si hubo otros problemas en su experimento, sólo puedo especular.Si ya tenía un modelo para B y C y solo quería agregar A al modelo, no estoy seguro de por qué ejecutó un tipo de diseño de superficie de respuesta.Además, para diseños de tipo optimización, la significancia estadística es menos importante. Ya deberías haber establecido el modelo, ahora solo estás seleccionando niveles para los factores en el modelo para optimizar la respuesta. Es típico algún tipo de mapeo de contornos. Nuevamente, si A es verdaderamente ruido, entonces no debería analizarse ni interpretarse como un factor de diseño (quizás como una covariable).
Re: El modelo RSM era inexacto (no está de acuerdo con los datos históricos): cómo solucionarlo y dónde salió malHola @MetaLizard62080
Voy a abordar esto con un enfoque diferente a otras respuestas que se centran en el enfoque experimental y la calidad de los datos. Si entiendo correctamente, su condición intermedia fue del 55% en lugar del 40% que estaba previsto. Si es así, este puede ser un caso de dar un paso atrás y evaluar la precisión de su control sobre A: necesita estar seguro de que puede controlar al 5, 40 y 85% que ha seleccionado en su diseño, si tiene variabilidad inherente, esto aumentará la incertidumbre en su diseño. ¿Cuántas repeticiones de cada punto realizaste?
¿Cuál fue el tipo de modelado que usaste? Desafortunadamente, una limitación de las regresiones de mínimos cuadrados estándar es que son sensibles a grandes cambios en los rangos de factores y a valores atípicos (esto muchas veces significa que se pasan por alto los cambios "sutiles" en los datos, lo que posiblemente lleve a las subestimaciones que usted describe aquí).He tenido problemas similares en los que mi modelo predictivo en un RSM no coincidía con mi comprensión de la teoría/datos históricos, lo que se redujo a valores atípicos en mi conjunto de datos; para ayudar con esto, miré las puntuaciones de Cooks D Influence de mis puntos de datos. una buena regla general es que los puntos tengan un valor > 4/n para encontrar valores atípicos. Otra opción es explorar diferentes formas de modelado predictivo como GenReg.
Otra consideración es si A se mantuvo constante en sus experimentos anteriores y lo está variando ahora: ¿ha cambiado la calidad/tipo de A (cuál fue el intervalo de tiempo entre el experimento anterior y este? ¿Existe también potencialmente un 'factor oculto' asociado con A que esté causando un efecto en el proceso?
