Cómo realizar métodos DoE iterativos con una plataforma DoE personalizadaHola,
Leí algunas publicaciones en el pasado sobre métodos sobre cómo abordar DoE y el refinamiento de modelos. Un método que vi fue construir sobre modelos usando la opción de diseño de aumento y se describió como un proceso iterativo.
De esta manera, realizaría más un DoE personalizado de tipo de detección en las etapas iniciales, evaluaría el modelo, reduciría el modelo y luego aumentaría el diseño para una mayor optimización y reducción de la varianza.
1. ¿Parece este proceso sólido como método para abordar el refinamiento del modelo?
2. ¿Qué pasos seguirías para refinar tu modelo usando este método?
- ¿La evaluación debería evaluar simultáneamente tanto los efectos principales como los efectos de interacción o debería comenzar con los efectos principales y luego continuar con las interacciones de segundo orden?
- Si un efecto principal se considera "insignificante", ¿significa esto que tampoco hay posibilidad de que se produzcan efectos de interacción?
- ¿Debería agregar puntos centrales para detectar la curvatura en la fase de detección?
- ¿Debería agregar réplicas en esta fase? (He oído que esto puede ser innecesario cuando se evalúan grandes impactos en lugar de una variación baja)
- ¿Cuándo se deben agregar réplicas o centrarse en la reducción de la varianza?
¡Gracias de antemano!
Diseño de experimentosModelado predictivo y aprendizaje automáticoventanasRe: Cómo realizar métodos DoE iterativos con una plataforma DoE personalizadaLo intentaré. Por favor, disculpe mi "sermón".
No existe una "única forma" de construir modelos. Algunos métodos pueden ser más efectivos o eficientes dada la situación, pero todo depende de la situación. Permítanme sugerir también que el modelo debe ser útil.
Un buen modelo es una aproximación, preferiblemente fácil de usar, que captura las características esenciales del fenómeno estudiado y produce procedimientos que son robustos ante posibles desviaciones de los supuestos.
Caja GEP
Utilizo el método científico (es decir, un proceso iterativo de inducción-deducción, los ejemplos incluyen el PDSA de Deming o el proceso de aprendizaje iterativo de Box) como base para todas las investigaciones.
Se debe indicar el ímpetu o motivación (por ejemplo, reducir costos, mejorar el desempeño, responder a las quejas de los clientes, agregar funciones, etc.), pero se debe tener cuidado ya que esto puede ser simplemente un síntoma. Se debe tomar una decisión sobre si se trata de un estudio para explicar lo que ya está ocurriendo o si el estudio pretende comprender la estructura causal (estoy predispuesto a comprender la causalidad). Además, se debe entender cuáles son las limitaciones (por ejemplo, recursos, sentido de urgencia). Comience con el diagnóstico de la situación (por ejemplo, hacer preguntas, observación, extracción de datos (esto puede incluir diferentes procedimientos de tipo regresión), colaboración, posibles soluciones, sistemas de medición, etc.). ¿Cuáles son las respuestas apropiadas? ¿Existe interés en comprender la tendencia central, la variación o ambas? ¿Las variables de respuesta cuantifican adecuadamente los fenómenos? He visto innumerables veces donde el problema era la variación, pero la respuesta era la media. Eso nunca funcionará.
Desarrollar hipótesis. Una vez que tenga un conjunto de hipótesis, obtenga datos que proporcionen información sobre esas hipótesis. La estrategia adecuada de recopilación de datos depende de la situación. Si hay muchas hipótesis o factores (p. ej., >15), el enfoque más eficiente puede ser utilizar estudios de muestreo dirigido (p. ej., componentes de variación, MSE). Los datos deberían ayudar a determinar qué componentes tienen mayor influencia. A medida que la lista de "sospechosos" se hace más pequeña, tal vez la experimentación pueda acelerar el aprendizaje. Es probable que esto siga una secuencia de iteraciones, pero es probable que se desconozca cuál es la "mejor" secuencia real para comenzar. Error al comenzar con un espacio de diseño grande (por ejemplo, muchos factores y niveles en negrita). Probablemente será una especie de experimento fraccionado sobre ese espacio de diseño. Tenga en cuenta que los efectos de orden superior (por ejemplo, interacciones y no lineales) todavía están presentes, sólo que pueden confundirse. Deje que los datos y su interpretación de la información que los datos le brindan sean la guía.
En cuanto al ruido (p. ej., materiales entrantes, condiciones ambientales, errores de medición, técnicas del operador, uso del cliente, etc.), creo que esta es la oportunidad que más a menudo se pierde. Intuitivamente, creo que nuestro sesgo es mantener constantes esos factores no probados mientras experimentamos. Esto está completamente mal. Esto crea un espacio de inferencia estrecho y reduce la probabilidad de que los resultados sean válidos en el futuro. Comprender el ruido es un segundo paso cercano a comprender un modelo de primer orden. Piensa en el experimento más grande que jamás hayas diseñado. Piense en cuántos factores había en el estudio. ¿Qué proporción de TODOS los factores es el experimento? Desafortunadamente, el software no es realmente capaz de proporcionar instrucciones sobre cómo estudiar adecuadamente el ruido.
"Bloquea lo que puedas, aleatoriza lo que no puedas", GEP Box
Se gasta mucho en la forma más eficiente de estudiar los factores de diseño (por ejemplo, personalización, optimización, DSD), pero se gasta poco en incorporar el ruido al estudio. No estoy seguro de qué puede hacer por usted un modelo complejo si está en el lugar equivocado. ¿No está seguro de que se pueda "automatizar" en un programa de software? requiere pensamiento crítico.
Respecto a sus preguntas específicas:
- ¿La evaluación debería evaluar simultáneamente tanto los efectos principales como los efectos de interacción o debería comenzar con los efectos principales y luego continuar con las interacciones de segundo orden?
Se recomienda desarrollar modelos jerárquicamente. ¿Es posible que su pregunta no sea "evaluar", sino estimar o separar? Todo depende de lo que sabes y de lo que no. Error en la suposición: ¡no sabes mucho!
- Si un efecto principal se considera "insignificante", ¿significa esto que tampoco hay posibilidad de que se produzcan efectos de interacción?
Absolutamente no. Te doy F=ma (ninguno de los efectos principales, mo a, es significativo)
- ¿Debería agregar puntos centrales para detectar la curvatura en la fase de detección?
Dependiente de la situación. ¿Sospechas de un efecto no lineal? ¿Por qué? ¿Estás en un espacio de diseño en el que el efecto no lineal es útil?
- ¿Debería agregar réplicas en esta fase? (He oído que esto puede ser innecesario cuando se evalúan grandes impactos en lugar de una variación baja)
- ¿Cuándo se deben agregar réplicas o centrarse en la reducción de la varianza?
Necesitas una estrategia de ruido. La replicación es una de muchas. Nuevamente la pregunta será: ¿el ruido en el espacio de diseño es similar al ruido cerca de donde quieres estar? Si es así, estúdialo ahora.
La estandarización exacta de las condiciones experimentales, que a menudo se defiende irreflexivamente como una panacea, siempre conlleva la verdadera desventaja de que un experimento altamente estandarizado sólo proporciona información directa sobre el estrecho rango de condiciones logradas por la estandarización. Por lo tanto, la estandarización debilita en lugar de fortalecer nuestra base para inferir un resultado similar, cuando, como ocurre invariablemente en la práctica, estas condiciones son algo variadas.
- RA Fisher (1935), Diseño de experimentos (p.99-100)
Re: Cómo ejecutar métodos DoE iterativos con la plataforma DoE personalizadaGracias por una respuesta tan reflexiva. Me da mucho que pensar a la hora de abordar el diseño.
Tengo algunas preguntas adicionales. Me gustaría encontrar una manera eficiente de minimizar la cantidad de ejecuciones necesarias para refinar un modelo de 9 factores continuos. Tenemos un proceso que se creó utilizando métodos no estadísticos, por lo que ahora estamos evaluando con JMP para asegurarnos de que no haya sorpresas... El objetivo es evaluar y eliminar componentes insignificantes, y luego construir un modelo predictivo efectivo dentro de nuestro espacio de diseño. Trabajo en purificación y hay respuestas finitas (recuperación/pureza). Debido a esto, para mí tiene sentido que cada factor tenga un óptimo (un elemento cuadrático) en un amplio rango de pruebas.
Creo que el proceso de pensamiento general es realizar una selección, eliminar los factores insignificantes (efectos principales e interacciones) y luego centrarse en los cuadráticos y la reducción de la varianza ampliando el diseño.
- ¿Cómo saber qué interacciones son importantes?
- Estoy trabajando en el refinamiento del buffer y hay muchos componentes en los que no estamos seguros de las interacciones.
- Con una aplicación personalizada, si se supone que se deben evaluar todas las interacciones, la "pantalla" se vuelve muy grande (48 ejecuciones)
- ¿Cómo saber qué interacciones se están evaluando al utilizar opciones de detección no personalizadas?
- Si confías en aplicaciones como pantalla definitiva, o pantallas clásicas, está más cerca de 30runs.
- Me siento más incómodo con esta opción porque no estoy seguro de qué interacciones se están evaluando y cuáles no.
En realidad, parece que la clasificación de los efectos de las interacciones es la parte principal de las ejecuciones. Quiero asegurarme de que lo estoy haciendo de manera eficiente.
¡Gracias!
Re: Cómo ejecutar métodos DoE iterativos con la plataforma DoE personalizadaAquí están mis pensamientos. Lamentablemente, no entiendo completamente su proceso, así que tenga eso en cuenta.
"Me gustaría encontrar una manera eficiente de minimizar el número de ejecuciones necesarias para refinar un modelo de 9 factores continuos".
¿Minimizar en un experimento? ¿Planea iterar? ¿Cuál es el presupuesto total del experimento (por ejemplo, tiempo y recursos)? Cuanto menos se ejecute, menos grados de libertad habrá disponibles para separar y asignar efectos.
“Tenemos un proceso que fue creado utilizando métodos no estadísticos, por lo que ahora estamos evaluando con JMP para asegurarnos de que no haya sorpresas ”.
En última instancia, lo que se busca es un modelo predictivo que sea útil y sólido. La forma en que se llega al modelo puede afectar a los recursos, pero no hay magia con las estadísticas. Para mí, "sin sorpresas" significa un proceso estable, consistente y resistente al ruido. La única forma de evaluar la solidez es hacer que el ruido varíe en el estudio. Esto también implica una serie temporal. Este no es el énfasis en la experimentación, donde la serie temporal se compromete deliberadamente para acelerar la comprensión del modelo.
"El objetivo es evaluar y eliminar componentes insignificantes para luego construir un modelo predictivo efectivo dentro de nuestro espacio de diseño".
Un poco de redacción... El objetivo es construir un modelo eficaz (que funcione), eficiente (rentable), útil (manejable), predictivo (coherente y estable) que sea robusto (al ruido). Por supuesto, es posible que desee considerar el concepto de mejora continua. ¿Qué sucede a medida que evoluciona la tecnología? ¿A medida que se desarrollan o adaptan nuevos materiales? ¿A medida que mejoran los sistemas de medición y medición? ¿A medida que cambian los requisitos del cliente?
"Para mí tiene sentido que cada factor tenga un óptimo (un elemento cuadrático) en un amplio rango de pruebas".
¿Por qué un modelo cuadrático? Solo se preocupan de las desviaciones del modelo lineal cuando son significativas. Es mucho más fácil gestionar un modelo lineal. El objetivo no es obtener un modelo que prediga con exactitud. Estos modelos suelen ser demasiado complejos y solo funcionan en un espacio reducido.
"¿Cómo sabes qué interacciones son importantes?"
Comenzaría con el SME. ¿Qué interacciones tienen sentido? ¿Qué interacciones se predicen? ¿Por qué? (hipótesis). Ordenaría los efectos del modelo hasta el segundo orden. A medida que los efectos de segundo orden suben en la lista, aumenta la necesidad de aumentar la resolución. Los diseños ortogonales clásicos son bastante útiles en el trabajo secuencial, ya que se conoce la estructura de alias y no es parcial. Si bien puede gastar recursos en más ejecuciones para comenzar, será más fácil desaliar en experimentos posteriores. En cualquier caso, diseñe múltiples opciones para 9 factores (fácilmente hecho en JMP). Evalúe lo que hará cada opción de diseño en términos de qué conocimiento se puede obtener potencialmente (por ejemplo, qué efectos se separarán, cuáles se confundirán, cuáles no estarán en el estudio). Contraste estas opciones con los recursos necesarios para completar. Prediga TODOS los resultados posibles de cada diseño. Prediga qué acciones generará cada resultado posible. Seleccione el diseño que predice que será el mejor compromiso entre conocimiento y recursos. Ejecútelo. Esté preparado para iterar (las iteraciones deben predecirse).
" ¿Cómo saber qué interacciones se están evaluando al utilizar opciones de detección no personalizadas? "
JMP proporcionará la estructura de alias para cada diseño propuesto.
En general, estoy de acuerdo en que cuanto más "personalizado" sea el diseño, más complicado será el alias. Este es el riesgo del alias parcial. La recompensa es que habrá menos ejecuciones en el diseño actual. ¿Serán menos a lo largo de la experimentación secuencial? Quién sabe.
