El diseño de experimentos (DOE) es un método estadístico que guía la ejecución de experimentos, los analiza para detectar las variables relevantes y optimiza el proceso o fenómeno investigado. El uso del DOE en el desarrollo de productos puede resultar en productos más fáciles y económicos de fabricar, con mayor rendimiento y fiabilidad, y que requieren tiempos de diseño y desarrollo más cortos.
Hoy en día, el aprendizaje automático (ML) se adopta ampliamente como herramienta de análisis de datos debido a la creciente disponibilidad de conjuntos de datos grandes y complejos. Sin embargo, no todas las aplicaciones pueden permitirse el uso de big data. Por ejemplo, en las industrias farmacéutica y química, los conjuntos de datos experimentales suelen ser pequeños debido a las limitaciones de costo y al tiempo necesario para generar datos valiosos. No obstante, la incorporación del aprendizaje automático al diseño experimental ha demostrado ser una forma eficaz de optimizar la formulación en un conjunto de datos pequeño, que puede recopilarse de forma más económica y rápida.
Esta presentación consta de tres partes. En primer lugar, se resume brevemente la literatura relevante para el diseño experimental asistido por aprendizaje automático. A continuación, se presenta un caso de adhesivo para ilustrar la eficiencia de combinar el diseño experimental y el aprendizaje automático para reducir el número de experimentos necesarios para identificar el espacio de diseño con un paquete de catalizador optimizado. En la tercera parte, relativa a una aplicación de sellador industrial, utilizamos datos de la superficie de respuesta para comparar el error de predicción del modelo RSM con modelos de diversos algoritmos de aprendizaje automático (RF, SVR, Lasso, SVEM y XGBoost) utilizando datos de validación ejecutados dentro y fuera del espacio de diseño.
Hola. Soy Stone Cheng de Henkel Corporation. Hoy, mi presentación trata sobre el diseño experimental asistido por aprendizaje automático para la optimización de formulaciones. En el programa, abordaré brevemente el aprendizaje automático y su relación con las aplicaciones de DOE. Esta relación se ilustrará con dos casos prácticos. El caso 1 trata sobre el uso del aprendizaje activo para encontrar un espacio de diseño. El caso 2 trata sobre el uso del aprendizaje automático para mejorar el rendimiento previsto de DOE.
Acerca de mi empresa, Henkel. Es una empresa química de 22 mil millones de dólares. Tenemos dos grupos de negocio. Uno es la marca de consumo, que abarca productos de lavandería, hogar y belleza. El otro es el de tecnologías de adhesivos, del cual formo parte. Somos líderes en el mercado global de adhesivos, y atendemos a 800 industrias con más de 20,000 productos.
El aprendizaje automático es un tema en gran auge como lo ilustra gran parte de la literatura de revisión publicada en los últimos 4 años, que abarca una amplia aplicación industrial, incluida la metodología, la industria farmacéutica, la química y mucha impresión 3D, además del uso en calidad, innovación y fabricación.
El aprendizaje automático típico utiliza grandes conjuntos de datos, lo cual es opuesto a la práctica del DOE, donde se busca obtener el máximo aprendizaje con el menor número de ejecuciones. Actualmente, en términos generales, el DOE se utiliza junto con el aprendizaje automático de dos maneras, como se ilustra en este artículo de revisión de 2021. Por un lado, el aprendizaje automático se utiliza para analizar los datos del DOE. Por otro lado, se denomina aprendizaje activo, donde los resultados del paso de modelado del aprendizaje automático se utilizan para sugerir las siguientes configuraciones experimentales. En mi presentación, presento ejemplos de ambos casos.
En el Caso 1, se utiliza un aprendizaje automático DOE guiado por objetivos para estudiar el espacio de diseño y la optimización de la formulación del adhesivo. "Guiado por objetivos" es un término complejo, pero en este caso también se entenderá como aprendizaje supervisado. En el Caso 1, necesitamos mejorar la estabilidad del adhesivo en almacenamiento incorporando dos aditivos estabilizadores en la formulación. La estabilidad se monitoriza mediante dos respuestas: una es el flujo y la otra, la retención de la adhesión.
Ahora bien, la química es nueva para Henkel y también para esta química y ha decidido establecer el rango inicial del aditivo 1 entre 0,1 y 0,5 y luego de 0,5 a 3 para el aditivo 2. La química ha utilizado un factor a la vez y varios métodos DOE, incluidos factorial, RSM y relleno de espacio, tratando de encontrar el espacio de diseño que pueda cumplir con ambas especificaciones objetivo.
De las 22 ejecuciones, el equipo químico identificó dos que satisfacen tanto el requisito de flujo como el de adhesión. La pregunta es: ¿existe una forma más eficiente de identificar el espacio de diseño?
Nuestro enfoque consiste en mejorar la eficiencia del diseño de formulaciones en dos etapas. En la etapa 1, se utiliza el aprendizaje activo para identificar el espacio de diseño. En la etapa 2, se realiza un modelado predictivo principal para la optimización del adhesivo. En la etapa 1, el diseño de alimentación espacial incluye 5 ejecuciones como prueba inicial. Posteriormente, ambas respuestas se modelan mediante la regresión de vectores de soporte (SVR).
A partir del modelo, se generó y superpuso el gráfico de control para mostrar el área blanca deseada que cumplía con ambas especificaciones. Posteriormente, se amplió el diseño de relleno de espacios basándose en esta región sugerida por el gráfico de contorno superpuesto. Esto se considera un ciclo.
Este ciclo de fases se repite dos veces más para completar un total de 15 ejecuciones. En la etapa 2, seleccionamos cuidadosamente el espacio de diseño para el modelado y la ejecución utilizada para la validación. Los pasos 5, 6 y 7, que involucran la entrada de datos químicos, son lo que llamamos pasos guiados por objetivos.
El diseño de relleno de espacio de JMP ofrece siete opciones para seleccionar las ubicaciones de ejecución. A continuación, se muestra un ejemplo de un sistema de dos factores. Utilizo el hipercubo latino, ya que se utiliza comúnmente en la literatura abierta. El funcionamiento de la fase 1 o ciclo 1 se muestra aquí. El número 1 muestra los datos de ejecución y la columna de predicción del modelo de simulación de la vida útil (SVM). El número 2 muestra el ajuste del modelo SVM para ambas respuestas. El número 3, el gráfico de contorno del modelo.
El número 4 representa la superposición de los dos gráficos de contorno, donde el área blanca cumple con el objetivo de diseño de ambas respuestas. La punta del área blanca que se observa en esta lupa representa un nuevo límite de diseño superior que se utiliza en el paso 5 para ampliar el diseño específico y solicitar cinco ejecuciones adicionales.
En la fase 2 del aprendizaje activo, ciclo 2, contamos con 10 ejecuciones para el modelado. Siguiendo el mismo proceso de la fase 1, se sugiere un nuevo límite de diseño para la ampliación, diseñado específicamente para la fase 3. Esta es la diapositiva de la fase 3, donde contamos con un total de 15 puntos de datos para el modelado posterior.
El número 13 representa el resumen del espacio de diseño a la derecha y el mapa de respuesta a la izquierda. La región superior izquierda representa el diseño objetivo, que mapea tanto la adhesión como el requisito de flujo. Los datos de cada fase están codificados por colores: azul para la fase 1, rojo para la fase 2 y verde para la fase 3. La ejecución que cumplió ambos objetivos de diseño se muestra en el círculo sólido, y la otra, en el círculo abierto, donde una o ambas respuestas fallan.
De las 3 fases de un total de 15 ejecuciones, 5 cumplen el objetivo de diseño, que es de aproximadamente 33 de eficiencia. Esto es mucho mejor que 2 de 22 ejecuciones en el enfoque DOE de aprendizaje no activo, descrito anteriormente. Dicha eficiencia es de solo el 9 %. El hecho de que el aprendizaje automático solo requiera 10 ejecuciones (es decir, combinando las fases 1 y 2, y 22 ejecuciones DOE) para encontrar tres o dos ejecuciones objetivo aceptadas, sugiere que el aprendizaje activo ha mejorado su eficiencia al menos dos veces.
En un modelo de predicción, si un conjunto de datos contiene más ejecuciones que cumplen con la especificación objetivo, es probable que tenga un mejor rendimiento. Dijimos que anticipamos resultados de un año o mejor posición con el enfoque de aprendizaje activo, ya que tengo cinco en un espacio y solo dos en el DOE regular. Este ejemplo de aprendizaje activo solo tiene 15 ejecuciones, y queremos evitar cualquier valor atípico potencial que pueda sesgar los datos.
Decidimos sesgar las ejecuciones que no cumplen ambos objetivos de diseño (ejecuciones 1.2 y 1.3). Con este cambio, solo hay 13 ejecuciones en nuestro espacio de modelado, que se muestra en este triángulo rojo. En la validación del modelo, queremos determinar la precisión de la predicción del modelo en una región donde se cumplen ambos objetivos de diseño.
No nos interesa la predicción en el borde exterior. Seleccionamos el punto de detección en el espacio de diseño deseado. Estos están marcados con puntos naranjas aquí, y un punto cerca del límite, que corresponde a la ejecución 3.2. Con esto, hay 10 ejecuciones como conjunto de entrenamiento y 3 ejecuciones como conjunto de validación.
La decisión de Química al seleccionar el espacio modelo y la ejecución de validación se basan en objetivos. Ambos pasos, junto con el argumento en el diseño específico, se denominan paso guiado por objetivos. Duplico la columna de respuesta en R10. Con la ejecución de validación, se eliminaron los datos. Esta columna se utiliza para comparar con el modelo de aprendizaje automático, lo que ahora ofrece una opción de validación para el ajuste de parámetros. Aquí se muestra la lista de modelos de aprendizaje automático que utilizan este modelo de predicción.
Podemos aplicar la columna de validación en todos los modelos excepto en dos: uno es la regresión del proceso gaussiano y el otro es la red neuronal SVEM ofrecida por Predictum Inc. Se ejecutó el modelo de cada algoritmo y su formulación prevista se guarda en la columna aquí.
La comparación de modelos se realizó de dos maneras: una con la plataforma de comparación de modelos JMP y la otra con un cálculo del error cuadrático medio. Para ello, apilé la columna de formulación de predicción y luego borré la columna de error cuadrático medio. En lugar de 18, el resultado de la comparación de modelos JMP aparece a mi izquierda y mis propios cálculos a la derecha. Al comparar los datos en los recuadros rojo y verde de ambas tablas, confirmo que mi cálculo del error cuadrático medio es correcto.
Con la validación del modelo, si observamos la tabla de la derecha, los tres algoritmos de aprendizaje automático con el menor error cuadrático medio (EPM) se muestran aquí. La red neuronal potenciada, el SVM potenciado y el modelo RSM, en orden. Sin embargo, sin validación para optimizar el hiperparámetro, la red neuronal potenciada y el SVM potenciado presentan un EPM mayor que su contraparte: 1,7 aquí y 0,27 o 0,936 allá.
Sin embargo, el Gen_R del modelo SVEM_Lasso, mostrado en el círculo azul, no parece verse tan afectado con o sin validación: 1,397 frente a 1,427. Además, sin validación, ni el GPR, ni la regresión de procesamiento gaussiano, ni la predicción del SVEM (también con red neuronal) ofrecen una mejor predicción de adhesión que los otros modelos, a pesar de que el SVEM fue altamente recomendado para conjuntos de datos pequeños, en este caso.
En resumen, se muestra un ejemplo de aprendizaje activo con enfoque en la adhesión basado en objetivos. Se utiliza un diseño de relleno de espacios asistido por aprendizaje automático SVM para identificar el espacio de diseño en tres iteraciones. El aprendizaje activo presenta el doble de eficiencia que el método no activo para identificar el espacio de diseño.
Mostramos que se comparan varios modelos de aprendizaje automático y algunos demuestran ser mejores y ofrecer una mejor predicción que el modelo de mínimos cuadrados. El paso guiado por objetivos abarca tres áreas que se enumeran aquí. Un químico supervisó estos pasos con el objetivo de mejorar el aprendizaje activo y la predicción para un conjunto de datos pequeño. En este caso, se ilustra la capacidad de predicción avanzada de JMP. Este es el caso número 1.
Pasando al caso número 2, aplicamos aprendizaje automático para analizar los datos de DOE de RSM de la aplicación del sellador y mejorar la capacidad de predicción. A continuación, se presenta el contexto. En este caso, se trata de un sellador con 5 ingredientes clave y 3 respuestas. El sellador se optimizó con un diseño compuesto central de 28 pasadas centrado en la cara. Una de las respuestas, Y3, presenta un ajuste R² razonable de 0,86 y un error cuadrático medio de 7,9.
Esta respuesta optimizada de Y3 se encuentra cerca del límite objetivo. Los químicos hacen dos cosas: primero, suman cuatro ejecuciones a las 28; ganan la región factorial del DOE; segundo, agregan seis puntos de estrella para cubrir un espacio de diseño más amplio.
Luego, el cliente cambió el objetivo del proyecto. El químico se vio obligado a modificar la carga de ingredientes y añadir 10 ejecuciones con la esperanza de cubrir el nuevo objetivo de diseño. Dado que estas 10 ejecuciones difieren considerablemente de las 20 ejecuciones originales, dentro del mismo espacio, se consideran fuera del espacio de diseño. Estas son las 10 ejecuciones. Las cuatro dentro del compuesto central y los seis puntos de estrella objetivo están justo aquí.
Nuestro objetivo es aplicar aprendizaje automático a este conjunto de datos RSM para comprender la eficacia de varios modelos de aprendizaje automático en las pruebas de predicción de este conjunto de datos. Estos conjuntos de datos de prueba se encuentran dentro, cerca o fuera del espacio de diseño, que son estos tres conjuntos de datos.
Aquí se presenta el modelo RSM con R² y el error cuadrático medio resaltado. Tras la reducción de los términos del modelo, se observan tres efectos principales: X2, X3 y X4, y dos interacciones factoriales: X2 y X5, además de un efecto cuadrático: X1. Todos estos efectos resultan significativos.
Nuestros procesos de aprendizaje automático constan de dos etapas. En primer lugar, se realiza una selección del modelo mediante una validación cruzada de 7K veces para obtener un análisis rápido del rendimiento del modelo. A continuación, para el método de aprendizaje automático seleccionado, se ajustan los hiperparámetros para mejorar la predicción. Para la validación, se utilizan dos métodos en la plataforma de comparación de modelos JMP: la validación fija con una división 75/25 y la validación cruzada de 7K veces.
En la fase 2, se prueba un conjunto de datos no vistos. El conjunto de datos de prueba se agregó a la tabla JMP. Se encuentran dentro, cerca y fuera del espacio de diseño original de 28 ejecuciones, y sus columnas de formulación de predicción se guardan y se apilan. A continuación, se crea la columna de error cuadrático medio para la comparación final del modelo.
Los resultados del cribado de modelos JMP se muestran aquí, realizado mediante la adición de interacciones bidireccionales y opciones cuadráticas, así como la selección de la validación cruzada de 7 K-fold. El ajuste fino de cada modelo se realizó seleccionando y haciendo clic en "Ejecutar selección". El ajuste de hiperparámetros y la potenciación se realizan si la opción de pérdida está disponible. Cada fórmula de predicción del modelo se establece en una columna de la tabla. Para la red neuronal, se utiliza su complemento de ajuste de parámetros. En este complemento, se seleccionan tres protocolos: el protocolo 2 para la configuración de dos capas, y los protocolos 12 y 16 para la configuración de una capa.
Aquí está mi tabla JMP. La sección 1 contiene los datos originales de 28 ejecuciones de RSM y la respuesta Y3. La sección 2 contiene las dos columnas de validación para la comparación de modelos. La sección 3 contiene la columna de formulación de predicción guardada para cada modelo. La sección 4 contiene los tres conjuntos de datos de prueba. La sección 5 contiene los resultados de predicción de cada modelo de aprendizaje automático.
En una comparación de modelos, nos interesa el efecto del método de validación, ya que existen diferencias en el número de conjuntos de entrenamiento, de validación y en el proceso de promediado. Con la división 75/25, la validación fija consta de 21 ejecuciones para el entrenamiento y 7 para la validación. En la validación cruzada, se promedian 7 datos de K-fold, y cada uno utiliza 24 ejecuciones para el entrenamiento y 4 para la validación. Si observamos el resultado con la validación fija, JMP generará una tabla directamente para su uso. Sin embargo, para la validación de costos de K-fold, es necesario procesar los datos.
JMP genera siete tablas, separadas por número de carpeta. Usamos un script llamado "Crear Tabla de Datos Combinados" para unir las siete tablas en una sola. Posteriormente, se pueden crear sus estadísticas promedio en una plataforma tabular para su comparación.
Aquí se muestra el resumen de la comparación de modelos a la izquierda. Se trata de una validación fija que utiliza validación fija. A la derecha, se utiliza esta tabla consolidada de una validación cruzada de K-fold. Para facilitar la comparación, utilizamos un generador de gráficos para mostrar el resultado. En este gráfico de barras, el error cuadrático medio está en la Y y el modelo en la X. El nombre del modelo con un guion "t" al final significa que el parámetro del modelo se ha ajustado. El que tiene una "B", significa que el modelo se ha optimizado.
El error cuadrático medio de la validación fija (en azul) es, en general, mayor que el de la validación cruzada de K-fold (en rojo). Esto se muestra aquí. El modelo RSM se muestra a la izquierda. Existen varios modelos de aprendizaje automático con un error de predicción menor que el RSM. Están marcados con flechas verdes: XGBoost, los dos modelos SVM, dos redes neuronales y una red neuronal potenciada. Están ordenados según su valor de error cuadrático medio.
Esta conclusión se basa en la ejecución del DOE 28, cada una de las cuales se utiliza para entrenamiento o validación. Las ejecuciones de validación intervienen en el ajuste de los hiperparámetros del modelo para una mejor predicción. La verdadera capacidad de predicción del modelo se comprobará mediante una ejecución no observada que no participa en el entrenamiento ni en la validación, como se muestra a continuación.
La segunda etapa del aprendizaje automático consiste en probar el modelo con los datos no vistos. Estos tres conjuntos de datos se copiaron a una tabla JMP aquí mismo, y el valor operativo se mostró automáticamente en la columna de formulación de predicción. Toda la columna de formulación se integró en una nueva tabla. También se creó una columna de cálculo de error cuadrático medio. A partir de la tabla de pila, se utilizan la tableta y el generador de gráficos para ilustrar la capacidad de prueba del modelo en las siguientes dos diapositivas.
Analicemos el rendimiento del modelo para el conjunto de datos interno y el conjunto de datos estrella, que se encuentra cerca. Hay 4 y 6 ejecuciones, respectivamente. Como se puede ver, se trata de una tabla resaltada a la derecha o del gráfico a la izquierda, que corresponde a esta área. Hay 9 ejecuciones en el conjunto de datos interno, resaltadas aquí, que muestran una predicción similar con un error cuadrático medio en un rango de 5,6 a 7,7.
El conjunto de datos de prueba estelar, que se encuentra cerca del espacio de diseño, cuenta con siete modelos con un error cuadrático medio (ROE) de 18,2 a 21,7, con un promedio de 20,3. XGBoost y este SVM ajustado, con una flecha verde, muestran el mejor DOE. Son los mejores en el conjunto de datos DOE, que es este. Este es solo un DOE, póngalo alrededor del conjunto de datos DOE. Son los mejores en comparación con el RSM, por supuesto, pero tienen un mayor error de predicción.
Si observamos este ejemplo, tanto en sentido transversal como transversal, se observa un error de predicción mayor que el RSM de la parte superior, tanto para el conjunto de datos interno como para el conjunto de datos en estrella. Esto indica sobreajuste. Sin embargo, en general, como se destaca en la flecha azul, este ejemplo, una sola capa de una red neuronal optimizada y optimizada, obtuvo el mejor rendimiento tanto para el conjunto de datos del DOE, el conjunto de datos de prueba interno como para el conjunto de datos en estrella. Este es el mejor, como se puede observar en la tabla o en el gráfico que se muestra aquí.
Para el gráfico de la izquierda, analizamos el conjunto de datos de prueba fuera del espacio de diseño. Para el gráfico de la izquierda, trazamos la observación y la predicción en el eje y. Observe el ID de la ejecución de prueba aquí mismo para los tres conjuntos de datos de prueba. El rojo representa la observación y el azul la predicción. El conjunto de datos de prueba externo tiene el punto a la derecha de la línea punteada verde.
Los cuatro modelos destacados tuvieron un excelente desempeño. Se trata del RSM y los dos modelos G_R hacia adelante, ya sea con poda o SVEM. El cuarto es la red neuronal sintonizada de dos capas. Estos cuatro tuvieron un excelente desempeño. Algunos modelos tienen una predicción plana o muy deficiente, y este es el modelo SVM.
Luego, en la red neuronal optimizada, esto y esto, y luego un método basado en decisiones como XGBoost o este bosque bootstrap. Si consideramos los cuatro escenarios de prueba (el conjunto de datos DOE y tres conjuntos de datos de prueba), el modelo RSM y el modelo G_R Pruned Forward (estos dos modelos) presentan el mejor rendimiento de predicción equilibrada en los cuatro escenarios.
Debemos tomar este hallazgo con cautela. No deben generalizarse. Son característicos de esta respuesta, Y3. Sin embargo, esta información es útil para que un químico aprenda esta respuesta Y3. Esto significa que el modelo RSM podría usarse para predecir datos fuera del espacio de diseño en circunstancias especiales, como cuando los proyectos tienen una restricción de tiempo severa y no se dispone de recursos para realizar más ejecuciones, en cuyo caso se podría considerar usar RSM para realizar la predicción fuera de este espacio DOE. Por supuesto, las ejecuciones de confirmación son absolutamente necesarias en este segundo paso.
En resumen, para el conjunto de datos del DOE y dos conjuntos de datos de prueba ejecutados dentro y cerca del espacio de diseño, observamos que varios modelos de aprendizaje automático tienen un mejor rendimiento que RSM. El mejor es la red neuronal optimizada de una capa sin ajustar. Para el conjunto de datos de prueba fuera del espacio de diseño, cuatro modelos tuvieron un excelente rendimiento: RSM, dos métodos de avance Gen_Reg y esta red neuronal optimizada de dos capas.
Si consideramos los cuatro escenarios, los modelos RSM y Gen_Reg con poda hacia adelante son los mejores en general. Como se ilustra en estos dos casos prácticos, es evidente que el aprendizaje automático añade capacidad adicional al DOE tradicional para una formulación eficaz.
Con esto, quisiera agradecer a mi colega, el Dr. Dai, y posteriormente al Sr. Du, por su colaboración en estos dos casos prácticos y en el sistema de gestión AMI de Henkel, así como al equipo de apoyo de JMP de Henkel, Nick, Jon y Mark, por su excelente capacitación y apoyo. Gracias por escuchar y ver este video.
