La planification des expériences (DOE) est une méthode statistique qui guide la réalisation des expériences, les analyse pour identifier les variables pertinentes et optimise le processus ou le phénomène étudié. Son utilisation dans le développement de produits permet de concevoir des produits plus faciles et moins coûteux à fabriquer, aux performances et à la fiabilité accrues, et dont la conception et le développement sont plus rapides.
De nos jours, l'apprentissage automatique (AA) est largement utilisé comme outil d'analyse de données grâce à la disponibilité croissante d'ensembles de données volumineux et complexes. Cependant, toutes les applications ne peuvent pas se permettre de traiter des volumes importants de données. Par exemple, dans les industries pharmaceutiques et chimiques, les ensembles de données expérimentales sont généralement restreints en raison des contraintes de coûts et du temps nécessaire à leur obtention. Néanmoins, l'intégration de l'apprentissage automatique dans la conception expérimentale s'est avérée une méthode efficace pour optimiser les formulations à partir d'ensembles de données réduits, dont la collecte est plus rapide et moins coûteuse.
Cette présentation se divise en trois parties. Premièrement, la littérature relative à la conception expérimentale assistée par apprentissage automatique est brièvement résumée. Deuxièmement, une étude de cas portant sur un adhésif illustre l'efficacité de la combinaison de la conception expérimentale et de l'apprentissage automatique pour réduire le nombre d'expériences nécessaires à l'identification de l'espace de conception avec un ensemble de catalyseurs optimisé. Troisièmement, concernant une application industrielle de mastic, nous utilisons des données de surface de réponse pour comparer l'erreur de prédiction du modèle RSM avec celle de modèles issus de divers algorithmes d'apprentissage automatique (RF, SVR, Lasso, SVEM et XGBoost) à l'aide de données de validation obtenues à l'intérieur et à l'extérieur de l'espace de conception.
Bonjour. Je suis Stone Cheng de Henkel Corporation. Aujourd'hui, ma présentation porte sur la conception expérimentale assistée par apprentissage automatique pour l'optimisation de formulations. Je présenterai brièvement l'apprentissage automatique et son application aux plans d'expériences (DOE). Cette application sera illustrée par deux études de cas. La première concerne l'utilisation de l'apprentissage actif pour explorer un espace de conception. La seconde utilise l'apprentissage automatique pour améliorer les performances prédites par les DOE.
À propos de mon entreprise, Henkel. C'est une entreprise chimique pesant 22 milliards d'euros. Nous avons deux divisions : l'une regroupe les marques grand public de produits d'entretien ménager, de lessive et de beauté ; l'autre, spécialisée dans les technologies adhésives, dont je fais partie. Nous sommes un leader mondial sur le marché des adhésifs, au service de 800 secteurs d'activité avec plus de 20 000 produits.
L'apprentissage automatique est un sujet en plein essor, comme l'illustrent de nombreuses publications de synthèse parues au cours des 4 dernières années, couvrant un large éventail d'applications industrielles, notamment en méthodologie, dans les domaines pharmaceutique, chimique et dans l'impression 3D, ainsi que dans les domaines de la qualité, de l'innovation et de la fabrication.
L'apprentissage automatique classique utilise de grands ensembles de données, contrairement à la méthode DOE (plan d'expériences) qui vise à maximiser l'apprentissage avec un minimum d'itérations. De nos jours, la méthode DOE est généralement utilisée conjointement avec l'apprentissage automatique de deux manières, comme l'illustre cet article de synthèse de 2021. D'une part, l'apprentissage automatique sert à analyser les données DOE. D'autre part, on parle d'apprentissage actif : les résultats de la modélisation par apprentissage automatique sont alors utilisés pour suggérer les configurations expérimentales suivantes. Ma présentation illustre ces deux cas par des exemples.
Dans le cas n° 1, il s'agit d'un plan d'expériences (DOE) d'apprentissage automatique guidé par un objectif précis, visant à étudier l'espace de conception et l'optimisation de la formulation d'un adhésif. L'expression « guidé par un objectif précis » est un terme technique. Dans ce contexte, on peut également parler d'apprentissage supervisé. L'objectif du cas n° 1 est d'améliorer la stabilité de l'adhésif en incorporant deux stabilisants à sa formulation. Cette stabilité est évaluée par deux paramètres : la fluidité et la rétention d'adhérence.
La chimie étant nouvelle pour Henkel et pour cette chimie en particulier, il a été décidé de fixer la plage initiale de l'additif 1 entre 0,1 et 0,5, puis de 0,5 à 3 pour l'additif 2. La chimie a utilisé un facteur à la fois et diverses méthodes DOE, notamment factorielles, RSM et de remplissage de l'espace, pour tenter de trouver l'espace de conception qui puisse répondre aux deux spécifications cibles.
Sur les 22 essais, l'analyse chimique a permis d'identifier 2 essais satisfaisant à la fois aux exigences de fluidité et d'adhérence. La question est de savoir s'il existe une méthode plus efficace pour identifier l'espace de conception.
Notre approche vise à améliorer l'efficacité de la conception de formulations en deux étapes. La première étape utilise l'apprentissage actif pour identifier l'espace de conception. La seconde étape consiste en une modélisation prédictive de pointe pour l'optimisation de l'adhésif. Lors de la première étape, la conception par exploration de l'espace sélectionne cinq essais initiaux. Les deux réponses sont ensuite modélisées par régression à vecteurs de support (SVR).
À partir du modèle, une carte de contrôle a été générée et superposée pour définir une zone blanche conforme aux spécifications. Le motif de remplissage est ensuite complété en fonction de cette zone, délimitée par la carte de contours superposée. Ceci constitue un cycle.
Ce cycle de phases est ensuite répété deux fois, pour un total de 15 essais. À l'étape 2, nous avons sélectionné manuellement l'espace de conception pour la modélisation, ainsi que l'essai utilisé pour la validation. Les étapes 5, 6 et 7 concernent la saisie des données chimiques. Il s'agit d'étapes guidées par la cible.
JMP Space Filling Design propose sept options pour la sélection des emplacements d'exécution. Voici un exemple pour un système à deux facteurs. J'utilise l'hypercube latin, car il est couramment employé dans la littérature scientifique. Le fonctionnement de la phase 1, ou cycle 1, est illustré ici. La colonne n° 1 présente les données d'exécution et la colonne de prédiction SVM. La colonne n° 2 montre l'ajustement du modèle SVM pour les deux réponses. La colonne n° 3 représente le graphique des courbes de niveau issues du modèle.
Le point n° 4 correspond à la superposition des deux courbes de niveau, la zone blanche atteignant la valeur cible pour les deux réponses. L’extrémité de cette zone blanche, visible à la loupe, représente une nouvelle limite supérieure de conception. Cette limite sera utilisée à l’étape 5 pour ajuster la conception spécifique et demander cinq essais supplémentaires.
Dans la phase 2 d'apprentissage actif, cycle 2, nous disposons désormais de 10 simulations pour la modélisation. En suivant le même processus que dans la phase 1, une nouvelle limite de conception est proposée ici afin d'augmenter les données spécifiquement conçues pour la phase 3. Cette diapositive correspond à la dernière phase, la phase 3 ; nous disposons d'un total de 15 points de données pour la modélisation ultérieure.
Le chiffre 13 résume l'espace de conception à droite et la carte de réponse à gauche. La zone en haut à gauche correspond à la conception cible, qui définit à la fois l'adhérence et l'exigence de débit. Les données de chaque phase sont codées par couleur : bleu pour la phase 1, rouge pour la phase 2 et vert pour la phase 3. Les essais ayant satisfait aux deux objectifs de conception sont représentés par un cercle plein, tandis que les essais où l'une ou les deux réponses sont non conformes sont représentés par un cercle vide.
Sur les 15 exécutions réalisées en 3 phases, 5 atteignent l'objectif de conception, soit une efficacité d'environ 33 %. Ce résultat est nettement supérieur aux 22 exécutions obtenues avec l'approche DOE non active précédemment décrite, dont l'efficacité n'était que de 9 %. Le fait que l'apprentissage automatique n'ait nécessité que 10 exécutions (combinant les phases 1 et 2) contre 22 pour l'approche DOE classique permette d'obtenir deux ou trois exécutions cibles acceptables suggère que l'apprentissage actif offre un gain d'efficacité d'au moins deux fois.
Dans un modèle prédictif, si un ensemble de données contient davantage d'exécutions conformes aux spécifications cibles, il est probable qu'il soit plus performant. Nous avons indiqué anticiper une approche d'apprentissage actif qui permettrait d'obtenir de meilleurs résultats, étant donné que j'ai cinq simulations dans un espace restreint et seulement deux dans le cadre d'un plan d'expériences classique. Cet exemple d'apprentissage actif ne comporte que 15 simulations, et nous souhaitons éviter toute valeur aberrante susceptible de fausser les données.
Nous avons décidé d'écarter les simulations ne respectant pas les deux objectifs de conception, à savoir les simulations 1.2 et 1.3. Suite à cette modification, notre espace de modélisation ne comporte plus que 13 simulations, comme indiqué par le triangle rouge. Lors de la validation du modèle, nous souhaitons évaluer la qualité de ses prédictions dans une région où les deux objectifs de conception sont atteints.
Nous ne nous intéressons pas aux prédictions en périphérie. Nous sélectionnons le point de détection dans l'espace de conception souhaité. Ces points sont marqués par les points orange, ainsi qu'un point proche de la limite, correspondant à l'exécution 3.2. On obtient ainsi un ensemble d'entraînement de 10 exécutions et un ensemble de validation de 3 exécutions.
Le choix de l'espace de modélisation et la validation sont ici guidés par l'objectif. Ces deux étapes, associées à la conception spécifique, constituent l'étape de conception guidée par l'objectif. La colonne de réponse de R10 est reproduite ici. Les données de validation ont été supprimées. Cette colonne sert à la comparaison avec le modèle d'apprentissage automatique, offrant ainsi une option de validation pour l'optimisation des paramètres. Voici la liste des modèles d'apprentissage automatique utilisant ce modèle de prédiction.
Nous pouvons appliquer une colonne de validation à tous les modèles, sauf deux : la régression par processus gaussien et le réseau neuronal SVEM proposé par Predictum Inc. Le modèle de chaque algorithme a été exécuté et sa formulation prédite est enregistrée dans la colonne ci-contre.
La comparaison des modèles a été effectuée de deux manières : soit à l’aide de la plateforme JMP Model Comparison, soit en calculant moi-même l’erreur quadratique moyenne. Pour ce faire, j’ai forcé l’empilement de la colonne des formulations de prédiction, puis j’ai effacé la colonne de l’erreur quadratique moyenne. Au lieu de 18, le résultat de JMP Model Comparison figure à gauche et mes propres calculs à droite. En comparant les données encadrées en rouge et en vert dans les deux tableaux, je confirme que mon calcul de l’erreur quadratique moyenne est correct.
Avec la validation du modèle, si l'on regarde le tableau de droite, les trois algorithmes d'apprentissage automatique présentant l'erreur quadratique moyenne la plus faible sont, dans cet ordre : le réseau de neurones boosté, le SVM boosté et enfin le modèle RSM. Cependant, sans validation permettant d'optimiser les hyperparamètres, le réseau de neurones boosté et le SVM boosté affichent une erreur quadratique moyenne plus élevée que leur homologue : 1,7 dans un cas, contre 0,27 ou 0,936 dans l'autre.
Cependant, le Gen_R du modèle SVEM_Lasso, représenté ici par le cercle bleu, ne semble pas être significativement affecté par la présence ou l'absence de validation : 1,397 contre 1,427. De même, sans validation, le GPR (régression par traitement gaussien) et la prédiction du SVEM (également par réseau de neurones) n'offrent pas une meilleure prédiction d'adhérence que les autres modèles, malgré la forte recommandation du SVEM pour les petits ensembles de données, ce qui est le cas ici.
En résumé, un exemple d'apprentissage actif avec ciblage précis pour l'adhérence est présenté. Une méthode de remplissage d'espace assistée par l'apprentissage automatique SVM est utilisée pour identifier l'espace de conception en trois itérations. L'apprentissage actif se révèle deux fois plus efficace que la méthode non active pour identifier cet espace.
Nous montrons que différents modèles d'apprentissage automatique sont comparés et que certains se révèlent plus performants, offrant une meilleure prédiction que le modèle des moindres carrés. L'étape de ciblage comprend trois domaines, énumérés ici. Un chimiste a supervisé ces étapes afin d'améliorer l'apprentissage actif et la prédiction pour un petit ensemble de données. Dans ce cas, les capacités de prédiction avancées de JMP sont illustrées. Il s'agit du cas numéro 1.
Passons au cas n° 2. Nous appliquons l’apprentissage automatique à l’analyse des données RSM DOE relatives à l’application de mastic afin d’améliorer la capacité de prédiction. Voici le contexte : ce cas concerne un mastic composé de 5 ingrédients clés et présentant 3 réponses. Le mastic a été optimisé à l’aide d’un plan d’expériences composite centré sur les faces à 28 itérations. L’une des réponses, Y3, présente un coefficient de détermination R² ajusté satisfaisant de 0,86 et une erreur quadratique moyenne de 7,9.
Cette réponse Y3 optimisée se situe en réalité à la limite de la plage cible. Les chimistes procèdent en deux étapes : premièrement, ils ajoutent quatre essais aux 28 initiaux, ce qui leur permet d'optimiser la région factorielle du plan d'expériences ; deuxièmement, ils ajoutent six points d'étoile pour couvrir un espace de conception plus large.
Le client a ensuite modifié l'objectif du projet. Le chimiste a dû ajuster la composition et ajouter 10 essais pour tenter de couvrir le nouvel objectif. Ces 10 essais s'écartant fortement des 20 essais initiaux (dans le même espace), ils sont considérés comme hors de l'espace de conception. Ces 10 essais sont présentés ici. Les quatre essais situés dans le diagramme composite central et les six points cibles sont précisément ici.
Notre objectif est d'appliquer l'apprentissage automatique à cet ensemble de données RSM afin d'évaluer la performance de différents modèles d'apprentissage automatique pour la prédiction sur ces données. Ces ensembles de données de test se situent à l'intérieur, à proximité ou à l'extérieur de l'espace de conception, comme illustré ici par les trois ensembles de données présentés.
Voici le modèle RSM avec le coefficient de détermination R² et l'erreur quadratique moyenne mis en évidence. Après réduction du nombre de termes, on observe trois effets principaux (X2, X3 et X4), une interaction entre deux facteurs (X2 et X5) et un effet quadratique (X1). Tous ces effets sont significatifs.
Notre processus d'apprentissage automatique comprend deux étapes. Tout d'abord, une sélection de modèles par validation croisée à 7 plis (7K) permet d'évaluer rapidement leurs performances. Ensuite, pour la méthode d'apprentissage automatique retenue, nous optimisons les hyperparamètres afin d'améliorer les prédictions. Pour la validation, deux méthodes sont utilisées sur la plateforme JMP Model Comparison : une validation croisée à répartition fixe (75/25) et une validation croisée à 7 plis (7K).
Dans la phase 2, on effectue des tests sur un ensemble de données inédit. Cet ensemble de données a été ajouté à la table JMP. Les données se situent à l'intérieur, à proximité et à l'extérieur de l'espace de conception initial de 28 essais. Leurs colonnes de formulation de prédiction sont enregistrées puis empilées. Enfin, une colonne d'erreur quadratique moyenne est créée pour la comparaison finale des modèles.
Les résultats du criblage de modèles JMP sont présentés ici. Ce criblage a été réalisé en ajoutant des interactions à deux facteurs et des options quadratiques, ainsi qu'en sélectionnant une validation croisée à 7 plis (7K-fold). L'ajustement fin de chaque modèle a été effectué en le sélectionnant puis en cliquant sur « Exécuter la sélection ». L'optimisation des hyperparamètres et le boosting sont appliqués si l'option de perte est disponible. La formule de prédiction de chaque modèle est définie dans une colonne du tableau. Pour le réseau de neurones, son module complémentaire d'optimisation des paramètres est utilisé. Dans ce module, nous avons sélectionné trois protocoles : le protocole n° 2 pour une configuration à deux couches, et les protocoles n° 12 et n° 16 pour une configuration à une seule couche.
Voici mon tableau JMP. La section 1 contient les données originales des 28 exécutions du modèle RSM et la réponse Y3. La section 2 comprend les deux colonnes de validation pour la comparaison des modèles. La section 3 contient la formulation de prédiction enregistrée pour chaque modèle. La section 4 présente les trois ensembles de données de test. La section 5 contient les résultats de prédiction de chaque modèle d'apprentissage automatique.
Dans une comparaison de modèles, l'effet de la méthode de validation est important car la taille des ensembles d'entraînement et de validation, ainsi que le processus de moyennage, diffèrent. Avec une répartition 75/25, la validation croisée utilise 21 itérations pour l'entraînement et 7 pour la validation. Pour la validation croisée, les données de 7 plis sont moyennées, chaque pli utilisant 24 itérations pour l'entraînement et 4 pour la validation. Avec la validation croisée, JMP génère directement un tableau exploitable. En revanche, pour la validation croisée par k-fold, un traitement des données est nécessaire.
JMP génère sept tableaux, chacun associé à un numéro de dossier. Nous utilisons ici un script appelé « Make Combined Data Table » pour fusionner ces sept tableaux en un seul. Leurs statistiques moyennes peuvent ensuite être présentées sous forme de tableau, à des fins de comparaison.
Voici le résumé de la comparaison des modèles à gauche. Il s'agit d'une validation croisée à nombre de plis. À droite, le tableau consolidé provient d'une validation croisée à K plis. Pour faciliter la comparaison, nous utilisons un générateur de graphiques. Sur ce graphique à barres, l'erreur quadratique moyenne est représentée sur l'axe des ordonnées (Y) et le modèle sur l'axe des abscisses (X). Un modèle dont le nom se termine par un tiret (t) a été optimisé. Un modèle dont le nom se termine par un « B » a été boosté.
L'erreur quadratique moyenne (RMSE) issue de la validation croisée à plis fixes (en bleu) est généralement supérieure à celle issue de la validation croisée à K plis (en rouge). Le modèle RSM est présenté à gauche. Plusieurs modèles d'apprentissage automatique présentent une erreur de prédiction inférieure à celle du RSM. Ils sont indiqués par des flèches vertes : XGBoost, les deux modèles SVM, deux réseaux de neurones, puis un réseau de neurones boosté. Ils sont classés par ordre décroissant de leur RMSE.
Cette conclusion repose sur l'expérience DOE 28, dont chaque exécution est utilisée soit pour l'entraînement, soit pour la validation. Les exécutions de validation servent à optimiser les hyperparamètres du modèle afin d'améliorer les prédictions. La capacité de prédiction réelle du modèle sera testée à l'aide d'exécutions inédites, non utilisées pour l'entraînement ni la validation, et sera présentée ci-après.
La deuxième étape de l'apprentissage automatique consiste à tester le modèle à l'aide de données inédites. Ces trois ensembles de données ont été copiés dans un tableau JMP, et la valeur de fonctionnement s'affiche automatiquement dans la colonne de formulation de la prédiction. Toutes les données de cette colonne ont été intégrées à un nouveau tableau. Une colonne d'erreur quadratique moyenne a également été créée. À partir de ce tableau, la tablette et l'outil de création de graphiques sont utilisés pour illustrer les capacités de test du modèle dans les deux diapositives suivantes.
Examinons les performances du modèle pour l'ensemble de données « inside », puis pour l'ensemble de données « star », situé à proximité. On compte respectivement 4 et 6 exécutions. Comme indiqué dans le tableau à droite et le graphique à gauche, cette zone présente des résultats similaires. Neuf exécutions de l'ensemble de données « inside », également mises en évidence, affichent des prédictions comparables, avec une erreur quadratique moyenne comprise entre 5,6 et 7,7.
Ensuite, pour l'ensemble de données de test principal, situé près de l'espace de conception, sept modèles présentent une erreur quadratique moyenne comprise entre 18,2 et 21,7, avec une moyenne de 20,3. XGBoost, puis ce SVM optimisé (flèche verte), affichent les meilleures performances sur l'ensemble de données DOE. Ils sont les plus performants sur cet ensemble de données. Il s'agit d'un exemple d'expérience (DOE), placé à proximité de l'ensemble de données DOE. Ils sont meilleurs que le RSM, bien sûr, mais présentent une erreur de prédiction plus élevée.
Si l'on compare ces deux modèles, on constate qu'ils présentent une erreur de prédiction plus élevée que le RSM (réseau de neurones à réponse courte) en haut, aussi bien pour l'ensemble de données interne que pour l'ensemble de données de référence. Cela indique un surapprentissage. Cependant, comme le souligne la flèche bleue, ce réseau de neurones à une seule couche, optimisé et boosté, a obtenu les meilleurs résultats pour l'ensemble de données DOE, l'ensemble de données de test interne et l'ensemble de données de référence. C'est le meilleur résultat, comme vous pouvez le constater dans le tableau ou le graphique.
Le graphique de gauche présente les données de test situées en dehors de l'espace de conception. Sur cet axe des ordonnées, les observations et les prédictions sont représentées. L'identifiant de l'exécution de test est indiqué ici pour les trois ensembles de données. Les observations sont représentées en rouge et les prédictions en bleu. Le point correspondant aux données hors espace de conception se situe à droite de la ligne pointillée verte.
Les quatre modèles mis en avant ont obtenu d'excellents résultats. Il s'agit du RSM et des deux modèles G_R forward, avec ou sans élagage. Le quatrième est ce réseau de neurones à deux couches optimisé. Ces quatre modèles ont été très performants. En revanche, certains modèles présentent des prédictions faibles, voire très faibles ; c'est le cas du modèle SVM présenté ici.
Ensuite, sur un réseau neuronal optimisé, on utilise ceci et cela, puis une méthode de décision basée sur des critères tels que XGBoost ou la forêt bootstrap. Si l'on considère les quatre scénarios de test, c'est-à-dire l'ensemble de données DOE et les trois autres ensembles de données de test, alors le modèle RSM et le modèle G_R Pruned Forward présentent naturellement les meilleures performances de prédiction équilibrées sur les quatre scénarios.
Il convient d'interpréter ces résultats avec prudence. Ils ne doivent pas être généralisés. Ils caractérisent spécifiquement la réponse Y3. Néanmoins, cette information est précieuse pour un chimiste souhaitant mieux comprendre cette réponse. Autrement dit, le modèle RSM pourrait potentiellement servir à prédire des données en dehors de l'espace de conception dans des circonstances particulières, par exemple lorsque les projets sont soumis à des contraintes de temps très strictes et qu'il est impossible d'effectuer d'autres simulations. Dans ce cas, l'utilisation du modèle RSM pour effectuer des prédictions en dehors de l'espace de conception peut être envisagée. Bien entendu, des simulations de confirmation sont absolument nécessaires lors de cette seconde étape.
En résumé, pour l'ensemble de données DOE et les deux ensembles de données de test exécutés dans et à proximité de l'espace de conception, plusieurs modèles d'apprentissage automatique présentent de meilleures performances que RSM. Le meilleur est un réseau de neurones boosté non optimisé à une couche. Pour l'ensemble de données de test hors de l'espace de conception, quatre modèles ont obtenu d'excellents résultats : RSM, deux méthodes Gen_Reg forward et ce réseau de neurones optimisé à deux couches.
Si l'on considère les quatre scénarios, les modèles RSM et Gen_Reg élagués sont globalement les plus performants. Comme l'illustrent ces deux études de cas, il est clair que l'apprentissage automatique apporte des capacités supplémentaires à la méthode DOE traditionnelle pour une formulation efficace.
Je tiens à remercier mon collègue, le Dr Dai, ainsi que M. Du, pour leur collaboration sur ces deux études de cas et le système de gestion des AMI de Henkel, et l'équipe JMP qui a accompagné Henkel, notamment Nick, Jon et Mark, pour leur excellent travail de formation et leur soutien. Merci d'avoir regardé cette vidéo.
