Roger W. Hoerl, PhD, professeur adjoint de statistiques Brate-Peschel, Union College
Ronald D. Snee, Ph. D., président, Snee Associates
Expériences de mélange/processus efficaces utilisant des modèles non linéaires
9/2015
Ronald D. Snee, Snee Associates, Newark, DE
Roger W. Hoerl, Union College, Schenectady, New York
Gabriella Bucci, Out of Door Academy, Sarasota, Floride
Droits d'auteur : Ronald D. Snee, Roger W. Hoerl et Gabriella Bucci 2015
Remarque : Cet article est actuellement en cours de révision éditoriale sous le titre : « Une approche d’ingénierie statistique pour les expériences de mélange avec des variables de processus »
Abstrait:L'expérimentation avec des composantes de mélange et des variables de processus, notamment lorsqu'une interaction est probable entre ces deux ensembles de variables, est abordée. Nous abordons les questions de conception et d'analyse dans le contexte d'un problème réel de mélange/processus. Nous nous concentrons sur une stratégie pour aborder ces problèmes, plutôt que sur la recherche du meilleur plan ou du meilleur modèle possible pour un ensemble de données donné. À cet effet, un cadre d'ingénierie statistique est utilisé. En particulier, l'étude du potentiel d'ajustement de modèles non linéaires parcimonieux par rapport à des modèles linéarisés plus volumineux révèle une opportunité significative de réduire la taille des plans d'expérience. En pratique, il est difficile de savoir quel type de modèle s'adaptera le mieux aux données obtenues. Par conséquent, une stratégie intégrée et séquentielle de conception et d'analyse est recommandée. En utilisant deux ensembles de données publiés et un nouvel ensemble de données, nous constatons que, dans certains cas, les modèles non linéaires, ou les modèles linéaires ignorant l'interaction, permettent une réduction de l'expérimentation de l'ordre de 50 %. Dans d'autres cas, les modèles non linéaires peuvent s'avérer insuffisants. Nous fournissons donc des lignes directrices quant aux cas où une telle approche est susceptible de réussir et proposons une stratégie globale pour ces problèmes.
Mots-clés:mélanges, modèles de mélanges, expérimentation de mélanges, modèles non linéaires
Introduction
Les problèmes de mélange, où la somme des proportions des ingrédients doit être égale à 1,0, surviennent dans de nombreux secteurs et domaines d'application, tels que le développement de produits alimentaires, pharmaceutiques et chimiques, pour n'en citer que quelques-uns. Dans de nombreuses applications de mélange, ce n'est pas seulement la formulation qui influence le résultat final, mais aussi les variables du procédé. Par exemple, lors de la production d'un vin d'assemblage, le goût final et d'autres caractéristiques importantes dépendent non seulement des proportions des cépages utilisés, mais aussi de variables du procédé, telles que les conditions climatiques de la saison de croissance, la date des vendanges, les températures aux différents stades de la fermentation, le type de barriques utilisées, etc.
Dans certains cas, les composants du mélange et les variables de procédé n'interagissent pas. Dans l'exemple du vin, cela signifierait que la fermentation et les autres traitements pourraient être optimisés sans tenir compte des cépages utilisés. Ce scénario conduirait à utiliser des modèles additifs combinant un modèle de mélange et un modèle de variables de procédé. Dans d'autres cas, ce scénario additif ne s'appliquera pas, car les meilleures conditions de traitement pourraient dépendre des cépages utilisés. Dans ce cas, il y aurait interaction entre les variables de mélange et de procédé. Ce scénario d'interaction conduirait à des modèles intégrant des termes pour prendre en compte l'interaction entre les variables de mélange et de procédé.
Les plans d'expérience généralement utilisés lorsqu'une telle interaction est anticipée ont tendance à être de grande taille, afin de prendre en compte le nombre de termes des modèles linéaires intégrant l'interaction (Cornell 2002, 2011). Bien sûr, si l'on connaît, grâce à la connaissance du sujet ou à des expérimentations antérieures, la forme finale du modèle, on peut concevoir une expérience optimale ou quasi optimale pour estimer ce modèle spécifique. Nous considérons la situation la plus courante où les expérimentateurs suspectent une interaction, mais ne sont pas sûrs de pouvoir spécifier la forme finale du modèle avant d'exécuter le plan et d'obtenir les données ultérieures. Notre attention ne se porte donc ni sur le plan optimal pour un modèle donné, ni sur le modèle optimal pour un ensemble de données donné. Nous nous concentrons plutôt sur une stratégie pour aborder ces problèmes, en envisageant des plans et des modèles alternatifs, et en tenant compte de la nécessité d'efficacité dans la résolution des problèmes en pratique.
Dans ce sens, nous adoptons une approche d'ingénierie statistique (Hoerl et Snee 2010, Anderson-Cook et Lu 2012) afin d'identifier les approches les plus efficaces et efficientes pour traiter les applications de mélange/processus rencontrées dans les entreprises, l'industrie, la recherche ou le gouvernement. En particulier, nous constatons qu'une prise en compte sérieuse des modèles non linéaires dans les paramètres peut offrir une alternative efficace aux modèles traditionnels linéaires dans les paramètres. Bien que l'ajustement de modèles non linéaires soit plus complexe que l'ajustement de modèles linéaires, les logiciels modernes, tels que R, JMP, Minitab ou SAS, permettent aux utilisateurs d'estimer et d'interpréter des modèles non linéaires assez facilement, du moins par rapport aux logiciels commerciaux d'il y a 10 à 20 ans.
Les modèles non linéaires comportent moins de paramètres à estimer pour un même problème de mélange/processus. Par exemple, dans l'application de Cornell aux galettes de poisson (Cornell 2002), le modèle linéaire comptait 56 termes à estimer, contre 14 pour le modèle non linéaire. Par conséquent, si les modèles non linéaires constituaient une alternative viable, des stratégies de conception fractionnaire beaucoup plus agressives pourraient être adoptées afin de réduire significativement l'expérimentation initiale. Nous reconnaissons que la théorie sous-jacente aux modèles non linéaires, notamment pour les erreurs types des coefficients, est moins développée que celle des modèles linéaires et repose souvent sur des résultats asymptotiques ou approximatifs (Montgomery 2012).
En d'autres termes, comme les modèles non linéaires nécessitent moins de paramètres pour prendre en compte l'interaction entre les variables de procédé et de mélange, des plans fractionnaires beaucoup plus petits peuvent être initialement exécutés. Évidemment, il n'est pas nécessaire de réaliser 56 exécutions pour estimer 14 termes, à condition que le coût de l'expérimentation soit non négligeable. Si le modèle non linéaire, ou même un modèle linéaire additif sans interaction, s'avère suffisant, le problème peut être résolu avec le plan initial.
Nous avons beaucoup à gagner et peu, voire rien, à perdre en considérant des modèles non linéaires. Si ces modèles plus petits n'offrent pas une précision suffisante, des expérimentations supplémentaires peuvent être réalisées de manière séquentielle. Ainsi, dans le meilleur des cas, nous réduisons jusqu'à 50 % l'effet expérimental nécessaire à la résolution du problème, tandis que dans le pire des cas, nous devons finalement réaliser toutes les expérimentations qu'un modèle linéaire classique avec interaction nécessiterait. Cette stratégie globale est illustrée à la figure 1. Privilégier la meilleure approche globale pour aborder le problème, plutôt que de se concentrer sur la meilleure conception individuelle pour un modèle donné, ou sur le meilleur modèle individuel pour un ensemble de données donné, est, selon nous, au cœur de l'ingénierie statistique.
La suite de l'article est organisée comme suit : nous passons d'abord en revue les modèles et plans d'expériences typiques utilisés dans les expériences de mélange avec des variables de processus, y compris celles avec interaction. Ensuite, nous passons en revue les fondamentaux de l'ingénierie statistique et expliquons leur application à ce problème spécifique. Nous présentons ensuite trois ensembles de données, deux déjà publiés et un nouveau. À l'aide de ces ensembles de données, nous comparons les modèles linéaires additifs, linéaires interactifs et non linéaires en termes d'ajustement des données. De plus, nous notons les interprétations possibles des coefficients du modèle non linéaire. Nous examinons ensuite les résultats hypothétiques que nous aurions pu obtenir avec des plans fractionnaires pour chacun de ces problèmes. Autrement dit, nous analysons un sous-ensemble des données réelles selon un plan fractionnaire, ajustons les différents modèles et utilisons ces derniers pour prédire les données non utilisées par le modèle. Enfin, nous examinons les implications de cette analyse et proposons une stratégie pour résoudre les problèmes de mélange/processus où une interaction est suspectée.
Modèles typiques utilisés dans les problèmes de mélange/processus
De nombreux modèles et conceptions sont susceptibles d'être appliqués aux problèmes de mélange avec variables de procédé. Nous présentons ici les modèles et conceptions les plus courants, notamment ceux de Scheff.modèles (Scheff1963, Cornell 2002), sans prétendre en fournir une analyse exhaustive. Nous examinons d'abord les modèles de mélange eux-mêmes, puis les modèles de mélange avec variables de processus sans interaction, puis avec interaction. Une fois les modèles terminés, nous abordons les plans généralement mis en œuvre pour permettre leur ajustement.
En raison de la contrainte selon laquelle la somme des composantes de la formulation est égale à 1,0, ce qui entraîne la perte d'un degré de liberté, il est courant de supprimer purement et simplement le terme constant d'un modèle de régression linéaire standard. Par exemple, avec q composantes de mélange, la régression linéaire de Scheffle modèle s'écrirait :
Étant donné que la somme des composantes est égale à 1,0, ce n'est pas la valeur absolue des coefficients qui est la plus significative, mais plutôt les relations entre eux. Par exemple, si b1 = 10, b2 = 20 et b3 = 30, avec trois composantes, alors on dira que x1 a un impact négatif sur la réponse, car pour augmenter x1, il faudrait diminuer x2 ou x3 d'une valeur égale ; l'impact net de l'augmentation de x1 serait donc de diminuer E(y). Pour plus d'informations sur l'interprétation des coefficients de mélange, voir Cornell (2002).
Notez que pour tous les modèles présentés dans cet article, nous supposons un terme d'erreur aléatoire additif, indépendant et identiquement distribué normal avec une moyenne de 0 et un écart type.Bien que les termes d’erreur soient évidemment importants dans tout modèle statistique, ce n’est pas un point clé de l’article actuel, c’est pourquoi nous en dirons peu sur ce terme d’erreur à l’avenir.
D'autres modèles de mélange pourraient être envisagés, tels que les modèles à « variable d'écart », dans lesquels on supprime l'un des ingrédients du mélange pour contourner la contrainte de mélange et on réintègre le terme constant. En présence de courbure, on ajuste généralement un modèle de Scheff quadratique, qui intègre les termes linéaires ainsi que tous les termes de produits vectoriels possibles entre les composantes :
Puisque chaque composante peut être considérée comme la somme de toutes les autres composantes, nous ne considérerons généralement pas les termes de produit vectoriel comme une modélisation de l'interaction au sens traditionnel du terme, mais plutôt comme une modélisation du mélange non linéaire en général. En présence d'un mélange non linéaire supplémentaire et avec suffisamment de degrés de liberté, nous pouvons appliquer le modèle de Scheff cubique spécial :
Ce modèle est considéré comme un modèle cubique « spécial » car il n'inclut pas tous les termes du troisième ordre, mais plutôt le modèle quadratique plus tous les produits vectoriels possibles entre trois termes. Par exemple, le modèle cubique spécial n'inclut pas le terme x² . Un modèle de Scheff cubique complet serait :
où les d ij sont les coefficients cubiques de l'excès binaire ou « synergie » (Cornell 2011 p. 31). Lorsque notre modèle comporte des variables de processus, nous utiliserons x i pour une variable de mélange, z i pour une variable de processus, b i pour un coefficient de mélange et a i pour un coefficient de variable de processus. Nous ne prenons pas en compte les termes d ij . De plus, le terme générique f(x) sera utilisé pour un modèle contenant uniquement des ingrédients de mélange, tandis que g(z) sera utilisé pour les modèles contenant uniquement des variables de processus. Les modèles combinés qui intègrent les deux seront écrits c(x,z).
Là encore, de nombreux modèles potentiels peuvent être appliqués aux variables de procédé et aux combinaisons d'ingrédients de mélange et de variables de procédé. Nous nous concentrons ici sur les modèles standards les plus couramment utilisés dans les applications. Un modèle linéaire à variables de procédé serait :
,
où nous avons r variables indépendantes. Un modèle de processus à variables du second ordre (quadratique complet) serait :
Notez que la double sommation inclut i=j ; le modèle quadratique complet inclut donc des termes quadratiques au carré. L'ajustement d'un tel modèle nécessite évidemment plus de deux niveaux de conception. Avec des conceptions à deux niveaux, un modèle factoriel (termes linéaires et interactions du second ordre, mais sans termes quadratiques au carré) peut être utilisé :
Avec des plans factoriels complets, nous pourrions bien sûr également estimer les interactions d’ordre supérieur.
Dans les situations impliquant à la fois des variables de mélange et de processus, le degré d'interaction anticipé entre ces variables est un élément clé à prendre en compte. Si la théorie ou l'expérience suggère que les variables de mélange et de processus n'interagissent pas, nous pouvons ajuster les modèles de mélange et de processus séparément. Autrement dit, le modèle global deviendrait :
c(x,z) = f(x) + g(z) (1)
Nous appelons l'équation 1 le modèle additif linéaire. Dans ce cas, f(x) correspond au modèle jugé approprié pour les composants du mélange, et g(z) au modèle jugé approprié pour les variables de procédé. Cependant, dans de nombreuses situations, les composants du mélange et les variables de procédé interagissent. Autrement dit, la durée et la température optimales pour la cuisson d'un gâteau peuvent dépendre de ses ingrédients. Un vin rouge n'est généralement pas servi aussi frais qu'un vin blanc, etc. Dans ces cas, de nombreux auteurs, tels que Cornell (2002, 2011) et Prescott (2004), suggèrent de multiplier les modèles de mélange et de variables de procédé, plutôt que de les additionner. Autrement dit, pour tenir compte de l'interaction mélange-procédé, nous pouvons utiliser le modèle suivant :
c(x,z) = f(x)*g(z) (2)
Ce modèle multiplicatif n'est pas linéaire en termes de paramètres ( bi et ai ), de sorte que la solution des moindres carrés ne peut être obtenue sous forme fermée, ni par un logiciel de régression linéaire standard. Une approche pour résoudre ce problème consiste à multiplier les termes individuels de f(x)*g(z). Prenons le cas où il y a trois variables de mélange et deux variables de processus. Pour simplifier, supposons que nous sachions que ces modèles seront de la forme suivante :
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 13 x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3 , et
g(z) = une 0 + une 1 z 1 + une 2 z 2 + une 12 z 1 z 2 ,
Ce serait un modèle mixte cubique spécial et un modèle factoriel à variables de processus. Par conséquent, f(x) comporte sept termes à estimer et g(z) quatre. En multipliant chaque terme de f(x) par chaque terme de g(z), on obtient un modèle de régression linéarisé à 28 termes. Ce modèle est dit linéarisé car l'équation 2 est, en réalité, un modèle non linéaire. En multipliant tous les termes, on obtient un modèle linéaire à 28 termes. Autrement dit, on obtient :
c ( x,z) = f(x)*g(z) = b1x1 * a0 + b1x1 * a1z1 + b1x1 * a2z2+b1x1*a12z1z2 ( 3)
+ b 2 x 2 * a 0 + b 2 x 2 * a 1 z 1 + b 2 x 2 * a 2 z 2 + b 2 x 2 * a 12 z 1 z 2
+ .............+ b 123 x 1 x 2 x 3 *a 12 z 1 z 2
Notez que l'équation 3 est linéaire dans ses paramètres si l'on considère b 1 a 0 comme un paramètre, b 1 a 1 comme un autre, et ainsi de suite. L'équation 3 peut donc être estimée avec un logiciel de régression linéaire standard, tout comme l'équation 1. Bien sûr, lorsque les estimations des moindres carrés sont obtenues, le paramètre estimé pour x 1 , indiqué comme « b 1 a 0 » dans l'équation 3, sera, avec une probabilité nulle, égal au coefficient estimé pour x 1 dans f(x) à partir de l'équation 2 (1) fois l'interception estimée dans g(z) à partir de l'équation 2 (0), si ces termes individuels étaient estimés directement par la méthode des moindres carrés non linéaires. Autrement dit, les estimations par les moindres carrés de l'équation 3 ne peuvent pas être utilisées pour déterminer les estimations par les moindres carrés non linéaires de l'équation 2.
Un point important sur lequel nous reviendrons plus tard est la comparaison de l'équation 2 avec l'équation 3. L'équation 2 est un modèle non linéaire en paramètres. Si elle est estimée comme telle, seuls 11 paramètres doivent être estimés, sept pour f(x) et quatre pour g(z). En pratique, seuls 10 paramètres seront nécessaires, car l'équation 2 est en réalité sur-spécifiée ; il ne peut y avoir de solution unique par les moindres carrés à cette équation. Cela se voit immédiatement si l'on considère qu'en multipliant f(z) par une constante arbitraire non nulle, par exemple m, et en divisant g(z) par m, la valeur de c(x,z) resterait inchangée, car m et 1/m s'annuleraient. Puisqu'il existe une infinité de telles constantes m qui pourraient être multipliées par chaque coefficient de f(x), chacune produisant la même somme des carrés résiduels, il ne peut y avoir de solution unique par les moindres carrés à l'équation 2. Nous abordons cette sur-spécification en fixant a 0 = 1,0. Nous ne prétendons pas que ce soit la meilleure ou la seule façon de traiter la sur-spécification, même si cela aide à l’interprétation des autres coefficients, comme nous le verrons bientôt.
Le point essentiel, bien sûr, est que si l'on peut estimer directement l'équation 2 comme un problème de moindres carrés non linéaire, alors seulement 10 degrés de liberté pour les paramètres estimés seraient nécessaires, et non les 28 requis pour la version linéarisée. Cela a des implications évidentes pour la conception expérimentale lorsqu'une interaction est anticipée. Bien sûr, si aucune interaction n'est anticipée, alors l'équation 1, le modèle additif linéaire, peut être estimée. Cette équation est également sur-spécifiée, dans la mesure où le terme a 0 n'est pas nécessaire, et de fait ne peut être estimé, puisque l'interception est déjà incorporée dans le modèle de mélange f(x). En supprimant l'interception, nous avons à nouveau 10 paramètres à estimer, comme dans le modèle non linéaire.
Plans expérimentaux typiques utilisés dans les problèmes de mélange/processus
Conceptions et modèles vont évidemment de pair, car nous avons généralement des modèles spécifiques en tête lors de la conception d'une expérience, même si nous ne sommes pas certains de leur forme exacte. Dans l'expérimentation de mélanges, il existe des modèles adaptés à l'estimation de la loi de Scheff linéaire.modèles et, bien sûr, des conceptions plus grandes adaptées à l'estimation de modèles quadratiques ou cubiques spéciaux.
Les plans simplexes sont couramment utilisés dans les expérimentations de mélanges. Ils sont généralement représentés en q-1 dimensions lorsque nous avons q composantes. Par exemple, si nous avons trois composantes, en raison de la contrainte de mélange, il n'y a que deux degrés de liberté ; le plan peut donc être représenté en deux dimensions, comme dans la figure 2. Notez que les trois composantes sont représentées, chacune possédant un axe. Dans un problème de mélange sans contrainte, chaque composante peut varier de 0 à 1,0 ; le simplexe complet va donc de 0 à 1 sur chaque axe. Le point 0 est représenté par la base du simplexe, et 1,0 correspond au point du simplexe opposé à cette base. Notez que si x 1 = 1,0, alors x 2 = x 3 = 0, ce point correspond donc à la base des axes x 2 et x 3. Ces points sont appelés « mélanges purs » pour des raisons évidentes. Les mélanges purs, ainsi que d'autres points communs aux plans simplexes, sont identifiés dans la figure 2.
Nous soulignons que le centroïde, correspondant au point central dans les plans factoriels, correspond au point 1/3, 1/3, 1/3, situé au milieu du simplexe. D'autres points courants utilisés avec les plans simplexe sont les mélanges 50-50, dont les proportions sont de 0,5 pour deux composantes et de 0 pour la troisième. Ces mélanges 50-50 correspondent aux points médians de chaque base du simplexe. Un autre point courant souvent utilisé dans les plans simplexe est le « point de contrôle », généralement placé à mi-chemin entre le centroïde et le mélange pur. Pour un simplexe à trois composantes, ces points seraient 2/3, 1/6, 1/6 pour x 1 , 1/6, 2/3, 1/6 pour x 2 et 1/6, 1/6, 2/3 pour x 3. Ces points de contrôle permettent de vérifier que le modèle ajuste les données à d'autres points que le centroïde et les limites du simplexe. En d’autres termes, un bon ajustement des points de contrôle suggérerait qu’il est relativement sûr d’interpoler dans le simplexe.
Comme expliqué dans Cornell (2002), des plans simplex-treillis plus élaborés, qui positionnent les points uniformément sur l'ensemble du simplexe, sont également utilisés en pratique. Dans les expériences au-delà de quatre composantes, ces plans sont difficiles à illustrer, mais les mêmes types de plans peuvent être réalisés, comme c'est le cas avec les plans factoriels. Bien sûr, des contraintes s'appliquent souvent aux niveaux d'ingrédients de la formulation. Par exemple, peu de consommateurs souhaitent une vinaigrette composée à 100 % de vinaigre. Dans ce cas, on peut créer des pseudo-composants (Cornell 2002), qui sont des transformations des composants d'origine, ou utiliser des plans assistés par ordinateur dans les espaces de conception anormaux créés par les contraintes. Ces plans ne sont pas l'objet du présent article. Nous supposons également que le lecteur connaît les plans factoriels standard utilisés pour les variables de processus.
Dans les plans d'expérience mixtes avec variables de procédé, un plan hybride est généralement utilisé, afin de permettre l'estimation des effets et des modèles de mélange, ainsi que des effets et des modèles de procédé. Si les expérimentateurs suspectent une interaction, il est souvent souhaitable de pouvoir estimer tous les termes de la version linéarisée de l'équation 2. Autrement dit, le plan d'expérience choisi doit permettre l'estimation de tous les effets obtenus en multipliant chaque terme du modèle de mélange par chaque terme du modèle de procédé. Dans l'exemple précédent, il serait souhaitable d'utiliser un plan permettant l'estimation des 28 termes de l'équation 3.
Ces plans croisent généralement un plan factoriel, ou factoriel fractionnaire, avec un plan mixte. Par exemple, l'expérience du pâté de poisson de Cornell (Cornell 2002) a croisé un plan simplexe à trois composantes, impliquant des mélanges purs, un centroïde et des mélanges 50-50, avec un plan factoriel 2-3 à trois variables de processus. Ce plan est illustré à la figure 3. Il est à noter qu'à chaque point du plan factoriel 2-3 , le plan simplexe complet a été exécuté. On pourrait également, bien sûr, représenter cela comme un plan factoriel complet à chaque point du simplexe. Comme le plan simplexe comportait 7 points et le plan factoriel 8 points, le plan complet était de 56 points, exécuté dans un ordre aléatoire pour éviter le fractionnement des graphiques (Cornell 2002, 2011).
Si aucune interaction n'est anticipée, les plans pourraient bien sûr être beaucoup plus petits. Par exemple, dans l'exemple du steak de poisson de Cornell, un modèle de mélange cubique spécial comporterait 7 termes (3 termes de mélange linéaire, trois produits vectoriels à 2 facteurs et le produit vectoriel cubique spécial à 3 facteurs), tandis qu'un modèle factoriel complet comporterait 8 termes (1 interception, 3 effets principaux, 3 interactions à 2 facteurs et 1 interaction à 3 facteurs). Comme le modèle de mélange f(x) intègre une interception, nous pourrions supprimer l'interception de g(z), laissant 7 + 8 – 1 = 14 termes à estimer dans un modèle additif linéaire sans interaction, c'est-à-dire c(x,z) = f(x) + g(z). Il est clair qu'un plan fractionnaire beaucoup plus petit pourrait être exécuté ou, puisqu'il n'y a pas d'interaction dans le modèle, les variables de mélange et de processus pourraient être étudiées indépendamment.
Le rôle de l'ingénierie statistique dans les modèles de mélange avec variables de processus
Hoerl et Snee (2010) ont défini l'ingénierie statistique comme suit : « L'étude de la meilleure façon d'utiliser les concepts, méthodes et outils statistiques, et de les intégrer aux technologies de l'information et à d'autres sciences, afin d'obtenir de meilleurs résultats. » À l'inverse, la science statistique peut être considérée comme l'étude et le développement de la théorie sous-jacente et de l'application de méthodes statistiques individuelles. La principale distinction réside dans le fait que la science statistique se concentre sur l'approfondissement des connaissances fondamentales des outils eux-mêmes, ainsi que de leur application. L'ingénierie statistique, quant à elle, s'intéresse à la manière de prendre des méthodes et des outils existants, c'est-à-dire la science statistique existante, et de les associer et de les intégrer de manière créative, souvent avec des outils non statistiques, afin d'obtenir un impact accru. L'utilisation créative de la science existante pour obtenir un impact accru est l'essence même de tout domaine de l'ingénierie.
De toute évidence, la science statistique et l'ingénierie statistique sont toutes deux nécessaires au développement du domaine statistique et à l'amélioration de son impact sur la société. Nous soutenons que, si une approche équilibrée est nécessaire, la profession tend actuellement à privilégier la science statistique (Snee et Hoerl, 2011). En particulier, nous pensons qu'il est nécessaire de mettre davantage l'accent sur le développement d'une théorie sous-jacente permettant d'aborder des problèmes vastes, complexes et non structurés, trop vastes pour être résolus par un seul outil. De tels problèmes nécessitent évidemment l'intégration créative de multiples méthodes statistiques, ainsi qu'une utilisation créative des technologies de l'information ou d'autres sciences. Une approche d'ingénierie est donc clairement nécessaire. Voir l'édition spéciale de Quality Engineering sur l'ingénierie statistique (Anderson-Cook et Lu, 2012) pour plus d'informations sur la discipline de l'ingénierie statistique.
Nous avons constaté que, lors de l'analyse de problèmes de mélange avec des variables de processus, le choix de la conception et celui du modèle vont de pair. Autrement dit, les modèles que nous pouvons estimer sont déterminés par la conception, et la conception appropriée dépend des modèles que nous souhaitons estimer. De plus, si nous connaissions à l'avance le modèle spécifique, nous pourrions construire une conception optimale pour l'estimer. Cependant, dans de nombreuses situations pratiques, nos connaissances du sujet sont limitées et nous ne sommes pas certains du modèle final. Cela conduit généralement à une approche itérative de la conception et de l'analyse, comme le soulignent Box et al. (2005), Montgomery (2012) et bien d'autres.
La question clé dans de telles situations est de savoir comment aborder au mieux le problème lorsque nous anticipons une interaction entre les variables de mélange et de processus, sans en être certains. Il s'agit d'une question très différente de celle de la conception optimale pour un modèle donné, et également de celle du modèle optimal pour ajuster un ensemble de données donné. Ces dernières relèvent davantage de la science statistique, car elles traitent de la théorie et de la pratique d'outils individuels. De plus, il est possible de déterminer la « bonne » réponse de manière analytique, sur la base de critères objectifs. Cependant, la question de savoir comment aborder un problème complexe n'est pas une question de science statistique, car nous disposons de peu de données et d'aucun indicateur objectif et convenu de réussite. Autrement dit, le problème est non structuré.
Nous soutenons que cette question stratégique est mieux adaptée à l'ingénierie statistique, car elle nécessite une approche globale intégrant à la fois la conception et l'analyse, éventuellement de manière séquentielle, afin d'obtenir de meilleurs résultats. L'intégration de plusieurs outils est essentielle. Dans ce cas, de « meilleurs résultats » peuvent reposer sur des critères statistiques, ou sur une réduction des efforts expérimentaux, notamment en temps et en argent, ou les deux. Autrement dit, il peut s'agir de trouver la meilleure solution métier, plutôt que la meilleure solution statistique. Il s'agit d'un problème plus complexe et moins structuré que l'obtention de la meilleure conception ou du meilleur modèle dans des conditions spécifiées. Le point de vue de l'ingénierie statistique guide donc notre étude et la stratégie recommandée pour les problèmes de mélange avec variables de processus.
Trois études de cas en conception et analyse
Cornell (2002) a présenté les données d'une expérience sur trois espèces de galettes de poisson : le mulet, le mouton et le courbine. De plus, chaque galette a été cuite à des températures, des temps de cuisson et des temps de friture différents (les galettes étaient cuites au four et frites). La réponse étudiée était la texture des galettes obtenues. Le plan utilisé était un simplexe à sept essais pour les variables de mélange, incluant les mélanges purs, les mélanges 50-50 et le centroïde. Pour les variables de procédé, un 2-3 à huit essais a été réalisé. Cornell a croisé le plan de mélange avec le plan de procédé, comme indiqué dans le tableau 1 et illustré dans la figure 3. Ce plan comporte 7 x 8 = 56 essais au total. Cornell a ajusté un modèle linéarisé, où :
f(x) = b1 x 1 + b2 x 2 + b3 x3 + b12 x 1 x 2 + b13 x 1 x 3 + b23 x 2 x 3 + b123 x 1 x 2 x 3 ,
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 3 z 3 + a 12 z 1 z 2 + a 13 z 1 z 3 + a 23 z 2 z 3 + a 123 z 1 z 2 z 3 , et
c(x,z) = f(x)*g(z)
TABLEAU 1 Données sur la texture des galettes de poisson de Cornell
Mélange | L'heure de la friture |
25 | 40 |
Temps de cuisson au four |
25 | 40 | 25 | 40 |
Température du four |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
Mulet | Tête de mouton | Croaker | Texture |
1 | 0 | 0 | - 1,84
- 2,86
- 3.01
- 4.13
- 1,65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0,67
- 1.10
- 1.21
- 1,67
- 0,58
- 0,97
- 1.16
- 1h30
|
0 | 0 | 1 | - 1,51
- 1,60
- 2.32
- 2,57
- 1.21
- 2.12
- 2,00
- 2,75
- 0,5
- 0,5
|
0 | - 1,29
- 1,53
- 1,93
- 2.26
- 1.18
- 1,45
- 1,85
- 2.06
- 0,5
|
0 | - 0,5
- 1.42
- 1,81
- 2,57
- 3.15
- 1,45
- 1,93
- 2,39
- 2,82
|
0 | - 0,5
- 0,5
- 1.16
- 1,50
- 1,83
- 2.22
- 1.07
- 1,28
- 1,60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1,59
- 1,68
- 1,94
- 2,60
- 1.41
- 1,54
- 2.05
- 2.32
|
Étant donné que f(x) comporte 7 termes et g(z) 8 termes, lorsque les termes individuels sont multipliés pour créer un modèle linéarisé, c(x,z) comporte 7*8 = 56 termes. Il ne restait évidemment plus aucun degré de liberté pour estimer l'erreur expérimentale avec 56 exécutions dans le plan, produisant une erreur quadratique moyenne (RMSE) de 0, et aucune possibilité d'estimer l'écart type du terme d'erreur (e), c'est-à-dire l'erreur type. De plus, il n'y avait aucune possibilité d'évaluer les résidus pour prouver l'inadéquation du modèle, ni d'effectuer des tests d'inadéquation. Cornell a donc utilisé la variation entre les mesures répétées (et non les vraies répliques) comme estimation de l'erreur type. De toute évidence, cette variation intra-exécution ne permet pas d'estimer les sources de variation entre les exécutions, elle ne peut donc pas être considérée comme une estimation de l'erreur type équivalente à celle estimée à partir des vraies répliques, ni même à partir des degrés de liberté résiduels.
Pour comparer les modèles, nous avons appliqué la méthode PSE (pseudo-erreur standard) de Lenth (Lenth 1989) afin d'obtenir une estimation de l'erreur standard du modèle de Cornell. La méthode de Lenth détermine d'abord les effets apparemment réels, puis élimine les variables restantes en utilisant les degrés de liberté obtenus pour estimer l'erreur standard. Il s'agit d'une pseudo-erreur standard, car elle dépend de l'élimination des termes appropriés du modèle.
Prescott (2004) a testé le volume des pains avec trois farines : Tjalve, Folke, toutes deux norvégiennes, et Hard Red Spring, américaine. Deux variables de procédé ont également été prises en compte : le temps de fermentation et le temps de pétrissage. Des contraintes ont été imposées sur les teneurs de trois farines : 0,25. x11, 0 x2.75 et 0 x3.75, où Tjalve est x 1 , Folke x 2 et Hard Red Spring x 3. Appliqué à l'espace de mélange du simplexe, cela donne un simplexe complet plus petit dans un espace réduit. En convertissant en pseudo-composants (Cornell 2002), un plan simplexe standard peut toujours être utilisé. Aux fins de comparaison de modèles, et sans perte de généralité, nous utilisons la version pseudo-composants du plan de mélange de Prescott. Prescott a utilisé un plan simplexe-treillis à 10 exécutions pour les variables de mélange, et un 3 2 , c'est-à-dire une factorielle à trois niveaux en deux variables, pour le plan de procédé. Ce plan comporte bien sûr 9 exécutions.
En croisant à nouveau la conception du mélange avec la conception du processus, Prescott a créé un plan d'exécution 10*9 = 90, qui est répertorié dans le tableau 2 et illustré dans la figure 4. Pour le modèle de mélange f(x), Prescott a considéré le même modèle cubique spécial à 7 termes que Cornell a utilisé, et pour le modèle de processus, g(z), il a considéré un modèle quadratique complet à 6 termes :
g(z) = une 0 + une 1 z 1 + une 2 z 2 + une 12 z 1 z 2 +
TABLEAU 2 Données sur le volume du pain de Prescott
Pseudocomposant Mélange | Temps de fermentation (minutes) |
35 | - 47,5
| 60 |
Temps de mélange (minutes) |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
Tjalve | Personnes | Printemps rouge dur | Volume du pain |
.25 | .75 | 0 | - 378,89
- 396,67
- 392,22
- 445,56
- 452,22
- 487,78
- 457,22
- 500,56
- 472,78
|
.50 | .50 | 0 | - 388,89
- 423,33
- 416.11
- 460,00
- 488,89
- 475,78
- 472,78
- 478,00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483,33
- 389,44
- 474,44
- 514,44
- 462,78
- 506,67
- 591,67
- 522,22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423,33
- 458,33
- 506.11
- 514,44
- 545,56
- 522,22
- 551.11
|
.25 | .50 | .25 | - 417,78
- 437,22
- 444,56
- 484,44
- 490,00
- 495,00
- 497,78
- 531.11
- 577,78
|
.50 | .25 | .25 | - 389,44
- 447,22
- 415,00
- 490,89
- 528,89
- 507,78
- 517,78
- 567,22
- 538,33
|
.75 | 0 | .25 | - 448,33
- 459,44
- 455,56
- 436,00
- 535,00
- 552,22
- 507,44
- 578,89
- 590,00
|
.25 | .25 | .50 | - 413,89
- 485,56
- 462,22
- 483,89
- 529,44
- 540,00
- 565,00
- 598,89
- 580,56
|
.50 | 0 | .50 | - 415,56
- 514,44
- 437,78
- 493,89
- 583,33
- 578,89
- 524,44
- 649,44
- 640,00
|
.25 | 0 | .75 | - 432,78
- 498,33
- 517,22
- 474,44
- 568,33
- 579,44
- 541.11
- 638,89
- 638,89
|
Il est à noter que les termes quadratiques sont estimables, car le processus était conçu à trois niveaux. Prescott a exécuté plusieurs modèles interactifs linéarisés, de la forme c(x,z) = f(x)*g(z), qui comportaient un total de 7*6 = 42 termes. Avec 90 exécutions, il y avait suffisamment de degrés de liberté pour estimer le modèle complet à 42 termes, et il restait encore des degrés de liberté pour estimer l'erreur type. Après avoir examiné plusieurs modèles, le modèle final proposé par Prescott pour ces données était un modèle réduit de la forme :
y =522,8x1 + 448,1x2 + 599,3x3+13,0x1z1 + 1,7x2z1+54,3x3z1+56,3x1z2+37,2x2z2
+ 73,8x 3 z 2 – 39,4x 1+ 3,7x 2– 46,0x 3– 10,2x 1+ 28,4x 2+ 1,0x 3
Notez que certains termes ont été supprimés du modèle, notamment ceux impliquant des produits vectoriels de x i ou l'interaction de z 1 et z 2 . En fait, seuls 15 des 42 termes possibles ont été inclus dans ce modèle final. Nous reviendrons sur ce point lors de la comparaison des modèles linéarisés et non linéaires.
Wang et al. (2013) ont réalisé un plan expérimental de mélange/procédé dans le cadre d'un projet de classe pour un cours de statistiques enseigné par le premier auteur à l'Université Rutgers en 2013. Cette expérience comprend trois variables de mélange, l'eau, le lait et le jus d'orange, et deux variables de procédé, l'ajout de sucre (0 ou 2 grammes) et le type de lait utilisé (2 % ou entier). La réponse était le temps de fusion en minutes de la glace produite à partir du mélange. Le plan de mélange était un plan simplexe de 10 essais avec des composants purs, des mélanges 50-50, des points de contrôle et un centroïde, sous forme de pseudo-composants. Ce plan est illustré à la figure 2. Pour le plan de procédé, Wang a exécuté une factorielle 2 2 en quatre essais. Le plan croisé avec 10*4 = 40 essais et les réponses obtenues sont donnés dans le tableau 3 et illustrés à la figure 5.
TABLEAU 3 Wang et al. Données sur le temps de fusion
Mélange | Type de lait |
2% | Entier |
Sucre |
0 g | 2g | 0 g | 2g |
Eau | Lait | Jus | Temps de fusion |
1/6 | 1/6 | 2/3 | - 29,43
- 24.31
- 34,94
- 32,97
|
0 | - 0,5
- 0,5
- 37,36
- 32,89
- 45,69
- 39.06
- 0,5
- 0,5
|
0 | - 33,32
- 28,34
- 41,78
- 35,84
|
1 | 0 | 0 | - 19.13
- 17,73
- 23,7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22,49
- 29,76
- 25,43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26,29
- 36,97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31,92
- 29.45
- 0,5
|
0 | - 0,5
- 21,86
- 22,88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37,35
- 28,43
- 42,92
- 39,95
|
0 | 1 | 0 | - 48,64
- 33,00
- 45.08
- 47,35
|
Wang et al. (2013) ont ajusté un modèle linéarisé en utilisant un modèle cubique spécial à 7 termes pour f(x) et un modèle de processus factoriel à 4 termes pour g(z), qui présentaient une ordonnée à l'origine, deux effets principaux et une interaction à 2 facteurs. Ainsi, en multipliant tous les termes, c(x,z) est le modèle linéarisé à 28 termes donné dans l'équation 3. Avec 40 exécutions et 28 termes à estimer, il restait 12 degrés de liberté pour estimer l'erreur type.
Modèles et résultats linéaires et non linéaires
Pour chacun de ces plans et ensembles de données, on peut également envisager des modèles beaucoup plus petits, comme le modèle additif linéaire, c(x,z) = f(x) + g(z), qui ne comporte bien sûr aucun terme pour estimer l'interaction entre les variables de mélange et de processus, ainsi que le modèle non linéaire. Pour estimer le modèle non linéaire, on trouve directement la solution par les moindres carrés de c(x,z) = f(x)*g(z), sans multiplier les termes. Comme indiqué précédemment, ce modèle est non linéaire dans ses paramètres. Par exemple, dans le cas simpliste avec deux variables de mélange et une variable de processus :
c(x,z) = ( b1 x 1 + b2 x2 + b12 x 1 x 2 )*( a0 + a1 z) (4)
En supposant que nous souhaitions estimer chacun de ces 5 coefficients, nous pouvons considérer l'équation 4 comme une équation non linéaire à 5 coefficients et utiliser la méthode des moindres carrés non linéaires pour trouver une solution. Comme indiqué précédemment, en pratique, nous n'avons que 4 coefficients à estimer, car l'équation 4 est surdéterminée et n'aura pas de solution unique par les moindres carrés. En fixant arbitrairement 0 = 1,0, nous pouvons généralement obtenir une solution unique par les moindres carrés pour les autres paramètres. L'utilisation d'une autre valeur non nulle pour 0 ne modifierait pas les paramètres du modèle, tels que R² , l'erreur type, etc. Bien entendu, avec la méthode des moindres carrés non linéaires, aucune solution unique n'est garantie.
Pour ajuster le modèle non linéaire, nous utilisons l'algorithme de régression non linéaire de JMP Pro 10, exécuté sur un ordinateur portable MacBook Pro standard. Comme indiqué précédemment, l'exécution de modèles non linéaires est plus complexe que celle de modèles linéaires, mais avec les logiciels modernes, c'est tout à fait faisable, et nous suggérons qu'il s'agit d'une option viable pour ce type de problèmes. Avant d'aborder les résultats obtenus en ajustant des modèles linéaires additifs et non linéaires à ces trois ensembles de données, nous abordons brièvement l'interprétation des coefficients du modèle non linéaire. Nous n'abordons pas le modèle linéaire additif, car l'interprétation des termes de mélange a été largement étudiée dans la littérature, notamment par Cuisinier (1963), Cornell (2002) et bien d'autres.
Après avoir estimé les termes du modèle non linéaire de l'équation 4, nous pouvons multiplier les termes estimés pour faciliter l'interprétation. Il est à noter que cela produit un modèle très différent de celui obtenu en multipliant les termes avant d'estimer les coefficients, ce qui produirait le modèle linéarisé. De plus, le choix de 0 = 1 plutôt qu'une autre valeur simplifie l'interprétation du modèle. En multipliant les termes estimés dans l'approche non linéaire de l'équation 4, nous obtenons :
= ( 1 x 1 + 2 x 2 + 12 x 1 x 2 )*(1 + 1 z)
= ( x 1 + x 2 + 12 x 1 x 2 ) + ( x 1 + x 2 + 12 x 1 x 2 )* 1 z (5)
Sans perte de généralité, nous pouvons supposer que z est mis à l'échelle pour avoir une moyenne de 0. Par conséquent, lorsque z atteint sa valeur moyenne, l'équation 5 se simplifie en ne conservant que la partie gauche, qui correspond au modèle de mélange pur, f(x). Nous pouvons donc interpréter les coefficients de mélange comme le mélange estimé au point médian de la variable de processus, ou comme le mélange moyen sur l'ensemble du plan. Cette interprétation est valable qu'il y ait ou non interaction avec z. L'interprétation de 1 est plus complexe. Notez que z n'apparaît dans l'équation 5 que par le biais d'un ensemble d'interactions.
Cela implique l'incapacité du modèle non linéaire à estimer l'effet principal de z uniquement à partir des interactions de z avec les variables du mélange. En effet, le seul coefficient disponible pour intégrer l'effet principal de z et ses interactions avec x i est 1. Bien que f(x) puisse être réécrit comme un modèle à variable d'écart avec une interception, nous n'aurions toujours qu'un seul degré de liberté pour intégrer à la fois l'effet principal de z et ses interactions avec les variables du mélange. Nous considérons cela comme un inconvénient de l'approche non linéaire et supposons que le résultat pratique sera d'avoir quelques difficultés à ajuster des surfaces avec à la fois des effets principaux de variables de processus importants et une interaction sévère entre les variables de processus et de mélange.
Nous pouvons étendre cette interprétation à des modèles non linéaires plus vastes, tels que le modèle de mélange cubique spécial à 7 termes et le modèle de variables de processus à 8 termes issu de son expérience du pâté de poisson. Si nous estimions c(x,z) = f(x)*g(z) directement comme modèle non linéaire, nous estimerions 7 + 8 – 1 = 14 coefficients. Rappelons que nous avons posé 0 = 1. Après avoir résolu ces 14 coefficients par la méthode des moindres carrés non linéaires, nous pouvons ensuite multiplier les termes pour faciliter l'interprétation. Ceci produit :
(x)*(1 + 1 z 1 + 2 z 2 + 3 z 3 + 12 z 1 z 2 + 13 z 1 z 3 + 23 z 2 z 3 + 123 z 1 z 2 z 3 ),
qui est 1 fois (x), plus 1 z 1 fois (x), plus 2 z 2 fois (x), et ainsi de suite. En d'autres termes, tous les autres termes du modèle en dehors de (x)*1 impliquent i fois un ou plusieurs z i , fois (x). Par conséquent, aucun des effets principaux du z i ne peut être estimé uniquement à partir de l'interaction de ce z i avec les variables du mélange (et leurs interactions), de manière analogue à la situation dans l'équation 5. De même, les interactions entre les z i , telles que z 1 z 2 , par exemple, ne peuvent pas être estimées uniquement à partir des interactions entre ce terme et les termes du mélange.
D'un point de vue pratique, l'incapacité à estimer les coefficients individuels, pour z 1 et x 1 z 1 , par exemple, est plus préoccupante que l'incapacité à estimer les coefficients individuels pour les interactions telles que z 1 z 2 z 3 et x 1 x 2 x 3 z 1 z 2 z 3 , au sens de la résolution du plan (Box et al. 2005). Autrement dit, les praticiens se préoccuperaient rarement de l'importance pratique d'une interaction à six facteurs.
Français En ajustant à la fois le modèle additif linéaire, c(x,z) = f(x) + g(z), et le modèle non linéaire, c(x,z) = f(x)*g(z), aux trois ensembles de données discutés précédemment, nous obtenons les résultats présentés dans le tableau 4. Pour les ensembles de données de Cornell et Wang, nous ajustons des modèles complets sans tentative de sélection de sous-ensembles. Avec les données de Prescott, pour les modèles additifs linéaires et non linéaires, nous incorporons uniquement les termes de f(x) et g(z) qui ont été sélectionnés par Prescott pour être dans son modèle linéarisé final. Plus précisément, pour f(x) nous utilisons uniquement x 1 , x 2 et x 3 . Pour g(z) nous incluons z 1 , z 2 , , et . En ce sens, les comparaisons de Cornell et Wang sont des « pommes avec des pommes » sans sélection de sous-ensemble, et la comparaison de Prescott est des « pommes avec des pommes » avec la sélection de sous-ensemble appliquée par Prescott.
Le critère numérique que nous utilisons est l'erreur type estimée, ou erreur quadratique moyenne (RMSE). Il est évident qu'il n'existe pas de mesure unique permettant de déterminer la « qualité » d'un modèle. Pour développer des modèles appropriés en pratique, il faut examiner plusieurs critères numériques, évaluer les courbes résiduelles, comparer les résultats à une théorie solide, etc. Le lecteur ne doit pas en déduire que nous recommandons de se concentrer uniquement sur la RMSE lors de la construction de modèles. Cependant, pour la comparaison de modèles, nous utilisons l'erreur type estimée simplement comme critère objectif pratique pour mesurer le degré d'ajustement du modèle aux données.
Le tableau 4 montre que dans deux cas, le modèle linéarisé fournit l'erreur type estimée la plus faible, et est presque la plus faible pour les données de Cornell. Cela n'est pas surprenant, car le modèle additif linéaire ne prend en compte aucune interaction et le modèle non linéaire présente les limites mentionnées précédemment. Nous concluons de ces trois analyses que, si suffisamment de degrés de liberté sont disponibles, le modèle linéarisé est l'approche privilégiée, compte tenu de l'application de ce critère par ces trois modèles.
TABLEAU 4 RMSE des modèles linéarisés, linéaires additifs et non linéaires
Données Cornell Données de Prescott Données monétaires
Linéarisé 0,17* 21,0 1,36
Additif linéaire 0,24 24,3 2,38
Non linéaire 0,16 23,1 2,05
*Calculé à l'aide de la méthode de Lenth car il n'y a pas de df pour l'erreur.
Français Cependant, après un examen plus approfondi, nous remarquons que pour deux des ensembles de données, les données de Cornell et les données de Prescott, les différences entre les modèles ne sont pas aussi importantes qu'on pourrait s'y attendre, et en fait, la RMSE du modèle non linéaire est légèrement inférieure à la RMSE du modèle linéarisé pour les données de Cornell. Rappelons qu'en raison de l'absence de degrés de liberté pour estimer l'erreur, la RMSE du modèle linéarisé est calculée à l'aide de la méthode de Lenth. Les performances de l'approche non linéaire sont impressionnantes compte tenu de l'ampleur des différences dans le nombre de coefficients estimés dans ces modèles : 14 (linéaire additif ou non linéaire) contre 56 (linéarisé) pour le modèle de Cornell, 12 contre 42 pour le modèle complet de Prescott (7 contre 15 si l'on utilise uniquement les termes réduits du modèle de Prescott), et 10 contre 28 pour le modèle de Wang. Les modèles non linéaires et additifs linéaires sont beaucoup plus parcimonieux.
Une explication possible de l'inefficacité des approches additives linéaires et non linéaires pour les données de Wang réside dans l'interaction hautement significative entre les variables de mélange et de procédé et ces données. Par exemple, les termes du modèle linéarisé pour lait*sucre*type de lait (x 2 z 1 z 2 ) et lait*jus*sucre*type de lait (x 2 x 3 z 1 z 2 ) sont tous deux statistiquement significatifs au seuil de 0,01. Le terme pour eau*lait*sucre*type de lait (x 1 x 2 z 1 z 2 ) est presque significatif au seuil de 0,01 (valeur p = 0,0101). D'après notre expérience, il est très rare de trouver des interactions à quatre facteurs aussi hautement significatives. Le modèle linéaire, n'incluant aucun terme pour l'interaction entre les variables de procédé et de mélange, sera évidemment incapable de modéliser efficacement une telle interaction. Le modèle non linéaire ne comporte tout simplement pas suffisamment de termes pour fournir une bonne approximation. Avec une interaction d’ordre supérieur aussi importante, il est probable que l’approche linéarisée sera nécessaire.
Compte tenu des différences relativement faibles observées dans le tableau 4, il semble plausible que nous puissions économiser considérablement de temps et d'argent en réduisant le nombre d'expérimentations initiales. Il est certain qu'il n'est pas nécessaire d'effectuer 90 exécutions pour estimer les 12 termes du modèle non linéaire de Prescott en utilisant tous les termes, ni 56 exécutions pour estimer les 14 termes du modèle non linéaire de Cornell. Afin de répondre à cette question, nous évaluons comment chacun de ces modèles s'adapterait à une fraction des plans réellement exécutés.
Résultats avec des plans fractionnaires
Chacun des plans que nous avons examinés a été produit en croisant le plan de mélange avec le plan de procédé. Par conséquent, le nombre total d'essais était de n 1 * n 2 , où n 1 était le nombre dans le plan de mélange et n 2 celui dans le plan de procédé. Pour le plan de galette de poisson de Cornell, cela donnait 7 * 8 = 56. Compte tenu des résultats présentés ci-dessus pour les modèles non linéaires, une question logique se pose : les 56 essais étaient-ils réellement nécessaires, ou Cornell aurait-il pu exécuter un plan beaucoup plus petit et obtenir quasiment les mêmes résultats ? L'une des justifications avancées par Cornell (2002) pour l'exécution du plan à 56 essais était la nécessité d'estimer tous les coefficients du modèle linéarisé.
Cornell (2002) a également noté que si les expérimentateurs ne pouvaient pas exécuter le plan complet, ils pouvaient créer un plan fractionnaire en exécutant une fraction du plan de procédé à chaque point de l'espace de mélange. Afin de garantir l'estimation du plus grand nombre possible de termes, Cornell a suggéré d'inverser la fraction du plan de procédé exécutée à différents points du plan de mélange. Par exemple, dans le cas de trois variables de procédé, nous pourrions exécuter la demi-fraction z 1 z 2 z 3 = 1 à environ la moitié des points du plan de mélange, et z 1 z 2 z 3 = -1 à l'autre moitié. Cornell a également recommandé d'exécuter le plan de procédé complet au centre de l'espace de mélange, si possible. Il a noté que si ce plan fractionnaire était exécuté, l'expérimentateur ne pourrait pas estimer le modèle linéarisé complet, mais serait limité à l'estimation d'un sous-ensemble de ces termes.
Dans le cas des galettes de poisson, le plan de mélange comportait 7 points et le plan de procédé 8. En appliquant les 8 points au centroïde, puis 4 (une demi-fraction) à tous les autres points, on obtient un plan fractionnaire de 32 points. Ce nombre de points est insuffisant pour estimer tous les termes du modèle linéarisé des galettes de poisson, mais largement suffisant pour estimer les 14 termes du modèle additif non linéaire ou linéaire. La figure 6 illustre le plan fractionnaire avec z 1 z 2 z 3 = 1 appliqué aux mélanges purs et z 1 z 2 z 3 = -1 appliqué aux mélanges 50-50. Pour faciliter l'interprétation graphique et permettre les comparaisons avec la figure 3, nous illustrons à nouveau les points de mélange appliqués à chaque point du plan de procédé, bien que la méthode de construction soit celle indiquée ci-dessus.
Outre l'évaluation de l'adéquation du modèle non linéaire à l'ensemble de données réduit, nous disposons également d'un échantillon de référence naturel pour mieux évaluer le modèle. Autrement dit, seules 32 exécutions sont utilisées pour estimer le modèle non linéaire. Par conséquent, une fois les termes du modèle estimés, nous pouvons l'utiliser pour prédire les 24 exécutions non utilisées. Un tel échantillon de référence est généralement considéré comme un critère plus pertinent pour évaluer un modèle estimé, car le modèle n'a pas vu ces données et ne peut être influencé par elles lors de l'ajustement. Le tableau 5 présente les résultats du premier ajustement des modèles linéaires additifs et non linéaires au plan fractionnaire illustré à la figure 6, ainsi que l'erreur type de prédiction (RMSE) lors de la prédiction des données de référence. Notez que le modèle de Cornell comportait trop de termes pour être estimé avec un plan fractionnaire ; le modèle linéarisé n'est donc pas une option.
Bien entendu, on pourrait inverser arbitrairement la conception fractionnée avec des mélanges purs ou avec des mélanges 50-50. Par conséquent, par souci d'exhaustivité, nous considérons la conception illustrée à la figure 6 comme la conception fractionnée 1, et définissons la conception fractionnée 2 comme celle dans laquelle z 1 z 2 z 3 = -1 est exécutée avec des mélanges purs, et z 1 z 2 z 3 = 1 est exécutée avec des mélanges 50-50. Là encore, les 8 points de conception du procédé sont exécutés au centre de gravité.
TABLEAU 5 Résultats de prédiction avec les plans fractionnaires de Cornell
*Calculé à l'aide de la méthode de Lenth car il n'y a pas de df pour l'erreur.
Notez dans le tableau 5 que pour les deux plans fractionnaires, les modèles non linéaires ajustent bien les données d'apprentissage et s'adaptent raisonnablement bien aux données de référence. La RMSE de prédiction est de 0,22 pour les deux plans fractionnaires, ce qui est supérieur à la RMSE initiale de 0,16, mais reste raisonnable, étant donné que nous n'avons utilisé que 32 des 56 exécutions initiales, ce qui représente une réduction de 43 %. Le modèle additif linéaire s'adapte également de manière cohérente à l'ensemble des données. Comme indiqué précédemment, si notre seul objectif est de maximiser l'ajustement du modèle, un plan croisé complet avec le modèle linéarisé est préférable. Cependant, si le temps et le coût sont des considérations importantes, un modèle non linéaire avec une précision de prédiction moindre, mais obtenu avec un effort expérimental bien moindre, devrait être envisagé.
Le plan de mélange de Prescott était un réseau simplexe avec deux points d'arête entre chaque mélange pur et un centroïde. Ce plan a été croisé avec un plan de procédé 3 2. Une telle combinaison complique la détermination d'un plan fractionnaire équilibré d'un point de vue heuristique. Après avoir envisagé différentes options, nous définissons le plan fractionnaire 1 comme le 3 2 complet au centroïde, les points où z 1 z 2 = 0 aux mélanges purs, et les points où z 1 = z 2 = 0 et où z 1 z 2 = +/-1 aux trois points d'arête suivants : (2/3, 1/3, 0), (0, 2/3, 1/3) et (1/3, 0, 2/3). Il en résulte un plan fractionnaire à 39 essais (9 + 5*3 + 5*3), illustré à la figure 7. Il est à noter que le plan fractionnaire comporte moins de la moitié des points du plan initial à 90 essais. La conception fractionnaire 2 a été obtenue en exécutant à nouveau le 3 2 complet au centroïde, mais en inversant les points de processus exécutés aux mélanges purs par rapport aux trois points de bord.
Les résultats de prédiction pour les plans fractionnaires de Prescott sont présentés dans le tableau 6. Notez que pour le modèle linéarisé de Prescott, seuls les 15 termes conservés par Prescott ont été utilisés dans le modèle final ; nous pouvons donc estimer ce modèle avec le plan fractionnaire. Cela nous permet de comparer le modèle linéarisé avec les modèles linéaires additifs et non linéaires avec les données fractionnaires. Bien sûr, si Prescott avait exécuté un modèle de mélange cubique spécial complet en 7 termes avec un plan de processus factoriel en 6 termes, nous n'aurions pas les 42 degrés de liberté nécessaires pour estimer tous les termes.
Le tableau 6 montre que le modèle linéarisé est extrêmement performant avec les plans fractionnaires utilisant les données d'apprentissage. En fait, les RMSE des deux plans sont inférieurs à ceux obtenus avec l'ensemble de données complet. Cela s'explique en partie par le fait que Prescott a déterminé les paramètres nécessaires au modèle linéarisé à partir de l'ensemble de données complet. En ce sens, nous utilisons les informations de l'ensemble de données complet pour ajuster un modèle linéarisé aux données fractionnaires. Cependant, nous ne pouvons pas estimer tous les termes du modèle linéarisé complet avec ces 39 points de données. Il convient toutefois de noter que le modèle linéarisé est bien moins performant pour prédire les données de référence. En fait, pour les deux plans fractionnaires, la RMSE de prédiction linéarisée est supérieure à celle des modèles linéaire et non linéaire.
Là encore, les modèles linéaires additifs et non linéaires fournissent une RMSE de prédiction raisonnablement proche de celle de l'ensemble d'apprentissage, pour les deux modèles. Comme pour les données de Cornell, nous constatons que l'ajustement d'un modèle linéaire additif ou non linéaire avec un modèle fractionnaire constitue une alternative viable à l'exécution du modèle complet à 90 exécutions.
TABLEAU 6 Résultats de prédiction avec les plans fractionnaires de Prescott
Français Le plan original de Wang était un simplexe de 10 exécutions avec 50-50 points de bord et points de contrôle, croisé avec un plan de processus 2 2 , ce qui donne 10*4 = 40 exécutions. Nous obtenons le plan fractionnaire 1 en exécutant un 2 2 complet au centroïde et des mélanges purs, la demi-fraction z 1 z 2 = 1 aux points de bord 50-50, et la demi-fraction z 1 z 2 = -1 aux points de contrôle. Cela donne 4*4 + 2*3 + 2*3 = 28 exécutions, comme le montre la figure 8. Le plan fractionnaire 2 a été obtenu en inversant les fractions exécutées aux points de bord 50-50 et points de contrôle.
À l'aide de ces plans fractionnaires, nous comparons à nouveau les modèles linéarisés, additifs linéaires et non linéaires en termes de RMSE de prédiction. Le modèle linéarisé de Wang comportant 28 paramètres, nous pouvons estimer ce modèle complet, sans toutefois disposer de degrés de liberté pour estimer l'erreur. Par conséquent, à des fins de comparaison, nous utilisons à nouveau la pseudo-erreur type de Lenth à la place de la RMSE pour le modèle linéarisé. Les résultats de ces comparaisons sont présentés dans le tableau 7.
TABLEAU 7 Résultats de prédiction avec les plans fractionnaires de Wang
*Calculé à l'aide de la méthode de Lenth car il n'y a pas de df pour l'erreur.
Le tableau 7 présente peut-être les faibles prédictions du modèle linéarisé. Cela est probablement dû en grande partie au fait qu'il n'y a aucun degré de liberté pour estimer l'erreur avec les plans fractionnaires. À notre avis, l'un des principaux enseignements à tirer de cette situation est le danger d'utiliser des modèles de régression avec peu ou pas de degrés de liberté pour prédire de nouvelles données. L'évaluation et la validation d'un modèle sont des tâches difficiles ; le faire avec peu ou pas de degrés de liberté pour l'erreur risque d'entraîner de mauvaises prédictions. Les modèles linéaires additifs et non linéaires sont plus performants, à peu près équivalents en termes de prédiction hors échantillon. Il convient de noter que ni les modèles linéaires additifs ni les modèles non linéaires n'ont produit une RMSE proche du modèle linéarisé avec l'ensemble de données complet. Cependant, lors de la prédiction hors échantillon, ils sont tous deux plus performants que le modèle linéarisé. Là encore, nous soutenons que cela prouve que les modèles linéaires additifs et non linéaires, exécutés sur des plans fractionnaires, sont des alternatives viables à envisager en pratique.
Qu'avons-nous appris ?
Nous avons comparé des modèles linéarisés, additifs linéaires et non linéaires à l'aide de deux ensembles de données de processus de mélange publiés et d'un nouvel ensemble de données. De plus, nous avons comparé ces approches non seulement en termes d'ajustement des ensembles de données originaux, mais également en termes d'ajustement de plans fractionnaires potentiels qui auraient pu être exécutés à la place des plans croisés complets (mélange multiplié par processus). Nous répétons que notre objectif n'est pas de trouver le plan optimal ou le meilleur modèle dans l'absolu. Nous proposons plutôt une approche d'ingénierie statistique afin de déterminer la meilleure stratégie pour aborder les problèmes de processus de mélange face à une interaction potentielle. Une telle stratégie prendrait en compte les avantages pratiques des plans fractionnaires et des approches séquentielles.
En bref, nous soutenons que nous avons appris ce qui suit de ces comparaisons :
- Si des degrés de liberté suffisants sont disponibles, les modèles linéarisés, obtenus en multipliant les termes du modèle de mélange avec ceux du modèle de processus, sont susceptibles de mieux s'adapter aux données et de fournir les meilleures prédictions des données hors échantillon.
- Les modèles additifs linéaires, ignorant l'interaction mélange-processus, et les modèles non linéaires, offrent des alternatives viables au modèle linéarisé et offrent des avantages significatifs en termes de nombre de termes à estimer.
- Lorsque les expérimentateurs envisagent l’option de modèles linéaires additifs ou non linéaires, une stratégie séquentielle commençant par des conceptions fractionnaires offre la possibilité de réduire considérablement la quantité totale d’expérimentation nécessaire pour développer un modèle utile.
- Si les modèles linéaires additifs et non linéaires ne s'adaptent pas suffisamment aux plans fractionnaires initiaux, les expérimentateurs peuvent alors exécuter le plan croisé complet restant et ajuster le modèle linéarisé. En ce sens, les expérimentateurs ont beaucoup à gagner et très peu à perdre en envisageant une stratégie séquentielle.
- Un autre point à ne pas négliger est que les modèles avec peu ou pas de degrés de liberté pour l’erreur résiduelle peuvent bien s’adapter aux données d’échantillon, mais sont risqués à utiliser pour prédire des données hors échantillon.
La stratégie que nous proposons est illustrée à la figure 1. En appliquant initialement le plan fractionnaire, nous pouvons réduire considérablement le nombre d'expérimentations nécessaires à l'ajustement d'un modèle adéquat. Les différents plans fractionnaires et le nombre de coefficients des différents modèles sont résumés dans le tableau 8 à titre comparatif.
TABLEAU 8 Taille des plans complets et fractionnaires et nombre de coefficients dans les modèles
Ensemble de données | - Non. Exécute la conception complète
| - Non. Exécute la conception fractionnée
| Réduction | - Non. Coefficients du modèle linéarisé
- Non. Coefficients du modèle additif linéaire
- Non. Coefficients du modèle non linéaire
|
Cornell | 56 | 32 | 43% | 56 | 14 | 14 |
Prescott | 90 | 39 | 57% | 42 | 12 | 12 |
Wang et al. | 40 | 28 | 30% | 28 | 11 | 11 |
Nous suggérons d'exécuter les modèles linéaires additifs et non linéaires sur les données fractionnaires. Si le modèle non linéaire s'ajuste nettement mieux, cela indiquerait une interaction notable entre les variables de mélange et de procédé. Bien entendu, rien ne garantit que le modèle linéaire additif ou non linéaire s'ajustera correctement. En particulier, avec un degré élevé d'interaction entre les variables de mélange et de procédé, des modèles linéarisés seront probablement nécessaires.
Si les expérimentateurs ne sont pas satisfaits des modèles générés à partir du plan fractionnaire, ils ont la possibilité d'exécuter l'autre fraction – celle non exécutée initialement – pour compléter le plan complet. Cette option devrait faire partie de la stratégie adoptée au début de l'étude. Cette approche permettrait d'estimer le modèle linéarisé complet. Un degré de liberté serait nécessaire pour bloquer efficacement le plan au fil du temps, entre la première et la deuxième fraction. Par ailleurs, cette approche ne présente aucun inconvénient majeur, à condition qu'il soit possible d'expérimenter séquentiellement. Nous reconnaissons à nouveau que la théorie sous-jacente aux modèles non linéaires n'est pas aussi développée que celle des modèles linéaires.
L'étape d'adéquation du modèle illustrée à la figure 1 ne doit bien sûr pas se limiter à l'évaluation de la RMSE. Cette étape de décision vise à inclure une évaluation complète de l'adéquation du modèle, incluant un examen minutieux des résidus, l'évaluation des valeurs aberrantes potentielles, la comparaison avec les connaissances actuelles du domaine sur ce problème, etc. Une telle évaluation du modèle linéarisé est supposée ; c'est pourquoi nous ne l'avons pas incluse comme étape supplémentaire dans la figure 1. Notre objectif dans cette figure est de montrer comment évaluer les différents modèles de manière séquentielle, plutôt que de décrire en détail la construction d'un modèle statistique fiable, comme l'expliquent Box et al. (2005), par exemple.
Le lecteur remarquera que cet article n'étudie pas le potentiel des conceptions assistées par ordinateur pour sélectionner une fraction optimale adaptée à la conception non linéaire. Nous pensons que des recherches sur l'application de conceptions assistées par ordinateur aux modèles non linéaires dans les problèmes de mélange pourraient fournir des résultats encore meilleurs que ceux présentés. Nous laissons cela à des recherches ultérieures.
Une stratégie réalisable a été élaborée, testée et illustrée
Nous étudions le problème de la conception d'expériences et de l'ajustement de modèles intégrant à la fois des variables de mélange et de processus, susceptibles d'interagir entre elles. Une approche courante pour résoudre ce problème consiste à exécuter un plan de mélange complet croisé avec un plan factoriel complet pour les variables de processus. Un tel plan permet d'estimer tous les coefficients d'un modèle linéarisé, créé en croisant tous les termes du modèle de mélange avec ceux du modèle de processus. Cependant, les modèles et les plans nécessaires à leur estimation ont tendance à être assez volumineux. Par exemple, dans l'exemple de fabrication du pain de Prescott, un plan de 90 essais a été utilisé. Le plan de Cornell pour les galettes de poisson a nécessité 56 essais.
Nous considérons le cas où les expérimentateurs souhaitent un bon modèle, peut-être pas optimal, et souhaitent l'obtenir avec beaucoup moins d'expérimentation que 90 ou 56 exécutions. Dans ces situations, nous soutenons qu'une stratégie d'ingénierie statistique utilisant l'expérimentation séquentielle, des plans fractionnaires initialement beaucoup plus petits et la prise en compte de modèles linéaires additifs ou non linéaires offre une meilleure approche globale. Nous le répétons : nous ne prétendons pas que le modèle non linéaire soit susceptible d'être supérieur au modèle linéarisé en termes de RMSE ou de RMSE de prédiction. Nous ne prétendons pas non plus que les plans fractionnaires contiennent autant d'informations que les plans croisés complets. En ce sens, nous ne proposons pas de plan spécifique en soi, ni de modèle spécifique en soi.
Nous proposons plutôt une stratégie pour résoudre ces problèmes, que nous considérons comme globalement supérieure aux approches proposées dans la littérature actuelle. En ce sens, notre stratégie proposée est une approche d'ingénierie statistique. Sur la base des résultats présentés ici, nous concluons que cette approche est supérieure car elle offre un potentiel de gain de temps et d'efforts expérimentaux significatifs, tout en ne présentant pratiquement aucun inconvénient, sous réserve qu'une approche séquentielle soit réalisable. En particulier, les modèles non linéaires sont relativement simples à estimer avec des logiciels statistiques modernes tels que R, JMP, Minitab ou SAS ; les logiciels ne doivent donc pas constituer un obstacle à leur prise en compte. Nous pensons également que des approches similaires pourraient être d'une utilité plus générale dans d'autres applications de surfaces de réponse, au-delà des modèles à variables de mélange/processus, mais ce sujet fera l'objet de recherches futures.
Références
Anderson-Cook, CM, et Lu, L. (Rédacteurs invités) (2012). « Numéro spécial sur l'ingénierie statistique », Ingénierie de la qualité , 24(2).
Box, GEP, Hunter, JS, et Hunter, WG (2005). Statistiques pour expérimentateurs , 2e édition, John Wiley and Sons, Hoboken, NJ.
Cornell, JA (2002). Expériences avec des mélanges : conceptions, modèles et analyse des données de mélange , 3e édition, John Wiley and Sons, Hoboken, NY.
Cornell, JA (2011). Introduction aux expériences sur les mélanges , John Wiley and Sons, Hoboken, NJ.
Hoerl, RW, et Snee, RD (2010). « Pensée et méthodes statistiques en amélioration de la qualité : un regard vers l’avenir », Ingénierie de la qualité , 22(3) : 119-139.
Lenth, RV (1989). « Analyse rapide et facile des factorielles non répliquées », Technométrie , 31(4) : 469-473.
Montgomery, DC (2012). Conception et analyse d'expériences , 8e édition, John Wiley and Sons, Hoboken, NJ.
Prescott, P. (2004). « Modélisation dans les expériences de mélange, incluant les interactions avec les variables de procédé. » Quality Technology & Quantitative Management, 1(1) : 87-103.
Cuisinier, H. (1963). « Le plan simplex-centroïde pour les expériences avec des mélanges », Journal de la Royal Statistical Society B , 25(2) : 235–263.
Snee, RD, et Hoerl, RW (2011). « Un mélange approprié ; le bon équilibre entre ingénierie statistique et statistiques appliquées », Progrès de la qualité , juin : 46-49.
Wang, L., Xu,J.,Wu, S., et Zhang, K. (2013). Étude du taux de fonte des glaçons fabriqués soi-même, rapport de projet non publié.
