<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Roger W. Hoerl, PhD, professeur adjoint Brate-Peschel de statistiques, Union College
Ronald D. Snee, PhD, président, Snee Associates
Expériences efficaces de mélanges/procédés utilisant des modèles non linéaires
9/2015
Ronald D. Snee, Snee Associates, Newark, DE
Roger W. Hoerl, Union College, Schenectady, New York
Gabriella Bucci, Académie extérieure, Sarasota, Floride
Droits d'auteur : Ronald D. Neige, Roger W. Hoerl et Gabriella Bucci 2015
Remarque : Cet article est actuellement en cours de révision éditoriale sous le titre : « Une approche d'ingénierie statistique des expériences de mélange avec des variables de processus »
Abstrait: L'expérimentation avec les composants du mélange et les variables du processus, en particulier lorsqu'il est probable qu'il y ait une interaction entre ces deux ensembles de variables, est discutée. Nous considérons à la fois les questions de conception et d’analyse dans le contexte de la résolution d’un problème réel de mélange/processus. Nous nous concentrons sur une stratégie pour résoudre de tels problèmes, plutôt que sur la recherche de la meilleure conception ou du meilleur modèle possible pour un ensemble de données donné. En ce sens, un cadre d’ingénierie statistique est utilisé.En particulier, lorsque nous considérons le potentiel d’ajustement de modèles non linéaires parcimonieux par opposition à des modèles linéarisés plus grands, nous trouvons une opportunité significative de réduire la taille des plans expérimentaux. Il est difficile en pratique de savoir quel type de modèle conviendra le mieux aux données obtenues. Par conséquent, une stratégie de conception et d’analyse intégrée et séquentielle est recommandée. En utilisant deux ensembles de données publiés et un nouvel ensemble de données, nous constatons que dans certains cas, les modèles non linéaires, ou les modèles linéaires ignorant l'interaction, permettent de réduire l'expérimentation de l'ordre de 50 %. Dans d’autres cas, les modèles non linéaires peuvent ne pas suffire. Nous fournissons donc des lignes directrices quant aux chances de succès d’une telle approche et proposons une stratégie globale pour de tels problèmes.
Mots clés: mélanges, modèles de mélanges, expérimentation de mélanges, modèles non linéaires
Introduction
Les problèmes de mélange - où les proportions des ingrédients doivent totaliser 1,0 - surviennent dans de nombreuses industries et domaines d'application, tels que le développement de produits alimentaires, pharmaceutiques et chimiques, pour n'en citer que quelques-uns. Dans de nombreuses applications de mélanges, ce n'est pas seulement la formulation qui a un impact sur la réponse finale, mais également les variables du procédé. Par exemple, lors de la production d'un vin d'assemblage, le goût final et d'autres caractéristiques importantes dépendent non seulement des proportions de cépages utilisés, mais également de variables de processus, telles que les conditions climatiques de la saison de croissance, le moment de la récolte des raisins, les températures à différentes étapes du processus de fermentation, type de fûts de vieillissement utilisés, etc.
Dans certains cas, les composants du mélange et les variables du procédé n'interagissent pas. Dans l’exemple du vin, cela signifierait que la fermentation et les autres traitements pourraient être optimisés sans tenir compte des cépages utilisés. Ce scénario conduirait à utiliser des modèles additifs combinant un modèle de mélange et un modèle de variables de procédé. Dans d’autres cas, ce scénario additif ne s’appliquera pas, car les meilleures conditions de transformation pourraient dépendre des cépages utilisés. Dans ce cas, il y aurait une interaction entre les variables du mélange et du processus. Le scénario d'interaction conduirait à des modèles intégrant des termes pour tenir compte de l'interaction entre les variables du mélange et du procédé.
Les plans expérimentaux généralement utilisés lorsqu'une telle interaction est anticipée ont tendance à être de grande taille, afin de s'adapter au nombre de termes dans les modèles linéaires intégrant l'interaction (Cornell 2002, 2011). Bien entendu, si l’on sait, grâce à ses connaissances sur le sujet ou à des expériences antérieures, quelle sera la forme finale du modèle, on peut concevoir une expérience optimale ou quasi optimale pour estimer ce modèle spécifique. Nous considérons la situation la plus courante dans laquelle les expérimentateurs soupçonnent une interaction, mais ne sont pas sûrs de pouvoir spécifier la forme finale du modèle avant d'exécuter la conception et d'obtenir les données ultérieures. Nous ne nous concentrons donc ni sur la conception optimale pour un modèle donné, ni sur le modèle optimal pour un ensemble de données donné. Nous nous concentrons plutôt sur une stratégie pour résoudre ces problèmes, en considérant des conceptions alternatives, des modèles alternatifs et en tenant compte du besoin d'efficacité dans la résolution des problèmes dans la pratique.
En ce sens, nous adoptons une approche d’ingénierie statistique (Hoerl et Snee 2010, Anderson-Cook et Lu 2012) pour identifier les approches les plus efficaces et efficientes pour traiter les applications de mélanges/processus présentes dans les entreprises, l’industrie, la recherche ou le gouvernement.En particulier, nous constatons qu'une considération sérieuse des modèles non linéaires dans les paramètres peut fournir une alternative efficace aux modèles traditionnels linéaires dans les paramètres. Bien que l'ajustement de modèles non linéaires soit plus difficile que l'ajustement de modèles linéaires, les logiciels modernes, tels que R, JMP, Minitab ou SAS, permettent aux utilisateurs d'estimer et d'interpréter des modèles non linéaires assez facilement, du moins par rapport aux logiciels commerciaux de 10. à il y a 20 ans.
Les modèles non linéaires ont moins de paramètres à estimer pour le même problème de mélange/procédé. Par exemple, dans l'application des galettes de poisson de Cornell (Cornell 2002), il y avait 56 termes à estimer dans le modèle linéaire contre 14 termes dans le modèle non linéaire. Par conséquent, si les modèles non linéaires constituent une alternative viable, des stratégies de conception fractionnée beaucoup plus agressives pourraient être adoptées pour réduire considérablement l’expérimentation initiale. Nous reconnaissons que la théorie qui sous-tend les modèles non linéaires, pour des éléments tels que les erreurs types des coefficients, est moins développée que pour les modèles linéaires et repose souvent sur des résultats asymptotiques ou approximatifs (Montgomery 2012).
En d’autres termes, étant donné que les modèles non linéaires nécessitent moins de paramètres pour tenir compte de l’interaction entre les variables du procédé et du mélange, des plans fractionnaires beaucoup plus petits peuvent être exécutés initialement. Évidemment, il n’est pas nécessaire de faire 56 simulations pour estimer 14 termes, en supposant que le coût de l’expérimentation soit non négligeable. Si le modèle non linéaire, ou même un modèle linéaire additif sans interaction, s'avère suffisant, alors le problème peut être résolu avec la conception initiale.
Nous avons beaucoup à gagner et peu, voire rien, à perdre en envisageant des modèles non linéaires. Si ces modèles plus petits ne fournissent pas une précision suffisante, des expérimentations supplémentaires peuvent être réalisées de manière séquentielle. De cette manière, le meilleur des cas est que nous réduisions l'effet expérimental requis pour résoudre le problème jusqu'à 50 %, tandis que le pire des cas est que nous devions finalement exécuter toutes les expérimentations qu'un modèle linéaire typique avec interaction nécessiterait. Cette stratégie globale est illustrée dans la figure 1. Mettre l’accent sur la meilleure approche globale pour résoudre le problème, plutôt que de se concentrer sur la meilleure conception individuelle pour un modèle donné, ou sur le meilleur modèle individuel pour un ensemble de données donné, est, à notre avis, au cœur de l’ingénierie statistique.
Le reste de l'article est organisé comme suit; Nous passons d'abord en revue les modèles et conceptions typiques utilisés dans les expériences de mélange avec des variables de processus, y compris celles avec interaction. Ensuite, nous passons en revue les principes fondamentaux de l’ingénierie statistique et discutons de la manière dont ils s’appliquent à ce problème spécifique. Nous introduisons ensuite trois ensembles de données, deux déjà publiés et un nouvel ensemble de données. À l’aide de ces ensembles de données, nous comparons des modèles linéaires additifs, linéaires interactifs et non linéaires, en termes d’ajustement des données. Par ailleurs, nous notons des interprétations potentielles des coefficients du modèle non linéaire. Nous considérons ensuite les résultats hypothétiques que nous aurions pu obtenir avec des plans fractionnaires pour chacun de ces problèmes. Autrement dit, nous analysons un sous-ensemble des données réelles selon un plan fractionnaire, ajustons les différents modèles et utilisons les modèles pour prédire les données non utilisées par le modèle. Enfin, nous considérons les implications de cette analyse et suggérons une stratégie pour résoudre les problèmes de mélange/processus lorsqu'une interaction est suspectée.
Modèles typiques utilisés dans les problèmes de mélange/processus
Il existe de nombreuses conceptions et modèles potentiels appliqués aux problèmes de mélange avec des variables de processus. Nous mettons ici en évidence les modèles et conceptions les plus couramment utilisés dans les applications, en particulier Scheff modèles (chef 1963, Cornell 2002), sans tenter d’en dresser un bilan exhaustif. Nous considérons d’abord les modèles de mélange eux-mêmes, puis les modèles de mélange avec variables de processus sans interaction, puis avec interaction. Une fois que nous avons terminé avec les modèles, nous discutons des conceptions généralement exécutées pour permettre l'ajustement de ces modèles.
En raison de la contrainte selon laquelle la somme des composants de la formulation est égale à 1,0, ce qui entraîne la perte d'un degré de liberté, il est courant de simplement supprimer le terme constant d'un modèle de régression linéaire standard. Par exemple, avec q composants de mélange, le Scheff linéaire le modèle s’écrirait :
Étant donné que la somme des composantes est égale à 1,0, ce n'est pas la valeur absolue des coefficients qui est la plus significative, mais plutôt les relations entre les coefficients. Par exemple, si b 1 =10,b 2 =20, et b 3 =30, à trois composantes, alors on dira que x 1 a un impact négatif sur la réponse, car augmenter x 1 il faudrait diminuer soit x 2 ou x 3 d'un montant égal, d'où l'impact net de l'augmentation de x 1 serait de diminuer E(y). De plus amples informations sur l'interprétation des coefficients de mélange peuvent être trouvées dans Cornell (2002).
Notez que pour tous les modèles présentés dans cet article, nous supposons un terme d'erreur aléatoire additif, indépendant et distribué de manière identique avec une moyenne de 0 et un écart type. . Bien que les termes d’erreur soient évidemment importants dans tout modèle statistique, ce n’est pas un point clé du présent article, c’est pourquoi nous dirons peu de choses sur ce terme d’erreur à l’avenir.
Il existe d'autres modèles de mélange qui pourraient être envisagés, tels que les modèles à « variable de marge », dans lesquels nous supprimons l'un des ingrédients du mélange pour éviter la contrainte de mélange et rajoutons le terme constant dans le modèle. Lorsqu'une courbure est présente, il est courant d'ajuster une courbe quadratique Schiff modèle, qui intègre les termes linéaires ainsi que tous les termes de produits croisés possibles entre les composants :
Étant donné que chaque composant peut être considéré comme un composant moins la somme de tous les autres composants, nous ne considérerons généralement pas les termes de produits croisés comme une modélisation de l'interaction au sens traditionnel du terme, mais plutôt comme une modélisation du mélange non linéaire en général. Lorsqu'un mélange non linéaire supplémentaire est présent et que des degrés de liberté suffisants sont disponibles, nous pouvons installer le cube spécial Schiff des modèles:
Ceci est considéré comme une cubique « spéciale » dans le sens où elle n'inclut pas tous les termes du troisième ordre, mais constitue plutôt le modèle quadratique plus tous les produits croisés possibles entre trois termes. Par exemple, la cubique spéciale n'inclut pas le terme X 2 . Un cube plein Schiff le modèle serait :
où le d je sont des coefficients cubiques de l'excès binaire ou de la « synergie » (Cornell 2011 p. 31). Lorsqu'il y a des variables de processus dans notre modèle, nous utiliserons x je pour une variable de mélange, par exemple je pour une variable de processus, b je pour un coefficient de mélange, et un je pour un coefficient de variable de processus. Nous ne considérons pas d je termes. De plus, le terme générique f(x) sera utilisé pour un modèle avec uniquement des ingrédients de mélange, tandis que g(z) sera utilisé pour des modèles avec uniquement des variables de processus. Les modèles combinés qui intègrent les deux seront écrits c(x,z).
Encore une fois, il existe de nombreux modèles potentiels qui peuvent être appliqués aux variables de procédé et aux combinaisons d'ingrédients de mélange et de variables de procédé. Ici, nous nous concentrons sur les conceptions standards les plus couramment appliquées dans les applications. Un modèle de variable de processus linéaire serait :
,
où nous avons r variables indépendantes. Un modèle de variable de processus de deuxième ordre (complètement quadratique) serait :
Notez que la double sommation inclut i=j, donc le modèle quadratique complet inclut des termes au carré (quadratiques) dans le modèle. Évidemment, l’installation d’un tel modèle nécessite plus de deux niveaux de conception. Avec les plans à deux niveaux, un modèle factoriel - termes linéaires et interactions du second ordre, mais pas de termes quadratiques (carrés) - peut être utilisé :
Bien entendu, avec des plans factoriels complets, nous pourrions également estimer des interactions d’ordre supérieur.
Dans les situations comportant à la fois des variables de mélange et de procédé, une considération clé est le degré d'anticipation de l'interaction entre les variables de mélange et de procédé. Si nous disposons d’une théorie ou d’une expérience suggérant que les variables du mélange et du processus n’interagissent pas les unes avec les autres, nous pouvons alors ajuster les modèles de mélange et de processus séparément. En d’autres termes, le modèle global deviendrait :
c(x,z) = f(x) + g(z) (1)
Nous appelons l’équation 1 le modèle additif linéaire. Dans ce cas, f(x) serait le modèle jugé approprié pour les composants du mélange, et g(z) serait le modèle jugé approprié pour les variables du processus.Toutefois, dans de nombreuses situations, les composants du mélange et les variables du procédé interagissent. En d’autres termes, le meilleur moment et la meilleure température pour cuire un gâteau peuvent dépendre des ingrédients contenus dans le gâteau. Un vin rouge n'est généralement pas servi aussi frais qu'un vin blanc, etc. Dans ces cas, de nombreux auteurs, comme Cornell (2002, 2011) et Prescott (2004), suggèrent de multiplier les modèles de mélanges et de variables de procédé, plutôt que de les additionner. En d’autres termes, pour prendre en compte l’interaction mélange-processus, nous pouvons utiliser le modèle :
c(x,z) = f(x)*g(z) (2)
Ce modèle multiplicatif n'est pas linéaire dans les paramètres (b je et un je ), donc la solution des moindres carrés ne peut pas être obtenue sous forme fermée ou par un logiciel de régression linéaire standard. Une approche pour résoudre ce problème consiste à multiplier les termes individuels dans f(x)*g(z). Prenons le cas où il existe trois variables de mélange et deux variables de processus. Pour plus de simplicité, supposons que nous savons que ces modèles seront de la forme :
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 , et
g(z) = une 0 + un 1 par exemple 1 + un 2 par exemple 2 + un 12 par exemple 1 par exemple 2 ,
qui serait un modèle de mélange cubique spécial et un modèle de variable de processus factoriel. Par conséquent, f(x) a sept termes à estimer et g(z) en a quatre. Si nous multiplions chaque terme de f(x) par chaque terme de g(z), cela produirait 28 termes dans un modèle de régression linéarisé. Nous appelons ce modèle linéarisé car l’équation 2 est en fait un modèle non linéaire. En multipliant tous les termes, on crée un modèle linéaire en 28 termes. Autrement dit, nous avons :
c(x,z) = f(x)*g(z) = b 1 X 1 *un 0 + b 1 X 1 *un 1 par exemple 1 + b 1 X 1 *un 2 par exemple 2 + b 1 X 1 *un 12 par exemple 1 par exemple 2 (3)
+ b 2 X 2 *un 0 + b 2 X 2 *un 1 par exemple 1 + b 2 X 2 *un 2 par exemple 2 + b 2 X 2 *un 12 par exemple 1 par exemple 2
+ ..............+ b 123 X 1 X 2 X 3 *un 12 par exemple 1 par exemple 2
Notez que l'équation 3 est linéaire dans les paramètres si l'on considère b 1 un 0 être un paramètre, b 1 un 1 être un autre, et ainsi de suite. L’équation 3 peut donc être estimée avec un logiciel de régression linéaire standard, tout comme l’équation 1. Bien entendu, lorsque les estimations des moindres carrés sont obtenues, le paramètre estimé pour x 1 , répertorié comme "b 1 un 0 " dans l'équation 3, sera, avec probabilité zéro, égal au coefficient estimé pour x 1 dans f(x) de l’équation 2 ( 1 ) multiplié par l'ordonnée à l'origine estimée en g(z) de l'équation 2 ( 0 ), si ces termes individuels étaient estimés directement à partir des moindres carrés non linéaires. Autrement dit, les estimations des moindres carrés de l’équation 3 ne peuvent pas être utilisées pour déterminer les estimations des moindres carrés non linéaires de l’équation 2.
Un point important sur lequel nous reviendrons plus tard est la comparaison de l’équation 2 avec l’équation 3. L'équation 2 est un modèle non linéaire dans les paramètres. S’il est estimé ainsi, seuls 11 paramètres doivent être estimés, sept pour f(x) et quatre pour g(z).En pratique, seuls 10 paramètres seront nécessaires, puisque l’équation 2 est en réalité sur-spécifiée ; il ne peut y avoir de solution unique des moindres carrés à cette équation. Cela peut être immédiatement vu si l'on considère qu'en multipliant f(z) par une constante arbitraire non nulle, disons m, et en divisant g(z) par m, la valeur de c(x,z) resterait inchangée, car la m et 1/m s'annuleraient. Puisqu'il existe un nombre infini de telles constantes m qui pourraient être multipliées par chaque coefficient de f(x), chacune produisant la même somme résiduelle des carrés, il ne peut y avoir de solution unique des moindres carrés à l'équation 2. Nous abordons cette surspécification en définissant un 0 = 1,0. Nous ne prétendons pas que ce soit la meilleure ou la seule façon de remédier à la surspécification, bien que cela facilite l'interprétation des autres coefficients, comme nous le verrons bientôt.
Le point clé, bien sûr, est que si l’on peut estimer l’équation 2 directement comme un problème des moindres carrés non linéaire, alors seulement 10 degrés de liberté pour les paramètres estimés seraient nécessaires, et non les 28 requis pour la version linéarisée. Cela a des implications évidentes pour la conception expérimentale lorsqu’une interaction est anticipée. Bien entendu, si aucune interaction n’est prévue, alors l’équation 1, le modèle additif linéaire, peut être estimée. Cette équation est également sur-spécifiée, dans la mesure où le a 0 Le terme n’est pas nécessaire et ne peut en fait pas être estimé, puisque l’origine est déjà incorporée dans le modèle de mélange f(x). En supprimant l'ordonnée à l'origine, nous avons à nouveau 10 paramètres à estimer, comme nous le faisons dans le modèle non linéaire.
Modèles expérimentaux typiques utilisés dans les problèmes de mélange/procédé
Les conceptions et les modèles vont évidemment de pair, dans la mesure où nous avons généralement des modèles spécifiques à l’esprit lorsque nous concevons une expérience, même si nous n’avons pas confiance dans la forme exacte. Dans l'expérimentation de mélanges, il existe des modèles adaptés à l'estimation de Scheff linéaire modèles, et bien sûr, des conceptions plus grandes adaptées à l'estimation de modèles quadratiques ou cubiques spéciaux.
Les conceptions simplex sont couramment utilisées dans l’expérimentation de mélanges. Ceux-ci sont généralement représentés en dimensions q-1 lorsque nous avons q composants. Par exemple, si nous avons trois composants, alors en raison de la contrainte de mélange, il n'y a que deux degrés de liberté, le plan peut donc être affiché en deux dimensions, comme dans la figure 2. Notez que les trois composants sont représentés, dans le sens où chacun a un axe. Dans un problème de mélange sans contrainte, chaque composante peut varier de 0 à 1,0, donc le simplexe complet passe de 0 à 1 sur chaque axe. Le point 0 est représenté par la base du simplex, puis 1,0 serait au point du simplex opposé à la base. Notez que si x 1 = 1,0, alors x 2 =x 3 = 0, donc ce point correspond à la base du x 2 et x 3 axes. Ces points sont appelés « mélanges purs » pour des raisons évidentes. Les mélanges purs et autres points communs exécutés avec des conceptions simplex sont identifiés dans la figure 2.
Rappelons que le centroïde, correspondant au point central dans les plans factoriels, correspond au point 1/3, 1/3, 1/3, qui se trouve au milieu du simplexe. D'autres points communs avec les conceptions simplex sont les mélanges dits 50-50, qui ont des proportions de 0,5 pour deux composants et de 0 pour le troisième. Ces mélanges 50-50 correspondent aux points médians de chaque base du simplexe. Un autre point commun souvent utilisé dans les conceptions simplex est le « point de contrôle », généralement placé à mi-chemin entre le centroïde et le mélange pur. Pour un simplexe à trois composants, ceux-ci seraient à 2/3, 1/6, 1/6, pour x 1 , 1/6, 2/3, 1/6, pour x 2 , et 1/6, 1/6, 2/3 pour x 3 . Ces points de contrôle permettent de vérifier que le modèle ajuste les données au-delà du centroïde et des limites du simplexe. En d’autres termes, un bon ajustement des points de contrôle suggérerait qu’il est relativement sûr d’interpoler au sein du simplexe.
Comme expliqué dans Cornell (2002), des conceptions de treillis simplex plus élaborées qui positionnent les points uniformément sur l'ensemble du simplexe sont également utilisées dans la pratique. Dans les expériences au-delà de quatre composantes, ces plans sont difficiles à illustrer, mais les mêmes types de plans peuvent être formés, comme c'est le cas avec les plans factoriels. Bien entendu, il y aura souvent des contraintes sur les niveaux d’ingrédients de la formulation. Par exemple, peu de consommateurs souhaiteraient une vinaigrette composée à 100 % de vinaigre. Dans de tels cas, on peut créer des pseudo-composants (Cornell 2002), qui sont des transformations des composants d'origine, ou utiliser des conceptions assistées par ordinateur dans les espaces de conception anormaux créés par les contraintes. De telles conceptions ne font pas l’objet du présent article. Nous supposons également que le lecteur est familier avec les plans factoriels standards utilisés pour les variables de processus.
Dans les conceptions de mélanges avec des variables de processus, certaines conceptions hybrides sont généralement utilisées, afin que les effets et les modèles du mélange puissent être estimés, ainsi que les effets et les modèles de processus. Si les expérimentateurs soupçonnent une interaction, ils souhaitent souvent pouvoir estimer tous les termes de la version linéarisée de l’équation 2. Autrement dit, le plan expérimental choisi doit permettre d'estimer tous les effets obtenus en multipliant chaque terme du modèle de mélange par chaque terme du modèle de processus. Dans l’exemple mentionné ci-dessus, on souhaiterait un plan qui permette l’estimation des 28 termes de l’équation 3.
De tels plans croisent généralement un plan factoriel, ou factoriel fractionnaire, avec un plan de mélange. Par exemple, l'expérience de Cornell sur les galettes de poisson (Cornell 2002) a croisé un plan simplex à trois composants impliquant des mélanges purs, un centroïde et des mélanges 50-50, avec un 2 3 plan factoriel en trois variables de processus. Cette conception est illustrée à la figure 3. Notez qu'à chaque point du 2 3 plan factoriel, le plan simplexe complet a été exécuté. Alternativement, bien sûr, on pourrait décrire cela comme un plan factoriel complet à chaque point du simplexe. Étant donné que le plan simplex comportait 7 points et le plan factoriel 8 points, le plan complet comportait 56 points, exécutés dans un ordre aléatoire pour éviter le fractionnement du tracé (Cornell 2002, 2011).
Si aucune interaction n’est prévue, les conceptions pourraient bien sûr être beaucoup plus petites. Par exemple, dans l'exemple de la galette de poisson de Cornell, un modèle de mélange cubique spécial aurait 7 termes (3 termes de mélange linéaires, trois produits vectoriels à 2 facteurs et le produit vectoriel cubique spécial à 3 facteurs), et un modèle factoriel complet aurait 8 termes (1 interception, 3 effets principaux, 3 interactions à 2 facteurs et 1 interaction à 3 facteurs). Étant donné que le modèle de mélange f(x) incorpore une ordonnée à l'origine, nous pourrions supprimer l'ordonnée à l'origine de g(z), laissant 7 + 8 – 1 = 14 termes à estimer dans un modèle additif linéaire sans interaction, c'est-à-dire c(x,z ) = f(x) + g(z). Il est clair qu'un plan fractionnaire beaucoup plus petit pourrait être utilisé ou, comme il n'y a aucune interaction dans le modèle, les variables du mélange et du processus pourraient être étudiées indépendamment.
Le rôle de l'ingénierie statistique dans les modèles de mélange avec des variables de processus
Hoerl et Snee (2010) ont défini l'ingénierie statistique comme : « L'étude de la meilleure façon d'utiliser les concepts, méthodes et outils statistiques, et de les intégrer aux technologies de l'information et à d'autres sciences, pour générer de meilleurs résultats. » À l’inverse, la science statistique peut être considérée comme l’étude et l’avancement de la théorie sous-jacente et l’application de méthodes statistiques individuelles. La distinction clé est que la science statistique se concentre sur l’avancement des connaissances fondamentales sur les outils eux-mêmes, ainsi que sur leur application. L’ingénierie statistique, quant à elle, se concentre sur la manière de prendre les méthodes et outils existants, c’est-à-dire la science statistique existante, et de relier et intégrer de manière créative ces outils, souvent avec des outils non statistiques, afin de produire un plus grand impact. L’utilisation créative de la science existante pour obtenir un plus grand impact est l’essence même de tout domaine de l’ingénierie.
De toute évidence, la science statistique et l’ingénierie statistique sont nécessaires au développement du domaine de la statistique et au renforcement de son impact sur la société. Nous soutenons que même si une approche équilibrée est nécessaire, l’orientation actuelle de la profession tend à être orientée vers la science statistique (Snee et Hoerl 2011). En particulier, nous pensons qu’il faut mettre davantage l’accent sur l’élaboration d’une théorie sous-jacente sur la façon d’aborder les problèmes vastes, complexes et non structurés – des problèmes trop vastes pour être résolus par un seul outil. De tels problèmes nécessitent évidemment l’intégration créative de plusieurs méthodes statistiques, ainsi qu’une utilisation créative des technologies de l’information ou d’autres sciences. De toute évidence, une approche technique s’impose. Voir l'édition spéciale de Quality Engineering on Statistical Engineering (Anderson-Cook et Lu 2012) pour plus d'informations sur la discipline de l'ingénierie statistique.
Nous avons remarqué que lorsqu’on aborde des problèmes de mélange avec des variables de processus, le choix de la conception et le choix du modèle vont de pair. Autrement dit, les modèles que nous pouvons estimer sont déterminés par le plan, et le plan approprié dépend des modèles que nous souhaitons estimer. De plus, si nous connaissions le modèle spécifique à l’avance, nous pourrions construire un plan optimal pour estimer ce modèle. Cependant, dans de nombreuses situations pratiques, nos connaissances en la matière sont limitées et nous ne sommes pas certains du modèle final. Généralement, cela se traduit par une approche itérative de la conception et de l’analyse, comme le soulignent Box et al. (2005), Montgomery (2012) et bien d'autres.
La question clé est de savoir comment aborder au mieux le problème lorsque nous prévoyons une interaction entre le mélange et les variables du processus, mais que nous n'en sommes pas sûrs. Nous notons qu'il s'agit d'une question très différente de celle de demander quelle est la conception optimale pour un modèle donné, et également différente de celle de demander quel est le modèle optimal pour s'adapter à un ensemble de données donné. Ces dernières relèvent davantage de questions de science statistique, car elles traitent de la théorie et de la pratique d’outils individuels. De plus, on peut déterminer la « bonne » réponse de manière analytique, sur la base de critères objectifs. La question de savoir comment s’attaquer à un problème complexe n’est cependant pas une question de science statistique, car nous disposons de peu de données et d’aucune mesure objective convenue pour le succès. En d’autres termes, le problème n’est pas structuré.
Nous soutenons que cette question de stratégie est mieux adaptée à l’ingénierie statistique car nous avons besoin d’une approche globale intégrant à la fois la conception et l’analyse, peut-être de manière séquentielle, afin d’obtenir de meilleurs résultats. L’intégration de plusieurs outils est essentielle. Dans ce cas, les « meilleurs résultats » peuvent être basés sur des critères statistiques, ou sur une économie d'efforts expérimentaux, notamment de temps et d'argent, ou les deux. En d’autres termes, elle peut reposer sur la recherche de la meilleure solution commerciale, plutôt que sur la recherche de la meilleure solution statistique. Il s’agit d’un problème plus complexe et moins structuré que l’obtention de la meilleure conception ou du meilleur modèle dans des conditions spécifiées. Le point de vue de l’ingénierie statistique guide donc notre étude et la stratégie recommandée pour les problèmes de mélange avec des variables de processus.
Trois études de cas en conception et analyse
Cornell (2002) a présenté les données d'une expérience sur trois espèces de galettes de poisson : le mulet, la tête de mouton et la courbine. De plus, chaque galette était cuite à des températures de cuisson, des temps de cuisson et des temps de friture différents (les galettes étaient à la fois cuites et frites). La réponse intéressante était la texture des galettes obtenues. Le plan utilisé était un simplexe à sept essais dans les variables de mélange, y compris les mélanges purs, les mélanges 50-50 et le centroïde. Pour les variables de processus, un 2 à huit cycles 3 quelle course Cornell a croisé la conception du mélange avec la conception du processus, comme indiqué dans le tableau 1 et illustré dans la figure 3. Cette conception comporte 7*8 = 56 exécutions au total. Cornell a ajusté un modèle linéarisé, où :
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 ,
g(z) = une 0 +un 1 par exemple 1 + un 2 par exemple 2 + un 3 par exemple 3 + un 12 par exemple 1 par exemple 2 + un 13 par exemple 1 par exemple 3 + un 23 par exemple 2 par exemple 3 + un 123 par exemple 1 par exemple 2 par exemple 3 , et
c(x,z) = f(x)*g(z)
TABLEAU 1 Données sur la texture des galettes de poisson de Cornell
Aveugle | Temps de friture |
25 | 40 |
Temps de cuisson |
25 | 40 | 25 | 40 |
Température du four |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
Mulet | Tête de mouton | Courbine | texture |
1 | 0 | 0 | - 1,84
- 2,86
- 3.01
- 4.13
- 1,65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0,67
- 1.10
- 1.21
- 1,67
- 0,58
- 0,97
- 1.16
- 1h30
|
0 | 0 | 1 | - 1,51
- 1,60
- 2.32
- 2,57
- 1.21
- 2.12
- 2h00
- 2,75
- 0,5
- 0,5
|
0 | - 1,29
- 1,53
- 1,93
- 2.26
- 1.18
- 1,45
- 1,85
- 2.06
- 0,5
|
0 | - 0,5
- 1,42
- 1,81
- 2,57
- 3.15
- 1,45
- 1,93
- 2,39
- 2,82
|
0 | - 0,5
- 0,5
- 1.16
- 1,50
- 1,83
- 2.22
- 1.07
- 1,28
- 1,60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1,59
- 1,68
- 1,94
- 2,60
- 1.41
- 1,54
- 2.05
- 2.32
|
Puisque f(x) a 7 termes et g(z) a 8 termes, lorsque les termes individuels sont multipliés pour créer un modèle linéarisé, c(x,z) a 7*8 = 56 termes. Il n'y avait évidemment plus de degrés de liberté pour estimer l'erreur expérimentale avec 56 essais dans le plan, produisant une erreur quadratique moyenne (RMSE) de 0, et aucune possibilité d'estimer l'écart type du terme d'erreur (e), c'est-à-dire l'erreur type. De plus, il n'a pas été possible d'évaluer les résidus pour déceler des preuves d'inadéquation du modèle ou d'effectuer des tests de manque d'ajustement. Cornell a donc utilisé la variation entre les mesures répétées (et non les vraies répétitions) comme estimation de l'erreur standard. Évidemment, cette variation intra-série ne permet pas d’estimer les sources de variation entre les séries, elle ne peut donc pas être considérée comme une estimation de l’erreur type équivalente à celle estimée à partir de véritables répétitions, ou même à partir de degrés de liberté résiduels.
Aux fins de comparaison des modèles, nous avons appliqué la méthode PSE (pseudo-erreur type) de Lenth (Lenth 1989) pour obtenir une estimation de l'erreur type du modèle de Cornell. La méthode de Lenth détermine d'abord les effets qui semblent réels, puis supprime les variables restantes, en utilisant les degrés de liberté gagnés pour estimer l'erreur type. Il s’agit d’une pseudo-erreur standard dans la mesure où elle dépend de la suppression des termes appropriés du modèle.
Prescott (2004) a testé les volumes de pain en utilisant trois farines, Tjalve, Folke, toutes deux norvégiennes, et Hard Red Spring, américaine. Il y avait également deux variables de processus, le temps de fermentation et le temps de mélange. Il y avait des contraintes sur les niveaux de trois farines : .25 X 1 dix X 2 0,75 et 0 X 3 0,75, où Tjalve est x 1 , les gens c'est x 2 , et Hard Red Spring est x 3 . Lorsqu'il est appliqué à l'espace de mélange simplex, cela se traduit par un simplex complet plus petit dans un espace réduit. En convertissant en pseudo-composants (Cornell 2002), une conception simplex standard peut toujours être utilisée. Aux fins de comparaisons de modèles, et sans perte de généralité, nous utilisons la version pseudo-composante du plan de mélange de Prescott. Prescott a utilisé un plan en réseau simplexe à 10 exécutions pour les variables de mélange, et un plan à 3 2 , c'est-à-dire une factorielle à trois niveaux à deux variables, pour la conception du processus. Cette conception comporte bien sûr 9 pistes.
En croisant à nouveau la conception du mélange avec la conception du procédé, Prescott a créé une conception de 10*9 = 90 cycles, répertoriée dans le tableau 2 et illustrée dans la figure 4. Pour le modèle de mélange f(x), Prescott a considéré le même modèle cubique spécial à 7 termes que celui utilisé par Cornell, et pour le modèle de processus g(z), il a considéré un modèle quadratique complet à 6 termes :
g(z) = une 0 + un 1 par exemple 1 + un 2 par exemple 2 + un 12 par exemple 1 par exemple 2 +
TABLEAU 2 Données sur le volume du pain de Prescott
Pseudo-composant mélange | Temps de levée (minutes) |
35 | - 47,5
| 60 |
Temps de mélange (minutes) |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
Tjalvé | Personnes | Printemps rouge dur | Volume du pain |
.25 | .75 | 0 | - 378,89
- 396,67
- 392.22
- 445.56
- 452.22
- 487,78
- 457.22
- 500,56
- 472,78
|
.50 | .50 | 0 | - 388,89
- 423.33
- 416.11
- 460,00
- 488,89
- 475,78
- 472,78
- 478,00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462,78
- 506.67
- 591,67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417,78
- 437.22
- 444.56
- 484.44
- 490,00
- 495,00
- 497,78
- 531.11
- 577,78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415,00
- 490,89
- 528,89
- 507.78
- 517,78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436,00
- 535,00
- 552.22
- 507.44
- 578,89
- 590,00
|
.25 | .25 | .50 | - 413,89
- 485,56
- 462.22
- 483,89
- 529.44
- 540,00
- 565,00
- 598,89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437,78
- 493,89
- 583.33
- 578,89
- 524.44
- 649.44
- 640,00
|
.25 | 0 | .75 | - 432,78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638,89
- 638,89
|
Notez que les termes quadratiques sont estimables car la conception du processus était une conception à trois niveaux. Prescott a exécuté plusieurs modèles interactifs linéarisés, c'est-à-dire de la forme c(x,z) = f(x)*g(z), qui comportaient 7*6 = 42 termes au total. Avec 90 exécutions, il y avait suffisamment de degrés de liberté pour estimer le modèle complet à 42 termes, et il restait encore des degrés de liberté pour estimer l'erreur type. Après avoir considéré plusieurs modèles, le modèle final proposé par Prescott pour ces données était un modèle réduit de la forme :
y = 522,8x 1 + 448,1x 2 + 599,3x 3 + 13,0x 1 par exemple 1 + 1,7x 2 par exemple 1 + 54,3x 3 par exemple 1 + 56,3x 1 par exemple 2 + 37,2x 2 par exemple 2
+ 73,8x 3 par exemple 2 - 39,4x 1 + 3,7x 2 – 46,0x 3 - 10,2x 1 + 28,4x 2 + 1,0x 3
Notez que certains termes ont été supprimés du modèle, tels que les termes impliquant des produits croisés de x je , ou l'interaction de z 1 et z 2 . En fait, seuls 15 des 42 termes possibles ont été inclus dans ce modèle final. Nous revenons sur ce point en comparant les modèles linéarisés et non linéaires.
Wang et coll. (2013) ont réalisé un plan expérimental mélange/processus dans le cadre d'un projet de classe pour un cours de statistiques enseigné par le premier auteur à l'Université Rutgers en 2013. Cette expérience comprend trois variables de mélange, l'eau, le lait et le jus d'orange, et deux variables de processus, l'ajout de sucre (0 ou 2 grammes) et le type de lait utilisé (2 % ou entier). La réponse était le temps de fonte en minutes de la glace produite à partir du mélange. La conception du mélange était une conception simplexe en 10 essais avec des composants purs, des mélanges 50-50, des points de contrôle et un centroïde, sous forme de pseudo-composants. Il s'agit de la conception illustrée à la figure 2. Pour la conception du processus, Wang a exécuté une 2 2 factorielle en quatre passes. Le plan croisé avec 10*4 = 40 essais et les réponses résultantes sont donnés dans le tableau 3 et illustrés dans la figure 5.
TABLEAU 3 Wang et al. Données sur le temps de fusion
mélange | Type de lait |
2% | Entier |
Sucre |
0g | 2g | 0g | 2g |
Eau | Lait | Jus | Temps de fusion |
1/6 | 1/6 | 2/3 | - 29.43
- 24h31
- 34,94
- 32,97
|
0 | - 0,5
- 0,5
- 37.36
- 32,89
- 45,69
- 39.06
- 0,5
- 0,5
|
0 | - 33.32
- 28.34
- 41,78
- 35,84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23,7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22h49
- 29.76
- 25h43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36,97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23h25
- 31.92
- 29h45
- 0,5
|
0 | - 0,5
- 21.86
- 22,88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37h35
- 28h43
- 42,92
- 39,95
|
0 | 1 | 0 | - 48.64
- 33h00
- 45.08
- 47h35
|
Wang et coll. (2013) ont ajusté un modèle linéarisé utilisant une cubique spéciale à 7 termes pour f(x) et un modèle de processus factoriel à 4 termes pour g(z), qui avait une ordonnée à l'origine, deux effets principaux et une interaction à 2 facteurs. Ainsi, en multipliant tous les termes, c(x,z) est le modèle linéarisé à 28 termes donné dans l'équation 3. Avec 40 essais et 28 termes à estimer, il restait 12 degrés de liberté pour estimer l'erreur type.
Modèles et résultats linéaires et non linéaires
Pour chacun de ces plans et ensembles de données, on peut également envisager des modèles beaucoup plus petits, tels que le modèle additif linéaire, c(x,z) = f(x) + g(z), qui n'a bien sûr aucun terme pour estimer l'interaction. entre les variables de mélange et de procédé, ainsi que le modèle non linéaire. Pour estimer le modèle non linéaire, on trouve directement la solution des moindres carrés à c(x,z) = f(x)*g(z), sans multiplier les termes. Comme indiqué précédemment, ce modèle est non linéaire dans les paramètres. Par exemple, dans le cas simpliste avec deux variables de mélange et une variable de procédé :
c(x,z) = ( b 1 X 1 + b 2 X 2 + b 12 X 1 X 2 )* (un 0 + un 1 z) (4)
En supposant que nous souhaitons estimer chacun de ces 5 coefficients, nous pouvons alors considérer l'équation 4 comme une équation non linéaire à 5 coefficients et utiliser les moindres carrés non linéaires pour trouver une solution. Comme indiqué précédemment, en pratique, nous n'avons que 4 coefficients à estimer car l'équation 4 est surdéterminée et n'aura pas de solution unique des moindres carrés. En fixant arbitrairement un 0 = 1,0, on peut généralement obtenir une solution des moindres carrés unique dans les autres paramètres. Utiliser une autre valeur non nulle pour un 0 ne modifierait pas les métriques du modèle, telles que R 2 , erreur standard, etc. Bien entendu, avec les moindres carrés non linéaires, aucune solution unique n’est garantie.
Pour adapter le modèle non linéaire, nous utilisons l'algorithme de régression non linéaire de JMP Pro 10, exécuté sur un ordinateur portable MacBook Pro standard. Comme indiqué précédemment, l’exécution de modèles non linéaires est plus difficile que celle de modèles linéaires, mais avec des logiciels modernes, cela est certainement réalisable, et nous suggérons qu’il s’agisse d’une option viable pour ce type de problèmes. Avant de discuter des résultats obtenus en ajustant des modèles linéaires additifs et non linéaires à ces trois ensembles de données, nous discutons brièvement de l'interprétation des coefficients dans le modèle non linéaire. Nous ne discutons pas du modèle additif linéaire, car l'interprétation des termes de mélange a été largement discutée dans la littérature, comme Schiff (1963), Cornell (2002) et bien d'autres.
Après avoir estimé les termes dans le modèle non linéaire de l'équation 4, nous sommes libres de multiplier les termes estimés pour faciliter l'interprétation. Notez que cela produit un modèle très différent de celui obtenu en multipliant les termes avant d’estimer les coefficients, ce qui produirait le modèle linéarisé. Ainsi, la décision de fixer un 0 = 1 plutôt qu’une autre valeur rend l’interprétation du modèle plus simple. Une fois que nous multiplions les termes estimés dans l’approche non linéaire de l’équation 4, nous obtenons :
= ( 1 X 1 + 2 X 2 + 12 X 1 X 2 )*(1 + 1 z)
= ( X 1 +x 2 + 12 X 1 X 2 ) + ( X 1 +x 2 + 12 X 1 X 2 )* 1 z (5)
Sans perte de généralité, nous pouvons supposer que z est mis à l’échelle pour avoir une moyenne de 0. Par conséquent, lorsque z est à sa valeur moyenne, l’équation 5 se simplifie à la partie gauche, qui est le modèle de mélange pur, f(x). Par conséquent, nous pouvons interpréter les coefficients de mélange comme le mélange que nous estimons au milieu de la variable de processus, ou bien comme le mélange moyen sur l’ensemble du plan. Cette interprétation est valable qu'il y ait ou non interaction avec z. L'interprétation de 1 est plus compliqué. Notez que le seul endroit où z apparaît dans l’équation 5 est à travers un ensemble d’interactions.
Cela implique l'incapacité du modèle non linéaire à estimer l'effet principal de z uniquement à partir des interactions de z avec les variables du mélange. En effet, le seul coefficient disponible pour intégrer l'effet principal de z ainsi que ses interactions avec le x je est 1 . Bien que f(x) puisse être réécrit comme un modèle de variable slack avec une intersection, nous n'aurions toujours qu'un seul degré de liberté pour incorporer à la fois l'effet principal de z et ses interactions avec les variables de mélange. Nous considérons cela comme un inconvénient de l'approche non linéaire et pensons que le résultat pratique sera d'avoir quelques difficultés à ajuster les surfaces avec à la fois des effets principaux de variables de processus importants et une interaction sévère entre les variables de mélange et de processus.
Nous pouvons étendre cette interprétation à des modèles non linéaires plus grands, tels que le modèle de mélange cubique spécial à 7 termes et le modèle de variable de processus à 8 termes issu de son expérience sur les galettes de poisson. Si nous estimons c(x,z) = f(x)*g(z) directement en tant que modèle non linéaire, nous estimerions 7 + 8 – 1 = 14 coefficients. Rappelons que nous avons fixé un 0 = 1. Après avoir résolu ces 14 coefficients à l’aide des moindres carrés non linéaires, nous pouvons ensuite multiplier les termes pour faciliter l’interprétation. Cela produit :
(x)*(1 + 1 par exemple 1 + 2 par exemple 2 + 3 par exemple 3 + 12 par exemple 1 par exemple 2 + 13 par exemple 1 par exemple 3 + 23 par exemple 2 par exemple 3 + 123 par exemple 1 par exemple 2 par exemple 3 ),
soit 1 fois (x), plus 1 par exemple 1 fois (x), plus 2 par exemple 2 fois (x), et ainsi de suite. En d’autres termes, tous les autres termes du modèle, à part (x)*1, impliquent je fois un ou plusieurs z je , fois (x). Par conséquent, aucun des principaux effets du z je ne peut être estimé qu’à partir de l’interaction de ce z je avec les variables du mélange (et leurs interactions), analogue à la situation de l'équation 5. De même, les interactions entre les z je , tel que 1 par exemple 2 , par exemple, ne peut être estimé uniquement à partir des interactions entre ce terme et les termes de mélange.
D'un point de vue pratique, impossibilité d'estimer les coefficients individuels, pour z 1 et x 1 par exemple 1 , par exemple, est plus préoccupant que l’incapacité à estimer les coefficients individuels pour les interactions telles que z 1 par exemple 2 par exemple 3 et x 1 X 2 X 3 par exemple 1 par exemple 2 par exemple 3 , dans le sens de la résolution du design (Box et al. 2005). Autrement dit, les praticiens seraient rarement préoccupés par l’importance pratique d’une interaction à six facteurs.
Ajuster à la fois le modèle additif linéaire, c(x,z) = f(x) + g(z), et le modèle non linéaire, c(x,z) = f(x)*g(z), aux trois données ensembles discutés précédemment, nous obtenons les résultats présentés dans le tableau 4. Pour les ensembles de données de Cornell et Wang, nous ajustons des modèles complets sans tentative de sélection de sous-ensembles. Avec les données de Prescott, tant pour les modèles additifs linéaires que non linéaires, nous incorporons uniquement les termes dans f(x) et g(z) qui ont été sélectionnés par Prescott pour figurer dans son modèle linéarisé final. Plus précisément, pour f(x) nous utilisons uniquement x 1 , X 2 , et x 3 . Pour g(z) nous incluons z 1 , par exemple 2 , , et . En ce sens, les comparaisons de Cornell et Wang sont « des pommes avec des pommes » sans sélection de sous-ensembles, et la comparaison de Prescott est « des pommes avec des pommes » avec la sélection de sous-ensembles appliquée par Prescott.
Le critère numérique que nous utilisons est l’erreur type estimée, ou erreur quadratique moyenne (RMSE). De toute évidence, il n’existe pas de mesure unique permettant de déterminer la « qualité » d’un modèle. Pour développer des modèles appropriés dans la pratique, il faut examiner plusieurs critères numériques, évaluer les tracés résiduels, comparer les résultats à une théorie solide du sujet, etc. Le lecteur ne doit pas en déduire que nous recommandons de se concentrer uniquement sur le RMSE dans la construction de modèles. Cependant, aux fins de comparaison de modèles, nous utilisons l’erreur type estimée simplement comme critère objectif pratique pour mesurer le degré avec lequel le modèle est capable d’ajuster les données.
Le tableau 4 montre que dans deux cas, le modèle linéarisé fournit l'erreur type estimée la plus petite et est presque la plus petite pour les données Cornell. Cela n’est pas surprenant, dans la mesure où le modèle additif linéaire ne permet aucune interaction et que le modèle non linéaire présente les limites mentionnées précédemment. Nous concluons de ces trois analyses que si des degrés de liberté suffisants sont disponibles, le modèle linéarisé est l'approche privilégiée, sur la base de ces trois modèles appliquant ce critère.
TABLEAU 4 RMSE des modèles linéarisés, additifs linéaires et non linéaires
Données Cornell Données de Prescott Données Wang
Linéarisé 0,17* 21,0 1,36
Additifs linéaires 0,24 24,3 2,38
Non linéaire 0,16 23,1 2,05
*Calculé à l'aide de la méthode de Lenth car il n'y a pas de df pour l'erreur.
Cependant, en y regardant de plus près, nous remarquons que pour deux des ensembles de données, les données Cornell et les données Prescott, les différences entre les modèles ne sont pas aussi grandes qu'on pourrait s'y attendre, et en fait, le RMSE du modèle non linéaire est légèrement plus petit que le RMSE du modèle linéarisé pour les données de Cornell. Rappelons qu'en raison de l'absence de degrés de liberté pour estimer l'erreur, le RMSE du modèle linéarisé est calculé à l'aide de la méthode de Lenth. Les performances de l'approche non linéaire sont impressionnantes compte tenu de l'ampleur des différences de nombre de coefficients estimés dans ces modèles : 14 (additif linéaire ou non linéaire) contre 56 (linéarisé) pour le modèle de Cornell, 12 contre 42 pour le modèle complet de Prescott. (7 contre 15 si l'on utilise uniquement les termes réduits du modèle de Prescott), et 10 contre 28 pour le modèle de Wang. Les modèles additifs non linéaires et linéaires sont beaucoup plus parcimonieux.
Une explication possible de la raison pour laquelle les approches additives linéaires et non linéaires ne fonctionnent pas bien pour les données de Wang est qu'il existe une interaction très significative entre les variables de mélange et de processus avec ces données. Par exemple, les termes du modèle linéarisé pour le type lait*sucre*lait (x 2 par exemple 1 par exemple 2 ), et lait*jus*sucre*type de lait (x 2 X 3 par exemple 1 par exemple 2 ), sont tous deux statistiquement significatifs au niveau 0,01. Le terme désignant le type eau*lait*sucre*lait (x 1 X 2 par exemple 1 par exemple 2 ), est presque significatif au niveau 0,01 (valeur p = 0,0101). D’après notre expérience, il est très inhabituel de trouver des interactions à quatre facteurs aussi hautement significatives. Le modèle linéaire, qui n'inclut aucun terme d'interaction entre les variables de processus et de mélange, sera évidemment incapable de modéliser efficacement une telle interaction. Le modèle non linéaire ne comporte tout simplement pas suffisamment de termes pour fournir une bonne approximation. Avec une telle interaction d’ordre supérieur, il est probable que l’approche linéarisée sera nécessaire.
Compte tenu des différences relativement faibles observées dans le tableau 4, il semble plausible que nous puissions économiser beaucoup de temps et d'argent en réduisant la quantité d'expérimentation initiale. Certes, 90 exécutions ne sont pas nécessaires pour estimer 12 termes dans le modèle non linéaire de Prescott en utilisant tous les termes, ni 56 exécutions pour estimer les 14 termes dans le modèle non linéaire de Cornell. Afin de répondre à cette question, nous évaluons comment chacun de ces modèles s'adapterait à une fraction des conceptions réellement exécutées.
Résultats avec des plans fractionnaires
Chacune des conceptions dont nous avons discuté a été réalisée en croisant la conception du mélange avec la conception du procédé. Par conséquent, le nombre total d’exécutions était de n 1 *n 2 , où n 1 était le nombre dans la conception du mélange, et n 2 le numéro dans la conception du processus.Pour le modèle de galette de poisson de Cornell, c'était 7*8 = 56. Compte tenu des résultats présentés ci-dessus pour les modèles non linéaires, une question logique à se poser est de savoir si les 56 exécutions étaient réellement nécessaires, ou si Cornell aurait pu exécuter un modèle beaucoup plus petit et obtenir à peu près les mêmes résultats ? L'une des justifications avancées par Cornell (2002) pour appliquer le plan à 56 passages était la nécessité d'estimer tous les coefficients du modèle linéarisé.
Cornell (2002) a également noté que si les expérimentateurs ne parvenaient pas à exécuter le modèle complet, ils pouvaient créer un modèle fractionnaire en exécutant une fraction du modèle de processus à chaque point de l'espace de mélange. Afin de garantir qu'autant de termes que possible soient estimables, Cornell a suggéré de changer la fraction de la conception du processus qui était exécutée à différents points de la conception du mélange. Par exemple, dans le cas de trois variables de processus, nous pourrions exécuter la méthode z 1 par exemple 2 par exemple 3 = 1 demi-fraction à environ la moitié des points de conception du mélange, et z 1 par exemple 2 par exemple 3 = -1 à l'autre moitié. Cornell a en outre recommandé d'exécuter la conception complète du processus au centre de gravité de l'espace de mélange, si possible. Il a noté que si ce plan fractionnaire était appliqué, l'expérimentateur ne serait pas en mesure d'estimer le modèle linéarisé complet, mais serait limité à l'estimation d'un sous-ensemble de ces termes.
Dans le cas des galettes de poisson, la conception du mélange comportait 7 points et la conception du processus 8. L'exécution des 8 points au centre de gravité, puis de 4 (une demi-fraction) à tous les autres points donnerait un plan fractionnaire de 32 points. Cela ne suffit pas pour estimer tous les termes dans le modèle de galette de poisson linéarisé, mais c'est plus que suffisant pour estimer les 14 termes dans le modèle additif non linéaire ou linéaire. Dans la figure 6, nous montrons le plan fractionnaire avec z 1 par exemple 2 par exemple 3 = 1 passage aux mélanges purs, et z 1 par exemple 2 par exemple 3 = -1 passage aux mélanges 50-50. Pour faciliter l'interprétation graphique et permettre les comparaisons avec la figure 3, nous montrons à nouveau les points de mélange exécutés à chaque point de la conception du processus, bien que la méthode de construction ait été celle indiquée ci-dessus.
En plus de voir dans quelle mesure le modèle non linéaire s'adapte à l'ensemble de données réduit, nous disposons également d'un échantillon naturel d'exclusion pour mieux évaluer le modèle. Autrement dit, seules 32 exécutions sont utilisées pour estimer le modèle non linéaire. Par conséquent, une fois que nous avons estimé les termes du modèle, nous pouvons utiliser ce modèle pour prédire les 24 exécutions qui n'ont pas été utilisées pour estimer ce modèle. Un tel échantillon d'exclusion est généralement considéré comme un critère plus valable pour évaluer un modèle estimé, puisque le modèle n'a pas vu ces données et ne peut pas être influencé par celles-ci pendant le processus d'ajustement. Le tableau 5 montre les résultats de l'ajustement initial des modèles additifs linéaires et non linéaires au plan fractionnaire illustré à la figure 6, ainsi que l'erreur type de prédiction (RMSE) lors de la prédiction des données d'exclusion. Notez que le modèle de Cornell comportait trop de termes pour être estimé avec un plan fractionnaire, le modèle linéarisé n'est donc pas une option.
De toute évidence, on pourrait arbitrairement inverser le modèle fractionné pour les mélanges purs par rapport aux mélanges 50-50. Par conséquent, pour être complet, nous considérons le plan représenté à la figure 6 comme un plan fractionnaire 1, et définissons le plan fractionnaire 2 comme étant celui dans lequel z 1 par exemple 2 par exemple 3 = -1 est exécuté avec des mélanges purs, et z 1 par exemple 2 par exemple 3 = 1 est exécuté à 50-50 mélanges. Encore une fois, les 8 points de conception de processus complets sont exécutés au centre de gravité.
TABLEAU 5 Résultats de prédiction avec les plans fractionnaires de Cornell
*Calculé à l'aide de la méthode de Lenth car il n'y a pas de df pour l'erreur.
Notez dans le tableau 5 que pour les deux plans fractionnaires, les modèles non linéaires font un bon travail d'ajustement des données « d'entraînement » et ajustent raisonnablement bien les données d'exclusion. Le RMSE prédit est de 0,22 pour les deux plans fractionnaires, ce qui est supérieur au RMSE initial de 0,16, mais dans des limites raisonnables, étant donné que nous n'avons utilisé que 32 des 56 essais initiaux, ce qui représente une réduction de 43 %. Le modèle additif linéaire fonctionne également de manière cohérente avec son ajustement à l'ensemble des données. Comme indiqué précédemment, si notre seul objectif est de maximiser l’ajustement du modèle, alors un plan entièrement croisé avec le modèle linéarisé est préférable. Cependant, si le temps et le coût sont des considérations importantes, il convient alors d’envisager un modèle non linéaire avec une précision de prédiction inférieure, mais obtenu avec beaucoup moins d’effort expérimental.
La conception du mélange de Prescott était un réseau simplex avec deux points de bord entre chaque mélange pur et un centre de gravité. Cela a été croisé avec un 3 2 processus de conception. Une telle combinaison présente davantage de défis pour déterminer un plan fractionnaire qui serait équilibré au sens heuristique. Après avoir examiné diverses options, nous définissons le plan fractionnaire 1 comme étant le plan 3 complet. 2 au centre de gravité, les points où z 1 par exemple 2 = 0 aux mélanges purs et aux points où z 1 = par exemple 2 = 0 et aussi où z 1 par exemple 2 = +/-1 aux trois points de bord suivants : (2/3, 1/3, 0), (0, 2/3, 1/3) et (1/3, 0, 2/3).Il en résulte un plan fractionnaire de 39 analyses (9 + 5*3 + 5*3), illustré à la figure 7. Notez que le plan fractionné comporte moins de la moitié du nombre de points que le plan original de 90 passages. Le plan fractionnaire 2 a été obtenu en exécutant à nouveau le modèle 3 complet. 2 au centre de gravité, mais en inversant les points de processus exécutés au niveau des mélanges purs par rapport aux trois points de bord.
Les résultats de prédiction pour les plans fractionnaires de Prescott sont présentés dans le tableau 6. A noter que pour le modèle linéarisé de Prescott, seuls les 15 termes conservés par Prescott ont été utilisés dans le modèle final, on peut donc estimer ce modèle avec le plan fractionnaire. Cela nous permet de comparer le modèle linéarisé avec les modèles additifs linéaires et non linéaires avec les données factionnelles. Bien entendu, si Prescott avait exécuté un modèle de mélange cubique spécial complet à 7 termes avec un plan de processus factoriel à 6 termes, nous n'aurions pas les 42 degrés de liberté nécessaires pour estimer tous les termes.
Nous pouvons voir dans le tableau 6 que le modèle linéarisé fonctionne extrêmement bien avec les plans fractionnaires utilisant les données d'entraînement. En fait, le RMSE des deux plans est inférieur au RMSE obtenu avec l’ensemble des données complètes. Cela peut s'expliquer en partie par le fait que Prescott a déterminé les paramètres nécessaires dans le modèle linéarisé à partir de l'ensemble des données. En ce sens, nous utilisons les informations de l’ensemble complet de données lorsque nous ajustons un modèle linéarisé aux données fractionnaires. Cependant, nous ne pouvons pas estimer tous les termes dans le modèle entièrement linéarisé avec ces 39 points de données. Notez cependant que le modèle linéarisé fait bien moins bien pour prédire les données d’exclusion. En fait, pour les deux plans fractionnaires, le RMSE de la prédiction linéarisée est supérieur à celui des modèles linéaires et non linéaires.
Encore une fois, les modèles additifs linéaires et non linéaires fournissent une prédiction RMSE qui est raisonnablement proche de la RMSE de l'ensemble d'apprentissage, pour les deux conceptions. Comme ce fut le cas avec les données de Cornell, nous constatons que l'ajustement d'un modèle linéaire additif ou non linéaire avec un plan fractionnaire constitue une alternative viable à l'exécution d'un plan complet de 90 essais.
TABLEAU 6 Résultats de prédiction avec les plans fractionnaires de Prescott
La conception originale de Wang était un simplexe de 10 passes avec 50 à 50 points de bord et points de contrôle, croisé avec un simplexe de 2 passes. 2 conception du processus, ce qui donne 10*4 = 40 exécutions. Nous obtenons un plan fractionnaire 1 en exécutant un plan complet 2 2 au centre de gravité et dans les mélanges purs, la demi-fraction z 1 par exemple 2 = 1 aux 50-50 points de bord et la demi-fraction z 1 par exemple 2 = -1 aux points de contrôle. Cela donne 4*4 + 2*3 + 2*3 = 28 exécutions, comme le montre la figure 8. Le plan fractionné 2 a été obtenu en inversant les fractions exécutées aux points de bord et aux points de contrôle 50-50.
À l’aide de ces plans fractionnaires, nous comparons à nouveau les modèles linéarisés, additifs linéaires et non linéaires en termes de RMSE de prédiction. Étant donné que le modèle linéarisé exécuté par Wang comporte 28 paramètres, nous sommes en mesure d’estimer ce modèle complet, bien qu’il ne reste plus aucun degré de liberté pour estimer l’erreur. Par conséquent, à des fins de comparaison, nous utilisons à nouveau la pseudo-erreur standard de Lenth à la place du RMSE pour le modèle linéarisé. Les résultats de ces comparaisons sont présentés dans le tableau 7.
TABLEAU 7 Résultats de prédiction avec les plans fractionnaires de Wang
*Calculé à l'aide de la méthode de Lenth car il n'y a pas de df pour l'erreur.
Ce qui est peut-être le plus remarquable du tableau 7, ce sont les mauvaises prévisions du modèle linéarisé. Cela est probablement dû en grande partie au fait qu’il n’existe aucun degré de liberté pour estimer l’erreur avec les plans fractionnaires. À notre avis, l’une des principales leçons à en tirer est le danger qu’il y a à utiliser des modèles de régression avec peu ou pas de degrés de liberté d’erreur pour prédire de nouvelles données. L'évaluation et la validation des modèles sont des tâches difficiles ; le faire avec peu ou pas de degrés de liberté d’erreur entraînera probablement de mauvaises prédictions. Les modèles additifs linéaires et non linéaires fonctionnent mieux, à peu près équivalents les uns aux autres en termes de prédiction hors échantillon. Notez que ni les modèles additifs linéaires ni les modèles non linéaires n'ont produit un RMSE proche du modèle linéarisé avec l'ensemble de données complet. Cependant, lors de la prévision hors échantillon, ils fonctionnent tous deux mieux que le modèle linéarisé. Encore une fois, nous soutenons que cela fournit une certaine preuve que les modèles linéaires additifs et non linéaires, exécutés sur des plans fractionnaires, sont des alternatives viables à considérer dans la pratique.
Qu’avons-nous appris ?
Nous avons comparé des modèles linéarisés, additifs linéaires et non linéaires en utilisant deux ensembles de données de processus de mélange publiés et un nouvel ensemble de données. En outre, nous avons comparé ces approches non seulement en termes d'ajustement des ensembles de données d'origine, mais également en termes d'ajustement de plans fractionnaires potentiels qui auraient pu être exécutés à la place des plans entièrement croisés (processus de temps de mélange). Nous répétons que notre objectif n’est pas de trouver le design optimal ou le meilleur modèle au sens absolu. Nous proposons plutôt une approche d'ingénierie statistique pour déterminer la meilleure stratégie pour attaquer les problèmes de processus de mélange face à une interaction potentielle. Une telle stratégie tiendrait compte des avantages pratiques des plans fractionnés et des approches séquentielles.
En bref, nous soutenons que nous avons appris ce qui suit de ces comparaisons :
- Si des degrés de liberté suffisants sont disponibles, les modèles linéarisés, obtenus en multipliant les termes du modèle de mélange par ceux du modèle de processus, sont susceptibles de s'adapter au mieux aux données et de fournir les meilleures prédictions des données hors échantillon.
- Les modèles additifs linéaires, ignorant l'interaction mélange-processus, et les modèles non linéaires, offrent des alternatives viables au modèle linéarisé et offrent des avantages significatifs en termes de nombre de termes à estimer.
- Lorsque les expérimentateurs envisagent l’option de modèles linéaires additifs ou non linéaires, une stratégie séquentielle commençant par des plans fractionnaires offre le potentiel de réduire considérablement la quantité totale d’expérimentation requise pour développer un modèle utile.
- Si les modèles linéaires additifs et non linéaires ne s'ajustent pas suffisamment aux plans fractionnaires d'origine, les expérimentateurs peuvent alors exécuter le plan croisé complet restant et ajuster le modèle linéarisé. En ce sens, les expérimentateurs ont beaucoup à gagner et très peu à perdre en envisageant une stratégie séquentielle.
- Un point supplémentaire à ne pas négliger est que les modèles avec peu ou pas de degrés de liberté pour l'erreur résiduelle peuvent bien s'adapter aux données d'échantillon, mais il est risqué d'utiliser des prévisions à partir de données d'échantillon.
La stratégie que nous proposons a été illustrée dans la figure 1. En exécutant initialement le plan fractionnaire, nous avons le potentiel de réduire considérablement la quantité d’expérimentation requise pour ajuster un modèle adéquat. Les différents plans fractionnaires et le nombre de coefficients dans les différents modèles sont résumés dans le tableau 8 à des fins de comparaison.
TABLEAU 8 Taille des plans complets et fractionnaires et nombre de coefficients dans les modèles
base de données | - Non. Exécute une conception complète
| - Non. Exécute une conception fractionnée
| Réduction | - Non. Coefficients du modèle linéarisé
- Non. Coefficients du modèle additif linéaire
- Non. Coefficients du modèle non linéaire
|
Corneille | 56 | 32 | 43% | 56 | 14 | 14 |
Prescott | 90 | 39 | 57% | 42 | 12 | 12 |
Wang et coll. | 40 | 28 | 30% | 28 | 11 | 11 |
Nous suggérons d'exécuter à la fois les modèles additifs linéaires et non linéaires sur les données fractionnaires. Si le modèle non linéaire s'ajuste sensiblement mieux, cela indiquerait une interaction notable entre les variables du mélange et du processus. Bien entendu, rien ne garantit que le modèle additif linéaire ou non linéaire s’adaptera bien. En particulier, avec des degrés élevés d'interaction entre les variables du mélange et du procédé, des modèles linéarisés seront probablement nécessaires.
Si les expérimentateurs ne sont pas satisfaits des modèles générés à partir du plan fractionnaire, ils ont la possibilité d’exécuter l’autre fraction – la fraction non exécutée initialement – pour compléter le plan complet. Cette option devrait faire partie de la stratégie adoptée au début de l'étude. Cette approche permettrait d'estimer le modèle entièrement linéarisé. Un degré de liberté serait nécessaire pour bloquer efficacement le dessin dans le temps, entre la première fraction et la deuxième fraction. Sinon, cette approche ne présente aucun inconvénient réel, en supposant qu’il soit possible d’expérimenter de manière séquentielle. Nous reconnaissons une fois de plus que la théorie qui sous-tend les modèles non linéaires n'est pas aussi développée que celle des modèles linéaires.
L’étape d’adéquation du modèle présentée dans la figure 1 ne doit bien entendu pas se limiter à l’évaluation du RMSE. Cette étape de décision est censée inclure une évaluation complète de l'adéquation du modèle, y compris un examen minutieux des résidus, une évaluation des valeurs aberrantes potentielles, une comparaison avec les connaissances actuelles du domaine sur ce problème, etc. Une telle évaluation du modèle linéarisé est supposée, c'est pourquoi nous ne l'avons pas incluse comme une autre étape dans la figure 1. Notre objectif dans cette figure est de montrer comment évaluer les différents modèles de manière séquentielle, plutôt que de décrire les détails de la construction d'un modèle statistique solide, comme discuté dans Box et al. (2005), par exemple.
Le lecteur notera peut-être que dans cet article, nous n’étudions pas le potentiel des plans assistés par ordinateur pour sélectionner une fraction optimale adaptée au plan non linéaire. Nous pensons que la recherche sur l'application de conceptions informatiques pour des modèles non linéaires dans des problèmes de processus de mélange pourrait fournir des résultats encore meilleurs que ceux que nous présentons. Nous laissons cela à des recherches futures.
Une stratégie réalisable a été développée, testée et illustrée
Nous considérons le problème de la conception d'expériences et de l'ajustement de modèles avec des variables de mélange et de processus, considérées comme susceptibles d'interagir les unes avec les autres. Une approche courante pour résoudre de tels problèmes consiste à exécuter un plan de mélange complet croisé avec un plan factoriel complet dans les variables du procédé. Une telle conception permet d'estimer tous les coefficients dans un modèle linéarisé – un modèle créé en croisant tous les termes du modèle de mélange avec tous ceux du modèle de processus. Cependant, les modèles et les plans requis pour les estimer ont tendance à être assez volumineux. Par exemple, dans l'exemple de fabrication du pain de Prescott, un modèle à 90 cycles a été utilisé. La conception des galettes de poisson de Cornell a nécessité 56 passages.
Nous considérons le cas où les expérimentateurs souhaiteraient un bon modèle, peut-être pas le modèle optimal, et souhaiteraient obtenir un tel modèle avec beaucoup moins d'expérimentation que 90 ou 56 essais. Dans ces situations, nous soutenons qu’une stratégie d’ingénierie statistique utilisant l’expérimentation séquentielle, des plans fractionnaires beaucoup plus petits au départ et la prise en compte de modèles linéaires additifs ou non linéaires, fournit une meilleure approche globale. Encore une fois, nous ne prétendons pas que le modèle non linéaire soit susceptible d'être supérieur au modèle linéarisé en termes de RMSE ou de RMSE de prédiction. Nous ne prétendons pas non plus que les plans fractionnaires contiennent autant d’informations que les plans entièrement croisés. En ce sens, nous ne proposons pas de conception spécifique en soi, ni de modèle spécifique en soi.
Nous proposons plutôt une stratégie pour s’attaquer à de tels problèmes qui, selon nous, est globalement supérieure aux approches suggérées dans la littérature actuelle. En ce sens, la stratégie proposée est une approche d’ingénierie statistique. Sur la base des résultats présentés ici, nous concluons que cette approche est supérieure car elle offre la possibilité d'économiser beaucoup de temps et d'efforts expérimentaux, tout en ne présentant pratiquement aucun inconvénient, en supposant qu'une approche séquentielle soit réalisable. En particulier, les modèles non linéaires sont assez simples à estimer avec des logiciels statistiques modernes, tels que R, JMP, Minitab ou SAS. Les logiciels ne doivent donc pas nécessairement constituer un obstacle à l'examen des modèles non linéaires. Nous pensons en outre que des approches similaires pourraient être d’une utilisation plus générale dans d’autres applications de surfaces de réponse – au-delà des modèles de variables de mélange/processus, mais il s’agit d’un sujet de recherche future.
Les références
Anderson-Cook, CM, et Lu, L. (Éditeurs invités) (2012). "Numéro spécial ingénierie statistique", Ingénierie Qualité , 24(2).
Boîte, GEP, Hunter, JS et Hunter, WG (2005). Statistiques pour les expérimentateurs , 2 s.d. édition, John Wiley and Sons, Hoboken, NJ.
Cornell, JA (2002). Expériences avec des mélanges : conceptions, modèles et analyse des données de mélange , 3 environ Édition, John Wiley and Sons, Hoboken, NY.
Cornell, JA (2011). Une introduction aux expériences avec des mélanges , John Wiley et fils, Hoboken, New Jersey.
Hoerl, RW, et Snee, RD (2010). "Pensée statistique et méthodes d'amélioration de la qualité : un regard vers l'avenir", Ingénierie Qualité , 22(3) : 119-139.
Longueur, RV (1989). "Analyse rapide et simple de factorielles non répliquées", Technométrie , 31(4) : 469-473.
Montgomery, DC (2012). Conception et analyse d'expériences , 8e édition, John Wiley and Sons, Hoboken, NJ.
Prescott, P. (2004). "Modélisation dans des expériences de mélange incluant des interactions avec des variables de processus." Technologie de qualité et gestion quantitative, 1(1) : 87-103.
Schiff , H. (1963). "Le plan simplex-centroïde pour les expériences avec des mélanges", Journal de la Royal Statistical Society B , 25(2) : 235-263.
Snee, RD, et Hoerl, RW (2011). " Mélange adéquat ; Le bon mélange entre ingénierie statistique et statistiques appliquées," Progrès qualité , juin : 46-49.
Wang, L., Xu, J., Wu, S., et Zhang, K. (2013). Etude de la vitesse de fusion des glaçons fabriqués maison, rapport de projet non publié.
