Je veux démystifier les plans d'expériences (DoE) avec un série de posts avec des explications simples de certains termes et concepts qui peuvent prêter à confusion pour les débutants. Dans le premier article de cette série , nous avons examiné le défi du vaste espace des possibilités dans les systèmes multifactoriels et introduit les concepts de facteurs, de réponses et de plans factoriels complets. Dans le deuxième message , nous avons examiné comment comprendre les comportements dans les processus, y compris les interactions factorielles, avec des modèles visuels et statistiques. Dans le troisième message , nous avons montré comment nous construisons des modèles du processus en utilisant les données d'expériences efficaces et expliqué ce que nous entendons par régression linéaire multiple, effets principaux et effets quadratiques.
Nous avons illustré tout cela avec une étude de cas réel dans laquelle nous devons comprendre comment configurer l'injecteur grand volume (LVI) dans un système d'analyse GC-MS. L’objectif est d’optimiser la détection de faibles niveaux de contaminants dans les échantillons d’eau. Il semble approprié que dans cet article nous parlions de clarté.
Ici, lorsque nous parlons de clarté, nous entendons la clarté sur les effets que nos différents facteurs (volume d'injection, vitesse d'injection, etc.) ont sur notre réponse (la somme de toutes les hauteurs de pics). Nous verrons comment l’expérience en 26 essais que nous avons introduite est la seule à pouvoir fournir cette clarté.
En revanche, nous examinerons également un exemple de données qui n’apportent pas de clarté à notre compréhension. En chemin, nous expliquerons l’orthogonalité, la confusion et l’alias. Je souhaite apporter de la clarté à votre compréhension de ces concepts. Il faudra donc commencer simple.
Un exemple simple d'effets corrélés, d'orthogonalité, d'alias et de confusion
Commençons par réfléchir uniquement aux deux premiers facteurs de notre configuration LVI et à ces trois modèles expérimentaux différents :
Chaque point du tracé représente une exécution de l’une des trois expériences.
- Le plan n°1 est la factorielle complète pour trois niveaux (bas, moyen et élevé ou L, M et H) des deux facteurs.
- Le design n°2 est le même mais avec deux combinaisons supprimées : le LH et le HL.
- Le modèle n°3 ne comporte que les combinaisons LL, MM et HH.
La couverture de l'espace des possibilités est clairement réduite du n°1 au n°2 en passant par le n°3. Une autre chose qui change est la corrélation de nos facteurs.
La factorielle complète a 0 corrélation entre les facteurs. On dit que le design est orthogonal pour le principal effet linéaire de ces facteurs. L'ellipse de confiance pour le n°2 est plus serrée car elle a une corrélation modérée, r , de 0,5. Nous disons qu'il y a alias partiel entre ces effets dans cette conception. L'ellipse de densité pour le numéro 3 s'est effondrée car il existe une corrélation parfaite (r = 1). Nous disons que les principaux effets sont complètement alias ou confus dans cette conception.
Quelles sont les conséquences de ce alias ? Pour démontrer cela, nous avons simulé certaines données de réponse pour chaque exécution de chaque conception. Les points dans les tracés sont désormais étiquetés avec la valeur de la réponse, SimResp, pour les exécutions.
En regardant simplement les chiffres du design n°1, vous pouvez avoir une idée de l'effet de la modification de Vol(Inj) et Speed(Inj) sur la réponse. Vous pourrez peut-être également en avoir une idée à partir du design n°2, mais ce n'est pas aussi clair.
Il y a un problème évident à tenter de comprendre l’effet des deux facteurs à partir des données du plan n°3 : il n’est pas possible de séparer les effets des facteurs. Chaque changement que nous avons apporté à un facteur a été précisément adapté à un changement dans l'autre facteur. Vous pouvez voir pourquoi nous appelons cela déroutant ! Nous manquons totalement de clarté sur l’effet de nos facteurs et donc une mauvaise compréhension de notre processus.
Comme indiqué dans les articles précédents de cette série, la meilleure façon de comprendre les effets des facteurs consiste à ajuster un modèle. Nous adapterons les principaux modèles d'effets aux données de chaque conception – ou du moins nous essaierons de le faire.
Dans le cas du plan n°3, il n'est pas possible d'ajuster un modèle avec l'effet principal des deux facteurs, et nous obtenons un singularité avertissement lorsque nous essayons d'adapter ce modèle JMP :
Cela nous dit que nous pouvons adapter l’un ou l’autre effet, mais pas les deux.
Nous pouvons adapter le modèle des effets principaux à partir des données des conceptions n°1 et n°2. Voici les tracés du Profiler :
Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Tracé du profileur du modèle des effets principaux de la conception n°1.
Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2. Tracé du profileur du modèle des effets principaux de la conception n°2.
Ces graphiques incluent les intervalles de confiance qui représentent notre incertitude quant au véritable effet des facteurs. Notre modèle n’est après tout qu’une estimation. Nous nous attendons à ce que la ligne représentant l’effet se situe dans les bandes ombrées des intervalles de confiance. Vous pouvez voir que notre incertitude quant aux effets est plus grande dans le cas du modèle du design n°2. Cela est dû en partie au fait que nous disposions de moins de données (sept exécutions contre neuf exécutions), mais également à cause du crénelage partiel des effets. Ceci est parfois appelé inflation de la variance .
Les messages à retenir :
- Nous obtenons le plus de clarté sur les effets des facteurs avec des plans expérimentaux orthogonaux.
- Nous pouvons gérer certains alias – nous pouvons en apprendre davantage sur les effets mais avec moins de précision.
- Nous ne pouvons pas connaître les effets de facteurs confondus.
Conceptions expérimentales pour plus de clarté
Considérons maintenant notre conception à 26 exécutions.
Le graphique suivant est une matrice de nuages de points de nos trois premiers facteurs.
Une matrice de nuages de points affiche des nuages de points pour chaque paire de variables. Celui-ci montre 0 corrélation entre toutes les paires de ces facteurs ; le design est orthogonal pour ces effets principaux. Notre compréhension de chacun de ces effets est exempte de confusion avec les autres effets. Jusqu'à présent, cela semble être un bon design.
Nous pouvons représenter la corrélation des effets plus efficacement avec une carte de couleurs de corrélation :
Cette carte comporte les mêmes neuf carrés que la matrice de nuages de points. La corrélation d’une paire d’effets est désormais représentée par la couleur du carré. Le manque de corrélation entre nos principaux effets est visible ici dans les carrés bleu pâle. La diagonale bleu foncé du coin supérieur gauche au coin inférieur droit est la corrélation de chaque effet avec lui-même (1 bien sûr !) et est là pour être complet.
Avec cette représentation plus efficace des corrélations, nous pouvons examiner tous les principaux effets.
Les effets principaux continus sont tous orthogonaux les uns par rapport aux autres. La clarté que cela apporte est l’une des principales raisons pour lesquelles ces 26 exécutions constituent une conception si utile. Les carrés bleus légèrement plus foncés sous Liner nous indiquent qu'il existe un alias partiel de l'effet catégoriel Liner avec les autres effets principaux (r = 0,0836). Cela ne devrait pas être un problème. En fait, il est possible de calculer à quel point les intervalles de confiance seraient plus grands par rapport à un plan orthogonal (pas plus de 2,5 %).
Nous pouvons également consulter une carte de couleurs de corrélation pour tous les effets principaux et quadratiques[1]. Les cartes de couleurs ci-dessous sont les mêmes, sauf que j'ai étiqueté deux des carrés du tracé de droite pour faciliter l'interprétation.
La région bleu pâle dans le quadrant supérieur droit représente les corrélations entre les effets principaux et les effets quadratiques. Par exemple, nous pouvons voir qu'il existe une corrélation nulle entre les effets principaux et quadratiques du volume d'injection, Vol(Inj) et Vol(Inj)*Vol(Inj). La carte montre qu'il existe une corrélation de 0 entre chaque effet quadratique et chaque effet principal : les effets quadratiques et principaux sont orthogonaux les uns par rapport aux autres. Ce n’est pas un hasard. Encore une fois, c’est l’une des raisons qui ont motivé ce choix de conception expérimentale.
Le bleu plus fort en bas à droite représente les corrélations les plus élevées au sein des effets quadratiques. Par exemple, on peut voir qu'il existe une corrélation de 0,4091 entre les effets quadratiques du volume d'injection et de la vitesse d'injection, Vol(Inj)*Vol(Inj) et Speed(Inj)*Speed(Inj). La carte montre qu'il existe la même corrélation de 0,4091 entre tous les effets quadratiques : les effets quadratiques sont partiellement crénelés les uns par rapport aux autres. C’est un compromis avec lequel nous pouvons vivre dans cette situation. Cela signifie que nous devrions être capables de comprendre les comportements curvilignes importants de n’importe lequel des facteurs avec un peu moins de précision. L’important est qu’il n’y ait aucune confusion dans les effets que nous observons.
Nous avons vu comment les données du plan expérimental de 26 essais peuvent clarifier notre compréhension des comportements importants dans notre processus en raison des corrélations minimales des effets. Sans les méthodes des logiciels comme JMP , il serait difficile de trouver un plan expérimental comportant à la fois relativement peu d'essais et ces propriétés de corrélation utiles.
Aussi clair que la boue
Lorsque les données sont collectées sans plan, il y a inévitablement plus de corrélation, ce qui rend plus difficile la compréhension de ce qui détermine les comportements dans un système. Un exemple classique est ces données économétriques (l'ensemble de données Longley disponible dans le répertoire des exemples de données JMP 
y est une mesure de l'emploi et x1 à x6 sont des prédicteurs potentiels (x6 semble être l'année civile). La carte des couleurs de corrélation des principaux effets montre des corrélations entre x1, x2, x5 et x6 très proches de 1 :
L'effet sur notre compréhension des effets des facteurs peut être observé à partir d'un graphique Profiler du modèle complet des effets principaux :
Les intervalles de confiance les plus larges sont ceux des effets les plus corrélés et démontrent la difficulté d’essayer de comprendre un système à partir de données comportant des facteurs hautement corrélés. Par exemple, le modèle estime que y diminue à mesure que x2 augmente, mais les intervalles de confiance indiquent que l’effet de ce facteur pourrait également être fortement positif. Nous ne savons presque rien de l’effet de x2.
Nous avons vu que si nous voulons comprendre nos processus et nos systèmes avec clarté, nous devons générer des données à partir d'expériences présentant une corrélation minimale entre les effets qui nous intéressent. Nous avons vu que la carte des couleurs de corrélation est un outil visuel puissant pour comprendre la qualité d’un design à cet égard. Jusqu’à présent, nous n’avons examiné que les effets principaux et quadratiques. Qu’en est-il des comportements plus complexes comme les interactions que nous avons mentionnées précédemment ? Dans le prochain article de cette série, nous examinerons ces effets et verrons pourquoi les 26 exécutions de notre expérience sont un bon choix si nous voulons nous assurer que ces comportements complexes ne gênent pas notre compréhension du système.
Remarques
[1] Il y a quelques étapes si vous souhaitez déterminer manuellement la corrélation des effets quadratiques. Par exemple, disons que vous vouliez examiner la corrélation des effets quadratiques de deux facteurs, X1 et X2. Il faut d’abord recoder les facteurs pour qu’ils soient sur la même échelle. Il est courant de coder les facteurs sur une échelle de -1 à +1, -1 étant le réglage le plus bas de la plage, 0 étant le point médian et +1 étant la valeur la plus élevée. Vous verrez souvent ce codage dans les livres sur le DoE. Avec les facteurs ainsi codés, vous pouvez ensuite calculer les effets quadratiques, X1*X1 et X2*X2, et examiner les corrélations. Il en va de même pour l’examen d’autres effets d’ordre supérieur, notamment les interactions. Outils logiciels du DoE, tels que Évaluation de la conception dans JMP , vous permettra d'évaluer la corrélation des effets sans avoir à passer par ces étapes.
Avez-vous manqué des articles de cette série sur Why DoE ? Aucun problème. Voir toute la série ici .
Salut @Asier ,
Oui, je peux voir à quel point cela ressemble à une contradiction : la corrélation entre les prédicteurs (facteurs) est mauvaise mais le modèle est capable de faire de bonnes prédictions. En fait, il n’y a aucune contradiction. Il n’y a aucune raison pour qu’un modèle ne soit pas bien adapté et ait également des prédicteurs horriblement corrélés.
Le problème des facteurs corrélés n’est pas que cela signifie que nous sommes incapables de faire de bonnes prévisions. Le problème avec les facteurs corrélés est que nous ne pouvons pas bien comprendre l’effet de chaque facteur.
Dans ce cas, si nous connaissons les X, nous pouvons faire une bonne prédiction de Y (emploi). Mais ce que nous ne pouvons pas faire, c’est comprendre quel est l’effet de chacun des X.
Ainsi, la structure de corrélation des facteurs ne nous dit rien sur la capacité à construire un modèle bien ajusté et à faire des prédictions précises. Cela nous indique avec quelle précision nous serons capables de mesurer les effets individuels de chaque facteur.
J'espère que cela aide.
Phil
Salut Phil,
Je relisais encore ces superbes séries sur le DoE et une autre question m'est venue à l'esprit.
J'ai utilisé les données Longley pour recréer votre analyse. J'obtiens les mêmes corrélations entre les facteurs que vous mentionnez ici, mais j'ai été surpris de voir le graphique (réel vs prédit) pour l'ajustement. Si je vois l’ajustement ci-dessous avec un si bon ajustement et avec des intervalles de confiance si étroits, je pense que je supposerais sans hésitation que le modèle est très bon. Cependant, d'après votre analyse et le profileur, nous constatons également que nous savons très peu de choses sur l'impact des effets x1, x2 et x5...
Quelle est la raison de cette « contradiction » ? je parie qu'il y a une bonne raison mathématique à cette "contradiction apparente"
Merci
asiatique
Merci pour vos commentaires et vos retours positifs, Asier.
Oui, examiner la corrélation des effets est quelque chose que vous pouvez faire avant de lancer l'expérience et de collecter les données de réponse. Nous ne prenons pas du tout en considération la réponse lorsque nous examinons la corrélation des effets.
Si vous avez des effets fortement corrélés, vous pouvez augmenter les données avec des analyses supplémentaires pour réduire la corrélation. La plateforme Augment Design du menu DOE de JMP fournit des outils à cet effet.
Si vous ne parvenez pas à collecter des analyses supplémentaires, il existe des approches utiles en matière de modélisation. L'analyse en composantes principales (ACP) peut être utilisée pour déterminer un nombre réduit de variables orthogonales (corrélation nulle). Ces composantes principales sont une combinaison des variables originales. Par exemple, x1, x2, x5 et x6 issus des données économétriques ci-dessus seraient effectivement combinés en une seule composante principale car ils sont tous fortement corrélés les uns aux autres. Vous pouvez ensuite utiliser les composants principaux comme variables dans votre modèle. Souvent, les composantes principales peuvent être interprétées comme des variables « latentes » qui décrivent un facteur causal sous-jacent dans votre système.
Cependant, il n’y a pas de magie. Plus vos effets sont corrélés, moins vous pourrez les comprendre.
J'espère que ça aide.
Salutations,
Phil
Bonjour Phil,
Mes félicitations pour cette série d'articles sur le DOE. Je pense qu'ils sont vraiment bons, clairs et explicatifs sur le DOE. Personnellement, je trouve que même si le concept de DOE n'est pas compliqué, les mathématiques derrière et la VRAIE compréhension du concept ne sont pas si faciles et surtout la transition des études de cas de livres aux problèmes de la vie réelle...
J'ai une question sur le sujet de la corrélation des facteurs ou de la confusion. Je comprends le concept et je comprends bien, cette corrélation ou confusion peut être calculée AVANT que les analyses ne soient réellement effectuées (mesures), ce qui vous permet de savoir si l'expérience que vous avez devant vous (ensemble d'analyses) est bonne pour comprends bien ton problème.
Un bon exemple est l'exemple de données économétriques où vous pouvez voir à partir de la carte des couleurs qu'il existe une corrélation sérieuse entre certains des facteurs (X1-X2 et X5-X6).
Pourriez-vous s'il vous plaît confirmer si cette carte de couleurs peut être déterminée avant d'avoir les données mesurées (réponse Y) ? La carte des couleurs est-elle générée uniquement à partir des informations sur les facteurs (et par conséquent, la réponse n'est pas nécessaire pour cela) ?
Et puis, une fois que vous savez cela, que pouvez-vous réellement faire ?
Je suppose que si vous concevez réellement les expériences, JMP peut vous aider à définir les paramètres des facteurs qui minimiseront les corrélations (est-ce exact ?)
mais si nous utilisons des données existantes (comme les données économétriques) pour réaliser notre propre étude, y a-t-il autre chose que nous puissions faire (plus que savoir puisque vous notez que le modèle est "aussi clair que de la boue" avec très peu d'informations réelles sur l'impact des facteurs X1, X2 et X5 (avec éventuel impact négatif ou positif sur Y1) ?
Merci encore pour ces séries, je les trouve géniales et je les recommanderais à tous ceux qui essaient de faire quelque chose au DOE
Asie
