je veux démystifier conception d'expériences (DoE) avec des explications simples de certains des termes et concepts qui peuvent prêter à confusion pour les gens lorsqu'ils débutent. Tout au long de ce série d'articles de blog , nous avons utilisé une étude de cas où l'objectif est de comprendre comment régler l'injecteur à grand volume (LVI) dans une analyse GC-MS pour les traces d'impuretés dans les échantillons d'eau. Nous avons introduit un plan expérimental qui consiste à tester 26 combinaisons de paramètres des huit facteurs LVI à titre d'exemple pour illustrer certaines des propriétés les plus importantes que nous recherchons dans une expérience conçue.
Dans les articles précédents de cette série, nous introduit la régression linéaire multiple , et nous avons vu que notre expérience de 26 exécutions a propriétés de corrélation utiles pour comprendre les comportements importants, y compris les effets principaux, les effets quadratiques et interactions à deux facteurs . Cependant, nous avons également révélé qu'il ne sera pas possible de construire un modèle de régression linéaire multiple avec tous les effets potentiellement importants. Nous avons besoin d'un minimum d'une exécution par effet dans notre modèle, et en ajoutant tous les effets principaux, quadratiques et interactions à deux facteurs ainsi que l'ordonnée à l'origine, nous avons compté un total de 44 paramètres à estimer. Nous avons comparé cela à inviter 20 personnes à une réunion dans une salle qui ne peut accueillir que 12 personnes.
Dans cet article, nous verrons comment nous pouvons comprendre lesquels de tous les effets possibles sont importants pour nous d'inclure notre modèle. On attribue à Einstein le fait de dire que "tout devrait être rendu aussi simple que possible, mais pas plus simple." [1] C'est l'équilibre que nous visons ici. Nous voulons un modèle du système qui capture les comportements que nous devons connaître afin que nous puissions régler le LVI pour maximiser notre signal de détection. Nous ne voulons pas passer à côté d'effets importants, mais nous ne voulons pas non plus d'un modèle inutilement complexe. Nous avons besoin d'un parcimonieux modèle.
Nous verrons comment nous pouvons utiliser les données de notre expérience de 26 essais pour construire un modèle de régression linéaire multiple avec uniquement les effets les plus importants. Tout d'abord, revenons à l'analogie de la réunion et, espérons-le, ne l'étirez pas au-delà du point de rupture !
Construire la meilleure réunion par étapes
What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)Et si 20 personnes voulaient assister à une réunion dans une salle qui n'en contient que 12 ? (Photo de https://unsplash.com/search/photos/meeting) Nous n'avons de place que pour 12 personnes dans notre réunion, et il y a 20 personnes auxquelles nous voudrions assister. De qui parmi ces 20 personnes avons-nous besoin dans la salle pour nous donner la meilleure réunion ?
Nous y répondrons en utilisant une sélection progressive des participants, en commençant à l'étape 0.
Étape 0. Nous commençons avec personne dans la salle de réunion.
Étape 1. Nous essayons chacune des 20 personnes de la réunion par elles-mêmes et gardons la personne qui donne la meilleure qualité de réunion : Katie - elle est LA meilleure personne pour cette réunion. Tout le monde est à l'extérieur de la pièce pour l'instant.
Étape 2. Maintenant, nous passons en revue les 19 participants possibles restants et mettons chacun d'eux dans la salle pour savoir quelle paire de Katie + 1 nous donne la meilleure réunion. Nous trouvons que Katie + Robert est le meilleur. Les 18 autres sont à l'extérieur de la salle.
Étape 3. Nous passons en revue les 18 participants restants et découvrons quelle combinaison de Katie + Robert + 1 est la meilleure. Nous ajoutons Judy à la salle.
Étape 4. Et ainsi de suite…
Étape 12. … jusqu'à ce que nous ayons une salle pleine.
Est-ce la meilleure réunion que nous puissions avoir ? Nous avons constaté que Michael était la meilleure personne à ajouter en tant que 12e participant (les huit autres étaient affreux, en particulier Phillip). Michael contribuera-t-il suffisamment à la réunion pour justifier son inclusion ? Passera-t-il la plupart du temps à perturber la réunion en tapotant sur son téléphone ? Avons-nous vraiment besoin des 12 personnes dans la réunion ?
Examinons maintenant comment la qualité de la réunion a changé des étapes 0 à 12. Nous recherchons où la qualité de la réunion était la plus élevée et trouvons qu'elle était à l'étape 4.
Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Qualité de réunion contre étape.
Nous concluons que la meilleure rencontre est avec Katie, Robert, Judy et Louise. Nous avons trouvé le meilleur équilibre qui couvre la compréhension dont nous avons besoin pour la réunion. Chacun des autres participants possibles pourrait apporter une contribution utile, mais ce n'est pas assez important pour compenser le négatif d'avoir autant de personnes dans la salle qui se parlent.
Est-ce une bonne façon de concevoir une réunion ? Je ne suis pas sûr. Tu peux peut-être essayer et me tenir au courant. Cependant, c'est une bonne analogie pour la façon dont nous pouvons construire des modèles en utilisant des données de expériences conçues .
Construire le meilleur modèle par étapes
Pour le modèle PkHt(SUM), nous avons les 44 effets possibles. Nous déciderons de notre modèle de la même manière que nous avons décidé qui nous devrions avoir dans notre réunion.
Étape 0. Nous commençons par ajuster un modèle d'interception uniquement aux données de notre expérience à 26 exécutions.À moins qu'aucun de nos facteurs n'ait d'effet important sur la réponse, ce modèle est trop simple pour être utile. Le Prediction Profiler n'a pas d'axe X car nous n'avons aucun effet de facteur dans le modèle :
Un graphique des résultats de réponse réels par rapport à la prédiction du modèle nous montre que le modèle n'est pas très utile.
Il y a un faible accord entre les résultats réels pour chaque exécution et les prédictions du modèle pour ces paramètres de ces facteurs. Les points s'aligneraient sur la ligne à 45 degrés pour un modèle qui prédit parfaitement. Le modèle actuel ne prédit qu'une seule valeur. Il nous indique le PkHt(SUM) moyen sur toutes les exécutions (4862070), qui est la meilleure estimation de ce que PkHt(SUM) sera si nous ne savons rien des effets des facteurs.
Étape 1.Nous recherchons le meilleur modèle qui a l'ordonnée à l'origine et l'un des 43 autres paramètres. Nous ajustons les 43 modèles différents possibles et constatons que le modèle avec l'ordonnée à l'origine et l'effet quadratique de Speed(Inj) est le meilleur. Tous les 42 autres effets ne sont pas dans le modèle à ce stade.
Voici le graphique du profileur montrant le changement curviligne de PkHt(SUM) par rapport à Speed(Inj) :
Le rapport réel par rapport aux prévisions est amélioré mais toujours pas excellent :
Étape 2.Nous constatons que l'interaction de Vol(Inj) et T(Inj) est le meilleur effet à ajouter à cette étape. Nous pouvons voir cet effet à partir du tracé du Profiler avec Vol(Inj) réglé au réglage le plus bas…
…et au réglage le plus élevé.
Remarquez comment la pente de PkHt(SUM) par rapport à T(Inj) a changé. Encore une fois, l'accord entre le réel et le prédit est amélioré.
Étapes 3 à 19. Nous procédons ainsi en ajoutant l'effet le plus important à chaque étape.
Étape 20. Avance rapide jusqu'à l'étape 20, et les effets de tous les facteurs sont inclus dans un modèle complexe avec 20 effets plus l'interception.
Le réel par rapport aux prévisions semble bien meilleur maintenant.
Nous pourrions aller plus loin jusqu'à ce que nous ayons ajusté autant de paramètres que nous avons d'exécutions dans l'expérience, mais nous avons probablement déjà surajusté à ce stade. Maintenant, nous regardons comment la qualité du modèle a changé des étapes 0 à 20. Nous pouvons regarder comment le réel par rapport aux prévisions a changé.
Nous pouvons voir que le modèle s'est amélioré au fur et à mesure que nous progressons dans les étapes, bien que peut-être au prix de la complexité. À chaque étape, nous avons ajouté l'effet qui a abouti au meilleur modèle, mais nous n'avons pas précisé ce que « meilleur » signifie. Pour disposer d'un processus permettant de décider du meilleur modèle à chaque étape et du meilleur modèle à toutes les étapes, nous devons être en mesure de chiffrer la qualité d'un modèle. En fait, les statisticiens ont imaginé de nombreuses façons de le faire. Dans cet exemple, nous avons utilisé la valeur corrigée Critère d'information d'Akaike ou AICc . A chaque étape, nous avons ajouté l'effet qui a donné le modèle avec l'AICc le plus bas. Ici, nous avons un tracé de l'AICc en fonction du numéro d'étape :
Un AICc inférieur représente un meilleur modèle : l'AICc diminue à mesure que l'ajustement aux données s'améliore ; l'ajout de paramètres au modèle augmente l'AICc. Nous pouvons l'utiliser pour trouver le point idéal qui équilibre la qualité de l'ajustement et la complexité. Dans ce cas, nous voyons que AICc diminue de l'étape 0 à l'étape 7, puis augmente hors échelle vers l'étape 20. (Les bandes jaunes et vertes sont un guide - les modèles avec un AICc dans ces plages sont quelque peu équivalents au meilleur modèle.) Nous pourrions donc choisir le modèle à l'étape 7 :
Avancer et reculer
Le processus que nous avons décrit s'appelle régression pas à pas ou sélection par étapes . Plus précisément, nous avons utilisé avant sélection par étapes. Vous pourriez utiliser en arrière lorsque vous avez plus d'exécutions que de paramètres à ajuster, vous pouvez donc commencer avec tous les effets du modèle et revenir en arrière en supprimant l'effet le moins important à chaque étape. Vous pouvez également utiliser une combinaison d'avance et de retour. Un autre choix que vous avez est de spécifier effet de l'hérédité , de sorte que les effets de second ordre ne peuvent être inclus que si leurs effets principaux sont également dans le modèle. Les modèles qui obéissent à l'hérédité des effets sont généralement préférés.
Ces diverses options et d'autres sont disponibles dans un processus automatisé par étapes dans des logiciels comme JMP . La plate-forme de régression généralisée dans JMPPro donne une interface interactive et visuelle pour explorer les possibilités du modèle. Ceci est utile car le choix final du modèle ne reposera pas uniquement sur l'AICc ou sur une mesure statistique.
"Tous les modèles sont faux...
…Mais certains sont utiles. »[2] Cette célèbre citation résume une vérité qui est inquiétante si vous êtes nouveau dans le DoE : il n'y a pas de bonne réponse à la fin de tout ! Le modèle se rapprochera du comportement réel, donc sera toujours "faux" dans un certain sens. Vous ne devriez pas penser que c'est un problème. Les modèles qui sont ainsi « erronés » nous permettent de nous concentrer sur la compréhension des comportements importants pour atteindre nos objectifs scientifiques et techniques. Comme nous l'avons dit précédemment, nous visons un modèle parcimonieux.
Avec cet exemple, nous avons vu comment nous pouvons construire des modèles utiles en triant un nombre relativement important d'effets possibles pour trouver les quelques effets importants. Nous avons également vu comment nous pouvons utiliser des méthodes statistiques, ainsi que notre expérience et notre connaissance du système, pour choisir le modèle le plus utile. Notre expérience conçue nous a donné les données dont nous avions besoin pour y parvenir, et avec un minimum d'effort expérimental. À chaque étape, la méthode peut sélectionner le meilleur effet en raison de la clarté qui accompagne les propriétés de corrélation de la conception. Encore une fois, le message à retenir est que si vous voulez être sûr d'accéder efficacement à la solution la plus utile, vous devez utiliser DoE.
Dans le dernier article de cette série, nous essaierons de résumer tout ce que nous avons appris et parlerons également de ce que nous avons manqué.
Remarques
[1] En fait, il semble qu'Einstein n'ait pas dit cela . Ironiquement, sa version n'était pas aussi simple qu'elle aurait pu l'être.
[2] Boîte de Georges. Voir cette entrée wikipedia pour plus.
