| Conférencier |
Transcription |
| Phil Kay |
Nous allons donc aborder la question de la refonte de la conception et de l'analyse des expériences. Je suis Phil Kay, responsable de la formation au sein de l'équipe d'habilitation technique mondiale, et je suis accompagné de Pete Hersh. |
| Pierre Hersh |
Oui, je suis également membre de l'équipe d'habilitation technique mondiale et je suis ravi de parler du DOE et de certaines des nouvelles techniques que nous explorons aujourd'hui. |
| Phil Kay |
Tout d'abord, nous sommes de grands fans du Département de l'Énergie. C'est formidable. Il a joué un rôle crucial dans la science et l'ingénierie depuis très longtemps. |
| |
Et cela étant dit, il y a certaines hypothèses avec lesquelles nous devons être d’accord pour utiliser le DOE beaucoup de temps. |
| |
Et ils ne se sentent pas toujours très à l'aise, en tant que scientifiques ou ingénieurs. Des choses comme la rareté des effets, donc l'idée que tout ce qu'on observe ne s'avère pas important. |
| |
Et en réalité, seules quelques-unes des choses que vous expérimentez s'avèrent importantes. Ou l'influence de l'hérédité est une autre hypothèse. |
| |
Cela signifie donc que nous nous attendons à voir des comportements complexes ou des effets d’ordre supérieur uniquement pour les facteurs qui sont actifs sous leurs formes les plus simples. |
| |
Et, et juste cette idée d’effets actifs et inactifs, si souvent, le processus séquentiel de conception d’expériences consiste à filtrer les effets actifs des effets inactifs. |
| |
Et cela ressemble parfois à une décision trop binaire. Ça me paraît un peu fou, souvent, cette idée que certaines de nos expériences se déroulent sur un système totalement inactif. |
| |
Alors qu'en réalité, je pense que nous savons que tout aura un impact. C'est peut-être moins important, mais |
| |
Cela aura toujours un certain effet. Et ce sont en grande partie des hypothèses que nous utilisons pour |
| |
Comment surmonter certains défis liés à la conception d'expériences lorsqu'on ne peut pas se permettre de réaliser un grand nombre d'essais ? Pete, je ne sais pas si tu souhaites commenter cela de ton point de vue également. |
| Pierre Hersh |
Oui, je suis tout à fait d'accord. Je pense qu'imaginer quelque chose comme la température comme inactive est… difficile d'imaginer que la température n'ait aucun effet sur une expérience. |
| Phil Kay |
Ouais, c'est un peu absurde, non ? Alors, |
| |
ouais, si c'est dans votre expérience, alors ce sera toujours actif d'une manière ou d'une autre, mais peut-être pas aussi important que d'autres choses. |
| |
Je vais donc passer directement aux résultats de |
| |
de ce que nous avons étudié. Nous avons donc étudié cette technique d'auto-validation inventée par Chris Gotwalt et Phil Ramsey. |
| |
et en utilisant cela dans l'analyse d'expériences planifiées, cela a donné des résultats tout simplement incroyables. Nous ne pensions tout simplement pas qu'ils étaient possibles. |
| |
J'ai d'abord étudié un système avec 13 effets actifs et analysé un plan de criblage définitif à 13 passages. J'ai ainsi pu identifier 13 effets actifs, ce qui correspond à une situation saturée. Nous ne… |
| |
On parle généralement de modèles de criblage définitifs comme étant efficaces pour identifier les effets actifs en cas de faible densité d'effets, c'est-à-dire lorsqu'un petit nombre d'effets sont réellement importants ou actifs. Mais dans ce cas, j'ai réussi à identifier les 13 effets actifs. |
| |
Et ce n'est pas tout, j'ai pu construire un modèle avec tous ces 13 effets actifs à partir de cette conception de criblage définitive en 13 étapes. |
| |
Donc, encore une fois, c'est assez incroyable ; nous ne nous attendons pas à pouvoir avoir un modèle avec autant d'effets actifs que nous avons de lignes de données à partir desquelles nous le construisons. |
| |
Et Pete, tu as regardé d’autres choses et tu as obtenu d’autres résultats vraiment intéressants. |
| Pierre Hersh |
Oui, absolument, et les résultats de Phil sont vraiment impressionnants. Je pense |
| |
L'étape suivante que nous avons essayée était de créer un design super saturé, qui comporte plus d'effets actifs que de courses et nous avons essayé cela avec |
| |
Très petits plans d'expérience. Donc, un plan d'expérience de six essais avec sept effets actifs, ce qui, si nous le faisions avec les techniques standard, serait impossible à analyser. |
| |
Cela a été fait correctement. Nous avons comparé cela à des plans d'expérience de huit et dix exécutions et avons constaté combien cela nous rapportait. Nous avons donc obtenu des modèles assez utiles, même à partir d'un plan d'expérience de six exécutions, ce qui était |
| |
mieux que ce à quoi je m'attendais. |
| Phil Kay |
Ouais, c'est mieux que ce à quoi tu es en droit de t'attendre, n'est-ce pas ? |
| |
Nous avons donc obtenu des résultats vraiment impressionnants et la capacité d’identifier un grand nombre d’effets actifs à partir d’une petite quantité. |
| |
J'ai conçu un écran définitif et construit ce modèle avec tous ces effets actifs. Dans le cas de Pete, j'ai pu construire un modèle avec sept effets actifs à partir de très petites dimensions. |
| |
Expériences conçues. |
| |
Alors, comment avons-nous procédé ? Comment fonctionne la méthodologie d'auto-validation ? Elle s'inspire de l'apprentissage automatique, et l'un de ses outils les plus utiles est la validation. La validation de rétention est donc un excellent moyen de garantir la qualité de la construction. |
| |
Le modèle le plus utile. C'est donc un modèle robuste. Nous conservons une partie des données et nous l'utilisons pour tester différents modèles que nous construisons. |
| |
En gros, le modèle qui fait la meilleure prédiction de ces données que nous avons conservées est le modèle que nous utilisons, et il est vraiment testé et éprouvé. |
| |
C'est en fait la référence absolue pour construire les modèles les plus utiles, mais avec le DOE, c'est un défi plus grand, n'est-ce pas, Pete ? Ça ne s'y prête pas vraiment. |
| Pierre Hersh |
Oui, oui, l'idée derrière le DOE est d'explorer l'espace de conception aussi efficacement que possible. Et si nous commençons à retenir des séries ou à retenir |
| |
l'analyse des exécutions, alors nous allons manquer une partie de cet espace de conception et |
| |
nous ne pouvons vraiment pas faire cela avec beaucoup de ces techniques DOE comme les conceptions de criblage définitives. |
| Phil Kay |
D'accord, d'accord, il serait donc judicieux de trouver une astuce permettant de bénéficier de cette validation sans avoir à gérer les données critiques. Cela nous amène à l'auto-validation. |
| |
idée, et, Pete, veux-tu décrire un peu comment cela fonctionne ? |
| Pierre Hersh |
Absolument, c'était donc une idée vraiment intelligente développée par Chris et Phil Ramsey, et ils prennent essentiellement nos données originales d'un DOE et les rééchantillonnent, donc vous |
| |
Répétez les résultats. Vous remarquerez que dans le tableau, en bas de la diapositive, les séries en gris correspondent aux mêmes résultats que les séries en blanc. Elles sont simplement répétées. |
| |
Et pour y parvenir, ils créent une colonne de pondération par paires. Donc, si l'une d'elles a une pondération élevée, |
| |
L'exécution répétée de cette méthode présente un faible taux de pondération, etc. Cela nous permet d'utiliser les données avec cette validation et cette pondération. Nous détaillerons plus en détail comment cela fonctionne. |
| Phil Kay |
Oui, vous verrez comment cela se passe en examinant les démonstrations. Nous avons donc deux études de cas basées sur des exemples simulés qui illustrent cette méthodologie. Je vais donc aborder la première étude de cas : |
| |
Je souligne qu'il s'agit d'un exemple simulé. D'une certaine manière, il est un peu irréaliste, mais je pense qu'il démontre parfaitement la puissance de cette méthodologie. |
| |
Nous avons six facteurs et pour que cela semble un peu plus réel, nous avons choisi quelques facteurs réels d'une étude de cas ici où ils essayaient de faire pousser un organisme biologique et d'optimiser les nutriments qu'ils introduisent dans le système pour optimiser le taux de croissance. |
| |
Nous disposons donc de six nutriments différents, qui constituent nos facteurs. Nous pouvons en ajouter différentes quantités. J'ai donc conçu un plan de criblage définitif en 13 passages pour explorer ces facteurs avec cette réponse au taux de croissance. |
| |
Et les données de réponse ont été entièrement simulées par moi, et elles ont été simulées de telle sorte qu'il y avait 13 effets fortement actifs. Donc |
| |
Je l'ai simulé de manière à ce que tous les effets principaux, tous les six effets principaux, soient actifs. |
| |
Et puis, pour chacun de ces facteurs, les effets quadratiques sont également actifs, nous avons donc six effets quadratiques. |
| |
De plus, nous avons une interception que nous devons toujours estimer, il y a donc 13 effets au total qui sont actifs, qui sont importants pour comprendre le système. |
| |
1 rapport signal/bruit, mais cela reste un véritable défi avec la méthodologie standard pour modéliser cela, et nous y reviendrons dans la démo. |
| |
La question est donc : pouvons-nous identifier tous ces effets importants et, si oui, construire un modèle intégrant tous ces effets ? Car, comme je l'ai dit, ce serait vraiment remarquable. |
| |
par rapport à ce que nous pouvons faire avec la méthodologie standard. |
| |
Et puis l’étude de cas n°2, Pete ? |
| Pierre Hersh |
Oui, absolument. Très similaire à l'étude de cas de Phil. Même idée : on alimente un organisme avec différents nutriments à différentes concentrations et on surveille sa croissance. Dans ce cas, j'ai simplifié ce que Phil avait fait et je l'ai décomposé en trois facteurs nutritionnels seulement. Et voici |
| |
construire un type de conception différent, donc une conception sursaturée I-optimale où nous examinons une surface de réponse complète |
| |
de manière sursaturée et nous avons examiné six, huit et dix courses |
| |
dessins. Et donc la même idée. |
| |
Le le |
| |
les effets étaient très, très |
| |
Un rapport signal/bruit élevé m'a permis de détecter ces effets s'ils étaient actifs. Comme Phil, j'ai conservé les effets principaux des quadratiques actifs, ainsi que l'interception, et nous essayons de les détecter. |
| |
Et même idée, donc de combien d'exécutions aurions-nous besoin pour voir ces effets actifs et quelle précision pouvons-nous obtenir à partir de ces très petites conceptions ? |
| Phil Kay |
Ouais, parce que vous savez, comme je l'ai dit, vous n'avez vraiment aucun droit d'espérer pouvoir construire un bon modèle à partir d'une conception aussi petite. |
| Pierre Hersh |
Oui, exactement. D'accord. |
| Phil Kay |
Je vais donc maintenant passer à une démonstration de l'étude de cas n°1. |
| |
Je présente cela via un projet JMP, c'est donc une très bonne façon de présenter vos résultats. Je vous recommande de l'essayer. |
| |
Et c'est notre |
| |
Voici donc notre plan de criblage définitif en 13 passages, où nous faisons varier ces facteurs nutritifs et obtenons la réponse simulée du taux de croissance. Comme je l'ai dit, la simulation a été effectuée de telle sorte que |
| |
les principaux effets, les quadratiques de tous ces facteurs sont fortement actifs, de plus nous devons estimer cette interception. |
| |
Maintenant, avec une conception de dépistage définitive, je vous recommande généralement d'utiliser le dépistage définitif ajusté comme moyen d'examiner les résultats comme l'une des analyses que vous pouvez effectuer. |
| |
Cela fonctionne très bien lorsque le principe de parcimonie des effets est vérifié. Ainsi, tant que seuls quelques effets sont fortement actifs et que les autres sont sans importance, |
| |
il trouvera alors ces...les quelques effets importants et les séparera de ceux qui ne sont pas importants. |
| |
Mais dans ce cas, je ne m'attendais pas à ce que cela fonctionne bien, et ce n'est pas le cas. Le système n'identifie pas que les six facteurs sont actifs. En fait, il n'identifie qu'un seul facteur comme actif. |
| |
Ce n’est donc pas une grande surprise, c’est une situation trop difficile, trop exigeante pour ce type d’analyse. |
| |
Si d'une manière ou d'une autre nous savions que tous ces effets actifs sont actifs et que nous essayions d'adapter un modèle avec les six effets principaux, les six effets quadratiques et l'intercept, |
| |
Il s'agit alors d'un modèle saturé. Nous avons autant de paramètres à estimer que de lignes de données ; nous pouvons donc ajuster ce modèle, mais nous n'obtenons aucune statistique. |
| |
Et de toute façon, vous savez, outre le fait que j'ai simulé ces données, dans une situation réelle, nous ne saurions pas lesquelles sont actives, donc nous ne saurions même pas quel modèle adapter. |
| |
Maintenant, en utilisant la méthode d'auto-validation, j'ai pu identifier de manière très convaincante les effets actifs, et je vais vous expliquer comment nous y sommes parvenus. |
| |
Et ceci n'est qu'une visualisation de mes résultats. Il n'est pas nécessaire de les visualiser de cette façon. Ceci est à des fins de présentation. |
| |
J'ai pu identifier que l'interception était active. J'ai mes six effets principaux. |
| |
et mes effets quadratiques, puis mes interactions à deux facteurs, que j'ai simulées comme n'ayant aucun effet. Vous pouvez constater qu'elles sont bien inférieures. |
| |
Par rapport aux autres. Et il y a en fait un facteur nul ici… donc un facteur fictif. Donc, tout ce qui est inférieur au facteur nul peut être déclaré comme sans importance ou inactif, si vous voulez. |
| |
En fait, la mesure que nous étudions ici est ce qu'on appelle la proportion non nulle, et j'expliquerai ce que cela signifie au fur et à mesure. C'est en quelque sorte la mesure que nous utilisons ici pour identifier la force et l'importance d'un effet. |
| |
Voici donc un bref aperçu de mon processus. J'ai utilisé mon modèle de criblage définitif initial de 13 exécutions, puis je l'ai configuré pour la validation automatique. Nous avons donc maintenant 26 lignes dupliquées. |
| |
Et il existe un module complémentaire pour faire cela, l'un de nos collègues, Mike Anderson, a créé un module complémentaire que vous pouvez utiliser pour faire cela dans JMP 15. |
| |
Dans JMP 16, ils ajoutent en fait la capacité des outils de modélisation prédictive dans la plate-forme de colonnes de validation. |
| |
Et ce que cela fait, c'est que nous obtenons cet ensemble dupliqué de nos données, puis nous obtenons cette pondération et comme Pete l'a dit, nous avons... chaque ligne est dans l'ensemble d'entraînement et dans l'ensemble de validation. |
| |
Dans l'ensemble d'entraînement, si la pondération est faible, elle aura une pondération élevée dans la validation. Ainsi, si la pondération est élevée dans l'ensemble d'entraînement, elle aura une pondération faible dans l'ensemble de validation. |
| |
Et ce que nous faisons en réalité, c'est que nous lisons... ces éléments ont été attribués de manière aléatoire. |
| |
Nous les avons réaffectés et avons pu répéter l'opération des centaines de fois, en ajustant les modèles à chaque fois et en analysant les résultats agrégés sur plusieurs simulations. Voici donc ce que vous feriez. |
| |
est d'adapter le modèle et j'utilise GenReg ici dans JMP Pro. |
| |
Et vous aurez besoin de JMP Pro de toute façon, car vous devez pouvoir spécifier ce rôle de validation, donc nous avons mis... la colonne de validation du train va dans la validation. |
| |
La pondération est appliquée à la fréquence, puis nous configurons tout le reste comme d'habitude avec notre réponse. Ensuite, j'ai un modèle, le modèle de surface de réponse, avec tous ces effets, et je clique sur « Exécuter ». |
| |
Et cela correspondra à un modèle, et nous pourrons utiliser la sélection directe ou le lasso. Ici, j'ai utilisé le lasso. |
| |
Ce n’est pas très important dans ce cas. |
| |
Et ce qui s'est réellement passé, c'est que nous avons identifié uniquement l'interception comme étant importante dans ce cas, donc nous n'avons en fait que l'interception dans le modèle. |
| |
Mais si nous changeons la pondération, si nous revenons à notre tableau de données et resimulons ces pondérations, nous obtiendrons probablement un résultat différent du modèle. |
| |
Nous pondérons différentes lignes de données, différentes exécutions de l'expérience, ce qui modifie le modèle ajusté. Nous allons donc répéter l'opération des centaines de fois, et je vais utiliser la fonction de simulation de JMP Pro. |
| |
Nous remplaçons la colonne de pondération par une version recalculée. Vous pouvez répéter l'opération plusieurs centaines de fois. Je l'ai fait 250 fois dans ce cas précis. Je ne vais pas laisser cette opération s'exécuter, car cela prendrait une minute ou deux. |
| |
Une fois que vous avez fait cela, vous obtiendrez un tableau qui ressemble à ceci. |
| |
J'ai donc maintenant l'estimation des paramètres pour chacun de ces 250 modèles pour chacun de ces effets. |
| |
Dans mon premier modèle, lors de cette exécution, il s'agissait de l'estimation des paramètres de l'effet principal de l'acide citrique. Dans le modèle suivant, lorsque nous avons rééchantillonné la pondération, |
| |
L'effet principal de l'acide citrique n'a pas été pris en compte dans le modèle, il était donc nul dans ce cas. |
| |
Vous pouvez exécuter des distributions sur toutes ces estimations de paramètres. L'une des choses que vous pouvez faire est de |
| |
Personnalisez ces statistiques, les statistiques récapitulatives, pour examiner la proportion de valeurs non nulles. Vous pouvez donc voir l'interception ici. |
| |
Les estimations de l'interception que nous avions. On peut voir que pour l'acide citrique, la valeur a souvent été estimée à zéro, d'où les modèles. |
| |
L'effet principal de l'acide citrique n'était pas dans le modèle, et la plupart du temps, il a été estimé à environ 3, ce qui est ce que j'avais simulé. |
| |
Nous examinons donc la proportion de fois où elle est non nulle, et nous pouvons en tirer un tableau de données combiné. Je l'ai déjà fait, et je viens de faire un peu… |
| |
J'ai ajouté une petite amélioration ici. J'ai simplement ajouté une colonne indiquant s'il s'agit d'un effet principal ou autre, et c'est ainsi que j'ai créé |
| |
Cette visualisation. Ce que vous observez est la proportion de fois où chacun de ces effets est non nul, c'est-à-dire la proportion de fois où chacun de ces effets est présent dans notre modèle sur l'ensemble de ces |
| |
Nous avons effectué 250 simulations pour resimuler la pondération fractionnaire. C'est ce que nous utilisons pour identifier |
| |
Les effets actifs, et c'est… et le travail est remarquable. Il a réussi à faire ce que nos méthodes standard ne permettraient pas. Il a identifié 13 effets actifs sur 13 essais. |
| |
conception de criblage définitive. |
| |
Et maintenant, que voulez-vous faire ensuite ? Nous pourrions ajuster ce modèle avec tous ces effets, et j'y suis parvenu. Je compare le modèle que j'ai ajusté ici. |
| |
par rapport à la réponse simulée réelle, et vous pouvez constater leur étroite correspondance. J'ai donc pu construire un modèle avec tous ces effets principaux, toutes ces équations du second degré et l'ordonnée à l'origine. |
| |
J'ai donc ici un modèle à 13 paramètres que j'ai pu adapter à cette conception d'écran définitive à 13 exécutions, ce qui est encore une fois tout simplement remarquable. |
| |
Et je ne vais pas détailler comment j'en suis arrivé là. Je vais maintenant laisser la parole à Pete. Il va approfondir cette idée de modèles d'ensemble auto-validés. |
| Pierre Hersh |
Absolument. Merci, Phil. Voyons voir. Je vais partager mon écran et nous allons jeter un œil à ce projet. Alors |
| |
vous pouvez voir ici |
| |
dans le même |
| |
comme Phil, nous regardons un projet ici et j'ai |
| |
J'ai commencé avec ces six courses sursaturées DOE, et ici vous pouvez voir, j'ai trois facteurs, |
| |
quel est mon taux de croissance réel du modèle sous-jacent et ensuite quel était le taux de croissance... le taux de croissance simulé et ensuite comme Phil l'a mentionné, |
| |
Je crée cette colonne de validation automatique, qui peut être réalisée avec un module complémentaire dans JMP 15 développé par Mike Anderson. Dans JMP 16, elle est intégrée directement au logiciel et accessible via la colonne « Créer une validation » de la plateforme de modélisation prédictive. |
| |
Comme Phil l'a montré, il a donné un excellent exemple de la façon d'identifier les facteurs actifs, grâce à un criblage factoriel. C'est souvent notre objectif principal avec le DOE, mais si nous voulons aller plus loin et construire un modèle à partir de cela, |
| |
On suivrait le même processus. On construit notre plan d'expérience, on y ajoute une validation automatique, et on construit notre modèle, comme Phil l'a montré, en utilisant la régression généralisée et l'une des méthodes suivantes : |
| |
Techniques de sélection de variables. Phil Ramsey et Chris Gotwalt ont étudié plusieurs de ces techniques, et elles semblent toutes fonctionner assez bien. Ainsi, que vous utilisiez un lasso ou même une sélection en deux étapes, elles semblent toutes produire des résultats similaires. |
| |
Cela fonctionne plutôt bien. Une fois configuré et lancé, vous obtenez un modèle, comme celui présenté par Phil, et vous savez que certains de ces modèles auront |
