Conférencier
|
Transcription
|
| Phil Kay |
D'accord, nous allons donc parler de repenser la conception et l'analyse des expériences. Je suis Phil Kay. Je suis responsable de l'apprentissage au sein de l'équipe d'habilitation technique mondiale et je suis accompagné de Pete Hersh. |
| Pierre Hersh |
Oui, je suis également membre de l'équipe d'habilitation technique mondiale, et je suis ravi de parler du DOE et de certaines des nouvelles techniques que nous... nous explorons aujourd'hui. |
| Phil Kay |
Donc, la première chose à dire, c'est que nous sommes de grands fans de DOE. C'est génial. Il a eu une valeur énorme en science et en ingénierie pendant très longtemps. |
| |
Et cela dit, il y a certaines hypothèses avec lesquelles nous devons être d'accord pour utiliser le DOE beaucoup de temps. |
| |
Et ils ne se sentent pas toujours très à l'aise, en tant que scientifique ou ingénieur. Donc, des choses comme la parcimonie des effets, donc l'idée que tout ce que vous regardez ne s'est pas avéré important |
| |
et en fait, seules quelques-unes des choses que vous expérimentez réellement s'avèrent importantes. Ou effet l'hérédité est une autre hypothèse. |
| |
Cela signifie donc que nous ne nous attendons à voir des comportements complexes ou des effets d'ordre supérieur que pour des facteurs actifs dans leurs formes les plus simples. |
| |
Et, et juste cette idée d'effets actifs et inactifs, si souvent, le processus séquentiel de conception d'expériences consiste à filtrer les effets actifs des effets inactifs. |
| |
Et cela ressemble parfois à une décision trop binaire. Cela semble un peu fou, je pense, beaucoup de temps, cette idée que certaines des choses que nous expérimentons sur un complètement inactif, |
| |
quand vraiment, je pense que nous, nous savons que vraiment tout va avoir un effet. C'est peut-être moins important mais |
| |
ça va encore avoir un effet. Et ce sont en grande partie des hypothèses que nous utilisons pour |
| |
contourner certains des défis de la conception d'expériences lorsque vous ne pouvez pas vous permettre de faire un grand nombre d'exécutions et oui. Pete, je ne sais pas si vous voulez commenter cela de votre point de vue également. |
| Pierre Hersh |
Ouais je suis complètement d'accord. Je pense que penser à quelque chose comme la température étant inactif est... Je pense qu'il est difficile d'imaginer que la température n'a aucun effet sur une expérience. |
| Phil Kay |
Oui, c'est un peu absurde, n'est-ce pas ? Donc, |
| |
ouais, si c'est dans votre expérience, alors ça va toujours être actif d'une manière ou d'une autre, mais peut-être pas aussi important que d'autres choses. |
| |
Je vais donc passer directement aux résultats de |
| |
de ce que nous avons examiné. Nous avons donc examiné cette technique d'auto-validation que Chris Gotwalt et Phil Ramsey ont essentiellement inventée |
| |
et l'utiliser dans l'analyse d'expériences conçues, et cela a vraiment fourni des résultats qui sont tout simplement fous. Nous ne pensions tout simplement pas que c'était possible. |
| |
Donc, tout d'abord, j'ai regardé un système avec 13 effets actifs et j'ai analysé un plan de dépistage définitif à 13 cycles et à partir de là, j'ai pu identifier que 13 effets étaient actifs, ce qui est... c'est ce que nous appelons une situation saturée. Nous ne voudrions pas... |
| |
généralement, nous avons parlé de conceptions de dépistage définitives comme étant efficaces pour identifier les effets actifs lorsque nous avons une rareté des effets, lorsqu'il n'y a qu'un petit nombre d'effets qui sont réellement importants ou actifs. Mais dans ce cas, j'ai réussi à identifier tous les 13 effets actifs. |
| |
Et non seulement cela, a été en mesure de construire un modèle avec tous ces 13 effets actifs à partir de cette conception de dépistage définitive de 13 essais. |
| |
Donc, encore une fois, c'est un peu incroyable; nous ne nous attendons pas à pouvoir avoir un modèle avec autant d'effets actifs que nous avons de lignes de données à partir desquelles nous le construisons. |
| |
Et Pete, vous avez regardé d'autres choses et obtenu d'autres résultats vraiment intéressants. |
| Pierre Hersh |
Ouais, absolument, et les résultats de Phil sont très, très impressionnants. Je pense |
| |
la prochaine étape que nous avons essayée était de créer un design super saturé, qui contient plus d'effets actifs que de pistes et nous avons essayé cela avec |
| |
très petits DOE. Donc, un DOE à six cycles avec sept effets actifs, ce que si nous faisions dans les techniques DOE standard, il n'y aurait aucun moyen d'analyser |
| |
cela correctement. Et nous avons cherché à comparer cela à huit et 10 DOE et combien cela nous a coûté. Nous avons donc obtenu des modèles assez utiles, même à partir d'un DOE à six cycles, qui était |
| |
mieux que ce à quoi je m'attendais. |
| Phil Kay |
Oui, c'est mieux que ce à quoi vous êtes en droit de vous attendre, n'est-ce pas ? |
| |
Et nous avons donc ces résultats vraiment impressionnants et la capacité d'identifier un grand nombre d'effets actifs à partir d'un petit |
| |
conception d'écran définitive et réellement construire ce modèle avec tous ces effets actifs. Et dans le cas de Pete, j'ai pu construire un modèle avec sept effets actifs à partir de très petits |
| |
Conception d'expériences. |
| |
Alors, comment avons-nous fait cela? Comment fonctionne la méthodologie d'auto-validation ? Eh bien, cela prend des idées de l'apprentissage automatique, et l'un des outils vraiment utiles de l'apprentissage automatique est la validation. La validation d'exclusion est donc un très bon moyen de s'assurer que vous construisez |
| |
le modèle le plus utile. C'est donc un modèle robuste. Nous conservons donc une partie des données, nous les utilisons pour tester différents modèles que nous construisons, et |
| |
fondamentalement, le modèle qui fait la meilleure prédiction de ces données que nous avons eu est le modèle avec lequel nous allons, et c'est juste vraiment essayé et testé. |
| |
C'est en fait à peu près l'étalon-or pour la construction des modèles les plus utiles, mais avec DOE, c'est un plus grand défi, n'est-ce pas, Pete ? Cela ne s'y prête évidemment pas vraiment. |
| Pierre Hersh |
Ouais, ouais, l'idée derrière DOE est d'explorer l'espace de conception aussi efficacement que possible. Et si nous commençons à tenir des courses ou à tenir |
| |
analyse des exécutions, alors nous allons manquer une partie de cet espace de conception et |
| |
nous ne pouvons vraiment pas faire cela avec beaucoup de ces techniques du DOE comme les conceptions de dépistage définitives. |
| Phil Kay |
D'accord, d'accord, donc ce serait bien s'il y avait une astuce pour que nous puissions profiter des avantages de cette validation d'exclusion et ne pas souffrir de la rétention de données critiques. Cela nous amène donc à cette validation automatique |
| |
idée, et, Pete, voulez-vous décrire un peu comment cela fonctionne ? |
| Pierre Hersh |
Absolument, donc c'était une idée vraiment intelligente développée par Chris et Phil Ramsey, et ils prennent essentiellement nos données originales d'un DOE et ils les rééchantillonnent, donc vous |
| |
répéter les résultats. Donc, si vous remarquez que le tableau ici au bas de la diapositive, les passages en gris sont les mêmes résultats que les passages en blanc. Ils sont juste répétés. |
| |
Et la façon dont ils s'en sortent est de créer cette colonne de pondération qui est jumelée. Donc en gros, si on a un poids élevé, le |
| |
la série répétée de cela a un faible taux... poids et ainsi de suite. Et c'est... c'est... nous permet d'utiliser les données avec cette validation et la pondération et nous allons entrer un peu plus en détail sur la façon dont cela se fait. |
| Phil Kay |
Ouais, vous verrez en quelque sorte comment ça se passe quand nous passerons par les démos. Nous avons donc essentiellement deux études de cas d'exemples simulés que nous utilisons pour illustrer cette méthodologie. Donc, cette première étude de cas dont je vais vous parler, |
| |
Je souligne que c'est un exemple simulé. Et à certains égards, c'est une sorte d'exemple irréaliste, mais je pense qu'il fait un très bon travail pour démontrer la puissance de cette méthodologie. |
| |
Nous avons six facteurs et pour le rendre un peu plus réel, nous avons choisi quelques facteurs réels à partir d'une étude de cas ici où ils essayaient de faire pousser un organisme biologique et d'optimiser les nutriments qu'ils alimentent dans le système pour optimiser le taux de croissance. |
| |
Nous avons donc ces six nutriments différents et ce sont nos facteurs. Nous pouvons en ajouter différentes quantités, j'ai donc conçu un plan de dépistage définitif à 13 cycles pour explorer ces facteurs avec cette réponse au taux de croissance. |
| |
Et les données de réponse ont été complètement simulées par moi, et elles ont été simulées de telle sorte qu'il y avait 13 effets fortement actifs. Donc |
| |
Je l'ai simulé pour que tous les effets principaux, les six effets principaux, soient actifs. |
| |
Et puis, pour chacun de ces facteurs, les effets quadratiques sont également actifs, nous avons donc six effets quadratiques. |
| |
De plus, nous avons une interception que nous devons toujours estimer, donc il y a 13 effets au total qui sont actifs, qui sont importants pour comprendre le système. |
| |
1 signal sur bruit, mais cela reste un véritable défi avec une méthodologie standard afin de modéliser cela, et nous y reviendrons dans la démo. |
| |
Donc, vraiment, la question est de savoir si nous pouvons identifier tous ces effets importants et, si nous le pouvons, pouvons-nous également construire un modèle avec tous ces effets importants ? Parce que comme je l'ai dit, ce serait vraiment tout à fait remarquable |
| |
par rapport à ce que nous pouvons faire avec la méthodologie standard. |
| |
Et puis l'étude de cas #2, Pete ? |
| Pierre Hersh |
Ouais, absolument. Très, très similaire à l'étude de cas de Phil. Même idée avec nous alimentons différents nutriments à différents niveaux à un organisme et vérifions son taux de croissance. Dans ce cas, j'ai simplifié ce que Phil avait fait et je l'ai décomposé en trois facteurs nutritifs seulement. Et c'est |
| |
construire un type de conception différent, donc une conception sursaturée I-optimale où nous examinons une surface de réponse complète |
| |
de manière sursaturée et nous avons regardé six, huit et 10 run |
| |
conceptions. Et donc même même idée. |
| |
Le le |
| |
les effets étaient très, très |
| |
rapport signal sur bruit élevé, donc je voulais vraiment pouvoir sélectionner ces effets s'ils étaient actifs. Et tout comme Phil, j'ai gardé actifs les principaux effets dans les quadratiques, ainsi que l'interception et nous essayons de les sélectionner. |
| |
Et même idée, combien d'exécutions aurions-nous besoin pour voir ces effets actifs et quelle précision d'un modèle pouvons-nous faire à partir de ces très petites conceptions ? |
| Phil Kay |
Ouais parce que vous savez, comme je l'ai dit, vous n'avez vraiment pas le droit de vous attendre à pouvoir construire un bon modèle à partir d'un si petit design. |
| Pierre Hersh |
Oui exactement. D'accord. |
| Phil Kay |
Je vais donc passer maintenant à une démonstration de l'étude de cas #1. |
| |
Et je présente cela dans le cadre d'un projet JMP, c'est donc une très belle façon de présenter vos résultats. Je recommanderais d'essayer ceci. |
| |
Et c'est notre |
| |
conception, il s'agit donc de notre conception de dépistage définitif à 13 essais, où nous faisons varier ces facteurs nutritifs, et nous avons la réponse simulée du taux de croissance. Comme je l'ai dit, cela a été simulé de telle sorte que |
| |
les effets principaux, les quadratiques de tous ces facteurs sont fortement actifs, et nous devons estimer cette interception. |
| |
Maintenant, avec une conception de dépistage définitif, je vous recommande généralement d'utiliser le dépistage définitif adapté comme moyen de considérer les résultats comme l'une des analyses que vous pouvez faire. |
| |
Cela fonctionne très bien lorsque ce principe de parcimonie d'effet est vrai. Donc, tant que seuls quelques-uns des effets sont fortement actifs... sont actifs et que les autres sont sans importance, |
| |
alors il trouvera ces... les quelques effets importants et les séparera des effets sans importance. |
| |
Mais dans ce cas, je ne m'attendais pas à ce que cela fonctionne bien et cela ne fonctionne pas bien. Il n'identifie pas que les six facteurs sont actifs. En fait, il n'identifie qu'un seul des facteurs comme étant actif ici. |
| |
Ce n'est donc pas une grande surprise, c'est une situation trop difficile, trop exigeante pour ce type d'analyse. |
| |
Si d'une manière ou d'une autre nous savions que tous ces effets actifs sont actifs et que nous essayions d'ajuster un modèle avec les six effets principaux, les six quadratiques et l'interception, |
| |
alors c'est un modèle saturé. Nous avons autant de paramètres à estimer que nous avons de lignes de données, donc nous pouvons à peu près ajuster ce modèle, mais nous n'obtenons aucune statistique. |
| |
Et dans tous les cas, vous savez, mis à part le fait que j'ai simulé ces données, dans une situation réelle, nous ne saurions pas lesquelles sont actives, donc nous ne saurions même pas quel modèle adapter. |
| |
Maintenant, en utilisant la méthode d'auto-validation, j'ai pu identifier de manière très convaincante les effets actifs, et je vais expliquer comment nous avons procédé. |
| |
Et ce n'est qu'une visualisation de mes résultats ici. Vous n'avez pas nécessairement besoin de le visualiser de cette façon. C'est à des fins de présentation. |
| |
J'ai pu identifier que tout d'abord, l'interception était active. J'ai tous mes six effets principaux, |
| |
et mes effets quadratiques, puis mes interactions à deux facteurs, que j'ai simulées pour avoir un effet nul. Vous pouvez voir qu'ils sont bien en bas |
| |
contre les autres. Et il y a en fait un facteur nul ici que nous utilisons... donc un facteur fictif. Donc, rien de moins que le facteur nul que nous pouvons déclarer comme étant sans importance ou inactif, si vous le souhaitez. |
| |
Et ce que nous sommes en fait... la métrique que nous examinons ici est quelque chose appelé proportion non nulle et j'expliquerai ce que cela signifie, au fur et à mesure que nous avancerons. C'est le genre de métrique que nous utilisons ici pour identifier la force d'un effet, l'importance d'un effet. |
| |
Donc, un peu sur la façon dont j'ai vécu cela. J'ai donc pris ma conception de dépistage définitive originale de 13 passages, puis je l'ai configurée pour la validation automatique. Nous avons donc maintenant 26 lignes que nous avons dupliquées. |
| |
Et il y a un complément pour faire ça, un de nos collègues, Mike Anderson. créé un complément que vous pouvez utiliser pour cela dans JMP 15. |
| |
Dans JMP 16, ils ajoutent en fait la capacité des outils de modélisation prédictive dans la plate-forme de colonne de validation. |
| |
Et ce que cela fait, nous obtenons cet ensemble de données en double, puis nous obtenons cette pondération et comme Pete l'a dit, nous avons... chaque ligne est dans l'ensemble d'apprentissage et dans l'ensemble de validation. |
| |
Dans l'ensemble d'apprentissage, s'il a une pondération faible, il aura une pondération élevée dans la validation. Donc, s'il a une pondération élevée dans l'ensemble d'apprentissage, il aura une faible pondération dans l'ensemble de validation. |
| |
Et ce que nous faisons en réalité, c'est que nous lisons... ceux-ci ont essentiellement été attribués au hasard. |
| |
Nous les avons réaffectés et nous avons pu en quelque sorte répéter cela des centaines de fois, en ajustant les modèles à chaque fois, puis en examinant l'agrégat... les résultats agrégés sur de nombreuses simulations. Alors que feriez-vous |
| |
est d'adapter le modèle et j'utilise GenReg ici dans JMP Pro. |
| |
Et vous aurez de toute façon besoin de JMP Pro, car vous devez être en mesure de spécifier ce rôle de validation, nous avons donc mis... la colonne de validation du train passe en validation. |
| |
Et la pondération va dans la fréquence, puis nous configurons tout le reste comme nous le ferions normalement avec notre réponse. Et puis j'ai un modèle, qui est le modèle de surface de réponse ici avec tous ces effets, puis je clique sur exécuter. |
| |
Et cela conviendra à un modèle, et nous pouvons utiliser la sélection avant ou le Lasso. Ici, j'ai utilisé le Lasso. |
| |
Ce n'est pas très important dans ce cas. |
| |
Et ce qui s'est réellement passé, c'est que nous avons identifié uniquement l'interception comme étant importante dans ce cas, donc nous n'avons en fait que l'interception dans le modèle. |
| |
Mais si nous changeons la pondération, si nous revenons à notre tableau de données pour resimuler ces pondérations, nous obtiendrons probablement un résultat différent du modèle. |
| |
Nous pondérons différentes lignes de données, différentes exécutions de l'expérience, ce qui modifie le modèle qui convient. Nous allons donc le faire des centaines de fois, et ce que je vais faire, c'est utiliser la fonction de simulation dans JMP Pro. |
| |
Et ce que nous faisons, c'est que nous changeons la colonne de pondération et passons dans une version recalculée de la colonne de pondération. Et vous pouvez le faire plusieurs centaines de fois. En fait, je l'ai fait 250 fois dans ce cas. Je ne vais pas laisser passer cela, car cela prendra une minute ou deux. |
| |
Une fois que vous avez fait cela, vous obtiendrez un tableau qui ressemble à ceci. |
| |
Alors maintenant, j'ai l'estimation des paramètres pour chacun de ces 250 modèles pour chacun de ces effets. Donc |
| |
dans mon premier modèle dans cette course que j'ai faite, c'était l'estimation du paramètre pour cet effet principal de l'acide citrique. Dans le modèle suivant, lorsque nous avons rééchantillonné la pondération, |
| |
L'effet principal de l'acide citrique n'est pas entré dans le modèle, il était donc nul dans ce cas. |
| |
Et vous pouvez en fait exécuter des distributions sur toutes ces estimations de paramètres. Et l'une des choses que vous pouvez faire est de |
| |
personnalisez ces statistiques, les statistiques récapitulatives, pour examiner la proportion non nulle. Donc vous pouvez voir l'interception ici, |
| |
les estimations que nous avons eues de l'interception. Vous pouvez voir avec l'acide citrique, la plupart du temps, il a été estimé à zéro, donc les modèles étaient, |
| |
L'effet principal de l'acide citrique n'était pas dans le modèle, et la plupart du temps, il a été estimé à environ 3, ce que j'avais simulé. |
| |
Donc, ce que nous examinons, c'est la proportion de fois où il est non nul et nous pouvons en faire un tableau de données combiné. Et j'ai déjà fait ça, et j'ai juste fait un peu de... |
| |
un peu d'augmentation supplémentaire ici. Je viens d'ajouter une colonne indiquant s'il s'agit d'un effet principal ou autre, et c'est ainsi que j'ai créé |
| |
cette visualisation ici. Donc, ce que vous regardez, c'est la proportion de fois où chacun de ces effets est non nul, donc la proportion de fois où chacun des effets est dans notre modèle sur tous ceux |
| |
250 simulations que nous avons faites, où nous avons resimulé la pondération fractionnaire. Et c'est ce que nous utilisons pour identifier |
| |
les effets actifs, et c'est... et ça fait un travail remarquable. Il a été capable de faire ce que nos méthodes standard ne pourraient pas faire. Il a identifié 13 effets actifs à partir d'une course de 13 |
| |
conception de criblage définitive. |
| |
Maintenant, que voudriez-vous faire ensuite ? Nous voulons peut-être adapter ce modèle avec tous ces effets et j'ai pu le faire. Et je compare le modèle que j'ai monté ici |
| |
par rapport à la vraie réponse simulée, et vous pouvez voir à quel point ils correspondent. J'ai donc pu construire un modèle avec tous ces effets principaux, tous ces quadratiques et l'interception. |
| |
J'ai donc ici un modèle à 13 paramètres que j'ai pu adapter à cette conception d'écran définitive à 13 passages, ce qui est encore une fois tout simplement remarquable. |
| |
Et je ne vais pas expliquer exactement comment j'en suis arrivé à cette partie. Je vais céder la parole à Pete maintenant. Il va parler un peu plus de cette idée de modèles d'ensemble auto-validés. |
| Pierre Hersh |
Absolument. Merci Phil. Voyons. Je vais partager mon écran ici et nous allons juste jeter un œil à ce projet. Donc |
| |
vous pouvez voir ici |
| |
dans le même |
| |
flux comme Phil, nous examinons un projet ici et j'ai |
| |
commencé avec ce DOE sursaturé de six exécutions, et ici vous pouvez voir, j'ai trois facteurs, |
| |
quel est mon taux de croissance réel du modèle sous-jacent, puis quel est le taux de croissance ... le taux de croissance simulé, puis comme Phil l'a mentionné, |
| |
Je crée cette colonne de validation automatique, ce qui peut être fait avec un complément dans JMP 15 que Mike Anderson a développé. Ou dans JMP 16, c'est intégré directement dans le logiciel et vous pouvez y accéder sous la plate-forme de modélisation prédictive d'analyse make colonne de validation. |
| |
Donc, tout comme Phil l'a montré, il a montré un excellent exemple de la façon dont nous pouvons trouver quels facteurs sont actifs, donc un dépistage des facteurs. Et c'est souvent notre objectif principal avec DOE, mais si nous voulons aller plus loin et construire un modèle à partir de cela, |
| |
nous passerions par ce même processus, à droite. Nous construisons donc notre DOE, nous obtenons une validation automatique ajoutée à ce DOE, nous construisons notre modèle, tout comme Phil l'a montré, en utilisant la régression généralisée et l'un des |
| |
techniques de sélection variable. Ainsi, Phil Ramsey et Chris Gotwalt ont examiné bon nombre de ces différentes techniques et elles semblent toutes fonctionner assez bien. Donc, que vous utilisiez un lasso ou même une sélection en avant à deux étapes, ils semblent tous avoir des résultats similaires et |
| |
fonctionnent assez bien. Donc, une fois que vous l'avez configuré et lancé, vous obtenez un modèle, comme celui que Phil avait montré, et vous savez que certains de ces modèles auront |
