Conférencier
|
Transcription
|
| Phil Kay |
D'accord, nous allons donc parler de repenser la conception et l'analyse des expériences. Je suis Phil Kay. Je suis le responsable de l'apprentissage au sein de l'équipe d'habilitation technique mondiale et je suis rejoint par Pete Hersh. |
| Peter Hersh |
Oui, je suis également membre de l'équipe d'assistance technique mondiale, et je suis ravi de parler de DOE et de certaines des nouvelles techniques que nous ... nous explorons aujourd'hui. |
| Phil Kay |
Donc, la première chose à dire, c'est que nous sommes de grands fans de DOE. C'est génial. Il a eu une valeur énorme en science et en ingénierie pendant très longtemps. |
| |
Et cela dit, il y a certaines hypothèses avec lesquelles nous devons être d'accord pour utiliser le DOE beaucoup de temps. |
| |
Et ils ne se sentent pas toujours très à l'aise, en tant que scientifique ou ingénieur. Donc, des choses comme la rareté des effets, donc l'idée que tout ce que vous regardez ne s'est pas avéré important |
| |
et en fait, seules quelques-unes des choses que vous expérimentez réellement s'avèrent importantes. Ou l'hérédité d'effet est une autre hypothèse. |
| |
Cela signifie donc que nous ne nous attendons à voir que des comportements complexes ou des effets d'ordre supérieur pour les facteurs qui sont actifs dans leurs formes les plus simples. |
| |
Et, et juste cette idée d'effets actifs et inactifs, si communément, le processus séquentiel de conception des expériences consiste à éliminer les effets actifs des effets inactifs. |
| |
Et cela ressemble parfois à une trop grande décision binaire. Cela semble un peu fou, je pense, beaucoup de temps, cette idée que certaines des choses que nous expérimentons sur un complètement inactif, |
| |
quand vraiment, je pense que nous, nous savons que vraiment tout va avoir un effet. C'est peut-être moins important mais |
| |
ça va encore avoir un certain effet. Et ce sont en grande partie des hypothèses que nous utilisons pour |
| |
contourner certains des défis de la conception d'expériences lorsque vous ne pouvez pas vous permettre de faire un grand nombre de courses et oui. Pete, je ne sais pas si vous voulez aussi commenter cela de votre point de vue. |
| Peter Hersh |
Ouais je suis complètement d'accord. Je pense que penser à quelque chose comme la température inactive est ... Je pense qu'il est difficile d'imaginer que la température n'a aucun effet sur une expérience. |
| Phil Kay |
Ouais, c'est un peu absurde, n'est-ce pas? Alors, |
| |
oui, si c'est dans votre expérience, alors ça va toujours être actif d'une certaine manière, mais peut-être pas aussi important que d'autres choses. |
| |
Je vais donc passer directement aux résultats de |
| |
de ce que nous avons examiné. Nous avons donc examiné cette technique d'auto-validation que Chris Gotwalt et Phil Ramsey ont essentiellement inventée |
| |
et en utilisant cela dans l'analyse des expériences conçues, et cela a vraiment fourni des résultats qui sont tout simplement fous. Nous ne pensions tout simplement pas que c'était possible. |
| |
Donc, tout d'abord, j'ai regardé un système avec 13 effets actifs et analysé un design de criblage définitif de 13 cycles et à partir de là j'ai pu identifier que 13 effets étaient actifs, ce qui est ... c'est ce que nous appelons une situation saturée. Nous ne le ferions pas ... |
| |
communément, nous avons parlé de modèles de criblage définitifs comme étant efficaces pour identifier les effets actifs lorsque nous avons des effets rares, lorsqu'il n'y a qu'un petit nombre d'effets réellement importants ou actifs. Mais dans ce cas, j'ai réussi à identifier les 13 effets actifs. |
| |
Et non seulement cela, a été en mesure de construire un modèle avec tous ces 13 effets actifs de cette conception de criblage définitive à 13 exécutions. |
| |
Donc, encore une fois, c'est assez incroyable; nous ne nous attendons pas à pouvoir avoir un modèle avec autant d'effets actifs que nous avons de lignes de données à partir desquelles nous le construisons. |
| |
Et Pete, vous avez regardé d'autres choses et obtenu d'autres résultats vraiment intéressants. |
| Peter Hersh |
Oui, absolument, et les résultats de Phil sont très, très impressionnants. je pense |
| |
la prochaine étape que nous avons essayée était de créer un design super saturé, qui est plus d'effets actifs que de courses et nous l'avons essayé avec |
| |
très petits DOE. Donc, un DOE à six essais avec sept effets actifs, qui si nous le faisions dans les techniques standard du DOE, il n'y aurait aucun moyen d'analyser |
| |
cela correctement. Et nous avons comparé cela à huit et dix DOE et à combien cela nous a achetés. Nous avons donc obtenu des modèles assez utiles, même d'un DOE à six séries, qui était |
| |
mieux que ce à quoi je m'attendais. |
| Phil Kay |
Ouais, c'est mieux que ce à quoi tu as vraiment le droit de t'attendre, n'est-ce pas? |
| |
Et nous avons donc ces résultats vraiment impressionnants et la capacité d'identifier un grand nombre d'effets actifs à partir d'un petit |
| |
conception d'écran définitive et construisez réellement ce modèle avec tous ces effets actifs. Et dans le cas de Pete, j'ai pu construire un modèle avec sept effets actifs à partir de très petits |
| |
Concevoir des expériences. |
| |
Alors, comment avons-nous fait cela? Comment fonctionne la méthodologie d'auto-validation? Eh bien, cela prend des idées de l'apprentissage automatique, et l'un des outils vraiment utiles de l'apprentissage automatique est la validation. Donc, la validation en attente est un très bon moyen de vous assurer que vous, vous construisez |
| |
le modèle le plus utile. C'est donc un modèle robuste. Nous conservons donc une partie des données, nous l'utilisons pour tester différents modèles que nous construisons, et |
| |
Fondamentalement, le modèle qui fait la meilleure prédiction de ces données que nous avons présenté est le modèle avec lequel nous allons, et c'est juste vraiment essayé et testé. |
| |
C'est en fait à peu près la norme d'or pour la construction des modèles les plus utiles, mais avec DOE, c'est un plus grand défi, n'est-ce pas, Pete? Cela ne se prête pas vraiment à cela. |
| Peter Hersh |
Ouais, ouais, l'idée derrière DOE est d'explorer l'espace de conception aussi efficacement que possible. Et si nous commençons à tenir des courses ou à tenir |
| |
analyse des courses, alors nous allons manquer une partie de cet espace de conception et |
| |
nous ne pouvons vraiment pas faire cela avec beaucoup de ces techniques DOE comme les conceptions de criblage définitives. |
| Phil Kay |
Bien, bien, alors ce serait bien s'il y avait une astuce pour que nous puissions tirer parti de cette validation d'exclusion et ne pas souffrir de la conservation de données critiques. Alors cela nous amène à cette auto-validation |
| |
idée, et, Pete, voulez-vous décrire un peu comment cela fonctionne? |
| Peter Hersh |
Absolument, c'était donc une véritable idée intelligente développée par Chris et Phil Ramsey, et ils prennent essentiellement nos données d'origine d'un DOE et les rééchantillonnent, donc vous |
| |
répétez les résultats. Donc, si vous remarquez que le tableau ici en bas de la diapositive, les pistes en gris sont les mêmes résultats que les pistes en blanc. Ils sont juste répétés. |
| |
Et la façon dont ils s'en sortent est de créer cette colonne de pondération qui est jumelée. Donc, fondamentalement, si l'on a un poids élevé, le |
| |
la course répétée de cela a un faible taux ... poids et ainsi de suite. Et c'est ... c'est ... nous permet d'utiliser les données avec cette validation et la pondération et nous entrerons un peu plus en détail sur la façon dont cela est fait. |
| Phil Kay |
Ouais, tu verras comment ça se passe quand on passe par les démos. Nous avons donc essentiellement deux études de cas d'exemples simulés que nous utilisons pour illustrer cette méthodologie. Alors cette première étude de cas dont je vais parler, |
| |
Je souligne que c'est un exemple simulé. Et à certains égards, c'est un exemple peu réaliste, mais je pense que cela fait un très bon travail de démonstration de la puissance de cette méthodologie. |
| |
Nous avons six facteurs et pour que cela semble un peu plus réel, nous avons choisi quelques facteurs réels à partir d'une étude de cas ici où ils essayaient de cultiver un organisme biologique et d'optimiser les nutriments qu'ils nourrissent dans le système pour optimiser le taux de croissance. |
| |
Nous avons donc ces six nutriments différents et ce sont nos facteurs. Nous pouvons ajouter différentes quantités de ceux-ci, j'ai donc conçu un plan de dépistage définitif à 13 essais pour explorer ces facteurs avec cette réponse du taux de croissance. |
| |
Et les données de réponse ont été complètement simulées par moi, et elles ont été simulées de telle sorte qu'il y avait 13 effets fortement actifs. Alors |
| |
Je l'ai simulé pour que tous les effets principaux, tous les six effets principaux, soient actifs. |
| |
Et puis, pour chacun de ces facteurs, les effets quadratiques sont également actifs, nous avons donc six effets quadratiques. |
| |
De plus, nous avons une interception que nous devons toujours estimer, il y a donc 13 effets au total qui sont actifs, qui sont importants pour comprendre le système. |
| |
1 signal sur bruit, mais c'est toujours un vrai défi avec la méthodologie standard afin de modéliser cela, et nous y reviendrons dans la démo. |
| |
Donc, vraiment, la question est de savoir si nous pouvons identifier tous ces effets importants et, si nous le pouvons, pouvons-nous construire un modèle avec tous ces effets importants également? Parce que comme je l'ai dit, ce serait vraiment assez remarquable |
| |
par rapport à ce que nous pouvons faire avec une méthodologie standard. |
| |
Et puis l'étude de cas n ° 2, Pete? |
| Peter Hersh |
Ouais, absolument. Très, très similaire à l'étude de cas de Phil. Même idée, nous donnons différents nutriments à différents niveaux à un organisme et vérifions son taux de croissance. Dans ce cas, j'ai simplifié ce que Phil avait fait et je l'ai divisé en seulement trois facteurs nutritifs. Et c'est |
| |
construire un type de conception différent, donc une conception sursaturée I-optimale où nous examinons une surface de réponse complète |
| |
d'une manière sursaturée et nous avons regardé six, huit et 10 run |
| |
dessins. Et donc la même idée. |
| |
Le le |
| |
les effets étaient très, très |
| |
rapport signal / bruit élevé, je voulais donc vraiment pouvoir détecter ces effets s'ils étaient actifs. Et tout comme celui de Phil, j'ai gardé les effets principaux des quadratiques actifs, ainsi que l'interception et nous essayons de les sélectionner. |
| |
Et la même idée, alors combien d'exécutions aurions-nous besoin pour voir ces effets actifs et quelle précision d'un modèle pouvons-nous faire à partir de ces très petits dessins? |
| Phil Kay |
Ouais parce que vous savez, comme je l'ai dit, vous n'avez vraiment pas le droit de vous attendre à pouvoir construire un bon modèle à partir d'un si petit design. |
| Peter Hersh |
Oui exactement. D'accord. |
| Phil Kay |
Je vais donc maintenant faire une démonstration de l'étude de cas n ° 1. |
| |
Et je présente cela à travers un projet JMP, c'est donc une très belle façon de présenter vos résultats. Je recommanderais d'essayer ceci. |
| |
Et c'est notre |
| |
conception, il s'agit donc de notre conception de criblage définitif en 13 exécutions, dans laquelle nous faisons varier ces facteurs nutritifs, et nous avons la réponse du taux de croissance simulé. Comme je l'ai dit, cela a été simulé de telle sorte que |
| |
les effets principaux, les quadratiques de tous ces facteurs sont fortement actifs, et nous devons estimer cette intersection. |
| |
Maintenant, avec une conception de criblage définitive, je vous recommande généralement d'utiliser le criblage définitif d'ajustement comme moyen de regarder les résultats comme l'une des analyses que vous pouvez faire. |
| |
Cela fonctionne vraiment bien lorsque ce principe de parcimonie d'effet est vrai. Donc, tant que seuls quelques-uns des effets sont fortement actifs ... sont actifs et les autres sont sans importance, |
| |
puis il trouvera ceux ... les quelques effets importants et les séparera des effets sans importance. |
| |
Mais dans ce cas, je ne m'attendais pas à ce que cela fonctionne bien et cela ne fonctionne pas bien. Il n'identifie pas que les six facteurs sont actifs. En fait, il identifie seulement l'un des facteurs comme étant actif ici. |
| |
Ce n'est donc pas une grande surprise, c'est une situation trop difficile, trop difficile pour ce type d'analyse. |
| |
Si d'une manière ou d'une autre nous savions que tous ces effets actifs sont actifs et que nous essayons d'ajuster un modèle avec les six effets principaux, tous les six quadratiques et l'interception, |
| |
alors c'est un modèle saturé. Nous avons autant de paramètres à estimer que de lignes de données, donc nous pouvons à peu près ajuster ce modèle, mais nous n'obtenons aucune statistique. |
| |
Et en tout cas, vous savez, mis à part le fait que j'ai simulé ces données, dans une situation réelle, nous ne saurions pas lesquels sont actifs, donc nous ne saurions même pas quel modèle adapter. |
| |
Maintenant, en utilisant la méthode d'auto-validation, j'ai pu identifier de manière très convaincante les effets actifs, et je vais expliquer comment nous avons fait cela. |
| |
Et ce n'est qu'une visualisation de mes résultats ici. Vous n'avez pas nécessairement besoin de le visualiser de cette manière. Ceci est à des fins de présentation. |
| |
J'ai pu identifier que tout d'abord, l'interception était active. J'ai tous mes six effets principaux, |
| |
et mes effets quadratiques, puis mes interactions à deux facteurs, que j'ai simulées pour avoir un effet nul. Vous pouvez voir qu'ils sont bien en bas |
| |
par rapport aux autres. Et il y a en fait un facteur nul ici que nous utilisons ... donc un facteur factice. Donc, rien de moins que le facteur nul que nous pouvons déclarer comme étant sans importance ou ou inactif, si vous le souhaitez. |
| |
Et ce que nous sommes en fait ... la métrique que nous examinons ici est quelque chose appelé proportion non nulle et je vais vous expliquer ce que cela signifie, au fur et à mesure que nous parcourons cela. C'est un peu la métrique que nous utilisons ici pour identifier la force d'un effet, l'importance d'un effet. |
| |
Donc, un peu sur la façon dont j'ai vécu cela. J'ai donc pris ma conception de criblage définitif d'origine en 13 exécutions, puis je l'ai configurée pour la validation automatique.Nous avons donc maintenant 26 lignes que nous avons dupliquées. |
| |
Et il y a un complément pour faire cela, l'un de nos collègues, Mike Anderson. créé un complément que vous pouvez utiliser pour ce faire dans JMP 15. |
| |
Dans JMP 16, ils ajoutent en fait la capacité des outils de modélisation prédictive de la plate-forme de colonne de validation. |
| |
Et ce que cela fait, nous obtenons cet ensemble en double de nos données, puis nous obtenons cette pondération et comme Pete l'a dit, nous avons ... chaque ligne est dans l'ensemble d'apprentissage et dans l'ensemble de validation. |
| |
Dans l'ensemble d'entraînement, s'il a une faible pondération, il aura une pondération élevée dans la validation. Donc, s'il a une pondération élevée dans l'ensemble d'entraînement, il aura une faible pondération dans l'ensemble de validation. |
| |
Et ce que nous faisons en fait, c'est que nous lisons ... ceux-ci ont été essentiellement attribués au hasard. |
| |
Nous les réaffectons et nous avons pu en quelque sorte itérer des centaines de fois, en ajustant les modèles à chaque fois, puis en examinant les résultats agrégés ... agrégés sur de nombreuses simulations. Alors qu'est-ce que tu ferais |
| |
est de s'adapter au modèle et j'utilise GenReg ici dans JMP Pro. |
| |
Et vous aurez de toute façon besoin de JMP Pro, car vous devez être en mesure de spécifier ce rôle de validation, nous mettons donc ... la colonne de validation du train entre en validation. |
| |
Et la pondération entre dans la fréquence et ensuite nous configurons tout le reste comme nous le ferions normalement avec notre réponse. Et puis j'ai un modèle, qui est le modèle de surface de réponse ici avec tous ces effets, puis je cliquais sur exécuter. |
| |
Et il s'adaptera à un modèle, et nous pouvons utiliser la sélection avant ou le lasso. Ici, j'ai utilisé le Lasso. |
| |
Ce n'est pas extrêmement important dans ce cas. |
| |
Et ce qui s'est réellement passé, c'est que nous n'avons identifié que l'interception comme étant importante dans ce cas, donc nous n'avons réellement l'interception que dans le modèle. |
| |
Mais si nous changeons la pondération, si nous retournons à notre tableau de données pour resimuler ces pondérations, nous obtiendrons probablement un résultat différent du modèle. |
| |
Nous pondérons différentes lignes de données, différentes exécutions dans l'expérience, qui modifient le modèle adapté. Nous allons donc faire cela des centaines de fois, et ce que je vais faire est en fait d'utiliser la fonction de simulation dans JMP Pro. |
| |
Et ce que nous faisons est de changer la colonne de pondération et de basculer dans une version recalculée de la colonne de pondération. Et vous pouvez le faire plusieurs centaines de fois. Je l'ai fait 250 fois dans ce cas. Je ne vais pas laisser cela fonctionner, car cela prendra une minute ou deux. |
| |
Une fois que vous avez fait cela, vous obtiendrez une table qui ressemble à ceci. |
| |
J'ai donc maintenant l'estimation des paramètres pour chacun de ces 250 modèles pour chacun de ces effets. Alors |
| |
dans mon premier modèle dans cette course que j'ai fait, c'était l'estimation du paramètre pour cet effet principal d'acide citrique. Dans le modèle suivant, lorsque nous avons rééchantillonné la pondération, |
| |
L'effet principal de l'acide citrique n'est pas entré dans le modèle, il était donc nul dans ce cas. |
| |
Et vous pouvez en fait exécuter des distributions sur toutes ces estimations de paramètres. Et l'une des choses que vous pouvez faire est de |
| |
personnaliser ces statistiques, les statistiques récapitulatives, pour regarder la proportion non nulle. Donc vous pouvez voir l'interception ici, |
| |
les estimations que nous avons eues de l'interception. Vous pouvez voir avec l'acide citrique, la plupart du temps, il a été estimé à zéro, donc les modèles étaient, |
| |
L'effet principal de l'acide citrique n'était pas dans le modèle, et la plupart du temps, il a été estimé à environ 3, ce que j'avais simulé. |
| |
Donc, ce que nous regardons, c'est la proportion de fois où elle est non nulle et nous pouvons faire un tableau de données combiné à partir de celles-ci. Et je l'ai déjà fait, et j'ai juste fait un peu de ... |
| |
un peu d'augmentation supplémentaire ici. Je viens d'ajouter une colonne pour savoir si c'est un effet principal ou autre, et c'est ainsi que j'ai créé |
| |
cette visualisation ici. Donc, ce que vous regardez, c'est la proportion de fois où chacun de ces effets est non nul, donc la proportion de fois où chacun des effets est dans notre modèle sur tous ces effets. |
| |
250 simulations que nous avons effectuées, où nous avons resimulé la pondération fractionnaire. Et c'est ce que nous utilisons pour identifier |
| |
les effets actifs, et c'est ... et ça a fait un travail remarquable. Il a pu faire ce que nos méthodes standard ne pourraient pas faire. Il a identifié 13 effets actifs d'une course de 13 |
| |
conception de criblage définitive. |
| |
Maintenant, que voudriez-vous faire ensuite? Nous voulons peut-être adapter ce modèle à tous ces effets et j'ai pu le faire. Et je compare le modèle que j'ai adapté ici |
| |
par rapport à la vraie réponse simulée, et vous pouvez voir à quel point ils correspondent. J'ai donc pu construire un modèle avec tous ces effets principaux, tous ces quadratiques et l'interception. |
| |
J'ai donc ici un modèle à 13 paramètres que j'ai pu adapter à cette conception d'écran définitive à 13 exécutions, ce qui est encore une fois tout simplement remarquable. |
| |
Et je ne vais pas expliquer exactement comment j'en suis arrivé à cette partie. Je vais maintenant céder la parole à Pete. Il va parler un peu plus de cette idée de modèles d'ensemble auto-validés. |
| Peter Hersh |
Absolument. Merci, Phil. Voyons voir. Je vais partager mon écran ici et nous allons juste jeter un œil à ce projet. Alors |
| |
tu peux voir ici |
| |
dans le même |
| |
flow en tant que Phil, nous examinons un projet ici et j'ai |
| |
commencé avec ces six courses DOE sursaturées, et ici vous pouvez voir, j'ai trois facteurs, |
| |
quel est mon taux de croissance actuel du modèle sous-jacent et ensuite quel est le taux de croissance ... le taux de croissance simulé et ensuite comme Phil l'a mentionné, |
| |
Je crée cette colonne d'auto-validation, ce qui peut être fait avec un complément dans JMP 15 que Mike Anderson a développé. Ou dans JMP 16, il est intégré directement au logiciel et vous pouvez y accéder sous la colonne de validation de la plate-forme de modélisation prédictive d'analyse. |
| |
Donc, tout comme Phil l'a montré, il a montré un excellent exemple de la façon dont nous pouvons trouver les facteurs actifs, donc un dépistage des facteurs. Et c'est souvent notre objectif principal avec DOE, mais si nous voulons aller plus loin et construire un modèle à partir de cela, |
| |
nous passerions par le même processus, n'est-ce pas. Nous construisons donc notre DOE, nous obtenons une auto-validation ajoutée à ce DOE, nous construisons notre modèle, tout comme Phil l'a montré, en utilisant une régression généralisée et l'un des |
| |
techniques de sélection variable. Phil Ramsey et Chris Gotwalt ont donc examiné plusieurs de ces différentes techniques et elles semblent toutes fonctionner assez bien. Donc, que vous utilisiez un lasso ou même une sélection avant en deux étapes, ils semblent tous avoir des résultats similaires et |
| |
fonctionnent assez bien. Donc, une fois que vous l'avez configuré et lancé, vous obtenez un modèle, comme Phil l'avait montré, et vous savez que certains de ces modèles auront |
