Conférencier
|
Transcription
|
| David.Wong-Pascua |
Bon alors. |
| |
Séquentiel et régulier remporte la course. Alors, bonjour à tous, je suis David et je suis un scientifique senior chez CatSci. Alors, qu'est-ce que CatSci? |
| |
CatSci est un partenaire d'innovation pour les processus chimiques de bout en bout, la recherche et le développement. Nous collaborons avec des organisations telles que JMP UK pour garantir que toutes nos décisions reposent sur des données. |
| |
Pour nous, il s'agit de bien faire les choses, du premier coup et de bien faire les choses, à chaque fois; formuler des solutions sur mesure parfaitement adaptées à chaque projet; et notre objectif absolu est de répondre aux attentes de nos clients. |
| |
Nous travaillons dans un certain nombre de domaines, y compris le développement à un stade précoce et avancé. Nous possédons une expertise en processus, une longue expérience de la catalyse, qui a toujours été au cœur de notre identité, et nous avons d'excellentes capacités en chimie analytique et en science des matériaux. |
| |
Ainsi, chez CatSci, l'un des défis auxquels nous sommes confrontés est la sélection de variables catégorielles en amont de l'optimisation des processus. |
| |
Cette difficulté est la plus importante dans notre travail de criblage de catalyseurs. |
| |
Dans les images sur la diapositive, nous pouvons voir certains des appareils et instruments sur lesquels nous nous appuyons pour effectuer le criblage de catalyseurs. |
| |
Sur la gauche, nous avons des kits de catalyse prédéfinis qui contiennent 24 combinaisons prédosées de précurseur de métal et de ligand. |
| |
Au centre se trouve un hydrogénateur qui abrite une plaque de 48 puits, visible à droite. |
| |
Cela permet à 48 expériences individuelles d'être menées simultanément. |
| |
Ces instruments sont conçus pour un débit élevé et à petite échelle, et il n'est pas rare d'exécuter 10 ou plus de ces plaques pour nos clients, ce qui représente près de 500 expériences. |
| |
Alors pourquoi avons-nous besoin de mener un nombre relativement important d'expériences et quels sont les avantages pour améliorer l'efficacité? |
| |
Donc, tout d'abord, l'espace chimique à explorer est extrêmement vaste. |
| |
Pour toute réaction, toute réaction chimique, de nombreux facteurs peuvent avoir un effet, tels que la température, la concentration et la stoechiométrie. |
| |
Cependant, ce qui rend l'exploration particulièrement difficile pour une réaction catalytique, c'est qu'il existe de nombreux facteurs catégoriques importants; ceux-ci comprennent un précurseur métallique, un ligand, un réactif, un solvant et un additif. |
| |
Une autre caractéristique des réactions catalytiques est qu'il y a fréquemment des interactions d'ordre élevé, donc cela signifie que, pour un système catalytique (une combinaison particulière de précurseur métallique et de ligand), |
| |
il doit y avoir des cribles de solvants et d'additifs étendus pour évaluer les performances. |
| |
Il n'est pas correct d'exclure de dire une certaine combinaison de précurseur méthal et de ligand juste avant ... simplement parce qu'elle fonctionne mal dans un certain solvant. Il se peut que vous n'ayez pas le bon solvant ou le bon additif pour cela. |
| |
Enfin, l'un des moyens les plus simples d'expliquer l'avantage d'une méthode de criblage plus efficace est de regarder le prix des matériaux. |
| |
Beaucoup de nos projets de catalyse impliquent des métaux précieux, tels que le platine, le palladium, le ruthénium, l'iridium et le rhodium. Certains de ces métaux sont parmi les éléments les plus rares de la croûte terrestre et cela se reflète dans leur prix. |
| |
Juste une recherche rapide sur Google de leurs prix, vous pouvez voir ici que le prix du rhodium est plus d'un ordre de grandeur plus cher que l'or. |
| |
Les ligands constituent une autre dépense importante du criblage de la catalyse. Bien qu'il existe des ligands bon marché, bon nombre des ligands les plus performants pour la synthèse asymétrique sont des ligands propriétaires, tels que Josiphos de Solvias, |
| |
et l'un des plus couramment disponibles et des moins chers, le J001, est toujours le double du prix de l'or. |
| |
Ainsi, réduire le nombre d'expériences peut donc diminuer le coût des consommables mais le plus gros impact est créé lorsque l'on trouve la solution optimale pour un client avec un procédé de fabrication multiton. |
| |
Dans ces cas, une réduction de dix fois de la charge du catalyseur ou la découverte d'un catalyseur alternatif moins cher, par exemple, l'échange d'un catalyseur au rhodium contre un catalyseur au ruthénium, peut économiser des millions de dollars par an. |
| |
Et maintenant, passons la parole à Ben, qui discutera de la manière dont l'équipe JMP UK a abordé ce problème. |
| Ben Francis |
Merci beaucoup, David. |
| |
Il est donc clair que |
| |
CatSci et de nombreuses autres entreprises similaires à CatSci sont confrontées à de grands défis avec de grands espaces de formulation, |
| |
qui peuvent avoir des interactions d'ordre très élevé. La science est donc très, très complexe et ce que nous faisons pour expérimenter pour démêler cette complexité est important. |
| |
Malheureusement, l'option de tester simplement chaque combinaison n'est pas vraiment raisonnable ou viable, en raison des coûts que David a décrits ici. |
| |
Et finalement, nous devons faire une certaine forme d'approche, qui implique la science des données pour comprendre les relations numériquement. |
| |
Donc, pour procéder et appliquer la formulation choisie à une fabrication ... un scénario de fabrication multiple, il faut savoir que cela fonctionnera à chaque fois, comme l'a dit David. |
| |
Nous avons donc cherché dans la littérature, car au JMP, nous nous intéressons beaucoup à l'application du DOE, et nous avons senti que c'était une situation particulière du DOE. |
| |
Et comme nous l'avons bien nommé, c'est un grand DOE. Nous avons donc recherché une étude de cas à laquelle appliquer une grande approche DOE et nous avons trouvé un article de Perera et al, |
| |
publié en 2018, et ils ont examiné une plate-forme pour ce dépistage des réactions. Et ce qui était intéressant dans ce scénario, c'est qu'ils avaient cinq facteurs catégoriques. |
| |
Et cela peut ne pas sembler trop. Ils ont dû examiner les réactifs 1 et 2, le ligand, les réactifs et le solvant, mais quelle était la complexité de ce qui était présenté dans cet article était les niveaux de chaque facteur. |
| |
Quatre, trois, douze, huit et quatre niveaux, respectivement, tous combinés ensemble forment 4 608 combinaisons distinctes. |
| |
Maintenant, dans l'article de Perera et al, ils ont testé chacun d'entre eux, ce qui n'est évidemment pas une solution viable pour toutes les entreprises du monde, en testant simplement chaque combinaison, comme David l'a déjà souligné. |
| |
Vous pouvez voir ici sur la carte thermique qu'ils ont pu se faire une idée qu'il existe des régions à haut rendement |
| |
et certains à rendement moins élevé, et certains aussi très bas. Il y a donc eu beaucoup de tests pour finalement aboutir à une compréhension limitée des processus |
| |
et un coût expérimental très élevé. |
| |
Donc, cela a finalement abouti à une situation où ils ont trouvé une combinaison, ils sont arrivés à une combinaison, qu'ils ont ensuite pu traiter dans le papier et dire regardez, c'est, ce sont les |
| |
c'était vrai, la première fois, mais était-ce juste à chaque fois, à partir de ce moment-là, s'ils mettaient cela dans un scénario de fabrication multiton? Continuera-t-il de fournir la spécification requise? |
| |
la grande solution DOE réduit-elle les besoins en ressources? |
| |
Est-ce que cela fonctionne correctement du premier coup et est-ce que cela fonctionne correctement à chaque fois? Et la façon dont nous sommes en mesure de mesurer ces questions et comment nous avons performé |
| |
était d'abord en termes de réduction des besoins en ressources, nous n'avons autorisé à concevoir qu'une expérience avec 480 essais au total. Et cela imitait 10 48 plaques de travail, et cela représente environ 10% des tirages effectués dans le papier. |
| |
Est-ce que cela fonctionne correctement du premier coup a été mesuré en regardant combien de combinaisons à haut rendement identifiées dans le document, les 80, ont été testées ou prédites |
| |
par le modèle généré. Et, finalement avec 10% des essais, nous nous attendions à obtenir au moins huit combinaisons à haut rendement de notre ... de nos DOE |
| |
(et un rendement élevé est indiqué ici par une valeur supérieure à 95%). |
| |
Enfin, et surtout, est-ce qu'il réussit à chaque fois qu'il a été mesuré en regardant les diagnostics généraux du modèle, le R au carré. Et, en fin de compte, pouvons-nous examiner cela et voir si nous avons un aperçu du processus? Les relations ont-elles un sens? Les combinaisons et les interactions ont-elles un sens? |
| |
Donc, ce que nous avons fait pour nous donner un pari pour le cours ici aussi, consistait à utiliser l'ensemble de données complet de 4608, nous avons constaté que le R au carré de cela était de 0,89, et c'était une méthode d'arborescence renforcée. |
| |
Alors maintenant, je vais passer la parole à Phil, qui décrira la première grande approche du DOE que nous avons adoptée. |
| Phil Kay |
Merci, Ben; merci, David, d'avoir si bien mis le décor. Nous avons donc examiné trois approches différentes |
| |
pour aborder cela pour voir si nous pouvons prendre un nombre réduit de ces exécutions qui ont été réellement testées dans cet article et toujours obtenir les mêmes informations utiles que Ben, comme indiqué. |
| |
Je vais donc parler de deux de ces trois approches, et ces deux sont en quelque sorte les approches extrêmes. Il y a une approche conservatrice et une approche gourmande, puis Ryan parlera de l'approche équilibrée plus hybride qui, à notre avis, fonctionnera probablement mieux en fin de compte. |
| |
Donc, selon l'approche conservatrice, il s'agit d'une approche standard du DOE. Nous concevons une conception personnalisée de 480 séries avec 10 blocs, ce qui représente 10 plaques dans l'équipement de criblage de catalyseur que David nous a montré. |
| |
Et les résultats principaux étaient, à partir de cette expérience de 480 essais, nous avons pu prédire correctement que 13 des combinaisons à haut rendement seraient des combinaisons à haut rendement. |
| |
Et nous avons pu créer un modèle à partir de cet ensemble de 480 données d'exécution qui, lorsque nous l'avons testé par rapport à des données qui n'avaient pas été utilisées dans cette expérience, |
| |
le R au carré était d'environ 0,73, donc plutôt bon en fait. Nous obtenons un assez bon modèle, une assez bonne compréhension du système dans son ensemble à partir de cette petite expérience sur ... de la grande expérience qui a été publiée. |
| |
Certaines informations très intéressantes que nous en avons tirées étaient que nous devions utiliser l'apprentissage automatique pour obtenir des modèles utiles à partir de ces données, ce qui nous a un peu surpris. Je vais en parler un peu plus en détail. |
| |
Et nous avons obtenu une bonne compréhension de ces données que nous avons collectées en utilisant cette approche conservatrice. Cela nous a donné une bonne compréhension de tout l'espace des facteurs, pourquoi certaines combinaisons fonctionnent bien. |
| |
Cela nous a permis d'identifier des régions alternatives, donc si nous trouvons une combinaison à haut rendement, mais ce n'est pas pratique parce que c'est trop cher, |
| |
les catalyseurs sont trop chers, ou ils sont peut-être dangereux ou toxiques et ne se prêtent pas à un processus industriel, alors nous avons beaucoup d'alternatives parce que nous avons une compréhension de l'espace complet. |
| |
Alors, comment avons-nous fait cela? |
| |
Conception personnalisée dans JMP. Nous |
| |
conçu une course de 480, je conception optimale, dans ce cas, en 10 blocs. Encore une fois, les 10 blocs représentant 10 48 plaques de puits pour lesquels David nous a montré le matériel. |
| |
À noter ici, nous spécifions un modèle dans la conception personnalisée qui est pour les effets principaux. |
| |
pour les interactions du deuxième ordre et les interactions du troisième ordre. Et avec les interactions du troisième ordre et tous ces niveaux de ces facteurs catégoriels, |
| |
il y a juste un grand nombre de paramètres qui doivent être estimés, nous ne pouvons donc pas vraiment concevoir une expérience pour estimer tous ceux-ci explicitement. Nous devons placer les interactions du troisième ordre car, si possible, il s'agit d'une conception optimale bayésienne I en 480 exécutions. |
| |
Vous pouvez voir à partir de ce visuel, nous regardons simplement à travers les différents cycles des expériences, des différentes ... 10 plaques différentes. |
| |
Et vous pouvez voir comment, avec l'ajout de la plaque suivante dans l'expérience, nous ajoutons à notre exploration de l'espace des facteurs dans son ensemble. |
| |
Nous ne nous concentrons pas sur des régions spécifiques; nous remplissons simplement les espaces dans nos connaissances sur tout cet espace factoriel. |
| |
Ce sont donc 480 exécutions que nous avons utilisées dans notre test et les 4 128 lignes restantes que nous avons à partir de cet ensemble de données publié. Nous pouvons utiliser ces données de test pour voir dans quelle mesure nos modèles se comparent sur un ensemble de données retenues, ces données de test. |
| |
Maintenant, nous attendions de toute notre sorte de formation DOE et de notre expérience que |
| |
lorsque nous concevons une expérience pour un certain modèle, les techniques de régression standard vont nous fournir les modèles les plus utiles. |
| |
Nous utilisions donc JMP Pro ici et nous utilisons la régression généralisée pour ajuster un modèle complet du troisième ordre. |
| |
Maintenant, nous utilisons en fait une distribution bêta ici, qui rebondit les prédictions entre zéro et un, donc nous convertissons le pourcentage de rendement à l'échelle de zéro à un. C'est juste une petite astuce que lorsque vous modélisez des données de rendement comme celle-ci, vous voudrez peut-être l'utiliser lorsque vous avez JMP Pro. |
| |
Et nous utilisons la sélection directe, avec AICc comme méthode de validation, ce qui va sélectionner les effets importants. |
| |
Et nous répétons cela après chaque tour, donc avec le premier tour de 48 points, puis le deuxième tour de 96, puis le troisième avec 144, jusqu'au 10e tour où nous avons les 480 points complets. |
| |
Ici, vous pouvez voir le jeu de filtres sur gen reg juste pour regarder les trois premiers tours là-bas. |
| |
Donc, pour ces trois premiers tours, c'est le modèle que nous obtenons en utilisant gen reg, sélection directe, validation AICc. |
| |
Et ce n'est pas un excellent modèle, je pense, juste intuitivement d'après notre compréhension de ce que nous attendons de la chimie. Nous ne voyons que deux des facteurs impliqués dans le modèle, de sorte qu'il n'a sélectionné que deux effets principaux comme étant significatifs. |
| |
Nous pouvons donc enregistrer ce modèle dans la table de données, puis nous pouvons voir à quel point ce modèle prédit les données retenues, notre ensemble de test, |
| |
les 4 128 lignes restantes qui ne faisaient pas partie de notre expérience. Et nous pouvons le faire à chaque tour. Et nous l'avons fait à chaque tour, nous avons donc 10 modèles que nous avons construits à l'aide de gen reg. |
| |
Désormais, nous avons pensé qu'il valait la peine d'examiner certaines méthodes d'apprentissage automatique. Et ici, nous regardons à nouveau les trois premiers tours. |
| |
Et comme moyen très rapide d'examiner de nombreuses techniques de modélisation différentes, nous utilisons le filtrage de modèles dans JMP 16 Pro. |
| |
Nous remplissons simplement le rendement et les facteurs dans les Y et les X là-bas. Nous avons mis en place une colonne de validation de retenue pour retenir 25% des données au hasard pour la validation. |
| |
Cliquez sur OK, et il passe par toutes ces différentes techniques de modélisation, nous obtenons donc un rapport maintenant qui nous dit |
| |
à quel point ces ... toutes ces différentes techniques de modélisation, y compris certains modèles gen reg, réseaux neuronaux et différentes méthodes d'arborescence. |
| |
Et nous avons sélectionné les deux meilleurs là-bas. Et en fait, à tous les stades de l'expérience, nous avons constaté que les modèles de réseaux de neurones et la forêt bootstrap à stimulation neurale étaient les modèles les plus performants. |
| |
Encore une fois, nous pouvons sauvegarder les formules de prédiction et utiliser celles de l'ensemble de données de test qui n'étaient pas impliquées dans l'expérience pour les comparer et voir dans quelle mesure nos différents modèles se comportent par rapport à cet ensemble de données de test. |
| |
Et nous utilisons la comparaison de modèles et JMP Pro ici, nous comparons donc tous nos modèles de reg gen, nos modèles de réseaux neuronaux et nos modèles de forêt bootstrap. |
| |
Et maintenant, vous regardez un visuel du R au carré par rapport à cet ensemble de données de test. Dans quelle mesure ces modèles correspondent-ils à l'ensemble de données de test de retenue. |
| |
Et vous pouvez voir le gen reg, les modèles de régression standard utilisant la sélection directe en rouge là-bas, en commençant par |
| |
au premier tour, c'est en fait le meilleur modèle, mais pas vraiment en amélioration, et puis tout à coup très mauvais vers cinq, avant de redevenir vraiment bon au tour suivant. Donc très instable et vers la fin s'aggrave, probablement surajustement. |
| |
Les méthodes d'apprentissage automatique, en revanche, sont, |
| |
après le troisième tour, ils sont les plus performants, mieux que nos techniques de régression standard et ils s'améliorent complètement. Et en fait, |
| |
vous pouvez voir que les neurones démarrent mieux en vert là-bas, et vers la fin, la forêt bootstrap surpasse les modèles de réseaux neuronaux boostés. |
| |
Donc, la méthode à emporter ici est, même avec cela, ce que vous pourriez considérer comme une situation relativement simple, vous avez vraiment besoin des méthodes d'apprentissage automatique de JMP Pro pour obtenir les meilleurs modèles, les modèles les plus fiables pour ce type de systèmes ou de processus. |
| |
Maintenant, nous examinons simplement les graphiques des résultats de rendement réels pour tous ces 4608 essais publiés par rapport aux prédictions de notre meilleur modèle à la fin du tour 10, après les 480 essais complets. C'était donc une forêt bootstrap sur la droite. |
| |
Et ce n'est pas mal, vous savez que vous pouvez voir, les comportements importants qu'il détecte. Il identifie les régions à faible rendement et identifie les régions à rendement le plus élevé. Alors il y a, |
| |
en particulier en haut à droite, ils utilisent un réactif iode (?) et l'acide boronique et l'ester boronique |
| |
réactifs là-bas. |
| |
Donc, alors, nous comparons cela avec l'autre approche extrême. Donc, le premier tour de 48 courses était exactement le même; nous commençons avec les mêmes 48 courses. Ensuite, nous construisons un modèle et nous utilisons ce modèle pour savoir lequel, parmi toutes les exécutions restantes, |
| |
sur les 4 560 exécutions restantes, laquelle de celles-ci le modèle prévoit-elle avoir le rendement le plus élevé, et nous continuons à le faire dans toutes les séries suivantes jusqu'à 10. |
| |
Et dans ce cas, nous prédisons correctement davantage le rendement élevé et les combinaisons, mais lorsque nous obtenons le modèle final après 10 tours et comparons cela sur les données |
| |
Que nous n'avons pas utilisé dans l'expérience, le R au carré est terrible. C'est 0,33. Donc, vraiment, le modèle que nous obtenons ne fait pas de bonnes prédictions sur le système dans son ensemble. |
| |
Nous comprenons donc bien une région à haut rendement et nous trouvons des combinaisons, des paramètres des facteurs qui fonctionnent bien, mais cela ne nous permet pas vraiment de comprendre le système dans son ensemble. N'étaient pas... |
| |
nous ne réduisons pas la variabilité de notre compréhension du système dans son ensemble. |
| |
Donc, juste pour vous montrer comment ce système, cette approche fonctionne, voici nos 4608 essais complets, toutes les combinaisons possibles, Et, comme je l'ai mentionné au premier tour, c'est la même chose que le premier tour en utilisant l'approche conservatrice, donc c'est un Je optimise |
| |
ensemble de points là-bas, et vous pouvez voir qu'ils sont répartis uniformément dans l'espace des facteurs. |
| |
Nous avons ajusté un modèle aux données de ces 48 essais. |
| |
Et nous utilisons ce modèle pour prédire le rendement de toutes les autres combinaisons possibles, puis nous sélectionnons parmi ces 48 prédictions les plus productives, |
| |
qui sont ceux-là. Donc, vous pouvez voir, ils se concentrent sur la région à plus haut rendement du ... nous ne sommes pas ... nous n'explorons plus l'espace complet des facteurs. |
| |
Et si nous allons du Round 1, 2, 3 et jusqu'au Round 10, vous pouvez voir, chaque fois que nous ajoutons ... nous ajoutons des courses à l'expérience qui se trouvent juste dans cette zone à haut rendement en haut gauche. Nous ne nous concentrons donc vraiment que sur une région de l'espace des facteurs. |
| |
Et si nous comparons le réel par rapport aux prévisions ici, vous pouvez voir que cela fait un très bon travail dans cette région en haut à gauche. |
| |
Mais ailleurs, il fait des prédictions assez horribles, comme on pourrait s'y attendre; ce n'est probablement pas si surprenant. Nous n'avons pas expérimenté dans tout le système. Nous nous sommes vraiment concentrés sur cette région à haut rendement. |
| |
Et si vous le comparez à notre approche conservatrice sur le côté gauche (vous avez donc déjà vu le tracé sur le côté gauche) si vous regardez comment le modèle |
| |
amélioré grâce aux tours un à 10, puis à chaque tour, nous utilisions à nouveau la plate-forme de sélection de modèles pour trouver le meilleur modèle. |
| |
Et il s'est avéré qu'à chaque étape en fait, le réseau neuronal boosté était le meilleur modèle. Eh bien, vous pouvez voir à nouveau que c'est un peu instable comme le gén reg de l'approche conservatrice. |
| |
C'est, parfois, ça va, mais ce n'est jamais ... ce n'est jamais compétitif avec nos meilleurs modèles de l'expérience conservatrice. |
| |
Ce sont donc les deux extrêmes, et je vais céder la parole à Ryan, qui va parler d'une approche plus équilibrée ou hybride de ce problème. |
| Ryan Lekivetz |
Alors merci pour ça Phil. Et |
| |
juste en fait au milieu d'une présentation, je dois dire merci à Phil, Ben et David de m'avoir permis de participer à cela. En tant que développeur, c'est plutôt amusant de jouer un peu. Je suis donc développeur sur les plates-formes DOE dans JMP. |
| |
Donc, comme Phil l'a un peu mentionné ici, l'approche que je regarde ici est une approche hybride. |
| |
D'accord, l'idée ici est que nous allons examiner cette idée d'optimisation par rapport à l'exploration. |
| |
Donc, si vous pensez à l'approche gourmande dont Phil a parlé, c'est vraiment cette optimisation. Je vais strictement pour le mieux, c'est tout ce sur quoi je vais me concentrer. Alors que cette approche conservatrice, tout ce qui importait était l'exploration. |
| |
Et donc l'idée ici est que, pouvons-nous arriver quelque part au milieu pour |
| |
peut-être optimiser, tout en explorant encore un peu l'espace? |
| |
Je vais donc dire ce que j'avais fait ici ... alors j'ai en fait commencé avec trois sortes de plaques à puits placées à l'avance, n'est-ce pas. J'ai donc fait ces trois blocs de taille 48 et j'ai juste fait des effets principaux avec, If Possible 2FIs. |
| |
La raison en est que parfois, je ne faisais pas vraiment confiance aux modèles avec seulement 48 courses. J'ai dit, eh bien, donnons-lui un peu de brûlure. Essayons les 144 ou trois plaques à puits, alors peut-être que je pourrai faire un peu plus confiance au modèle. |
| |
Parce que dans un certain sens, même si vous pensez à cette approche gourmande, si votre modèle était mauvais, vous allez vous rendre dans les terribles régions. Cela ne vous aidera pas énormément. |
| |
Et encore une fois ... comme avant, je vais toujours faire 10 plaques de puits au total ou 10 blocs au total à la fin. |
| |
Et j'en parlerai un peu dans les prochaines diapositives, mais j'utilisais donc XGBoost tout au long. Donc, la façon dont je prévoyais utilisait XGBoost et il y a une raison pour laquelle j'arriverai à |
| |
pour faire ça. |
| |
Mais, donc l'idée ici était de prendre essentiellement ce qu'était la valeur prédictive. Donc, au lieu d'aller strictement après les 48 meilleurs, j'ai dit, je vais fixer un seuil. |
| |
Bon, donc après les trois premiers, j'ai commencé à 50 ans. Alors j'ai dit, donnez-moi les valeurs prédictives qui sont supérieures à 50 et au fur et à mesure que je continue sur d'autres plaques de puits, je vais augmenter de cinq à chaque tour. |
| |
Je veux dire que c'était assez arbitraire; Une partie de cela était de savoir que nous n'avions que 10 tours et un total, et c'est aussi parce que je pouvais en quelque sorte voir en fonction de la prédiction de la taille de cet ensemble. |
| |
Bon, donc en fonction des données, s'il semblait que cet ensemble était encore énorme, que la prédiction était d'environ 50, vous pouvez le modifier ainsi. |
| |
Et donc l'idée ici est vraiment juste de commencer lentement à explorer ce qui devrait être, espérons-le, les régions à rendement plus élevé. |
| |
Et donc, avions-nous raison? Eh bien, dans ce cas, nous avons en fait obtenu 27 des 80 combinaisons les plus productives, celles au-dessus de 95, ce qui n'était pas si loin de l'approche gourmande. |
| |
Et si vous pensez au R au carré, encore une fois, avec toutes ces données, le test final R au carré était de 0,69, ce qui n'était donc même pas si loin de l'approche conservatrice. Alors juste le ... |
| |
Je veux dire, vous pouvez être ... vous voudrez peut-être être prudent, en ce moment, en regardant simplement ces deux chiffres, mais sur cette base, cet hybride semble vraiment être le meilleur des deux mondes. Je veux dire, vous échangez dessus, mais, mais vous obtenez quelque chose de bien. |
| |
Alors juste quelques aperçus sur cette approche. Vraiment, je dirais, en fin de compte, que nous avons obtenu une meilleure compréhension de ces espaces de facteurs associés à un rendement élevé. |
| |
Je pense que les gourmands, si vous pouvez repenser à l'endroit où se trouvaient ces points, ils étaient vraiment concentrés dans le coin supérieur gauche, donc cela n'a pas vraiment fait beaucoup plus d'exploration de cet espace. |
| |
Et vous pouvez imaginer si ... |
| |
si quelque chose là-dedans quadruplait soudainement le prix du jour au lendemain, maintenant vous ne savez plus rien du reste de la région. |
| |
Bien, et donc avec cette approche hybride, nous obtenons un peu plus de ce comment et pourquoi, certaines des combinaisons, et cela nous donne de meilleures alternatives |
| |
Encore une fois, peut-être que si vous avez d'autres choses à prendre en compte, vous êtes prêt à sacrifier une infime partie du rendement car il existe de meilleures alternatives, basées sur d'autres mesures. |
| |
Et donc, vraiment, l'idée ici ... oui, alors laissez-moi vous expliquer comment cela a été fait dans la conception personnalisée, à droite. Donc, l'approche que j'ai adoptée était |
| |
en utilisant des covariables dans le concepteur personnalisé, ce qui, je pense, est parfois sous-estimé. |
| |
Mais, l'idée est que je viens de prendre cet ensemble de données complet, donc l'ensemble des 4608 fonctionne, |
| |
et pour chaque tour ... donc vous pouvez imaginer, au début, j'ai pris ceux-ci ... J'ai pris la conception 144 pistes, puis j'ai dit, eh bien, je vais prendre un sous-ensemble de cet ensemble complet de données. Si je l'ai déjà choisi dans une conception précédente, eh bien, je dois m'assurer que cela est inclus. |
| |
Et puis aussi, donnez-moi les rendements prévus au-dessus de cette certaine valeur, donc encore une fois, pour le quatrième design, qui a commencé à 50 et 55, 60, etc. |
| |
Donc dans le tableau de données |
| |
maintenant, je sélectionne les points de conception qui ont été utilisés dans les expériences précédentes. Je m'assure donc que ceux-ci sont mis en évidence. Et puis la conception personnalisée, lorsque vous passez sous ajouter un facteur, il y a une option appelée covariable. Et encore une fois, je pense que c'est ... |
| |
Beaucoup de gens n'ont jamais vraiment vu de covariables auparavant et, je l'ai mentionné ici, parce que je pense que je pourrais probablement passer tout un discours à parler simplement des covariables, |
| |
mais il y aura en fait quelques entrées de blog (si elles ne sont pas disponibles au moment où vous voyez cette vidéo, probablement dans quelques jours au moment où vous la regardez) |
| |
où je vais parler un peu plus de la façon d'utiliser réellement les covariables. Mais l'idée est que vous avez peut-être déjà entendu quelque chose appelé ensemble de candidats, donc l'idée est ... |
| |
voici cet ensemble de données qui était le sous-ensemble de celui précédemment choisi et tout le reste, et il indique au concepteur personnalisé que vous ne pouvez choisir que ces points de conception. |
| |
Vous ne pouvez pas faire la manière standard de, nous allons continuer à essayer de changer les coordonnées et tout le reste. Cela dit au concepteur personnalisé JMP, vous devez utiliser ces exécutions dans votre conception et, en particulier, |
| |
l'une des options utilisant des covariables est que vous pouvez forcer dans les points de conception précédemment choisis, donc de cette façon, c'est en fait comme faire une augmentation de conception |
| |
en utilisant un candidat après avoir utilisé des covariables. |
| |
Et, bien sûr, parce que dans ce cas ... dans ce cas, je ne peux pas vraiment rejeter ces points de conception sur lesquels j'ai déjà expérimenté. Vraiment, tout ce que nous voulons faire est de choisir les 48 prochains. |
| |
Et je devrais simplement mentionner ici, cependant, si vous pensez à la conception personnalisée ... |
| |
Donc, dans chacun de ceux-ci, ce que je faisais était ... donc les interactions à deux facteurs et ensuite les interactions à trois facteurs si possible. |
| |
Mais il y avait ... c'était vraiment plus un mécanisme pour explorer l'espace de conception, n'est-ce pas. Le modèle que je montais |
| |
utilisait XGBoost après coup, donc je veux dire que la conception n'était pas optimisée pour un modèle XGBoost ou quoi que ce soit du genre. |
| |
C'était plus comme un substitut pour dire, explorer cet espace de conception où le rendement prévu semble bon et, surtout, parce que cela traitait des facteurs catégoriques, il va s'assurer qu'il essaie d'obtenir un bon équilibre. Une autre chose à mentionner, |
| |
si vous vouliez ... encore une fois, parce qu'il n'utilise pas ce modèle sous-jacent, le XGBoost ou quelque chose comme ça, vous pouvez utiliser la réponse. Donc, dans ce cas, ils ont prédit le rendement comme une autre covariable, et ce que cela ferait est d'essayer d'obtenir un meilleur équilibre entre les rendements élevés et faibles. |
| |
réponses quand il essaie de faire la conception. |
| |
Nous n'avons donc pas exploré cela ici, mais je pense que ce serait une chose valable à faire à l'avenir. |
| |
Donc, au rendement prévu. Donc, comme je l'ai mentionné dans ... donc je pense que lorsque Phil parlait de certaines des autres techniques d'apprentissage automatique qu'il avait essayées |
| |
Pour mon ???, je me suis en fait principalement concentré sur XGBoost. |
| |
Et si vous regardez sur le côté gauche, l'une des raisons pour lesquelles j'avais fait cela était d'essayer |
| |
en utilisant la validation croisée des plis K, mais où j'utilise le numéro de conception, qui serait essentiellement la plaque de puits comme chaque pli supplémentaire. Donc, au lieu de sélectionner au hasard les différents plis K, |
| |
il dirait, je vais regarder la plaque de puits et je vais ensuite essayer de tenir cela pour chacun. Donc si vous imaginez, pour la première, quand je n'avais que trois plaques à puits, |
| |
il allait prendre chacune de ces plaques de puits, la tenir, puis voir à quel point elle pouvait prédire, en se basant sur les deux autres. Et donc au moment où j'arriverais à la dixième ... la dixième plaque de puits, ce serait en fait un peu comme un décuple. |
| |
Donc, une partie de mon raisonnement à ce sujet était de penser à essayer de rendre ce modèle robuste à la prochaine plaque de puits que vous n'avez pas vue. |
| |
Et, en réalité, cela vous protégerait peut-être aussi si quelque chose se produisait avec une plaque de puits particulière, |
| |
alors, peut-être obtenir un peu de protection contre cela aussi. |
| |
Et une autre chose que j'avais faite avec XGBoost est lorsque vous lancez la plate-forme XGBoost, comme via le complément, vous verrez qu'il y a une petite case à cocher en haut pour ce que nous appelons une conception de réglage. |
| |
Et donc, avec cette conception de réglage, |
| |
il adapte en fait une conception de remplissage d'espace derrière les couvertures et exécute tout cela pour les différents hyper paramètres. |
| |
Alors ce que j'avais fait pour chaque fois que je faisais ça, |
| |
Je choisirais un design de réglage pour 50 courses, mais j'explorerais simplement cet espace hyper paramétrique. Et donc le modèle que je choisirais à chaque tour |
| |
était celui qui avait la meilleure validation R au carré. Et donc encore une fois, la validation R au carré dans ce cas n'utilise en fait que les points de conception que j'ai, à droite. Donc, c'était en train de faire ce pli K avec le ... |
| |
avec ces différentes plaques à puits. Donc dans ce cas, la validation R au carré n'est pas ... Je n'utilise pas ces données qui n'ont pas encore été vues, car encore une fois, en réalité, je n'ai pas encore ces données. |
| |
Mais c'était juste dire en utilisant cette technique de validation, où j'utilisais les plaques à puits. Donc encore une fois, c'est un peu la raison pour laquelle j'utilisais XGBoost pour la plupart de cela, j'essayais juste quelque chose de différent qui |
| |
en utilisant cette technique de plis en K, et aussi, j'aime vraiment utiliser le remplissage d'espace aussi, quand il s'agit de XGBoost. |
| |
Et jetons donc un coup d'oeil ici. Donc, nous voyons ici, ce sont les points qui sont choisis tout au long des tours consécutifs. À présent, |
| |
si vous pensez à ce qui se passait dans l'approche gourmande, je veux dire, c'était vraiment en se concentrant en haut à gauche. |
| |
Oui, mais maintenant, si vous voyez avec cette approche hybride, |
| |
au fur et à mesure qu'il commence à avancer dans les tours, vous le voyez remplir un peu plus ces points, mais nous obtenons également un meilleur ... un meilleur échantillonnage de points, en particulier sur ce côté gauche. |
| |
Bien, donc si vous pensez du point de vue, vous avez maintenant de bien meilleures alternatives pour ces régions à haut rendement. |
| |
Je pense que oui ... si nous examinons maintenant le réel par rapport au prédit, |
| |
En fait, je pense que c'était un peu révélateur aussi, je pense, parce que nous avons fait une meilleure exploration. |
| |
Dans ces régions à haut rendement qui |
| |
je pense que si vous regardez en bas à gauche, je pense que nous avons fait un bien meilleur travail dans le modèle hybride en choisissant certains de ceux qui pourraient être des alternatives viables. |
| |
Une des bonnes choses avec cette méthode est que je peux me concentrer sur plus que juste le rendement. |
| |
Bien, donc si vous pensez à ... |
| |
Je pourrais avoir une réponse secondaire, que ce soit une sorte de toxicité, cela pourrait être le coût, quelque chose comme ça, |
| |
Je peux me concentrer sur plus que le rendement lorsque je regarde ces valeurs prédites. Et donc, si vous pensez à quelque chose comme l'approche gourmande, |
| |
si vous commencez à ajouter des critères secondaires ... secondaires que vous voulez prendre en compte, il est beaucoup plus difficile de commencer à faire cet équilibrage. Alors qu'avec cette approche de sous-ensemble, il n'est vraiment pas difficile du tout d'ajouter une réponse secondaire en faisant cela. |
| |
Je pense que je vais maintenant le remettre à Ben pour ses conclusions. |
| Ben Francis |
Alors, |
| |
merci beaucoup à David, Phil et Ryan pour avoir expliqué pourquoi nous abordons cette question, puis finalement, nous avoir donné deux, trois très bonnes solutions et moyens de |
| |
voir comment nous abordons ce problème. Et dans toutes ces approches, il est clair que JMP apporte de la valeur aux scientifiques. Nous avons donc tout d'abord, nous avons une réduction de dix fois des ressources pour l'expérimentation. Nous n'avons utilisé que 10% des pistes. Et |
| |
En fin de compte, ce que nous permettions dans chaque situation était la capacité de répondre aux spécifications et de fournir une solution à haut rendement à partir des expériences. |
| |
Mais en plus de cela, nous avons également montré comment nous pouvions avoir différents niveaux de compréhension approfondie des processus, en fonction de l'objectif et de la stratégie de l'entreprise utilisant cette approche. |
| |
Maintenant, vous remarquerez peut-être que, nous trois de JMP, nous sommes très intéressés par la façon dont CatSci aborde ce problème. Nous ne prenions pas nécessairement |
| |
le problème loin de CatSci et le résoudre nous-mêmes; nous fournissons les outils pour y faire face en termes de DOE. Et ce fut une collaboration fantastique entre David en tant que client, |
| |
moi-même et phil du côté des ventes techniques, et Ryan du développement de produits, et il est essentiel ici que nous regardions tous cela sous un angle différent |
| |
pour permettre ce genre de solution, qui, comme je l'ai déjà dit, nous pouvons envisager une sorte de compréhension approfondie du processus de différentes manières, en fonction des objectifs de ce qui doit être atteint. |
| |
Nous avons découvert certaines choses en cours de route, ce qui est vraiment passionnant pour nous chez JMP et conduira à des améliorations de produits, que nous vous remettons ensuite. |
| |
en tant que clients. Nous avons appris que les approches d'apprentissage automatique sont applicables à cette grande situation DOE et, comme vous le savez, avec JMP, elles sont simples à appliquer. Et nous avons également appris la prudence en ce qui concerne les approches de validation, et nous pouvons approfondir cela. |
| |
Donc, en fin de compte, nous avons présenté ici un bon volume de travail en termes de grands défis du DOE, et nous sommes sûrs qu'il existe de nombreuses entreprises, similaires à CatSci, qui s'attaquent à ce genre de problème. |
| |
Nous vous invitons donc tous à explorer davantage ce travail que nous avons fait, et nous avons deux liens ici en termes de communauté où nous publierons des ressources et la vidéo de ceci, |
| |
ainsi qu'un message public JMP, qui vous permet de mettre la main sur les données que nous avons utilisées dans ce cadre. Donc, de la part de tout le monde dans cette présentation, nous tenons à vous remercier d'avoir regardé. |
