Conférencier
|
Transcription
|
| David.Wong-Pascua |
Bon alors. |
| |
Séquentiel et régulier gagne la course. Alors, bonjour tout le monde, je m'appelle David et je suis un scientifique senior chez CatSci. Qu'est-ce que CatSci ? |
| |
CatSci est un partenaire d'innovation pour les processus chimiques de bout en bout, la recherche et le développement. Nous collaborons avec des organisations telles que JMP UK pour nous assurer que toutes nos décisions sont basées sur des données. |
| |
Pour nous, il s'agit de bien faire les choses du premier coup et de bien faire les choses à chaque fois; formuler des solutions sur mesure parfaites pour chaque projet ; et notre objectif absolu est de répondre aux attentes de nos clients. |
| |
Nous travaillons dans un certain nombre de domaines, y compris le développement précoce et avancé. Nous possédons une expertise des procédés, une longue expérience de la catalyse, qui a toujours été au cœur de notre identité, et nous avons d'excellentes capacités en chimie analytique et en science des matériaux. |
| |
Ainsi chez CatSci, l'un des enjeux auxquels nous sommes confrontés est la sélection de variables catégorielles en amont de l'optimisation des procédés. |
| |
Cette difficulté est la plus importante dans notre travail de criblage de catalyseurs. |
| |
Dans les images sur la diapositive, nous pouvons voir certains des appareils et instruments sur lesquels nous comptons pour effectuer le criblage des catalyseurs. |
| |
Sur la gauche, nous avons des kits de catalyse préfabriqués qui contiennent 24 combinaisons prédosées de précurseur métallique et de ligand. |
| |
Au centre se trouve un hydrogénateur qui abrite, une plaque 48 puits, que l'on aperçoit à droite. |
| |
Cela permet de mener simultanément 48 expériences individuelles. |
| |
Ces instruments sont conçus pour un débit élevé et à petite échelle, et il n'est pas rare d'utiliser 10 de ces plaques ou plus pour nos clients, ce qui totalise jusqu'à près de 500 expériences. |
| |
Alors pourquoi devons-nous mener un nombre relativement important d'expériences et quels sont les avantages pour améliorer l'efficacité ? |
| |
Donc, tout d'abord, l'espace chimique qui doit être exploré est extrêmement vaste. |
| |
Pour toute réaction, toute réaction chimique, de nombreux facteurs peuvent avoir un effet, tels que la température, la concentration et la stoechiométrie. |
| |
Cependant, ce qui rend l'exploration particulièrement difficile pour une réaction catalytique, c'est qu'il existe de nombreux facteurs catégoriques importants; ceux-ci comprennent le précurseur métallique, le ligand, le réactif, le solvant et l'additif. |
| |
Une autre caractéristique des réactions catalytiques est qu'il y a fréquemment des interactions d'ordre élevé, donc cela signifie que, pour un système catalytique (une combinaison particulière de précurseur métallique et de ligand), |
| |
il doit y avoir des écrans étendus de solvants et d'additifs pour évaluer les performances. |
| |
Il n'est pas correct d'exclure de dire une certaine combinaison de précurseur de méthal et de ligand juste avant ... simplement parce qu'elle fonctionne mal dans un certain solvant. Il se peut que vous n'ayez pas le bon solvant ou le bon additif pour cela. |
| |
Enfin, l'une des façons les plus simples d'expliquer l'avantage d'une méthode de criblage plus efficace est de regarder le prix des matériaux. |
| |
Beaucoup de nos projets de catalyse impliquent des métaux précieux, tels que le platine, le palladium, le ruthénium, l'iridium et le rhodium. Certains de ces métaux sont parmi les éléments les plus rares de la croûte terrestre et cela se reflète dans leur prix. |
| |
Juste une recherche rapide sur Google de leurs prix, vous pouvez voir ici que le prix du rhodium est plus d'un ordre de grandeur plus cher que l'or. |
| |
Une autre dépense importante du criblage catalytique concerne les ligands. Bien qu'il existe des ligands bon marché, bon nombre des ligands les plus performants pour la synthèse asymétrique sont des ligands propriétaires, tels que Josiphos de Solvias, |
| |
et l'un des plus couramment disponibles et des moins chers, J001, est toujours le double du prix de l'or. |
| |
Ainsi, la réduction du nombre d'expériences peut donc diminuer le coût des consommables, mais le plus grand impact est créé lorsque nous trouvons la solution optimale pour un client avec un processus de fabrication de plusieurs tonnes. |
| |
Dans ces cas, une réduction de dix fois la charge du catalyseur ou la découverte d'un catalyseur alternatif moins cher, par exemple l'échange d'un catalyseur au rhodium contre un catalyseur au ruthénium, peut permettre d'économiser des millions de dollars par an. |
| |
Et maintenant, je passe la main à Ben, qui expliquera comment l'équipe JMP UK a résolu ce problème. |
| François Ben |
Alors merci beaucoup, David. |
| |
Alors c'est clair que |
| |
CatSci et de nombreuses autres sociétés similaires à CatSci font face à de grands défis avec de grands espaces de formulation, |
| |
qui peuvent avoir des interactions d'ordre très élevé. La science est donc très, très complexe et ce que nous faisons pour expérimenter pour démêler cette complexité est important. |
| |
Malheureusement, l'option de tester chaque combinaison n'est pas vraiment raisonnable ou viable, en raison des coûts que David y a décrits. |
| |
Et finalement, nous devons faire une certaine forme d'approche, qui implique la science des données pour comprendre les relations numériquement. |
| |
Donc, pour continuer et appliquer la formulation choisie à une fabrication... un scénario de fabrication multiple, nous devons savoir que cela fonctionnera à chaque fois, comme l'a dit David. |
| |
Nous avons donc effectué des recherches dans la littérature, car chez JMP nous nous intéressons beaucoup à l'application du DOE, et nous avons pensé qu'il s'agissait d'une situation particulière du DOE. |
| |
Et comme nous l'avons bien nommé, c'est un gros DOE. Nous avons donc recherché une étude de cas pour appliquer une grande approche DOE et nous avons trouvé un article de Perera et al, |
| |
publié en 2018, et ils ont examiné une plate-forme pour ce dépistage des réactions. Et ce qui était intéressant dans ce scénario, c'est qu'ils avaient cinq facteurs catégoriques. |
| |
Et cela peut ne pas sembler trop. Ils devaient examiner les réactifs 1 et 2, le ligand, les réactifs et le solvant, mais la complexité de ce qui était présenté dans cet article était les niveaux de chaque facteur. |
| |
Quatre, trois, douze, huit et quatre niveaux, respectivement, tous combinés ensemble donnent 4 608 combinaisons distinctes. |
| |
Maintenant, dans l'article de Perera et al, ils ont testé chacun d'entre eux, ce qui n'est évidemment pas une solution viable pour toutes les entreprises du monde, testant simplement chaque combinaison, comme David l'a expliqué précédemment. |
| |
Vous pouvez voir ici sur la carte thermique qu'ils ont pu se faire une idée qu'il existe des régions à haut rendement |
| |
et certains à rendement moins élevé, et d'autres très faibles également. Il y a donc eu beaucoup de tests pour finir par ne pas vraiment comprendre le processus |
| |
et un coût expérimental très élevé. |
| |
Donc, cela s'est finalement retrouvé dans une situation où ils ont trouvé une combinaison, ils sont arrivés à une combinaison, qu'ils ont ensuite pu traiter dans le journal et dire regardez, c'est, c'est le général |
| |
c'était vrai, la première fois, mais était-ce vrai à chaque fois, à partir de ce moment-là, s'ils mettaient cela dans un scénario de fabrication de plusieurs tonnes ? Continuerait-il à fournir la spécification requise? |
| |
la grande solution DOE réduit-elle les besoins en ressources ? |
| |
Est-ce qu'il réussit du premier coup et est-ce qu'il réussit à chaque fois ? Et la façon dont nous sommes capables de mesurer ces questions et nos performances |
| |
était d'abord en termes de réduction des besoins en ressources, nous n'avons permis de concevoir qu'une expérience avec 480 exécutions au total. Et cela imitait 10 48 plaques de travail, et cela représente environ 10 % des passages effectués dans le journal. |
| |
Est-ce qu'il réussit du premier coup ? |
| |
par le modèle généré. Et, en fin de compte, avec 10 % des tirages, nous nous attendions à obtenir au moins huit combinaisons à haut rendement de notre... de nos DOE |
| |
(et le rendement élevé est indiqué ici par une valeur supérieure à 95%). |
| |
Enfin, et surtout, est-ce qu'il réussit à chaque fois a été mesuré en examinant les diagnostics généraux du modèle, les R au carré. Et, en fin de compte, pouvons-nous examiner cela et voir si nous avons un aperçu du processus ? Les relations ont-elles un sens ? Les combinaisons et les interactions ont-elles un sens ? |
| |
Donc, ce que nous avons fait pour nous donner un pied d'égalité pour le cours ici aussi, c'était d'utiliser l'ensemble de données complet de 4 608, nous avons constaté que le R au carré de cela était de 0,89, et c'était avec une méthode d'arbre boosté. |
| |
Alors maintenant, je vais passer la parole à Phil, qui décrira la première grande approche du DOE que nous avons adoptée. |
| Phil Kay |
Merci Ben; merci, David, d'avoir si bien mis en scène. Nous avons donc examiné trois approches différentes |
| |
pour résoudre ce problème pour voir si nous pouvons prendre un nombre réduit de ces exécutions qui ont été réellement testées dans cet article et obtenir toujours les mêmes informations utiles que Ben, comme indiqué. |
| |
Je vais donc parler de deux de ces trois approches, et ces deux sont en quelque sorte les approches extrêmes. Il y a une approche conservatrice et une approche gourmande, puis Ryan parlera de l'approche équilibrée plus hybride qui, selon nous, fonctionnerait probablement le mieux en fin de compte. |
| |
Donc, selon l'approche conservatrice, il s'agit d'une approche standard du DOE. Nous concevons une conception personnalisée de 480 passages avec 10 blocs, ce qui représente 10 plaques dans l'équipement de criblage de catalyseur que David nous a montré. |
| |
Et les principaux résultats ont été, à partir de cette expérience de 480 essais, que nous avons pu prédire correctement que 13 des combinaisons à haut rendement seraient celles à haut rendement. |
| |
Et nous avons pu créer un modèle à partir de cet ensemble de données de 480 exécutions qui, lorsque nous l'avons testé par rapport à des données qui n'avaient pas été utilisées dans cette expérience, |
| |
le R au carré était d'environ 0,73, donc plutôt bon en fait. Nous obtenons un assez bon modèle, une assez bonne compréhension du système dans son ensemble à partir de cette petite expérience sur... de la grande expérience qui a été publiée. |
| |
Certaines informations très intéressantes que nous en avons tirées étaient que nous devions utiliser l'apprentissage automatique pour obtenir des modèles utiles à partir de ces données, et cela nous a un peu surpris. Je vais en parler un peu plus en détail. |
| |
Et nous avons obtenu une bonne compréhension de ces données que nous avons recueillies en utilisant cette approche conservatrice. Cela nous a donné une bonne compréhension de l'ensemble de l'espace factoriel, pourquoi certaines combinaisons fonctionnent bien. |
| |
Cela nous a permis d'identifier des régions alternatives, donc si nous trouvons une combinaison à haut rendement, mais ce n'est pas pratique parce que c'est trop cher, |
| |
le catalyseur est trop cher, ou peut-être qu'il est dangereux ou toxique et ne se prête pas à un processus industriel, alors nous avons beaucoup d'alternatives parce que nous avons une compréhension de l'espace complet. |
| |
Alors, comment avons-nous fait cela? |
| |
Conception personnalisée dans JMP. Nous |
| |
conçu une course 480, je conception optimale, dans ce cas, en 10 blocs. Encore une fois, les 10 blocs représentant 10 48 plaques à puits dont David nous a montré l'équipement. |
| |
À noter ici, nous spécifions un modèle dans la conception personnalisée qui est pour les effets principaux. |
| |
pour les interactions de second ordre et les interactions de troisième ordre. Et avec les interactions de troisième ordre et tous ces niveaux de ces facteurs catégoriques, |
| |
il y a juste un grand nombre de paramètres qui doivent être estimés, nous ne pouvons donc pas réellement concevoir une expérience pour estimer tous ceux-ci explicitement. Nous devons mettre les interactions de troisième ordre dans la mesure du possible, il s'agit donc d'un plan bayésien I optimal en 480 exécutions. |
| |
Vous pouvez voir sur ce visuel, nous regardons juste à travers les différentes séries d'expériences, des différentes... 10 plaques différentes. |
| |
Et vous pouvez voir comment, avec l'ajout de la plaque suivante dans l'expérience, nous ajoutons à notre exploration de l'espace des facteurs dans son ensemble. |
| |
Nous ne nous concentrons pas sur des régions spécifiques ; nous remplissons simplement les espaces dans nos connaissances sur tout cet espace factoriel. |
| |
Ce sont donc 480 exécutions que nous avons utilisées dans notre expérience et les 4 128 lignes restantes que nous avons à partir de cet ensemble de données publié. Nous pouvons utiliser ces données de test pour voir dans quelle mesure nos modèles se comparent sur un ensemble de données retenu, ces données de test. |
| |
Maintenant, nous attendions de toute notre expérience du DOE et de notre expérience que |
| |
lorsque nous concevons une expérience pour un certain modèle, les techniques de régression standard vont nous fournir les modèles les plus utiles. |
| |
Nous utilisions donc JMP Pro ici et nous utilisons la régression généralisée pour ajuster un modèle complet du troisième ordre. |
| |
Maintenant, nous utilisons en fait une distribution bêta ici, qui fait rebondir les prédictions entre zéro et un, donc nous convertissons le rendement en pourcentage sur l'échelle de zéro à un. C'est juste une petite astuce que lorsque vous modélisez des données de rendement comme celle-ci, vous voudrez peut-être l'utiliser lorsque vous avez JMP Pro. |
| |
Et nous utilisons la sélection directe, avec AICc comme méthode de validation, donc cela va sélectionner les effets importants. |
| |
Et nous répétons cela après chaque tour, donc avec le premier tour de 48 courses, puis le deuxième tour de 96, puis le troisième avec 144, jusqu'au 10e tour où nous avons les 480 courses complètes. |
| |
Ici, vous pouvez voir le filtre défini sur gen reg juste pour regarder les trois premiers tours là-bas. |
| |
Donc, pour ces trois premiers tours, c'est le modèle que nous obtenons en utilisant gen reg, sélection directe, validation AICc. |
| |
Et ce n'est pas un bon modèle, je pense, juste intuitivement d'après notre compréhension de ce que nous attendons de la chimie. Nous ne voyons que deux des facteurs impliqués dans le modèle, il n'a donc sélectionné que deux effets principaux comme étant significatifs. |
| |
Nous pouvons donc enregistrer ce modèle dans la table de données, puis nous pouvons voir dans quelle mesure ce modèle prédit les données retenues, notre ensemble de tests, |
| |
les 4 128 lignes restantes qui n'étaient pas dans notre expérience. Et nous pouvons le faire pour chaque tour. Et nous avons fait cela pour chaque tour, nous avons donc 10 modèles que nous avons construits en utilisant gen reg. |
| |
Maintenant, comme alternative, nous avons pensé qu'il valait la peine d'examiner certaines méthodes d'apprentissage automatique. Et ici, nous regardons à nouveau les trois premiers tours. |
| |
Et comme moyen très rapide d'examiner de nombreuses techniques de modélisation différentes, nous utilisons le filtrage de modèles dans JMP 16 Pro. |
| |
Nous remplissons simplement le rendement et les facteurs dans les Y et les X là-bas. Nous avons configuré une colonne de validation retenue pour retenir 25 % des données de manière aléatoire pour validation. |
| |
Cliquez sur OK, et il passe par toutes ces différentes techniques de modélisation, donc nous obtenons maintenant un rapport qui nous dit |
| |
à quel point ces ... toutes ces différentes techniques de modélisation, y compris certains modèles de reg de génération, les réseaux de neurones et différentes méthodes d'arborescence. |
| |
Et nous avons sélectionné les deux meilleurs là-bas. Et en fait, à travers toutes les phases de l'expérience, nous avons constaté que les modèles de réseaux neuronaux... boostés par les neurones et la forêt bootstrap étaient les modèles les plus performants. |
| |
Encore une fois, nous pouvons enregistrer les formules de prédiction et utiliser celles de l'ensemble de données de test qui n'ont pas été impliquées dans l'expérience pour les comparer et voir à quel point nos différents modèles se comportent par rapport à cet ensemble de données de test. |
| |
Et nous utilisons la comparaison de modèles et JMP Pro ici, donc nous comparons tous nos modèles gen reg, nos modèles de réseaux neuronaux et nos modèles de forêt bootstrap. |
| |
Et maintenant, vous regardez un visuel du R au carré par rapport à cet ensemble de données de test. Dans quelle mesure ces modèles correspondent-ils à l'ensemble de données de test retenu. |
| |
Et vous pouvez voir le gen reg, les modèles de régression standard utilisant la sélection directe en rouge ici, en commençant |
| |
au premier tour, c'est en fait le meilleur modèle, mais qui ne s'améliore pas vraiment, puis qui devient soudainement très mauvais vers cinq ans, avant de redevenir très bon au tour suivant. Donc très instable et vers la fin s'aggrave, probablement en surajustement. |
| |
Les méthodes d'apprentissage automatique, d'autre part, sont, |
| |
après le troisième tour, ils sont les plus performants, plus performants que nos techniques de régression standard et ils s'améliorent tout du long. Et en fait, |
| |
vous pouvez voir que les neurones commencent mieux en vert là-bas, et vers la fin, la forêt bootstrap surpasse les modèles de réseaux neuronaux boostés. |
| |
Donc, la méthode à emporter ici est même avec cela, ce que vous pourriez considérer comme une situation relativement simple, vous avez vraiment besoin des méthodes d'apprentissage automatique dans JMP Pro pour obtenir les meilleurs modèles, les modèles les plus fiables pour ce type de systèmes ou de processus. |
| |
Maintenant, nous examinons simplement les graphiques des résultats de rendement réels pour tous ces 4 608 passages qui ont été publiés par rapport aux prédictions de notre meilleur modèle à la fin du tour 10, après les 480 passages complets là-bas. C'était donc une forêt d'amorçage sur la droite. |
| |
Et ce n'est pas mal, vous savez que vous pouvez voir, les comportements importants qu'il capte. Il identifie les régions à faible rendement et il identifie les régions à rendement élevé. Alors il y a, |
| |
en particulier en haut à droite, ils utilisent un réactif iode (?) Et l'acide boronique et l'ester boronique |
| |
réactifs là-bas. |
| |
Alors, nous comparons cela avec l'autre approche extrême. Ainsi, le premier tour de 48 courses était exactement le même; nous commençons avec les mêmes 48 passages. Ensuite, nous construisons un modèle et nous utilisons ce modèle pour déterminer lequel, parmi toutes les exécutions restantes, |
| |
sur les 4 560 exécutions restantes, laquelle d'entre elles, selon le modèle, aurait le rendement le plus élevé, puis nous continuons à le faire dans toutes les séries suivantes jusqu'à 10. |
| |
Et dans ce cas, nous prédisons correctement plus de rendement élevé et de combinaisons, mais lorsque nous obtenons le modèle final après 10 tours et le comparons sur les données |
| |
Que nous n'avons pas utilisé dans l'expérience, le R au carré est terrible. C'est .33. Donc, vraiment, le modèle que nous obtenons ne fait pas de bonnes prédictions sur le système dans son ensemble. |
| |
Donc, nous obtenons une bonne compréhension d'une région à haut rendement et cela trouve des combinaisons, trouve des paramètres des facteurs qui fonctionnent bien, mais cela ne nous permet pas vraiment de comprendre le système dans son ensemble. N'étaient pas... |
| |
nous ne réduisons pas notre variabilité dans notre compréhension du système dans son ensemble. |
| |
Donc, juste pour vous montrer comment ce système, cette approche fonctionne, voici nos 4 608 exécutions complètes, toutes les combinaisons possibles, Et, comme je l'ai mentionné dans le Round 1, c'est la même chose que le Round 1 utilisant l'approche conservatrice, donc c'est un I optimal |
| |
ensemble de points là-bas, et vous pouvez voir qu'ils sont uniformément répartis dans l'espace factoriel. |
| |
Nous avons ajusté un modèle aux données de ces 48 exécutions. |
| |
Et nous utilisons ce modèle pour prédire le rendement de toutes les autres combinaisons possibles, puis nous sélectionnons parmi celles-ci les 48 prédictions les plus productives, |
| |
qui sont ceux-là. Vous pouvez donc voir qu'ils se concentrent sur la région à haut rendement du... nous n'explorons plus l'espace factoriel complet. |
| |
Et si nous passons du tour 1, 2, 3 et jusqu'au tour 10, vous pouvez voir, chaque fois que nous ajoutons... nous ajoutons des séries à l'expérience qui sont juste dans cette zone à haut rendement en haut à gauche. Nous nous concentrons donc uniquement sur une région de l'espace factoriel. |
| |
Et si nous comparons le réel par rapport aux prévisions ici, vous pouvez voir que cela fait du bon travail dans cette région en haut à gauche. |
| |
Mais ailleurs, il fait des prédictions assez affreuses, comme on pouvait s'y attendre ; ce n'est probablement pas si surprenant. Nous n'avons pas expérimenté l'ensemble du système. Nous venons vraiment de nous concentrer sur cette région à haut rendement. |
| |
Et si vous le comparez à notre approche conservatrice sur le côté gauche (vous avez donc déjà vu le tracé sur le côté gauche), si vous regardez comment le modèle |
| |
améliorés au cours des rondes 1 à 10, puis à chaque ronde, nous utilisions à nouveau la plate-forme de sélection de modèles pour trouver le meilleur modèle. |
| |
Et il s'est avéré qu'à chaque étape en fait, le réseau de neurones boosté était le meilleur modèle. Eh bien, vous pouvez voir à nouveau que c'est un peu instable comme le gen reg de l'approche conservatrice. |
| |
C'est, parfois, ça va, mais ce n'est jamais... ce n'est jamais compétitif avec nos meilleurs modèles de l'expérience conservatrice. |
| |
Ce sont donc les deux extrêmes, et je vais céder la parole à Ryan, qui va parler d'une approche plus équilibrée ou hybride de ce problème. |
| Ryan Lekivetz |
Alors merci pour ça Phil. Et |
| |
juste en fait au milieu d'une présentation, je dois dire merci à Phil, Ben et David de m'avoir permis de participer à cela. En tant que développeur, c'est en fait assez amusant de jouer un peu. Je suis donc développeur sur les plateformes DOE dans JMP. |
| |
Donc, comme Phil l'a en quelque sorte mentionné ici, l'approche que j'examine ici est une approche hybride. |
| |
Très bien, donc l'idée ici est que nous allons examiner cette idée d'optimisation par rapport à l'exploration. |
| |
Donc, si vous pensez à l'approche gourmande dont parlait Phil, c'est vraiment cette optimisation. Je vais strictement pour le mieux, c'est tout ce sur quoi je vais me concentrer. Alors que cette approche conservatrice, tout ce qui importait était l'exploration. |
| |
Et donc l'idée ici est que, pouvons-nous arriver quelque part au milieu pour |
| |
peut-être optimiser, tout en explorant encore un peu l'espace ? |
| |
Donc je vais dire ce que j'avais fait ici... alors j'ai en fait commencé avec une sorte de trois des plaques de puits fixées à l'avance, d'accord. J'ai donc fait ces trois blocs de taille 48 et j'ai juste fait des effets principaux avec, si possible 2FI. |
| |
La raison en est que parfois, je ne faisais pas vraiment confiance aux modèles avec seulement 48 passages. J'ai dit, eh bien, donnons-lui un peu de rodage. Essayons le 144, ou trois plaques à puits, alors peut-être que je peux faire un peu plus confiance au modèle. |
| |
Parce que dans un certain sens, même si vous pensez à cette approche cupide, si votre modèle était mauvais, vous allez vous diriger vers des régions terribles. Cela ne vous aidera pas énormément. |
| |
Et encore une fois... comme avant, je vais encore faire 10 plaques de puits au total ou 10 blocs au total à la fin. |
| |
Et j'en parlerai un peu dans les prochaines diapositives, mais j'ai donc utilisé XGBoost tout au long. Donc, la façon dont je prévoyais utilisait XGBoost et il y a une raison pour laquelle je vais arriver à |
| |
pour faire ça. |
| |
Mais, donc l'idée ici était de prendre essentiellement ce qu'était la valeur prédictive. Donc, au lieu d'aller strictement après les 48 meilleurs, j'ai dit, je vais fixer un seuil. |
| |
Bon, donc après les trois premiers, j'ai commencé à 50 ans. Alors j'ai dit, donnez-moi les valeurs prédictives supérieures à 50 et au fur et à mesure que je continue sur d'autres plaques de puits, je vais augmenter cinq à chaque tour. |
| |
Je veux dire que c'était assez arbitraire; une partie de cela était de savoir que nous n'avions que 10 tours et un total, et c'est aussi parce que je pouvais en quelque sorte voir, sur la base de la prédiction, quelle était la taille de cet ensemble. |
| |
D'accord, donc selon les données, s'il semblait que cet ensemble était encore énorme, que la prévision était d'environ 50, vous pourriez le modifier. |
| |
Et donc l'idée ici est vraiment juste de commencer lentement à explorer ce qui devrait être, espérons-le, les régions à rendement plus élevé. |
| |
Et alors, avions-nous raison ? Eh bien, dans ce cas, nous avons en fait obtenu 27 des 80 combinaisons les plus productives, celles au-dessus de 95, ce qui n'était pas si éloigné de l'approche gourmande. |
| |
Et si vous pensez au R au carré, encore une fois, avec toutes ces données retenues, c'est que le test final R au carré était de 0,69, donc ce qui n'était vraiment pas si éloigné de l'approche conservatrice. Alors juste le... |
| |
Je veux dire, vous êtes peut-être… vous voudrez peut-être être prudent, en ce moment, juste en regardant ces deux chiffres, mais sur cette base, cet hybride semble vraiment être en quelque sorte le meilleur des deux mondes. Je veux dire, vous faites des compromis, mais, mais vous obtenez quelque chose de bien. |
| |
Alors juste quelques idées sur cette approche. Vraiment, je dirais, en fin de compte, que nous avons obtenu une meilleure compréhension de ces espaces de facteurs associés au rendement élevé. |
| |
Je pense que les gourmands, si vous pouvez repenser à l'endroit où se trouvaient ces points, ils étaient vraiment concentrés dans le coin supérieur gauche, donc cela n'a pas vraiment fait beaucoup plus d'exploration de cet espace. |
| |
Et vous pouvez imaginer si... |
| |
si quelque chose là-dedans quadruple soudainement de prix du jour au lendemain, vous ne savez plus rien d'autre sur le reste de la région. |
| |
D'accord, et donc avec cette approche hybride, nous obtenons un peu plus de comment et pourquoi, certaines des combinaisons, et cela nous donne de meilleures alternatives |
| |
encore une fois, peut-être que si vous avez d'autres éléments à prendre en compte, vous êtes prêt à sacrifier un tout petit peu du rendement car il existe de meilleures alternatives, basées sur d'autres mesures. |
| |
Et donc, vraiment, l'idée ici ... oui, alors laissez-moi juste expliquer comment cela a été fait dans la conception personnalisée, d'accord. Donc, l'approche que j'ai prise était |
| |
en utilisant des covariables dans le concepteur personnalisé, ce qui, je pense, est parfois sous-estimé. |
| |
Mais, donc l'idée est que je viens de prendre cet ensemble de données complet, donc l'ensemble des 4 608 exécutions, |
| |
et pour chaque tour... alors vous pouvez imaginer, au début, j'ai pris ces... j'ai pris le plan de 144 passages, puis j'ai dit, eh bien, je vais prendre un sous-ensemble de cet ensemble de données complet. Si je l'ai déjà choisi dans une conception précédente, eh bien, je dois m'assurer que cela est inclus. |
| |
Et puis aussi, donnez-moi les rendements prévus au-dessus de cette certaine valeur, donc encore une fois, pour la quatrième conception, qui a commencé à 50 et 55, 60, etc. |
| |
Donc dans la table de données |
| |
maintenant, ce que je fais, c'est que je sélectionne les points de conception qui ont été utilisés dans les expériences précédentes. Je m'assure donc que ceux-ci sont mis en évidence. Et puis la conception personnalisée, lorsque vous allez sous ajouter un facteur, il y a une option appelée covariable. Et encore une fois, je pense que c'est... |
| |
Beaucoup de gens n'ont jamais vraiment vu de covariables auparavant et, je l'ai mentionné ici, parce que je pense que je pourrais probablement passer une conférence entière à parler de covariables, |
| |
mais il y aura en fait quelques entrées de blog (si elles ne sont pas prêtes au moment où vous voyez cette vidéo, probablement dans quelques jours au moment où vous regardez ceci) |
| |
où je vais parler un peu plus de la façon d'utiliser réellement les covariables. Mais l'idée est que vous avez peut-être aussi entendu quelque chose appelé un ensemble de candidats auparavant, donc l'idée est... |
| |
voici cet ensemble de données qui était le sous-ensemble de celui précédemment choisi et tout comme ça, et il dit au concepteur personnalisé que vous ne pouvez choisir que ces points de conception. |
| |
Vous ne pouvez pas faire la manière standard de, nous allons continuer à essayer de changer les coordonnées et tout comme ça. Il indique au concepteur personnalisé JMP que vous devez utiliser ces exécutions dans votre conception et, en particulier, |
| |
l'une des options utilisant des covariables est que vous pouvez forcer des points de conception précédemment choisis, donc de cette façon, c'est en fait comme faire une augmentation de conception |
| |
en utilisant un candidat après avoir utilisé des covariables. |
| |
Et, bien sûr, parce que dans ce... dans ce cas, je ne peux pas vraiment jeter ces points de conception sur lesquels j'ai déjà expérimenté. Vraiment, tout ce que nous voulons faire, c'est choisir les 48 suivants. |
| |
Et je devrais juste mentionner ici, cependant, si vous pensez à la conception personnalisée... |
| |
Donc, dans chacun d'eux, ce que je faisais était... donc les interactions à deux facteurs, puis les interactions à trois facteurs si possible. |
| |
Mais il y avait... c'était vraiment plus un mécanisme pour explorer l'espace de conception, n'est-ce pas. Le modèle que j'étais en train d'adapter |
| |
utilisait XGBoost après coup, donc je veux dire que la conception n'était pas optimisée pour un modèle XGBoost ou quelque chose comme ça. |
| |
C'était plus comme un substitut pour dire, explorez cet espace de conception où le rendement prévu semble bon et, surtout, parce qu'il s'agissait de facteurs catégoriques, cela va s'assurer qu'il essaie d'obtenir un bon équilibre. Une autre chose à mentionner, |
| |
si vous vouliez ... encore une fois, parce qu'il n'utilise pas ce modèle sous-jacent, le XGBoost ou quelque chose comme ça, vous pouvez utiliser la réponse. Donc, dans ce cas, ils ont prédit le rendement comme une autre covariable, et ce que cela ferait, c'est d'essayer d'obtenir un meilleur équilibre entre le rendement élevé et le rendement faible. |
| |
réponses quand il essaie de faire la conception. |
| |
Nous n'avons donc pas exploré cela ici, mais je pense que ce serait une chose valable à faire à l'avenir. |
| |
Donc, au rendement prévu. Donc, comme je l'ai mentionné dans... je pense que lorsque Phil parlait de certaines des autres techniques d'apprentissage automatique qu'il avait essayées |
| |
Pour mon ???, je me suis en fait principalement concentré sur XGBoost. |
| |
Et si vous regardez sur le côté gauche, l'une des raisons pour lesquelles j'avais fait cela était d'essayer |
| |
en utilisant la validation croisée des plis K, mais où j'utilise le numéro de conception, qui serait essentiellement la plaque de puits à chaque pli supplémentaire. Ainsi, au lieu de sélectionner au hasard les différents plis K, |
| |
cela dirait, je vais regarder la plaque de puits et je vais ensuite essayer de garder ça pour chacun. Donc si vous imaginez, pour le premier, quand je n'avais que trois plaques à puits, |
| |
il allait prendre chacune de ces plaques de puits, la tenir, puis voir dans quelle mesure il pouvait prédire, sur la base des deux autres. Et donc au moment où j'arriverais à la dixième... la dixième plaque de puits, ce serait en fait un peu comme un décuplé. |
| |
Donc, une partie de mon raisonnement était de penser à essayer de rendre ce modèle robuste pour cette prochaine plaque de puits que vous n'avez pas vue. |
| |
Et, en réalité, cela vous protégerait peut-être aussi si quelque chose arrivait avec une plaque à puits particulière, |
| |
alors, peut-être aussi obtenir un peu de protection contre cela. |
| |
Et une autre chose que j'avais faite avec XGBoost est que lorsque vous lancez la plate-forme XGBoost, comme via le complément, vous verrez qu'il y a une petite case à cocher en haut pour ce que nous appelons une conception de réglage. |
| |
Et donc, avec cette conception de réglage, |
| |
il s'agit en fait d'adapter une conception de remplissage d'espace derrière les couvertures et d'exécuter tout cela pour les différents paramètres hyper. |
| |
Donc ce que j'avais fait pour chaque fois que je faisais ça, |
| |
Je choisirais une conception de réglage pour 50 exécutions, mais explorez simplement cet espace d'hyper paramètres. Et donc le modèle que je choisirais à chaque tour |
| |
était celui qui avait la meilleure validation R au carré. Et encore une fois, la validation R au carré dans ce cas utilise en fait uniquement les points de conception que j'ai, à droite. Donc, c'était faire ce K fold avec le... |
| |
avec ces différentes plaques de puits. Donc, dans ce cas, la validation R au carré n'est pas... Je n'utilise pas ces données qui n'ont pas encore été vues, car encore une fois, en réalité, je n'ai pas encore ces données. |
| |
Mais c'était juste dire en utilisant cette technique de validation, où j'utilisais les plaques de puits. Encore une fois, c'est en quelque sorte la raison pour laquelle j'utilisais XGBoost pour la plupart de cela, j'essayais juste quelque chose de différent qui |
| |
en utilisant cette technique de plis K, et aussi, j'aime vraiment utiliser le remplissage de l'espace aussi, quand il s'agit de ce XGBoost. |
| |
Et donc jetons un coup d'oeil ici. Donc, nous voyons ici, ce sont les points qui sont choisis tout au long des tours consécutifs. Maintenant, |
| |
si vous pensez à ce qui se passait dans l'approche gourmande, je veux dire, c'était vraiment en se concentrant en haut à gauche. |
| |
D'accord, mais maintenant, si vous voyez avec cette approche hybride, |
| |
au fur et à mesure qu'il commence à avancer dans les tours, vous le voyez remplir un peu plus ces points, mais nous obtenons également un meilleur... un meilleur échantillonnage de points, en particulier sur ce côté gauche. |
| |
Bon, donc si vous pensez du point de vue, vous avez maintenant de bien meilleures alternatives pour ces régions à haut rendement. |
| |
Je pense que oui... si nous examinons maintenant le réel par rapport aux prévisions, |
| |
Je pense en fait que c'était assez révélateur aussi, je pense, parce que nous avons fait une meilleure exploration. |
| |
Dans ces régions à haut rendement qui peut-être |
| |
n'a pas été aussi élevé, je pense, si vous regardez en bas à gauche, je pense que nous avons fait un bien meilleur travail dans le modèle hybride en reprenant certaines de celles qui peuvent être des alternatives viables. |
| |
L'un des avantages de cette méthode est que je peux me concentrer sur plus que le rendement. |
| |
D'accord, donc si vous y réfléchissez... |
| |
Je pourrais avoir une réponse secondaire, que ce soit une sorte de toxicité, cela pourrait être un coût, quelque chose comme ça, |
| |
Je peux me concentrer sur plus que le rendement lorsque je regarde ces valeurs prédites. Et donc, si vous pensez à quelque chose comme l'approche gourmande, |
| |
si vous commencez à ajouter des critères secondaires... secondaires que vous souhaitez prendre en compte, il est beaucoup plus difficile de commencer à équilibrer. Alors qu'avec cette approche de sous-ensemble, il n'est vraiment pas difficile du tout d'ajouter une réponse secondaire en faisant cela. |
| |
Je pense que je vais laisser la parole à Ben pour les conclusions. |
| François Ben |
Donc, |
| |
merci beaucoup à David, Phil et Ryan d'avoir expliqué pourquoi nous abordons cela, puis finalement, de nous avoir donné deux, trois très bonnes solutions et façons de |
| |
voir comment nous abordons ce problème. Et dans toutes ces approches, il est clair que JMP apporte de la valeur aux scientifiques. Donc, nous avons directement, dès le départ, nous avons décuplé les ressources pour l'expérimentation. Nous n'avons utilisé que 10% des pistes. Et |
| |
En fin de compte, ce que nous permettions dans chaque situation était la capacité de répondre aux spécifications et de fournir une solution à haut rendement à partir des expériences. |
| |
Mais en plus de cela, nous avons également montré comment nous pouvions avoir différents niveaux de compréhension approfondie des processus, en fonction de l'objectif et de la stratégie de l'entreprise utilisant cette approche. |
| |
Maintenant, vous remarquerez peut-être que, nous trois de JMP, nous sommes très intéressés par la façon dont CatSci aborde ce problème. Nous ne prenions pas nécessairement |
| |
le problème loin de CatSci et le résolvant nous-mêmes ; nous fournissons les outils pour résoudre ce problème en termes de DOE. Et ce fut une collaboration fantastique entre David en tant que client, |
| |
moi-même et phil du côté des ventes techniques, et Ryan du côté du développement de produits, et il est essentiel ici que nous examinions tous cela d'un point de vue différent |
| |
pour permettre ce type de solution, qui, comme je l'ai déjà dit, nous pouvons examiner une sorte de compréhension approfondie du processus de différentes manières, en fonction des objectifs de ce qui doit être atteint. |
| |
Nous avons découvert certaines choses en cours de route, ce qui est vraiment passionnant pour nous chez JMP et conduira à des améliorations de produits, que nous vous rendrons ensuite. |
| |
en tant que clients. Nous avons appris que les approches d'apprentissage automatique sont applicables à cette grande situation de DOE et, comme vous le savez, avec JMP, elles sont simples à appliquer. Et nous avons également appris la prudence en termes d'approches de validation, et nous pouvons approfondir cela. |
| |
Donc, en fin de compte, nous avons présenté ici un bon volume de travail en termes de grands défis du DOE, et nous sommes sûrs qu'il existe de nombreuses entreprises, similaires à CatSci, qui s'attaquent à ce type de problème. |
| |
Nous vous invitons donc tous à explorer davantage ce travail que nous avons fait, et nous avons deux liens ici en termes de communauté où nous publierons des ressources et la vidéo de cela, |
| |
ainsi qu'une publication JMP Public, qui vous permet de mettre la main sur les données que nous avons utilisées dans ce cadre. Donc, de la part de tout le monde dans cette présentation, nous voulons dire merci d'avoir regardé. |
