| Conférencier |
Transcription |
| David Wong-Pascua |
D'accord, alors. |
| |
La méthode séquentielle et régulière est gagnante. Bonjour à tous, je m'appelle David et je suis scientifique senior chez CatSci. Qu'est-ce que CatSci ? |
| |
CatSci est un partenaire d'innovation pour la recherche et le développement de procédés chimiques de bout en bout. Nous collaborons avec des organisations comme JMP UK pour garantir que toutes nos décisions sont fondées sur des données. |
| |
Pour nous, il s'agit de bien faire les choses dès la première fois et de bien faire les choses à chaque fois ; de formuler des solutions sur mesure et parfaitement adaptées à chaque projet ; et notre objectif absolu est de répondre aux attentes de nos clients. |
| |
Nous intervenons dans de nombreux domaines, notamment en développement précoce et avancé. Nous possédons une expertise des procédés, une longue expérience en catalyse, qui a toujours été au cœur de notre identité, et d'excellentes compétences en chimie analytique et en science des matériaux. |
| |
Chez CatSci, l’un des défis auxquels nous sommes confrontés est la sélection de variables catégorielles en amont de l’optimisation des processus. |
| |
Cette difficulté est particulièrement visible dans nos travaux de criblage de catalyseurs. |
| |
Dans les images de la diapositive, nous pouvons voir certains des appareils et instruments sur lesquels nous nous appuyons pour effectuer le criblage des catalyseurs. |
| |
Sur la gauche, nous avons des kits de catalyse préfabriqués qui contiennent 24 combinaisons prédosées de précurseur métallique et de ligand. |
| |
Au centre se trouve un hydrogénateur qui abrite une plaque à 48 puits, visible à droite. |
| |
Cela permet de mener 48 expériences individuelles simultanément. |
| |
Ces instruments sont conçus pour un débit élevé et une petite échelle, et il n'est pas rare d'exécuter 10 ou plus de ces plaques pour nos clients, ce qui représente un total de près de 500 expériences. |
| |
Alors pourquoi avons-nous besoin de réaliser un nombre relativement important d’expériences et quels sont les avantages d’une amélioration de l’efficacité ? |
| |
Donc, tout d’abord, l’espace chimique qui doit être exploré est extrêmement vaste. |
| |
Pour toute réaction, toute réaction chimique, de nombreux facteurs peuvent avoir un effet, tels que la température, la concentration et la stoechiométrie. |
| |
Cependant, ce qui rend l’exploration particulièrement difficile pour une réaction catalytique est qu’il existe de nombreux facteurs catégoriels importants ; ceux-ci incluent le précurseur métallique, le ligand, le réactif, le solvant et l’additif. |
| |
Une autre caractéristique des réactions catalytiques est qu'il y a fréquemment des interactions d'ordre élevé, ce qui signifie que, pour un système catalytique (une combinaison particulière de précurseur métallique et de ligand), |
| |
des analyses approfondies des solvants et des additifs sont nécessaires pour évaluer les performances. |
| |
Il n'est pas correct d'exclure une certaine combinaison de précurseur de méthyle et de ligand juste avant… simplement parce qu'elle ne fonctionne pas bien dans un solvant donné. Il se peut que vous ne disposiez pas du solvant ou de l'additif adéquat. |
| |
Enfin, l’une des manières les plus simples d’expliquer l’avantage d’une méthode de criblage plus efficace est d’examiner le prix des matériaux. |
| |
Nombre de nos projets de catalyse font appel à des métaux précieux, tels que le platine, le palladium, le ruthénium, l'iridium et le rhodium. Certains de ces métaux comptent parmi les éléments les plus rares de la croûte terrestre, ce qui se reflète dans leur prix. |
| |
Une simple recherche rapide sur Google de leurs prix vous permet de constater ici que le prix du rhodium est plus d'un ordre de grandeur plus cher que celui de l'or. |
| |
Les ligands représentent un autre poste de dépense important du criblage catalytique. Bien qu'il existe des ligands bon marché, la plupart des ligands les plus performants pour la synthèse asymétrique sont des ligands propriétaires, comme Josiphos de Solvias. |
| |
et l'un des plus couramment disponibles et des moins chers, le J001, coûte toujours deux fois le prix de l'or. |
| |
Ainsi, réduire le nombre d’expériences peut donc diminuer le coût des consommables, mais l’impact le plus important est créé lorsque nous trouvons la solution optimale pour un client avec un processus de fabrication de plusieurs tonnes. |
| |
Dans ces cas, une réduction de dix fois de la charge du catalyseur ou la découverte d'un catalyseur alternatif moins cher, par exemple en remplaçant un catalyseur au rhodium par un catalyseur au ruthénium, peut permettre d'économiser des millions de dollars par an. |
| |
Et maintenant, je vais passer la parole à Ben, qui expliquera comment l'équipe JMP UK a résolu ce problème. |
| Ben Francis |
Alors merci beaucoup, David. |
| |
Il est donc clair que |
| |
CatSci et de nombreuses autres entreprises similaires à CatSci sont confrontées à de grands défis avec de grands espaces de formulation, |
| |
qui peuvent avoir des interactions d'ordre très élevé. La science est donc extrêmement complexe, et nos expériences pour décrypter cette complexité sont importantes. |
| |
Malheureusement, l’option consistant à simplement tester chaque combinaison n’est pas vraiment judicieuse ou viable, en raison des coûts que David a soulignés. |
| |
Et finalement, nous devons adopter une certaine forme d’approche, qui implique la science des données pour comprendre les relations numériquement. |
| |
Donc, pour procéder et appliquer la formulation choisie à un scénario de fabrication... un scénario de fabrication multiple, nous devons savoir que cela fonctionnera à chaque fois, comme l'a dit David. |
| |
Nous avons donc effectué des recherches dans la littérature, car chez JMP, nous sommes très intéressés par l'application de l'EOD, et nous avons estimé qu'il s'agissait d'une situation particulière de l'EOD. |
| |
Et comme nous l'avons bien nommé, il s'agit d'un grand DOE. Nous avons donc cherché une étude de cas pour appliquer une approche de grand DOE et nous avons trouvé un article de Perera et al. |
| |
Publié en 2018, ils ont étudié une plateforme pour ce dépistage des réactions. Ce qui était intéressant dans ce scénario, c'est qu'ils avaient cinq facteurs catégoriques. |
| |
Cela peut paraître simple. Ils ont dû examiner les réactifs 1 et 2, le ligand, les réactifs et le solvant, mais la complexité de ce qui a été présenté dans cet article résidait dans les niveaux de chaque facteur. |
| |
Quatre, trois, douze, huit et quatre niveaux, respectivement, tous combinés ensemble, donnent 4 608 combinaisons distinctes. |
| |
Or, dans l'article de Perera et al., ils ont testé chacun d'eux, ce qui n'est évidemment pas une solution viable pour toutes les entreprises du monde, mais ils ont simplement testé chaque combinaison, comme David l'a souligné auparavant. |
| |
Vous pouvez voir ici sur la carte thermique qu'ils ont pu se faire une idée qu'il existe des régions à haut rendement |
| |
Certains ont eu un rendement moindre, d'autres très faible. Il y a donc eu beaucoup de tests, pour finalement ne pas vraiment comprendre le processus. |
| |
et un coût expérimental très élevé. |
| |
Donc, cela a finalement abouti à une situation où ils ont trouvé une combinaison, ils sont arrivés à une combinaison, qu'ils ont ensuite pu traiter dans le document et dire, regardez, c'est, ce sont les généralités |
| |
C'était correct la première fois, mais était-ce correct à chaque fois, à partir de ce moment-là, si l'on appliquait ce principe à un scénario de production de plusieurs tonnes ? Le système continuerait-il à répondre aux spécifications requises ? |
| |
La solution du DOE réduit-elle les besoins en ressources ? |
| |
Est-ce que le projet réussit du premier coup et à chaque fois ? Et comment nous pouvons évaluer ces questions et nos performances ? |
| |
Premièrement, pour réduire les besoins en ressources, nous avons autorisé une expérience de seulement 480 exécutions au total. Cela correspondait à 10 48 plaques de travail, soit environ 10 % des exécutions réalisées dans l'article. |
| |
La question de savoir si le résultat est bon du premier coup a été mesurée en examinant combien de combinaisons à haut rendement identifiées dans le document, les 80, ont été testées ou prédites. |
| |
par le modèle généré. Et, au final, avec 10 % d'exécutions, nous espérions obtenir au moins huit combinaisons à haut rendement de nos… de nos DOE. |
| |
(et un rendement élevé est indiqué ici par une valeur supérieure à 95%). |
| |
Enfin, et c'est crucial, est-ce que le résultat est toujours correct ? On peut le mesurer en examinant les diagnostics généraux du modèle, les R au carré. Et, finalement, pouvons-nous examiner cela et voir si nous avons une vision du processus ? Les relations sont-elles cohérentes ? Les combinaisons et les interactions sont-elles cohérentes ? |
| |
Donc, ce que nous avons fait pour nous donner un exemple ici aussi, c'est que nous avons examiné l'ensemble de données complet de 4 608, nous avons constaté que le R au carré de celui-ci était de 0,89, et c'était avec une méthode d'arbre boosté. |
| |
Je vais maintenant céder la parole à Phil, qui présentera la première grande approche du DOE que nous avons adoptée. |
| Phil Kay |
Merci Ben ; merci David d'avoir si bien planté le décor. Nous avons donc envisagé trois approches différentes. |
| |
pour aborder ce problème et voir si nous pouvons prendre un nombre réduit de ces exécutions qui ont été réellement testées dans cet article et toujours obtenir les mêmes informations utiles que Ben, comme indiqué. |
| |
Je vais donc aborder deux de ces trois approches, et celles-ci sont plutôt extrêmes. Il y a une approche conservatrice et une approche gourmande, puis Ryan abordera l'approche hybride et équilibrée qui, selon nous, serait probablement la plus efficace au final. |
| |
Donc, selon l'approche conservatrice, il s'agit d'une approche standard du DOE. Nous concevons un modèle personnalisé de 480 essais avec 10 blocs, ce qui représente 10 plaques dans l'équipement de criblage du catalyseur que David nous a présenté. |
| |
Et les principaux résultats de cette expérience de 480 cycles ont été que nous avons pu prédire correctement que 13 des combinaisons les plus rentables seraient celles qui offriraient un rendement élevé. |
| |
Et nous avons pu construire un modèle à partir de cet ensemble de données de 480 exécutions qui, lorsque nous l'avons testé par rapport à des données qui n'avaient pas été utilisées dans cette expérience, |
| |
Le R² était d'environ 0,73, ce qui est plutôt bon. Nous obtenons un modèle assez précis et une assez bonne compréhension du système dans son ensemble grâce à cette petite expérience… à la grande expérience publiée. |
| |
Nous avons tiré des enseignements très intéressants de cette expérience, notamment la nécessité d'utiliser l'apprentissage automatique pour obtenir des modèles utiles à partir de ces données, ce qui nous a quelque peu surpris. Je vais vous en parler plus en détail. |
| |
Nous avons acquis une bonne compréhension des données collectées grâce à cette approche conservatrice. Cela nous a permis de bien comprendre l'ensemble de l'espace factoriel et les raisons pour lesquelles certaines combinaisons fonctionnent bien. |
| |
Cela nous a permis d'identifier des régions alternatives, donc si nous trouvons une combinaison à haut rendement, mais ce n'est pas pratique car c'est trop cher, |
| |
les catalyseurs sont trop chers, ou peut-être qu'ils sont dangereux ou toxiques et ne se prêtent pas à un processus industriel, alors nous avons beaucoup d'alternatives parce que nous avons une compréhension de l'espace complet. |
| |
Alors, comment avons-nous fait cela ? |
| |
Conception personnalisée dans JMP. Nous |
| |
J'ai conçu une série de 480 puits, une conception optimale, dans ce cas, en 10 blocs. Donc, encore une fois, les 10 blocs représentent 10 plaques de 48 puits pour lesquelles David nous a montré l'équipement. |
| |
Il est à noter ici que nous spécifions un modèle en conception personnalisée destiné aux effets principaux. |
| |
Pour les interactions de second et de troisième ordre. Et avec les interactions de troisième ordre et tous ces niveaux de facteurs catégoriels, |
| |
Il y a un nombre considérable de paramètres à estimer, et nous ne pouvons donc pas concevoir une expérience pour les estimer tous explicitement. Nous devons intégrer les interactions du troisième ordre, si possible. Il s'agit donc d'un modèle bayésien optimal de 480 exécutions. |
| |
Vous pouvez voir à partir de ce visuel que nous examinons simplement les différentes séries d'expériences, des différentes... 10 plaques différentes. |
| |
Et vous pouvez voir comment, avec l’ajout de la plaque suivante dans l’expérience, nous ajoutons à notre exploration de l’espace factoriel dans son ensemble. |
| |
Nous ne nous concentrons pas sur des régions spécifiques ; nous comblons simplement les lacunes de nos connaissances sur l’ensemble de cet espace factoriel. |
| |
Cela représente donc 480 exécutions utilisées dans notre expérience et les 4 128 lignes restantes issues de cet ensemble de données publié. Nous pouvons utiliser ces données de test pour comparer nos modèles sur un ensemble de données conservé, ces données de test. |
| |
Maintenant, nous nous attendions, compte tenu de notre expérience et de notre expérience en matière de DOE, à ce que |
| |
lorsque nous concevons une expérience pour un certain modèle, les techniques de régression standard vont nous fournir les modèles les plus utiles. |
| |
Nous avons donc utilisé JMP Pro ici et nous utilisons la régression généralisée pour ajuster un modèle complet du troisième ordre. |
| |
Nous utilisons ici une distribution bêta, qui fait varier les prédictions entre zéro et un. Nous convertissons donc le rendement en pourcentage sur une échelle de zéro à un. Il s'agit simplement d'une petite astuce que vous pourriez utiliser lorsque vous modélisez des données de rendement comme celle-ci avec JMP Pro. |
| |
Et nous utilisons la sélection directe, avec AICc comme méthode de validation, afin de sélectionner les effets importants. |
| |
Et nous répétons cela après chaque tour, donc avec le premier tour de 48 runs, puis le deuxième tour de 96, puis le troisième avec 144, jusqu'au 10ème tour où nous avons les 480 runs complets. |
| |
Ici, vous pouvez voir le filtre défini sur gen reg juste pour regarder les trois premiers tours. |
| |
Donc, pour ces trois premiers tours, voici le modèle que nous obtenons en utilisant la régulation génétique, la sélection directe et la validation AICc. |
| |
Et ce n'est pas un excellent modèle, je pense, simplement d'après notre compréhension intuitive de ce que l'on attend de la chimie. Nous ne voyons que deux des facteurs impliqués dans le modèle, donc seuls deux effets principaux sont sélectionnés comme significatifs. |
| |
Nous pouvons donc enregistrer ce modèle dans la table de données, puis nous pouvons voir dans quelle mesure ce modèle prédit les données retenues, notre ensemble de test, |
| |
Les 4 128 lignes restantes ne faisaient pas partie de notre expérience. Nous pouvons le faire à chaque tour. Nous avons donc créé dix modèles avec genreg. |
| |
Comme alternative, nous avons pensé qu'il serait intéressant d'examiner certaines méthodes d'apprentissage automatique. Nous allons maintenant revenir sur les trois premières phases. |
| |
Et comme moyen très rapide d’examiner de nombreuses techniques de modélisation différentes, nous utilisons le criblage de modèles dans JMP 16 Pro. |
| |
Nous renseignez simplement le rendement et les facteurs dans les Y et les X. Nous avons configuré une colonne de validation de retenue pour retenir aléatoirement 25 % des données à des fins de validation. |
| |
Cliquez sur OK, et il exécute toutes ces différentes techniques de modélisation, nous obtenons donc maintenant un rapport qui nous indique |
| |
à quel point ces... toutes ces différentes techniques de modélisation, y compris certains modèles de génération de registre, des réseaux neuronaux et différentes méthodes d'arborescence. |
| |
Nous avons sélectionné les deux meilleurs. En fait, à travers toutes les phases de l'expérience, nous avons constaté que les modèles de réseaux neuronaux boostés et la forêt bootstrap étaient les plus performants. |
| |
Nous pouvons donc à nouveau sauvegarder les formules de prédiction et les utiliser sur l'ensemble de données de test qui n'était pas impliqué dans l'expérience pour les comparer et voir dans quelle mesure nos différents modèles se comportent par rapport à cet ensemble de données de test. |
| |
Et nous utilisons ici la comparaison de modèles et JMP Pro, donc nous comparons tous nos modèles de génération de registre, nos modèles de réseaux neuronaux et nos modèles de forêt bootstrap. |
| |
Vous pouvez maintenant visualiser le R au carré par rapport à cet ensemble de données de test. Vous pouvez ainsi évaluer l'adéquation de ces modèles par rapport à l'ensemble de données de test retenu. |
| |
Et vous pouvez voir le gen reg, les modèles de régression standard utilisant la sélection avant en rouge, en commençant |
| |
Au premier tour, c'est en fait le meilleur modèle, mais sans réelle amélioration, puis il devient soudainement très mauvais vers cinq, avant de redevenir vraiment bon au tour suivant. Il est donc très instable et se dégrade vers la fin, probablement en surapprentissage. |
| |
Les méthodes d’apprentissage automatique, en revanche, sont, |
| |
Après le troisième tour, ils obtiennent les meilleurs résultats, dépassant nos techniques de régression standard, et ils progressent sans cesse. Et en fait, |
| |
vous pouvez voir que les neurones démarrent mieux en vert, et vers la fin, la forêt bootstrap surpasse les modèles de réseau neuronal boostés. |
| |
Donc, la méthode à retenir ici est que même avec cela, ce que vous pourriez considérer comme une situation relativement simple, vous avez vraiment besoin des méthodes d'apprentissage automatique de JMP Pro pour obtenir les meilleurs modèles, les modèles les plus fiables pour ce type de systèmes ou de processus. |
| |
Nous examinons maintenant les courbes des résultats de rendement réels pour les 4 608 exécutions publiées, comparées aux prédictions de notre meilleur modèle à la fin du 10e tour, après les 480 exécutions. Il s'agissait donc d'une forêt bootstrap à droite. |
| |
Et ce n'est pas si mal, vous voyez les comportements importants qu'il détecte. Il identifie les régions à faible rendement et celles à rendement élevé. Donc, il y a… |
| |
particulièrement en haut à droite, ils utilisent un réactif iodé (?) et l'acide boronique et l'ester boronique |
| |
réactifs là-bas. |
| |
Nous comparons donc cette approche avec l'autre approche extrême. La première série de 48 exécutions était donc identique ; nous commençons avec les mêmes 48 exécutions. Nous construisons ensuite un modèle et l'utilisons pour déterminer, parmi toutes les exécutions restantes, lesquelles sont… |
| |
Parmi les 4 560 exécutions restantes, laquelle d'entre elles, selon le modèle, aurait le rendement le plus élevé, et nous continuons à faire cela dans tous les tours suivants jusqu'à 10. |
| |
Et dans ce cas, nous prédisons correctement davantage de rendements élevés et de combinaisons, mais lorsque nous obtenons le modèle final après 10 tours et le comparons aux données |
| |
Nous n'avons pas utilisé cette valeur dans l'expérience : le R au carré est très mauvais. Il est de 0,33. Le modèle obtenu ne fait donc pas de bonnes prédictions sur le système dans son ensemble. |
| |
Nous comprenons donc bien une région à haut rendement et trouvons des combinaisons et des paramètres de facteurs efficaces, mais cela ne nous permet pas vraiment de comprendre le système dans son ensemble. Nous ne… |
| |
nous ne réduisons pas notre variabilité dans notre compréhension du système dans son ensemble. |
| |
Donc, juste pour vous montrer comment ce système, cette approche fonctionne, voici nos 4 608 exécutions complètes, toutes les combinaisons possibles. Et, comme je l'ai mentionné au premier tour, c'est la même chose qu'au premier tour en utilisant l'approche conservatrice, donc c'est une approche optimale. |
| |
un ensemble de points là-bas, et vous pouvez voir qu'ils sont répartis uniformément dans l'espace factoriel. |
| |
Nous avons adapté un modèle aux données de ces 48 exécutions. |
| |
Et nous utilisons ce modèle pour prédire le rendement de toutes les autres combinaisons possibles, puis nous sélectionnons parmi celles-ci les 48 prédictions les plus rentables, |
| |
Ce sont ceux-là. Vous voyez donc qu'ils se concentrent sur la région à haut rendement… nous n'explorons plus l'intégralité de l'espace factoriel. |
| |
Et si l'on passe des tours 1, 2, 3 et jusqu'au tour 10, vous pouvez constater qu'à chaque fois, nous ajoutons des séries à l'expérience qui se situent dans la zone à haut rendement en haut à gauche. Nous nous concentrons donc uniquement sur une région de l'espace factoriel. |
| |
Et si nous comparons ici les prévisions et les résultats réels, vous pouvez voir que cela fonctionne plutôt bien dans cette région en haut à gauche. |
| |
Mais ailleurs, les prévisions sont plutôt désastreuses, comme on pouvait s'y attendre ; ce n'est probablement pas si surprenant. Nous n'avons pas mené d'expériences sur l'ensemble du système. Nous nous sommes concentrés sur la région à haut rendement. |
| |
Et si vous le comparez à notre approche conservatrice sur le côté gauche (vous avez donc déjà vu le tracé sur le côté gauche), si vous regardez comment le modèle |
| |
Nous nous sommes améliorés au fil des tours un à dix, puis à chaque tour, nous avons utilisé à nouveau la plateforme de sélection de modèles pour trouver le meilleur modèle. |
| |
Et il s'est avéré qu'à chaque étape, le réseau neuronal boosté était le meilleur modèle. Eh bien, vous pouvez voir qu'il est un peu instable, comme la régulation de génération de l'approche conservatrice. |
| |
Parfois, c'est bien, mais ce n'est jamais... ce n'est jamais compétitif avec nos meilleurs modèles issus de l'expérience conservatrice. |
| |
Voilà donc les deux extrêmes, et je vais passer la parole à Ryan, qui va parler d’une approche plus équilibrée ou hybride de ce problème. |
| Ryan Lekivetz |
Merci pour ça, Phil. Et |
| |
Juste au milieu d'une présentation, je tiens à remercier Phil, Ben et David de m'avoir permis d'y participer. En tant que développeur, c'est plutôt amusant de jouer un peu. Je suis développeur sur les plateformes DOE dans JMP. |
| |
Comme Phil l’a mentionné ici, l’approche que j’examine ici est une approche hybride. |
| |
Très bien, donc l’idée ici est que nous allons examiner cette idée d’optimisation par rapport à l’exploration. |
| |
Donc, si vous pensez à l'approche gourmande dont Phil parlait, c'est vraiment de l'optimisation. Je vise strictement le meilleur, c'est tout ce sur quoi je vais me concentrer. Alors que dans cette approche conservatrice, seule l'exploration était importante. |
| |
Et donc l'idée ici est que, pouvons-nous arriver quelque part au milieu pour |
| |
peut-être optimiser, tout en explorant un peu l'espace ? |
| |
Je vais donc vous expliquer ce que j'ai fait… J'ai commencé avec trois plaques de puits préparées à l'avance. J'ai donc fabriqué ces trois blocs de taille 48 et j'ai simplement réalisé les effets principaux avec des 2FI If Possible. |
| |
La raison en est que parfois, je ne faisais pas vraiment confiance aux modèles avec seulement 48 essais. Je me suis dit : « Bon, essayons un peu. Essayons les plaques à 144 puits, ou à trois puits, pour pouvoir peut-être faire davantage confiance au modèle. » |
| |
Car, d'une certaine manière, même si vous envisagez cette approche cupide, si votre modèle est mauvais, vous vous retrouverez dans des régions terribles. Cela ne vous sera pas d'une grande aide. |
| |
Et encore une fois, comme avant, je vais toujours faire 10 plaques de puits au total ou 10 blocs au total à la fin. |
| |
J'en parlerai un peu plus en détail dans les prochaines diapositives, mais j'utilisais XGBoost tout au long du processus. J'avais donc prévu d'utiliser XGBoost, et il y a une raison pour laquelle je vais y revenir. |
| |
pour avoir fait ça. |
| |
Mais l'idée ici était essentiellement de prendre en compte la valeur prédictive. Au lieu de me concentrer uniquement sur les 48 meilleurs, j'ai décidé de fixer un seuil. |
| |
Bon, donc après les trois premiers, j'ai commencé à 50. Alors j'ai dit, donnez-moi les valeurs prédictives qui sont supérieures à 50 et au fur et à mesure que je continue sur d'autres plaques de puits, je vais augmenter de cinq à chaque tour. |
| |
Je veux dire que c'était assez arbitraire ; une partie de cela était due au fait que nous savions que nous n'avions que 10 tours au total, et c'est aussi parce que je pouvais en quelque sorte voir, en fonction de la prédiction, quelle était la taille de cet ensemble. |
| |
D'accord, donc en fonction des données, s'il semblait que cet ensemble était toujours énorme, que la prédiction était d'environ 50, vous pourriez le modifier en conséquence. |
| |
L’idée ici est donc simplement de commencer lentement à explorer ce qui devrait être, espérons-le, les régions à rendement plus élevé. |
| |
Et donc, avions-nous raison ? Eh bien, dans ce cas, nous avons obtenu 27 des 80 combinaisons les plus rentables, celles supérieures à 95, ce qui n'était pas si loin de l'approche gourmande. |
| |
Et si l'on considère le R au carré, encore une fois, avec toutes ces données de réserve, le R au carré final était de 0,69, ce qui n'était pas si éloigné de l'approche prudente. Donc… |
| |
Je veux dire, vous devriez peut-être être prudent, juste au vu de ces deux chiffres, mais au vu de cela, cet hybride semble vraiment être le meilleur des deux mondes. C'est un compromis, mais vous obtenez quelque chose de bien. |
| |
Voici donc quelques informations sur cette approche. En fin de compte, je dirais que nous avons acquis une meilleure compréhension des facteurs associés au rendement élevé. |
| |
Je pense que les gourmands, si vous pouvez repenser à l'endroit où se trouvaient ces points, étaient vraiment concentrés dans le coin supérieur gauche, donc ils n'ont pas vraiment fait beaucoup plus d'exploration de cet espace. |
| |
Et vous pouvez imaginer si... |
| |
Si le prix d'un produit quadruple soudainement du jour au lendemain, vous ne savez plus rien du reste de la région. |
| |
Bien, et donc avec cette approche hybride, nous obtenons un peu plus de ce comment et pourquoi, certaines des combinaisons, et cela nous donne de meilleures alternatives |
| |
encore une fois, peut-être que si vous avez d'autres choses à prendre en compte, vous êtes prêt à sacrifier un tout petit peu du rendement parce qu'il existe de meilleures alternatives, basées sur d'autres mesures. |
| |
Et donc, en fait, l'idée ici… ouais, alors laissez-moi juste vous expliquer comment cela a été réalisé dans la conception personnalisée. Donc, l'approche que j'ai adoptée était |
| |
en utilisant des covariables dans le concepteur personnalisé, ce qui, à mon avis, est parfois sous-estimé. |
| |
Mais l'idée est que j'ai simplement pris l'ensemble complet des données, donc les 4 608 exécutions, |
| |
Et pour chaque tour… vous imaginez, au début, j'ai pris le plan à 144 exécutions, puis je me suis dit : « Bon, je vais prendre un sous-ensemble de données. » Si je l'avais déjà choisi dans un plan précédent, je devais m'assurer qu'il soit inclus. |
| |
Et puis, donnez-moi également les rendements prévus au-dessus de cette certaine valeur, donc encore une fois, pour la quatrième conception, qui a commencé à 50 et 55, 60, etc. |
| |
Donc dans le tableau de données |
| |
Maintenant, je sélectionne les points de conception utilisés dans les expériences précédentes. Je m'assure qu'ils sont mis en évidence. Ensuite, dans la conception personnalisée, sous « Ajouter un facteur », il y a une option appelée « Covariable ». Et encore une fois, je pense que… |
| |
Beaucoup de gens n'ont jamais vraiment vu de covariables auparavant et, je l'ai mentionné ici, parce que je pense que je pourrais probablement passer une conférence entière à parler uniquement des covariables, |
| |
mais il y aura en fait quelques entrées de blog (si elles ne sont pas en ligne au moment où vous voyez cette vidéo, probablement dans quelques jours au moment où vous regardez celle-ci) |
| |
Je vais aborder plus en détail l'utilisation des covariables. L'idée est que, comme vous l'avez peut-être déjà entendu, un ensemble de candidats… |
| |
voici cet ensemble de données qui était le sous-ensemble de ceux précédemment choisis et tout ce genre de choses, et il indique au concepteur personnalisé que vous ne pouvez choisir que ces points de conception. |
| |
On ne peut pas procéder de manière standard, en essayant constamment de changer les coordonnées, etc. Cela indique au concepteur personnalisé JMP qu'il faut utiliser ces exécutions dans sa conception, et notamment : |
| |
l'une des options utilisant les covariables est que vous pouvez forcer des points de conception choisis précédemment, donc de cette façon, c'est en fait comme faire une augmentation de conception |
| |
en utilisant des candidats après avoir utilisé des covariables. |
| |
Et, bien sûr, dans ce cas précis, je ne peux pas vraiment abandonner les points de conception que j'ai déjà expérimentés. En réalité, tout ce que nous voulons, c'est choisir les 48 suivants. |
| |
Et je devrais également mentionner ici, si vous pensez à la conception personnalisée... |
| |
Donc, dans chacun de ces cas, ce que je faisais était... donc les interactions à deux facteurs, puis les interactions à trois facteurs si possible. |
| |
Mais il y avait… c'était vraiment plus un mécanisme pour explorer l'espace de conception, n'est-ce pas ? Le modèle que j'essayais |
| |
j'utilisais XGBoost après coup, donc je veux dire que la conception n'était pas optimisée pour un modèle XGBoost ou quelque chose comme ça. |
| |
Il s'agissait plutôt d'explorer l'espace de conception où le rendement prévu semble bon et, surtout, comme il s'agissait de gérer les facteurs catégoriels, il fallait s'assurer d'atteindre un bon équilibre. Autre point à mentionner : |
| |
Si vous le souhaitez… encore une fois, comme le modèle sous-jacent n'est pas utilisé, comme XGBoost ou autre, vous pourriez utiliser la réponse. Dans ce cas, ils ont prédit le rendement comme covariable supplémentaire, ce qui permettrait d'obtenir un meilleur équilibre entre rendements élevés et faibles. |
| |
réponses lorsqu'il essaie de faire la conception. |
| |
Nous n’avons donc pas exploré cela ici, mais je pense que ce serait une chose valable à faire à l’avenir. |
| |
Passons maintenant au rendement prévu. Comme je l'ai mentionné… je crois que Phil parlait d'autres techniques d'apprentissage automatique qu'il avait testées. |
| |
Pour mon ???, je me suis en fait concentré principalement sur XGBoost. |
| |
Et si vous regardez sur le côté gauche, l'une des raisons pour lesquelles j'ai fait cela était d'essayer |
| |
En utilisant la validation croisée des K plis, mais en utilisant le numéro de conception, qui correspondrait essentiellement à la plaque à puits pour chaque pli supplémentaire. Ainsi, au lieu de sélectionner aléatoirement les différents K plis, |
| |
Il me dirait : « Je vais examiner la plaque à puits et essayer de la maintenir pour chaque puits. » Imaginez, pour le premier, je n'avais que trois plaques à puits. |
| |
Il fallait prendre chacune de ces plaques, les maintenir en place, puis voir si les prédictions étaient bonnes, en fonction des deux autres. Ainsi, lorsque j'arriverais à la dixième plaque, le résultat serait en fait décuplé. |
| |
Donc, une partie de mon raisonnement était de réfléchir à la manière de rendre ce modèle robuste à cette prochaine plaque de puits que vous n'avez pas vue. |
| |
Et, en réalité, cela pourrait également vous protéger si quelque chose arrivait à une plaque de puits particulière, |
| |
alors, peut-être obtenir un peu de protection contre cela aussi. |
| |
Et une autre chose que j'ai faite avec XGBoost, c'est que lorsque vous lancez la plateforme XGBoost, comme via le module complémentaire, vous verrez qu'il y a une petite case à cocher en haut pour ce que nous appelons une conception de réglage. |
| |
Et donc, avec cette conception de réglage, |
| |
il s'agit en fait d'adapter une conception de remplissage d'espace derrière les couvertures et d'exécuter tout cela pour les différents paramètres hyper. |
| |
Donc ce que j'ai fait à chaque fois que je faisais ça, |
| |
Je choisirais un modèle de réglage pour 50 essais, mais je me contenterais d'explorer cet espace hyperparamétrique. Je choisirais donc le modèle à chaque essai. |
| |
C'était celui qui avait le meilleur R² de validation. Et donc, encore une fois, le R² de validation dans ce cas utilise uniquement les points de conception dont je dispose. Donc, j'ai fait ce K-fold avec… |
| |
avec ces différentes plaques à puits. Donc, dans ce cas, le R² de validation n'est pas… Je n'utilise pas les données qui n'ont pas encore été vues, car, en réalité, je ne les ai pas encore. |
| |
Mais je disais simplement que j'utilisais cette technique de validation, où j'utilisais des plaques à puits. C'est donc la raison pour laquelle j'utilisais XGBoost la plupart du temps : j'essayais simplement quelque chose de différent. |
| |
en utilisant cette technique de pliage en K, et j'aime aussi vraiment utiliser le remplissage d'espace, quand il s'agit de ce XGBoost. |
| |
Voyons cela. Voici les points qui sont choisis au fil des tours consécutifs. |
| |
si vous pensez à ce qui se passait dans l'approche gourmande, je veux dire, c'était vraiment concentré en haut à gauche. |
| |
D'accord, mais maintenant, si vous voyez avec cette approche hybride, |
| |
au fur et à mesure qu'il avance dans les tours, vous le voyez remplir un peu plus ces points, mais nous obtenons également un meilleur... un meilleur échantillonnage de points, en particulier sur ce côté gauche. |
| |
D’accord, donc si vous pensez à partir de cette perspective, vous avez maintenant de bien meilleures alternatives pour ces régions à haut rendement. |
| |
Je pense que oui... si nous regardons maintenant la réalité par rapport aux prévisions, |
| |
En fait, je pense que c’était aussi assez révélateur, je pense, parce que nous avons fait une meilleure exploration. |
| |
Dans ces régions à haut rendement qui peuvent peut-être |
| |
Je ne pense pas que nous ayons atteint un niveau aussi élevé, si vous regardez en bas à gauche, je pense que nous avons fait un bien meilleur travail dans le modèle hybride en récupérant certaines de celles qui peuvent être des alternatives viables. |
| |
L’un des avantages de cette méthode est que je peux me concentrer sur autre chose que le rendement. |
| |
Bon, donc si vous pensez en... |
| |
Je pourrais avoir une réponse secondaire, que ce soit une sorte de toxicité, cela pourrait être le coût, quelque chose comme ça, |
| |
Je peux me concentrer sur autre chose que le rendement lorsque j'examine ces valeurs prédites. Ainsi, si vous pensez à une approche gourmande, |
| |
Si vous commencez à ajouter des critères secondaires à prendre en compte, il est beaucoup plus difficile d'établir cet équilibre. Avec cette approche par sous-ensemble, il est très facile d'ajouter une réponse secondaire. |
| |
Je pense que je vais maintenant laisser la parole à Ben pour qu'il tire ses conclusions. |
| Ben Francis |
Donc, |
| |
Merci beaucoup à David, Phil et Ryan pour nous avoir expliqué pourquoi nous abordons cette question et, en fin de compte, pour nous avoir donné deux ou trois très bonnes solutions et moyens de |
| |
Découvrez comment nous abordons ce problème. Et dans toutes ces approches, il est clair que JMP apporte une valeur ajoutée aux scientifiques. Nous avons donc une approche directe et directe, et nous avons décuplé les ressources consacrées à l'expérimentation. Nous n'avons utilisé que 10 % des exécutions. |
| |
En fin de compte, ce que nous avons permis dans chaque situation était la capacité de répondre aux spécifications et de fournir une solution à haut rendement à partir des expériences. |
| |
Mais en plus de cela, nous avons également montré comment nous pouvions avoir différents niveaux de compréhension approfondie des processus, en fonction de l’objectif et de la stratégie de l’entreprise qui utilise cette approche. |
| |
Vous remarquerez peut-être que nous trois, chez JMP, sommes très intéressés par la façon dont CatSci aborde ce problème. Nous ne nous intéressions pas forcément à |
| |
Nous avons décidé de confier le problème à CatSci et de le résoudre nous-mêmes ; nous fournissons les outils nécessaires pour le résoudre en termes de données d'expérience. Cette collaboration a été formidable entre David, en tant que client, et |
| |
moi-même et Phil du côté des ventes techniques, et Ryan du côté du développement de produits, et il est essentiel ici que nous regardions tous cela sous un angle différent |
| |
pour permettre ce type de solution, qui, comme je l'ai dit auparavant, nous permet d'envisager une compréhension approfondie du processus de différentes manières, en fonction des objectifs à atteindre. |
| |
Nous avons découvert certaines choses en cours de route, ce qui est vraiment passionnant pour nous chez JMP et qui conduira à des améliorations de produits, que nous vous transmettrons ensuite. |
| |
En tant que clients, nous avons appris que les approches d'apprentissage automatique sont applicables à ce vaste projet de DOE et, comme vous le savez, avec JMP, elles sont simples à mettre en œuvre. Nous avons également appris à être prudents quant aux approches de validation, et nous pouvons approfondir ce sujet. |
| |
Donc, en fin de compte, nous avons présenté ici un bon volume de travail en termes de grands défis du DOE, et nous sommes sûrs qu'il existe de nombreuses entreprises, similaires à CatSci, qui s'attaquent à ce type de problème. |
| |
Nous vous invitons donc tous à explorer davantage ce travail que nous avons réalisé, et nous avons deux liens ici en termes de communauté où nous publierons des ressources et la vidéo de ceci, |
| |
ainsi qu'une publication publique JMP, qui vous permet de découvrir les données que nous avons utilisées. Au nom de tous les participants à cette présentation, nous tenons à vous remercier de votre attention. |
