| Conférencier |
Transcription |
| Wayne Levin |
modèle d'ensemble auto-validant, car nous le considérons comme un changement de paradigme dans la conception des expériences, etc. |
| |
Voilà, on y va. Notre programme est… une brève présentation de la personne qui parle. |
| |
Alors, qu'est-ce que SVEM, pourquoi et comment ? Nous allons faire un bref aperçu du DOE et de l'apprentissage automatique, décrire leur intégration dans SVEM, analyser quelques expériences SVEM concrètes, et enfin… |
| |
Nous passerons en revue certaines recherches actuelles et démontrerons le nouveau concepteur d'ensembles candidats de JMP, nouveau dans JMP 16, puis nous terminerons par les étapes suivantes habituelles et les questions-réponses, etc. |
| |
SVEM est une nouvelle méthode remarquable permettant d'extraire davantage d'informations avec moins de cycles expérimentaux et de créer des modèles prédictifs plus précis à partir de petits ensembles de données, y compris des DOE. |
| |
Grâce à SVEM, nous anticipons des coûts réduits, une commercialisation plus rapide et une résolution des problèmes bien plus rapide. Nous allons explorer tout cela à l'avenir. |
| |
dans la séance. |
| |
Je suis Wayne Levin et je suis le président de Predictum. Je suis accompagné de Chris Gotwalt, qui est le scientifique en chef des données chez JMP, et de Phil Ramsey, qui est scientifique principal des données ici chez Predictum et professeur associé à l'Université du New Hampshire. |
| |
Alors, disons simplement |
| |
Faites le point ici. Les contributions de JMP à la science des données sont énormes, nous le savons tous, et dans l'espace DOE remontant à plus de 20 ans maintenant, ce serait... JMP 4, avec l'algorithme d'échange de coordonnées. |
| |
Puis, il y a environ huit ou neuf ans, nous avons vu apparaître des modèles de criblage définitifs. Et nous aimons à penser que SVEM, comme nous l'appelons pour la modélisation d'ensemble auto-validante (essayez de le répéter trois fois rapidement), représente une autre contribution. |
| |
apprentissage automatique et conception d'expériences. |
| |
Cela permet de surmonter les limites des quantités limitées de données. Avec de petites quantités de données, l'apprentissage automatique est impossible ; il faut généralement disposer de grandes quantités de données pour y parvenir. |
| |
Nous avons testé SVEM sur le terrain et plusieurs entreprises nous ont contactés à ce sujet. Nous avons donc mis à disposition une version d'essai de SVEM. |
| |
Predictum, le premier à créer un produit dans ce domaine, à mettre un produit sur le marché, et je veux juste partager avec vous certaines des choses que nous avons apprises jusqu'à présent. |
| |
L'une d'elles est que SVEM fonctionne exceptionnellement bien. Avec plus de paramètres et un plus grand nombre d'exécutions, il fonctionne très bien. |
| |
Modèles d'ordre supérieur. Ils fournissent des prévisions plus précises et facilitent la récupération après des erreurs de plan d'expérience. Par exemple, si vous disposez de plans de criblage définitifs, |
| |
quelle qu'en soit la raison, il n'est pas possible de l'exécuter de manière définitive, nous avons reçu des DOE historiques qui nous ont été envoyés |
| |
Ils manquaient de puissance. Ils n'ont tout simplement rien trouvé, alors qu'avec SVEM, c'était le cas. Ils y sont parvenus. Et nous avons eu des cas où des exécutions étaient manquantes ou douteuses. |
| |
Nous avons également appris que cela ne vous sera d'aucune utilité pour les factorielles rationnelles, par exemple. Nous nous intéressons ici aux modèles prédictifs. |
| |
Les factorielles fractionnaires ne fournissent pas de modèles prédictifs ; elles ne sont pas conçues pour cela. Elles ne produiront donc pas ce que les données ne sont pas censées fournir. |
| |
Du moins, pas à ce point. Nous avons également constaté que nous n'avons pas encore testé tout le potentiel de SVEM. Pour ce faire, nous devons absolument |
| |
Concevoir des expériences en tenant compte du SVEM dès le départ, ce qui implique d'examiner davantage de facteurs. Nous ne souhaitons pas nous contenter de trois ou quatre facteurs. Pourquoi ne pas en considérer 10, 15, voire plus ? |
| |
D'après les recherches dont Chris et Phil parleront, nous comprenons que les conceptions bayésiennes I-optimales sont les meilleures... la meilleure approche à utiliser avec SVEM et également les conceptions mixtes |
| |
Ils ont été particulièrement utiles pour SVEM, et j'y reviendrai plus en détail plus tard. Quant à SVEM, |
| |
Si vous souhaitez l'essayer, nous vous donnerons quelques informations à la fin, après que Chris et Phil en aient parlé. Ceci étant dit, je vous laisse la parole, Chris, qui… |
| |
Expliquez le quoi, le pourquoi et le comment de SVEN. À toi, Chris. |
| Chris Gotwalt |
Très bien, merci Wayne. Oh, attends, je partage mon écran ? |
| Wayne Levin |
Pas encore. |
| |
Et voilà. |
| Chris Gotwalt |
Ok, très bien, eh bien, merci, Wayne. |
| |
Je vais maintenant présenter l'idée des modèles d'ensemble auto-validants ou SVEM. |
| |
Je vais rester assez simple. Je suppose que vous avez une certaine expérience de la conception et de l'analyse d'expériences. |
| |
Plus important encore, vous devez comprendre que le processus de modélisation statistique se résume à adapter des fonctions aux données. |
| |
Cette variable de réponse prédictive est fonction des variables d'entrée. À un niveau élevé, SVEM constitue un pont entre les algorithmes d'apprentissage automatique et les applications Big Data. |
| |
et la conception d'expériences, généralement considérée comme un problème d'analyse simple et pertinent. L'apprentissage automatique et les DOE ont tous deux une longue histoire, mais jusqu'à présent, il s'agissait de traditions relativement distinctes. |
| |
Nos recherches indiquent que vous pouvez obtenir des modèles plus précis en utilisant moins d’observations grâce à SVEM. |
| |
Cela signifie que l'amélioration des produits et des processus peut être réalisée plus rapidement, en utilisant moins de ressources et à moindre coût. Si vous évoluez dans un secteur concurrentiel, |
| |
Si être le premier sur le marché est essentiel, alors SVEM devrait vous intéresser grandement. |
| |
En particulier, nous pensons que SVEM a un potentiel particulier... a un potentiel énorme dans les industries pharmaceutiques et biotechnologiques, |
| |
haute technologie comme la fabrication de semi-conducteurs et le développement de produits de consommation. |
| |
Dans mon travail ici chez JMP, j'ai eu une vue d'ensemble de la manière dont les données sont traitées dans de nombreux secteurs et domaines d'application. |
| |
J'ai développé des algorithmes pour construire des expériences de conception optimales ainsi que des procédures d'analyse associées telles que des modèles mixtes et la généralisation de vos modèles. |
| |
D'autre part, je suis également le développeur des algorithmes de réseau neuronal de JMP Pro, ainsi que de certaines des autres techniques d'apprentissage automatique présentes dans le produit. |
| |
Au cours des 20 dernières années, j'ai vu l'apprentissage automatique devenir plus important lors de la modélisation de grands ensembles de données d'observation et j'ai vu de nombreuses nouvelles |
| |
Les algorithmes développés ont évolué. Parallèlement, l'analyse des expériences planifiées a également évolué, mais de manière plus progressive au cours des vingt dernières années. |
| |
La méthodologie statistique globale de l’expérimentation industrielle serait reconnaissable à quiconque aurait lu Box, Hunter et Hunter à la fin des années 1970. |
| |
L’apprentissage automatique et la conception d’expériences sont généralement appliqués à l’industrie pour résoudre des problèmes de nature prédictive. |
| |
Nous utilisons ces outils pour répondre à des questions telles que : le capteur indique-t-il un lot défectueux ou comment ajuster le processus pour maximiser le rendement tout en minimisant les coûts. |
| |
Bien qu’ils soient tous deux de nature prédictive, l’apprentissage automatique et la conception d’expériences s’appliquent généralement à des types de données assez différents. |
| |
Ce que je vais faire maintenant, c'est donner un aperçu rapide des deux, puis décrire comment nous les avons intégrés dans SVEM. |
| |
J'analyserai certaines données d'une expérience réelle, pour montrer comment cela fonctionne et pourquoi nous pensons que cela fonctionne très bien dans l'ensemble. |
| |
Je vais passer en revue les résultats des simulations effectuées par Trent Limpkiss(?), un doctorant de l'Université du New Hampshire, qui nous a donné confiance dans le fait que l'approche est très prometteuse. |
| |
Je passerai ensuite en revue un exemple qui montre comment vous pouvez utiliser les nouveaux modèles d'ensembles candidats dans JMP 16 pour trouver des sous-ensembles optimaux d'ensembles de données existants afin que vous puissiez essayer SVEM par vous-même. |
| |
Je soulignerai certaines de nos observations, j'ai mentionné quelques questions futures auxquelles nous espérons répondre, puis je passerai la parole à Phil, qui passera en revue une étude de cas plus approfondie et une démonstration du module complémentaire SVEM. |
| |
Considérons les données simples affichées à l'écran. Il s'agit de données issues du processus métallurgique et nous souhaitons prédire le retrait à la fin des étapes de traitement. |
| |
Nous avons trois variables à gauche que nous souhaitons utiliser pour prédire le retrait. La modélisation consiste à trouver une fonction reliant la pression, le temps et la température, qui prédit la réponse (retrait) ici. |
| |
Espérons que ce modèle générera... se généralisera à de nouvelles données à l'avenir. |
| |
Dans un contexte d'apprentissage automatique, la méthode standard consiste à partitionner les données en deux ensembles de lignes disjoints. L'un, appelé ensemble d'apprentissage, sert à ajuster les modèles afin d'éviter tout surajustement des données. |
| |
Ce qui conduit à des modèles inexacts sur les nouvelles observations. Nous disposons d'un autre sous-ensemble de données, appelé ensemble de validation, qui sert à tester divers modèles que nous avons… |
| |
qui ont été adaptées à l'ensemble d'entraînement. Il existe un compromis ici : les fonctions trop simples s'adapteront mal aux ensembles d'entraînement et de validation, car elles n'expliquent pas suffisamment la variation. |
| |
Alors que les modèles trop complexes peuvent avoir un ajustement presque parfait sur l'ensemble d'entraînement, mais seront très imprécis sur l'ensemble de validation. |
| |
Nous utilisons des mesures telles que la validation R au carré pour trouver le modèle Boucle d’or qui n’est ni trop simple ni trop compliqué. |
| |
Ce modèle Boucle d'or sera celui dont le R au carré de validation sera le plus élevé sur l'ensemble de validation. |
| |
Cette sélection de modèle de style de maintien est une très bonne façon de procéder lorsque vous avez un nombre raisonnablement grand de lignes, |
| |
Souvent, il s'agit de centaines de millions de lignes, voire plus. L'énoncé « assez grand » est intentionnellement ambigu et dépend de la tâche à accomplir. Cela dit, les 12 lignes que vous voyez ici sont vraiment trop petites et ne sont utilisées ici qu'à titre d'illustration. |
| |
Dans les DOE, nous nous trouvons généralement dans des situations où il existe de sérieuses contraintes de temps et/ou de ressources. |
| |
L’idée fondamentale des expériences conçues, en particulier des expériences conçues optimales qui constituent une capacité clé de JMP, est d’obtenir des informations de la plus haute qualité regroupées dans le plus petit nombre de lignes possible. |
| |
De nombreuses personnes brillantes ont créé au fil des années des outils statistiques tels que les tests F, les tracés semi-normaux et les critères de sélection de modèles, comme l'AIC et le BIC. |
| |
Ces guides nous aident à prendre des décisions concernant les modèles de données du DOE. Ils nous aident à identifier le modèle à utiliser pour nos décisions scientifiques, techniques et industrielles. |
| |
Une chose qui n'est pas souvent appliquée est l'application de la sélection de modèles par apprentissage automatique aux expériences planifiées. Pourquoi en serait-il ainsi ? |
| |
L’une des raisons importantes est que les informations sont tellement regroupées dans les plans que la suppression de quelques observations peut entraîner l’effondrement des principaux effets et interactions. |
| |
de sorte que nous ne pouvons plus les séparer en effets estimables de manière unique. Si vous essayez quand même de le faire, vous verrez probablement des avertissements dans le rapport logiciel, comme des degrés de liberté perdus ou des détails de singularité ajoutés au rapport du modèle. |
| |
Nous allons maintenant faire une petite expérience de pensée. Et si on essayait de tricher un peu ? |
| |
Et si on copiait toutes les lignes de la table d'origine, les X et les Y, et qu'on nommait une copie « entraînement » et l'autre « validation » ? On a maintenant assez de données, non ? Faux. On ne trompe personne avec ça, c'est un stratagème insensé. |
| |
C'est fou, car si vous essayez de modéliser en utilisant cette approche et regardez n'importe quel graphique d'indice de qualité d'ajustement, vous verrez que les rendre plus compliqués conduit à un meilleur ajustement sur l'ensemble d'entraînement, mais parce que l'entraînement et la validation |
| |
les ensembles sont les mêmes dans ce cas, l'approche conduira toujours à un surajustement. |
| |
Revenons donc en arrière et reformulons la sélection de modèles d’apprentissage automatique comme une histoire de deux sommes pondérées de carrés calculées sur les mêmes données. |
| |
Au lieu de penser à la sélection de modèles en termes de deux partitions de données, nous pouvons la considérer comme deux colonnes de pondérations. |
| |
Il existe un poids d'entraînement égal à un pour les lignes de l'ensemble d'entraînement et à zéro dans le cas contraire, ainsi qu'une colonne de validation. |
| |
qui est égal à zéro pour les lignes d'entraînement et égal à un pour la colonne de validation, pour les lignes de validation. |
| |
Ainsi, à partir de la sélection du modèle d’apprentissage automatique, nous pouvons penser que chaque ligne possède sa propre paire de valeurs de pondération, où les deux pondérations sont des zéros et des uns binaires. |
| |
Le fait de les configurer de cette manière nous permet d’évaluer de manière indépendante l’adéquation du modèle. |
| |
Les modèles sont ajustés en trouvant des valeurs de paramètres qui minimisent les sommes des erreurs au carré pondérées à l'aide du poids d'entraînement, et les performances de généralisation sont mesurées à l'aide de la somme des erreurs au carré pondérées à l'aide des poids de la colonne de validation. |
| |
Si nous représentons ces paires de poids dans un nuage de points, nous voyons, bien sûr, que les poids de validation de l'entraînement... les poids d'entraînement et de validation sont parfaitement anti-corrélés. |
| |
Et maintenant, que se passerait-il si, au lieu de nous forcer à utiliser des paires de valeurs binaires parfaitement anticorrélées, nous assouplissions l’exigence selon laquelle les valeurs ne peuvent prendre que les valeurs zéro et un ? |
| |
et permettre aux poids de prendre n’importe quelle valeur strictement positive ? |
| |
Pour ce faire, nous devons renoncer à quelque chose, en particulier, à ma connaissance, pour que cela fonctionne mathématiquement, nous ne pouvons plus avoir de paires de poids parfaitement anti-corrélées, mais nous pouvons le faire de manière à avoir toujours une anti-corrélation substantielle. |
| |
Il existe de nombreuses façons de procéder, mais l'une d'elles consisterait à créer des pondérations en utilisant le même schéma que le bootstrap pondéré fractionnaire, où nous utilisons une distribution exponentielle avec une moyenne de un. |
| |
Pour créer les pondérations. Il existe une petite astuce utilisant les propriétés de la distribution uniforme qui permet de créer des paires de pondérations distribuées de manière exponentielle, mais fortement anticorrélées. |
| |
Lorsqu'on utilise ce système comme système de validation pondéré à deux colonnes, on parle d'autovalidation. Phil et moi avons publié plusieurs articles dans Discovery sur ce sujet… et sur cette même idée. |
| |
Utiliser cette approche revient à avoir une colonne d’entraînement de poids ayant une moyenne de variance de un et la colonne de validation avec les mêmes propriétés. |
| |
Dans le cadre de ce schéma d'autovalidation, si une ligne contribue plus que le poids moyen aux sommes des carrés d'entraînement, cette ligne contribuera moins aux sommes des carrés de validation et vice versa. |
| |
Il existe un module complémentaire que Mike... Je tiens à souligner qu'il existe un module complémentaire créé par Mike Anderson qui définit les ensembles de données dans ce type de format que les plates-formes de modélisation de JMP Pro peuvent consommer. |
| |
Récemment, Phil et moi avons accueilli Trent comme doctorant. |
| |
Au cours du printemps et de l'automne, Trent a réalisé de nombreuses simulations, testant différentes approches d'ajustement des modèles aux données du DOE, dont une multitude d'approches basées sur l'autovalidation. Je vais vous présenter quelques-uns de ses résultats. |
| |
Nous y reviendrons dans quelques instants. Il suffit de dire que l'approche la plus efficace, en termes d'erreur moyenne minimale sur un ensemble de tests indépendants, a été l'application de l'autovalidation. |
| |
en combinaison avec des procédures de sélection variables telles que la sélection directe, mais au lieu de le faire une fois, nous répétons le processus des dizaines ou des centaines de fois, |
| |
En sauvegardant la formule de prédiction à chaque fois, nous calculons la moyenne des modèles sur toutes ces itérations auto-validées. Cette procédure générale est appelée « modèles d'ensemble auto-validés » (SVEM). |
| |
Pour rendre les choses plus concrètes, je vais vous donner un exemple rapide. Nous commençons par initialiser les pondérations d'autovalidation. |
| |
Nous appliquons des procédures de sélection de modèle, telles que le Lasso ou la sélection directe, puis enregistrons la formule de prédiction dans la table. |
| |
Voici la première formule de prédiction. Dans cette itération, seuls deux effets principaux linéaires ont été sélectionnés. |
| |
Ensuite, nous réinitialisons les poids, les intégrons à nouveau dans le modèle en utilisant le nouvel ensemble de poids et enregistrons cette formule de prédiction. |
| |
Voici la deuxième formule de prédiction autovalidée. Notez que cette fois, un ensemble différent d'effets principaux et d'interactions a été choisi et que leurs coefficients de régression sont différents. |
| |
Nous répétons ce processus plusieurs fois. |
| |
Et à la fin, le modèle SVEM est simplement la moyenne de toutes les formules de prédiction. |
| |
Voici un schéma succinct illustrant l'algorithme SVEM. L'idée de combiner les procédures d'amorçage avec le calcul de moyennes de modèles est donc d'une grande aide. |
| |
Cela se produit encore et encore, car après avoir réinitialisé les pondérations, nous enregistrons la formule de prédiction de cette itération. |
| |
Nous enregistrons… ici, j'enregistre les paramètres… ici, l'illustration montre les paramètres, mais c'est la même chose avec les formules. Il suffit de les enregistrer tous et, au final, le modèle final est simplement la moyenne de toutes les itérations. |
| |
Une fois que nous avons terminé, nous pouvons utiliser ce modèle SVEM dans le profileur graphique avec les formules intermédiaires étendues activées afin que nous puissions visualiser le modèle résultant et optimiser notre processus, etc. |
| |
Je vais maintenant passer en revue les résultats de la recherche de thèse de Trent. |
| |
une simulation de Behnkens en boîte et des DSD à quatre et huit facteurs. Chaque simulation comprenait 1 000 réplications et possédait son propre ensemble de valeurs de paramètres réelles pour notre modèle de surface de réponse quadratique. |
| |
Les paramètres actifs étaient distribués de manière doublement exponentielle et nous avons exploré différents pourcentages d'effets actifs de 50% à 100%. |
| |
Pour chacune des 1 000 répétitions de simulation, la prédiction SVEM a été évaluée par rapport au modèle réel sur un ensemble de tests indépendant composé d'une conception de remplissage d'espace de 10 000 exécutions sur l'espace factoriel. |
| |
Nous avons examiné un grand nombre d’approches de modélisation classiques à prise unique différentes, ainsi qu’un certain nombre de variantes de toutes les validations. |
| |
Mais il est plus facile de se concentrer sur les résultats les plus intéressants, car il y avait beaucoup de choses à comparer. L'histoire était très cohérente dans toutes les situations étudiées. |
| |
Il s'agit d'une simulation dont le modèle de base était un modèle de criblage définitif, avec huit facteurs et 21 exécutions. Dans ce cas, 50 % des effets étaient non nuls. |
| |
Cela signifie que le modèle avait à peu près autant de paramètres non nuls qu'il y avait d'exécutions. |
| |
À gauche se trouvent les boîtes à moustaches de l'erreur quadratique moyenne du logarithme pour le sélecteur Lasso, Dantzig, la sélection avant et la sélection avant élaguée, toutes réglées à l'aide de l'AICc, la plus performante des méthodes. |
| |
De plus, la méthode la plus performante de la plateforme Fit Definitive est la suivante, suivie de SVEM appliquée à une modélisation différente... plusieurs procédures de modélisation différentes sur la droite. |
| |
On observe une réduction spectaculaire de l'erreur quadratique moyenne de l'ensemble de tests indépendants lorsque l'on compare les RMSE de l'ensemble de tests par rapport aux prédictions SVEM. |
| |
Et notez que cela se fait sur une échelle logarithmique, il s’agit donc d’une différence assez spectaculaire dans les performances prédictives. |
| |
Voici un résultat encore plus intéressant. C'est l'intrigue qui m'a vraiment bluffé. Il s'agit de la même configuration de simulation, sauf qu'ici tous les effets sont non nuls. |
| |
Les vrais modèles sont donc sursaturés, non seulement dans la matrice de conception, mais aussi dans les paramètres eux-mêmes. |
| |
Dans le passé, nous avons dû supposer que le nombre d’effets actifs était un petit sous-ensemble de tous les effets et certainement inférieur au nombre de lignes. |
| |
Ici, nous obtenons des modèles raisonnablement précis malgré le nombre de paramètres actifs, soit environ deux fois le nombre de lignes, ce qui est vraiment remarquable. |
| |
Je vais maintenant passer en revue une illustration rapide |
| |
de SVEM pour montrer comment l'appliquer à vos propres DOE historiques. Je vais utiliser un exemple concret de DOE à cinq facteurs issu d'un processus de fermentation, où la réponse étudiée était le rendement du produit mesuré par le titre d'ADNp. |
| |
Le grand avantage de SVEM est qu'il permet d'obtenir des modèles plus précis avec moins d'exécutions. Cela signifie que nous pouvons utiliser des ensembles de données existants, |
| |
utilisez le nouveau concepteur d'ensembles candidats dans JMP 16 pour identifier le sous-ensemble de lignes qui forment le cœur prédictif entre guillemets de la conception originale. |
| |
Je prendrai les données d'origine qui comportaient 36 lignes, je chargerai les cinq colonnes en tant que covariables et je demanderai au concepteur personnalisé de me donner le sous-ensemble de 16 lignes de la conception d'origine qui donne les meilleures performances prédites à cette taille. |
| |
Ensuite, je masquerai et exclurai toutes les lignes qui ne font pas partie de cette conception de sous-ensemble, afin qu'elles puissent être utilisées ultérieurement comme ensemble de tests indépendant. |
| |
Je vais exécuter le modèle SVEM et comparer les performances du modèle SVEM à ce que vous obtenez si vous appliquez une procédure standard comme la sélection avant, plus l'ajustement AICc aux mêmes 16 exécutions. |
| |
Je tiens à dire que le nouveau concepteur d'ensembles de candidats dans JMP 16 est... est également une contribution remarquable et je tiens simplement à souligner à quel point l'équipe de Brad a été incroyable dans la création de ce nouvel outil qui va être profondément utile à bien des égards, y compris avec SVEM. |
| |
Pour ce faire, nous pouvons prendre notre ensemble de données et accéder au concepteur personnalisé. |
| |
Nous sélectionnons des lignes de covariables, il s’agit donc d’un nouveau nœud de contour dans JMP 16. |
| |
Ensuite, nous sélectionnons les cinq facteurs d’entrée. |
| |
Cliquez sur continuer. |
| |
Et nous allons appuyer sur le bouton RSM, qui convertira automatiquement les critères d'optimalité en conception de type I-optimal ou prédictif. |
| |
Nous sélectionnons tous les facteurs non interceptés et faisons un clic droit dans le...dans le modèle... |
| |
Sélectionnez la liste ici et créez… définissez tous les effets non interceptés comme des effets possibles. C'est ce qui nous permet d'obtenir des modèles. |
| |
avec plus de paramètres que d'exécutions comme conception de base, car les critères de conception seront désormais une conception bayésienne optimale. Nous pouvons maintenant fixer le nombre d'exécutions à 16. |
| |
Cliquez sur « créer un design ». |
| |
Et une fois que nous avons fait cela, l'optimiseur fait sa magie, et toutes les lignes qui se trouvent dans la conception du sous-ensemble bayésien I-optimal sont désormais sélectionnées dans la table d'origine. |
| |
Nous pouvons accéder au tableau, puis utiliser un indicateur ou une colonne de transformation pour enregistrer la sélection de ligne actuelle. |
| |
Et j'ai continué et j'ai renommé la colonne avec un nom significatif pour plus tard. |
| |
Nous pouvons sélectionner les points qui ne sont pas dans la conception du sous-ensemble en sélectionnant toutes les lignes où la nouvelle colonne d'indicateur est égale à zéro. |
| |
Nous pouvons ensuite masquer et exclure ces lignes afin qu’elles ne soient pas incluses dans notre processus d’ajustement du modèle. |
| |
Phil fera une démonstration du module complémentaire SVEM. Je vais donc ignorer les étapes de modélisation et passer directement à une comparaison entre la sélection directe avec AICc et le modèle SVEM sur les lignes non incluses dans le plan de sous-ensemble bayésien optimal. Vous pouvez donc voir cette comparaison ici, en rouge… |
| |
dans la partie rouge du rapport. Nous voyons que SVEM a un R carré sur |
| |
ensemble de tests indépendants de 0,5, et la procédure classique, il a un R carré de 0,22, donc nous obtenons essentiellement deux fois plus de variation expliquée avec SVEM que la procédure classique. |
| |
Nous pouvons également comparer les traces de profil des deux modèles lorsque nous appliquons SVEM aux 46 observations. |
| |
Il est clair que nous obtenons essentiellement le même modèle lorsque nous appliquons SVEM aux 46 exécutions que lorsque nous obtenons seulement 16 exécutions sous SVEM. |
| |
Mais le modèle basé sur la sélection directe manque de termes de courbure, sans parler du fait qu'il manque également de nombreuses interactions. Il s'agit d'une procédure assez simple que vous pouvez utiliser pour tester SVEM sur vos propres données historiques. |
| |
Donc dans l'ensemble TOUT |
| |
Cela soulève de nombreuses questions. Nombre d'entre elles portent sur le rôle des degrés de liberté dans les expériences de conception, car nous sommes désormais capables d'adapter des modèles comportant plus de paramètres que de lignes, ce qui signifie qu'il y aurait effectivement des degrés de liberté négatifs, si une telle chose existait. |
| |
Je pense que cela nous amènera à reconsidérer le rôle de la réflexion basée sur la valeur P dans l’expérimentation industrielle. |
| |
Nous allons devoir travailler à établir de nouvelles méthodes pour l’incertitude dans l’analyse, comme la prédiction… dans les intervalles de confiance sur les prédictions. |
| |
Phil et moi travaillons actuellement à déterminer quelle est la meilleure famille de modèles de base sur laquelle travailler. Il pourrait s'agir de modèles RSM quadratiques, et nous étudions également les modèles cubiques partiels, proposés il y a longtemps, mais qui, selon nous, méritent d'être réexaminés. |
| |
Quels types de plans d'étude utiliser ? Quelles tailles d'échantillons sont appropriées en fonction du nombre de facteurs du modèle de base utilisé ? Quel est le rôle des expériences de criblage ? Et une grande inconnue concerne le rôle des expériences de blocage et de split plot. |
| |
dans ce cadre ? |
| |
Je vais maintenant laisser la parole à Phil. Il va réaliser une étude de cas plus approfondie et faire une démonstration du module complémentaire SVEM de Predictum. À vous, Phil. |
| Philippe Ramsey |
D'accord, merci Chris. Je vais vous présenter une étude de cas. |
| |
diaporama et je ferai quelques |
| |
illustration, comme l'a dit Chris, de la Prédiction |
| |
Un module complémentaire qui automatise une grande partie de l'analyse SVEM. Nous cherchons à étudier une méthode d'analyse utilisée dans le secteur des biotechnologies. |
| |
Et celui-ci sert à caractériser le glycoprofilage des protéines thérapeutiques, essentiellement des protéines destinées à devenir des anticorps. |
| |
Nombre d'entre vous qui travaillez dans ce secteur savent que les glycoprotéines sont une source très riche de produits thérapeutiques et que, pour garantir les BPF, il est essentiel de démontrer la fiabilité des systèmes de mesure. Pour le glycoprofilage, |
| |
Les méthodes d'analyse rapides et faciles à utiliser ne sont pas encore totalement au point. L'idée de cette expérience était donc de mettre au point une méthode simple et rapide, accessible à tous, permettant une évaluation précise des différents paramètres. |
| |
(Je ne suis pas chimiste ici) des sucres qui ont été |
| |
attaché à la protéine de base après la transcription. |
| |
Et pour vous donner une idée, l'idée d'utiliser la chromatographie et je vais supposer que vous êtes familier avec elle, c'est essentiellement une méthode où vous |
| |
vous avez une solution, vous la faites passer dans une colonne, puis, au fur et à mesure que les différentes espèces chimiques traversent la colonne, |
| |
Ils ont tendance à se séparer et à sortir de la colonne à des moments différents. On obtient donc une forme, appelée chromatogramme, où le pic |
| |
est une fonction de la concentration, et le moment où le pic se produit est important pour identifier l'espèce. Dans ce cas, nous allons donc examiner plusieurs |
| |
Sucres. Je les appellerai simplement glycoformes, et ce qui se passe ici, c'est que les scientifiques qui ont réalisé ce travail ont développé une solution d'étalonnage. |
| |
Et nous savons exactement ce que contient la solution d'étalonnage. Nous savons précisément quels pics doivent être élués et où ils doivent l'être approximativement. |
| |
Nous pouvons ensuite comparer un échantillon d'anticorps humain réel à l'échantillon d'étalonnage. Certaines de ces glycoformes sont chargées et difficiles à faire passer à travers la colonne. |
| |
Ils ont tendance à s'y coller, nous utilisons donc ce qu'on appelle parfois une procédure d'élution par gradient. |
| |
Je n'entrerai pas dans les détails. Ce que nous faisons ici, c'est utiliser ce qu'on appelle la chromatographie d'échange d'anions à haute performance. Je ne suis pas un expert en la matière, mais le scientifique avec qui j'ai travaillé l'a fait. |
| |
un très bon travail de développement de cet étalonnage, et la raison pour laquelle nous avons besoin d'une solution d'étalonnage qui, historiquement, |
| |
les sucres qui éluent d'un échantillon d'anticorps humain ne sont pas entièrement prévisibles quant à l'endroit où ils vont sortir d'une colonne, nous avons donc quelque chose que nous pouvons utiliser pour l'étalonnage. |
| |
Donc. |
| |
La personne qui a réalisé ce travail, et je la mentionnerai dans un instant, a conçu deux expériences distinctes. L'une est un modèle à trois niveaux comportant 16 exécutions. |
| |
Elle est ensuite revenue et a réalisé un plan plus vaste de 28 exécutions à trois niveaux. L'un pourrait donc servir d'ensemble d'apprentissage et l'autre de validation. Pour illustrer le sélecteur de covariables et la stratégie bayésienne optimale dont Chris a parlé, |
| |
les deux modèles ont été combinés en un seul modèle de 44 essais. Nous avons ensuite |
| |
j'ai intégré cette conception dans une conception personnalisée avec le sélecteur de covariables, puis j'ai créé diverses conceptions bayésiennes I-optimales. |
| |
On aurait pu faire plus de combinaisons, mais on n'a pas beaucoup de temps pour en parler. Il y a donc trois modèles. L'un comporte 10 passages, rappelez-vous les cinq facteurs, et nous faisons 10 passages. |
| |
Un modèle à 13 pistes et un autre à 16 pistes, et encore une fois, on pourrait faire bien plus. Nous voulons donc voir comment ces modèles |
| |
les conceptions fonctionnent après que nous ayons utilisé des modèles d'ajustement en éventail et, soit dit en passant, comme Chris l'a mentionné, dans chacune de ces conceptions, les exécutions qui ne sont pas sélectionnées parmi les 44 sont ensuite utilisées comme ensemble de validation ou de test pour voir dans quelle mesure le modèle a fonctionné. |
| |
Voici donc les facteurs initiaux : la quantité initiale d'acétate de sodium et d'hydroxyde de sodium. Ensuite, trois étapes distinctes d'élution par gradient sont mises en œuvre. |
| |
Pendant la durée du processus, qui dure environ 40 minutes. Voici donc les paramètres utilisés et manipulés dans l'expérience. |
| |
Il y a en fait, dans cette expérience, 44 réponses différentes que l'on pourrait examiner. Compte tenu du temps dont nous disposons, je vais donc en examiner deux. |
| |
L’un est le temps de rétention du glycoforme 3, et c’est la clé, c’est ce qui ancre le chromatogramme d’étalonnage. |
| |
Et nous aimerions que cela sorte au bout d'environ huit minutes et demie, car cela correspond bien aux échantillons d'anticorps humains. |
| |
En fait, c'est assez facile à modéliser. La deuxième réponse est le temps de rétention de la glycoforme 10. C'est une glycoforme chargée. Elle élue très tard et a tendance à s'agglutiner avec d'autres glycoformes chargées, ce qui la rend plus difficile à distinguer. Voilà donc les deux réponses que je vais examiner. |
| |
Et pour ceux qui ne connaissent pas la chromatographie, voici quelques chromatogrammes. Ce sont essentiellement les réponses, |
| |
des images de ce à quoi ressemblent les réponses et, dans ce cas, si vous regardez l'image, nous allons regarder le temps de rétention, c'est-à-dire quand |
| |
Le pic 3 est-il apparu ? À quel moment, puis à quel moment, le pic 10 est-il apparu sur le chromatogramme ? Et, au fait, remarquez entre les deux. |
| |
Les chromatogrammes que je montre montrent à quel point les profils sont différents. Dans cette expérience, lorsque nous avons manipulé ces facteurs expérimentaux, |
| |
(Au fait, nous avons 44 de ces chromatogrammes ; je vous en montre deux), on observe de nombreuses différences dans la forme, les temps de rétention, etc. de ces pics, ainsi que dans la résolution. Donc, quoi que nous fassions, nous manipulons clairement |
| |
les chromatogrammes, et pour ceux d'entre vous qui sont curieux, oui, nous y réfléchissons à l'avenir en tant que données fonctionnelles et à la manière dont l'analyse des données fonctionnelles pourrait être utilisée. |
| |
Mais c'est souvent l'avenir, mais c'est vraiment quelque chose qui nous intéresse beaucoup. Les chromatogrammes sont vraiment des données fonctionnelles. Je vais juste extraire deux caractéristiques et essayer de les modéliser. OK. Et je tiens également à remercier |
| |
Dr Eliza Yeung de Cytovance Biologics, une bonne amie et une excellente scientifique. Elle a réalisé tous les travaux expérimentaux et c'est elle qui a eu l'idée de construire… |
| |
Ce qu'elle appelle l'échelle de glucose, la solution d'étalonnage. Et Eliza, en plus d'être une personne sympathique, adore JMP. On apprécie Eliza à bien des égards, d'accord. C'est une excellente scientifique. Bon, alors |
| |
avant d'entrer dans |
| |
SVEM, je veux juste mentionner... Chris a mentionné le modèle quadratique complet qui est utilisé depuis, quoi, 1950 comme base d'optimisation. |
| |
En gros, tous les effets principaux, les interactions à deux facteurs et les termes au carré. En réalité, pour de nombreux systèmes physiques complexes, la cinétique est trop complexe pour ce modèle. |
| |
Et Cornell et Montgomery, dans un très bon article de 1998, ont souligné cela et ont suggéré que dans de nombreux cas, |
| |
Ce qu'ils appellent le modèle d'interaction, que nous appelons le modèle cubique partiel, pourrait être plus efficace. Et d'après mon expérience, en utilisant SVEM et en appliquant ce modèle à de nombreuses études de cas, ils ont raison. Cela donne effectivement de meilleurs modèles prédictifs, mais il y a un problème. |
| |
Ces modèles cubiques partiels peuvent être énormes et constituent un grand défi pour les stratégies de modélisation traditionnelles où les modèles sursaturés, comme Chris l'a mentionné, constituent un gros problème. |
| |
Combien y a-t-il de termes potentiels ? Prenons K au carré, deux fois plus, et ajoutons un pour l'ordonnée à l'origine. Donc, pour cinq facteurs, le total |
| |
Le modèle cubique partiel comporterait 51 termes. Au fait, je vais utiliser ces modèles, mais seulement 40 des termes généralement les plus importants. |
| |
Et ensuite, nous allons utiliser une modélisation d'ensemble auto-validante pour ajuster les modèles et, comme Chris l'a dit, SVEM n'a aucun problème avec les modèles sursaturés. |
| |
Et d’ailleurs, dans la littérature sur l’apprentissage automatique, les modèles sursaturés sont adaptés tout le temps. |
| |
Et en utilisant les bonnes techniques d’apprentissage automatique, vous pouvez réellement… elles peuvent réellement vous montrer que vous obtenez de meilleures performances de prédiction. |
| |
C'est un aspect largement méconnu des statistiques traditionnelles. Nous allons donc utiliser le module complémentaire SVEM. J'ai mentionné que si vous souhaitez en savoir plus, vous pouvez contacter Wayne Levin, qui a déjà participé à l'émission, chez Predictum. Je suis sûr que Wayne sera ravi de vous parler. |
| |
Passons maintenant brièvement à JMP. |
| |
Et je vais vous montrer comment fonctionne réellement le module complémentaire, alors laissez-moi apporter JMP. |
| |
J'ai donc installé le module complémentaire pour qu'il ait son propre onglet. Je clique alors sur Predictum. Au fait, il s'agit de l'un des modèles bayésiens optimaux I que nous avons créés, et celui-ci comporte 16 exécutions. Sélectionnez la modélisation d'ensemble auto-validante. |
| |
Vous voyez donc à quoi ressemble la boîte de dialogue de lancement d'un modèle d'ajustement classique. Je vais sélectionner mes cinq facteurs. |
| |
Et je vais juste faire un modèle de surface de réponse à ce stade pour illustration, et je veux modéliser |
| |
temps de rétention pour le glycoforme 3. Notez en arrière-plan, cette configuration, la table d'autovalidation, donc il y a une fonction d'attente. |
| |
Il y a aussi une partie d'autovalidation. Tout cela se passe en arrière-plan, vous n'avez pas besoin de le voir. Mais le module complémentaire l'a créé et le masque. Vous pouvez le consulter si vous le souhaitez, mais il est masqué car il n'est pas indispensable de le voir. |
| |
Alors maintenant, nous ouvrons GenReg, donc c'est le GenReg |
| |
Panneau de configuration. À titre d'exemple, SVEM est totalement indépendant de la méthode utilisée pour la construction du modèle. Vous pourriez donc utiliser des méthodes qui ne sont même pas dans GenReg, mais c'est notre objectif principal aujourd'hui. Nous allons donc faire de la sélection directe. |
| |
Et comme nous n'avons que peu de temps, je ne vais faire que 10 répétitions. |
| |
Cliquez sur « Aller » et nous créerons le modèle. |
| |
Voici donc le résultat pour seulement 10 répétitions, et vous obtenez un graphique des valeurs réelles par rapport aux valeurs prédites. Mais l'avantage principal de cette méthode est qu'elle crée la moyenne du modèle d'ensemble. |
| |
Je clique donc sur « Modèle d'ensemble auto-validant », puis j'enregistre la formule de prédiction. Je ferme donc cet écran. |
| |
Viens. |
| |
Et voilà mon modèle. |
| |
Je peux maintenant prendre ce modèle et l'appliquer aux données de validation. Nous avons donc sélectionné 16 exécutions, ce qui en laisse 28 autres disponibles pour servir d'ensemble de validation afin de vérifier nos performances réelles. Je vais donc revenir à la |
| |
présentation et, soit dit en passant, sans le module complémentaire SVEM, cela peut être un peu difficile, surtout si vous n'êtes pas particulièrement compétent en script JMP |
| |
Pour créer ces modèles, il faut savoir que ce module complémentaire n'a pas vraiment fonctionné en arrière-plan. Comment avons-nous fait ? Je vais donc remettre ça dans le diaporama. |
| |
J'ai donc choisi trois modèles : un modèle à 16 pistes, un modèle à 13 pistes, puis un modèle à 10 pistes. Nous avons vraiment repoussé les limites. |
| |
Et il y a deux réponses, comme je l'ai dit : la glycoforme 10 est éluée tardivement, a tendance à être bruyante et peut être difficile à résoudre. Donc, pour le plan à 16 analyses, j'ai en fait ajusté un modèle cubique partiel à 40 termes. Gardez cela à l'esprit, 16 analyses. Et j'ai ajusté un modèle à 40 termes. |
| |
Et puis la clé de tout cela est l'erreur quadratique moyenne sur l'ensemble de validation, d'accord. Donc |
| |
J'ai installé mon sixième... mon modèle à 40 termes, puis le |
| |
L'erreur quadratique moyenne sur l'ensemble de validation était faible et le R au carré de validation était en fait proche de 98, donc cela correspondait très, très bien. |
| |
Attention, même pour les plus bruyants |
| |
Pour le glycoforme 10, nous avons obtenu un modèle assez satisfaisant. Je vais vous montrer quelques courbes de prédiction. Nous avons donc fait la même chose pour le glycoforme 13, et nous avons obtenu de très bons résultats. |
| |
Et puis enfin pour 10. Au fait, pour 10, je correspondais simplement au modèle quadratique complet standard, j'avais l'impression de vraiment pousser ma chance. |
| |
Mais j'aurais pu essayer la méthode cubique partielle. Et remarquez, encore une fois, que même avec 10 exécutions, en modélisant le temps de rétention du glycoforme 3, j'ai obtenu un R carré de 0,94. |
| |
Pour moi, c'est vraiment impressionnant et encore une fois, j'ai modélisé... mon modèle avait deux fois plus de prédicteurs qu'il y avait d'observations et même avec le glycoforme 10 difficile à modéliser, nous avons plutôt bien réussi. |
| |
Voici donc quelques tracés réels par rapport aux prévisions et encore une fois, je choisis le glycoforme 10 car il est vraiment difficile à modéliser. |
| |
Je ne voulais donc pas trop manipuler le système. Je sais par expérience qu'il est difficile à modéliser. Il existe donc un tracé réel-prédit. Il existe un autre tracé réel-prédit pour le plan à 10 exécutions, qui fonctionne toujours plutôt bien. |
| |
quand on considère ce que nous essayons de faire ici. |
| |
Et puis finalement, comment s'en est-on sorti globalement ? |
| |
Voici donc un petit tableau que j'ai élaboré et j'ai pris la conception à 16 exécutions comme base de référence, puis ce que je fais, c'est comparer ce qui s'est passé lorsque nous avons ajusté les 10- |
| |
modèle à terme et le terme 13 pour le temps de rétention pour G10. |
| |
Vous remarquerez que nous avons obtenu une erreur assez importante pour le 13 et une erreur beaucoup plus faible pour le 10. Je ne sais pas pourquoi. J'ai choisi de simplement montrer les résultats. C'est un peu mystérieux, et je n'ai pas encore exploré la question. |
| |
Mais pour le temps de rétention trois, remarquez que je passe de 16 à 10. Oui, j'ai obtenu une certaine augmentation de l'erreur quadratique moyenne, mais vous savez que si vous regardez le graphique réel par rapport au graphique prédit, |
| |
Il fait toujours un bon travail de prédiction sur l'ensemble de validation. Donc, l'intérêt de tout cela, et je sais que c'est le cas, c'est que je travaille beaucoup avec des entreprises de biotechnologie. |
| |
les gains d'efficacité réels que vous pourriez potentiellement atteindre dans vos conceptions expérimentales et je sais que pour beaucoup d'entre vous, ces expériences sont coûteuses. |
| |
Et surtout, elles prennent beaucoup de temps. Cela peut réellement réduire votre temps et votre budget expérimentaux, et vous permettre d'obtenir encore plus d'informations. |
| |
Alors, une brève conclusion. Cette procédure SVEM, comme Chris l'a montré, nous l'avons étudiée dans des simulations et des études de cas. |
| |
SVEM est idéal pour les modèles sursaturés. Je n'entrerai pas dans les détails, mais la pratique du machine learning montre que les modèles sursaturés sont très performants. Ils utilisent le deep learning comme exemple. |
| |
Fondamentalement, comme le dit Chris, SVEM combine l’apprentissage automatique avec la conception d’expériences. |
| |
Et plus important encore, une fois que vous commencez à suivre la voie du SVEM, cela, à son tour, informe la façon dont vous envisagez l’expérimentation. |
| |
Grâce à SVEM, nous pouvons commencer à réfléchir à des expériences hautement efficaces qui peuvent réellement accélérer le rythme de l'innovation et réduire le temps et les coûts d'expérimentation. Et ainsi, développer des produits et des procédés. |
| |
les délais de production deviennent de plus en plus courts, ce n'est pas un point anodin, et je sais que beaucoup d'entre vous dans le secteur des biotechnologies sont également confrontés à de sérieuses contraintes budgétaires. |
| |
Et puis (d'ailleurs, la plupart des gens le sont) et enfin, un domaine prometteur est celui des conceptions bayésiennes I-optimales. |
| |
Et je tiens à souligner que Brad Jones et son équipe ont réalisé un excellent travail en introduisant ces concepts dans JMP. C'est le seul logiciel que je connaisse qui permette réellement des conceptions bayésiennes optimales en I. |
| |
Nous pensons que SVEM ouvrira de nombreuses perspectives. Voilà donc mon histoire, et je la confie à Wayne Levin. |
| Wayne Levin |
Merci beaucoup pour ça, |
| |
Phil et Chris. J'espère que tout le monde peut constater qu'il y a eu énormément de travail, beaucoup de recherches, y compris certaines |
| |
je travaille dans les tranchées, pourrait-on dire, et je suis dans ce jeu depuis plus de 30 ans maintenant, je n'hésite pas à vous dire que je suis très enthousiaste à propos de ce que je vois ici. |
| |
Je pense que cela peut être vraiment transformateur, changer radicalement la manière dont les expériences industrielles sont menées ici. J'étais auparavant très enthousiaste à l'idée de concevoir des modèles sursaturés, et c'était… |
| |
facilité avec un designer personnalisé et maintenant avec...c'est du côté du design. |
| |
des choses. |
| |
Maintenant, lorsque vous intégrez SVEM du côté de l'analyse, je veux dire que ce sont deux excellents goûts |
| |
qui vont bien ensemble, pourrait-on dire. Bref, pour conclure, je vais juste glisser ici que |
| |
Phil, moi-même et Marie Goddard, nous mettons en place un cours à la demande (il devrait être disponible le trimestre prochain, comme en avril) |
| |
Nous allons consacrer une bonne partie de notre temps à la SVEM dans ce cours. Si cela vous intéresse, n'hésitez pas à me le faire savoir ou à nous suivre sur LinkedIn ou autre. |
| |
Et pour le module complémentaire SVEM, encore une fois, si vous me le permettez, je suis ravi que nous ayons été les premiers à le commercialiser. |
| |
Nous y travaillons d'arrache-pied depuis plusieurs mois. Nous publions une nouvelle version environ tous les mois, ce qui nous permet d'évoluer au gré des retours des utilisateurs. Je tiens à remercier chaleureusement Phil. |
| |
Pour avoir dirigé ce projet. Il a collaboré avec l'un de nos développeurs (???) et cela a été un effort formidable, un travail acharné. |
| |
Pour en arriver là, nous souhaitons vous le proposer. Comme Phil l'a mentionné plus tôt, il existe deux façons de procéder : essayer le module complémentaire lui-même. |
| |
Cela fonctionne avec les versions 14 et 15. Et avec la sortie de la version 16, je pense que cela fonctionnera également avec la version 16. Cela nécessite JMP Pro. Si vous n'avez pas JMP Pro, voici un lien pour demander une licence d'essai. |
| |
Vous pouvez obtenir ce lien, bien sûr, en téléchargeant les diapositives de cette présentation. Voici comment l'obtenir et comment l'essayer vous-même. |
| |
Une autre façon est de nous contacter et nous pourrons travailler avec vous sur une base de preuve de concept, d'accord. |
| |
Nous pourrions effectuer des analyses comparatives, etc., et bien sûr, les examiner avec vous. Ainsi, nous mettrons en place les documents nécessaires. |
| |
Ça ne nous dérange pas d'essayer. Nous l'avons fait pour de nombreuses entreprises et c'est peut-être la solution la plus simple pour vous, selon ce qui vous convient. Bon, pour l'instant, ce que j'aimerais faire, c'est… |
| |
N'hésitez pas à nous poser vos questions ou à nous faire part de vos commentaires. Au nom de Chris et Phil, je vous remercie de votre présence. Alors, questions et commentaires, s'il vous plaît. |
