Conférencier
|
Transcription
|
| Wayne Levin |
modèle d'ensemble auto-validé, car nous le considérons comme un changement de paradigme dans la conception des expériences, etc. |
| |
Je vais juste... et voilà. Notre ordre du jour ici est... nous allons... juste une brève introduction sur qui parle. |
| |
Alors, quoi, pourquoi et comment du SVEM. Nous allons donc avoir un aperçu rapide du DOE et de l'apprentissage automatique, décrire leur mélange dans SVEM, analyser certaines expériences SVEM du monde réel... du monde réel, et nous allons |
| |
passer en revue certaines recherches en cours et démontrer le nouveau concepteur d'ensembles candidats de JMP, nouveau dans JMP 16, puis nous terminerons par les étapes suivantes habituelles, vous savez, les questions et réponses, etc. |
| |
SVEM est une nouvelle méthode remarquable permettant d'extraire plus d'informations avec moins de cycles expérimentaux et de créer des modèles prédictifs plus précis à partir de petits ensembles de données, y compris les DOE. |
| |
En utilisant SVEM, nous prévoyons que vous aurez moins de coûts, que vous serez plus rapidement commercialisé et que vous résoudrez les problèmes beaucoup plus rapidement. Nous allons explorer tout cela au fur et à mesure. |
| |
dans la séance. |
| |
Je m'appelle Wayne Levin et je suis président de Predictum. Je suis accompagné de Chris Gotwalt, scientifique en chef des données chez JMP. Phil Ramsey, scientifique principal des données ici chez Predictum et professeur agrégé à l'Université de New Hampshire. |
| |
Alors allons-y |
| |
faites le point ici. Les contributions de JMP à la science des données sont énormes, nous le savons tous, et dans l'espace du DOE, il y a plus de 20 ans maintenant, ce serait... JMP 4, avec l'algorithme d'échange de coordonnées. |
| |
Et puis il y a environ huit ans, il y a neuf ans, nous avons vu apparaître des modèles de dépistage définitifs. Et nous aimerions penser que SVEM, comme nous l'appelons pour une modélisation d'ensemble courte et auto-validante (essayez de le dire rapidement trois fois), nous aimons penser que c'est une autre contribution. |
| |
apprentissage automatique et conception d’expériences. |
| |
Il surmonte les limitations des quantités limitées de données, n'est-ce pas. Avec de petites quantités de données, vous ne pouvez pas faire d'apprentissage automatique, vous devez normalement disposer de grandes quantités de données pour y parvenir. |
| |
Nous avons maintenant essayé SVEM sur le terrain et un certain nombre d'entreprises nous ont contacté à ce sujet et nous avons mis à disposition une version d'essai de SVEM. Était à |
| |
Predictum, le premier à créer un produit dans ce domaine, à le commercialiser, et je veux juste partager avec vous certaines des choses que nous avons apprises jusqu'à présent. |
| |
Et la première est que SVEM fonctionne exceptionnellement bien. Je veux dire, quand vous avez plus de paramètres et de nombres d'exécutions, cela fonctionne très bien avec |
| |
modèles d’ordre supérieur. Il donne des prédictions plus précises et aide également à récupérer des DOE cassés. Ainsi, par exemple, si vous disposez de modèles de criblage définitifs qui, pour |
| |
quelle que soit la raison qui ne peut pas être exécutée de manière définitive, des DOE historiques nous ont été envoyés qui |
| |
manque de puissance. Ils n'ont tout simplement rien trouvé, mais avec SVEM, c'est effectivement le cas. C’était possible. Et vous savez que nous avons eu des cas où il y avait des passages manquants ou douteux. |
| |
Une autre chose que nous avons apprise, c'est que cela ne vous aidera pas avec une factorielle rationnelle, donc des choses comme ça. Nous nous intéressons ici aux modèles prédictifs |
| |
et les factorielles fractionnaires ne donnent vraiment pas de modèles prédictifs ; ils ne sont pas conçus pour ça. Cela ne vous donnera donc pas quelque chose que les données ne sont pas structurées pour fournir, |
| |
du moins pas à ce point. L’autre chose que nous avons apprise est que nous n’avons pas encore testé tout le potentiel du SVEM. Pour ce faire, nous avons vraiment besoin |
| |
concevoir des expériences en pensant au SVEM pour commencer, ce qui signifie examiner davantage de facteurs. Nous ne voulons pas nous limiter à trois ou quatre facteurs. Que diriez-vous de 10, 15 ou même plus ? |
| |
Nous comprenons d'après les recherches dont Chris et Phil parleront que les conceptions bayésiennes I-optimales sont les meilleures... la meilleure approche à utiliser avec SVEM et également avec les conceptions de mélange. |
| |
ont été particulièrement utiles pour SVEM et j'aurai un petit quelque chose à dire à ce sujet plus tard. Et en ce qui concerne SVEM |
| |
si vous souhaitez l'essayer, nous aurons quelques informations à la fin après que Chris et Phil en parlent. Ceci étant dit, je vais vous en confier la parole, Chris, qui le fera |
| |
entrez dans le quoi, le pourquoi et le comment de SVEN. Alors à vous, Chris. |
| Chris Gotwalt |
Très bien, très bien, merci, Wayne. Oh attends, est-ce que je partage mon écran ? |
| Wayne Levin |
Pas encore. |
| |
Et voilà. |
| Chris Gotwalt |
D'accord, très bien, merci, Wayne. |
| |
Alors maintenant, je vais introduire l'idée des modèles d'ensemble auto-validés ou SVEM. |
| |
Je vais le garder assez basique. Je suppose que vous avez une certaine expérience de la conception et de l'analyse d'expériences. |
| |
Plus important encore, vous devez comprendre que le processus de modélisation statistique se résume à ajuster les fonctions aux données. |
| |
cette variable de réponse du prédicteur en fonction des variables d’entrée. À un niveau élevé, SVEM constitue un pont entre les algorithmes d'apprentissage automatique utilisant des applications Big Data. |
| |
et la conception d'expériences, qui est généralement considérée comme un petit et bon problème d'analyse. L’apprentissage automatique et le DOE ont chacun une longue histoire, mais jusqu’à présent, ils étaient des traditions relativement distinctes. |
| |
Nos recherches indiquent que vous pouvez obtenir des modèles plus précis en utilisant moins d'observations en utilisant SVEM. |
| |
Cela signifie que l'amélioration des produits et des processus peut se produire plus rapidement, en utilisant moins de ressources et à moindre coût. Donc, si vous travaillez dans un secteur compétitif, |
| |
là où il est essentiel d’être le premier sur le marché, SVEM devrait vous intéresser beaucoup. |
| |
En particulier, nous pensons que SVEM est particulièrement prometteur dans les secteurs pharmaceutique et biotechnologique, |
| |
la haute technologie comme la fabrication de semi-conducteurs et le développement de produits de consommation. |
| |
Dans le cadre de mon travail chez JMP, j'ai eu une vue d'ensemble de la manière dont les données sont traitées dans de nombreux secteurs et domaines d'application. |
| |
J'ai développé des algorithmes pour construire des expériences de conception optimale ainsi que des procédures d'analyse associées telles que des modèles mixtes et généraliser vos modèles. |
| |
D'autre part, je suis également le développeur des algorithmes de réseau neuronal de JMP Pro, ainsi que de certaines des autres techniques d'apprentissage automatique présentes dans le produit. |
| |
Au cours des 20 dernières années, j'ai vu l'apprentissage automatique devenir plus important lors de la modélisation de grands ensembles de données d'observation et j'ai vu de nombreux nouveaux |
| |
algorithmes qui ont été développés. Dans le même temps, l’analyse des expériences conçues a également changé, mais de manière plus progressive au cours des 20 dernières années. |
| |
La méthodologie statistique globale de l’expérimentation industrielle serait reconnaissable par quiconque lirait Box, Hunter et Hunter à la fin des années 1970. |
| |
L’apprentissage automatique et la conception d’expériences sont généralement appliqués à l’industrie pour résoudre des problèmes de nature prédictive. |
| |
Nous utilisons ces outils pour répondre à des questions telles que : le capteur indique-t-il un lot défectueux ou comment ajuster le processus pour maximiser le rendement tout en minimisant les coûts ? |
| |
Bien qu’ils soient tous deux de nature prédictive, l’apprentissage automatique et la conception d’expériences se sont généralement appliqués à des types de données assez différents. |
| |
Ce que je vais faire maintenant, c'est donner un aperçu rapide des deux, puis décrire comment nous les avons intégrés dans SVEM. |
| |
J'analyserai quelques données d'une expérience réelle, pour montrer comment cela fonctionne et pourquoi nous pensons que cela fonctionne très bien dans l'ensemble. |
| |
Je vais y aller dans son ensemble... J'y vais... Je vais passer en revue les résultats des simulations effectuées par Trent Limpkiss (?), un doctorant à l'Université du New Hampshire, qui nous a donné l'assurance que l'approche est très prometteur. |
| |
Ensuite, je passerai en revue un exemple qui montre comment utiliser les nouvelles conceptions d'ensembles candidats dans JMP 16 pour trouver des sous-ensembles optimaux d'ensembles de données existants afin que vous puissiez essayer SVEM par vous-même. |
| |
Je soulignerai certaines de nos observations, j'ai mentionné quelques questions futures auxquelles nous espérons répondre, puis je céderai la parole à Phil, qui passera en revue une étude de cas plus approfondie et une démo du module complémentaire SVEM. dans. |
| |
Considérez les données simples à l’écran. Il s'agit d'une donnée du processus métallurgique et nous voulons prédire l'ampleur du retrait à la fin des étapes de traitement. |
| |
Nous avons trois variables sur la gauche que nous souhaitons utiliser pour prédire le retrait. La modélisation revient à trouver une fonction qui relie la pression, le temps et la température et qui prédit la réponse (retrait) ici. |
| |
Espérons que ce modèle générera… se généralisera à de nouvelles données dans le futur. |
| |
Dans un contexte d'apprentissage automatique, la manière standard de procéder consiste à partitionner ces données en deux ensembles de lignes disjoints. L'un d'entre eux s'appelle l'ensemble d'entraînement et est utilisé pour ajuster les modèles afin de garantir que nous ne surajustons pas les données. |
| |
ce qui conduit à des modèles inexacts sur les nouvelles observations. Nous avons un autre sous-ensemble de données, appelé ensemble de validation, qui est utilisé pour tester divers modèles que nous avons utilisés... |
| |
qui ont été adaptés à l'ensemble de formation. Il y a un compromis ici, où les fonctions trop simples s'adapteront mal aux ensembles de formation et de validation car elles n'expliquent pas suffisamment de variations. |
| |
Alors que les modèles trop complexes peuvent s’adapter presque parfaitement à l’ensemble d’entraînement mais seront très imprécis sur l’ensemble de validation. |
| |
Nous utilisons des mesures comme la validation R au carré pour trouver le modèle Boucle d'or qui n'est ni trop simple ni trop compliqué. |
| |
Ce modèle Boucle d'or sera celui dont la validation R au carré est la plus élevée sur l'ensemble de validation. |
| |
Cette sélection de modèle de style d'attente est une très bonne façon de procéder lorsque vous avez un nombre de lignes raisonnablement élevé, |
| |
souvent en centaines de millions de lignes ou plus. La déclaration raisonnablement grande est intentionnellement ambiguë et dépend de la tâche à accomplir. Cela dit, les 12 lignes que vous voyez ici sont vraiment trop petites et sont utilisées ici uniquement à titre d’illustration. |
| |
Dans les DOE, nous sommes généralement dans des situations où il existe de sérieuses contraintes de temps et/ou de ressources. |
| |
Une idée centrale des expériences conçues, en particulier les expériences conçues de manière optimale qui constituent une fonctionnalité clé de JMP, consiste à obtenir des informations de la plus haute qualité regroupées dans le plus petit nombre de lignes possible. |
| |
De nombreuses personnes brillantes ont créé au fil des années des outils statistiques tels que les tests F, les tracés semi-normaux et les critères de sélection de modèles, comme l'AIC et le BIC, |
| |
qui nous aident à prendre des décisions concernant les modèles pour les données du DOE. Ce sont tous des guides qui nous aident à identifier le modèle sur lequel nous devrions utiliser pour fonder nos décisions scientifiques, techniques et de fabrication. |
| |
Une chose qui n’est pas souvent faite consiste à appliquer la sélection de modèles d’apprentissage automatique aux expériences conçues. Maintenant, pourquoi serait-ce le cas ? |
| |
Une raison importante est que les informations sont si étroitement regroupées dans les conceptions que la suppression même de quelques observations peut entraîner l'effondrement des principaux effets et interactions. |
| |
de sorte que nous ne sommes plus en mesure de les séparer en effets uniquement estimables. Si vous essayez de le faire quand même, vous verrez probablement des avertissements dans les rapports logiciels, tels que des degrés de liberté perdus ou des détails de singularité ajoutés au rapport du modèle. |
| |
Nous allons maintenant mener une petite expérience de réflexion. Et si on essayait de tricher un peu ? |
| |
Et si nous copiions toutes les lignes de la table d'origine, les X et les Y, et étiquetions une copie « formation » et étiquetons l'autre copie « validation » ? Maintenant, nous avons suffisamment de données, n'est-ce pas ? Faux. Nous ne trompons personne avec ça, c’est un stratagème fou. |
| |
C'est fou, car si vous essayez de modéliser en utilisant cette approche et regardez n'importe quel graphique d'indice d'ajustement, vous verrez que les rendre plus compliqués conduit à un meilleur ajustement sur l'ensemble d'entraînement, mais parce que l'entraînement et la validation |
| |
les ensembles sont les mêmes dans ce cas, l'approche conduira toujours à un surajustement. |
| |
Revenons donc en arrière et refondons la sélection de modèles d'apprentissage automatique comme une histoire de deux sommes de carrés pondérées calculées sur les mêmes données. |
| |
Au lieu de penser la sélection du modèle en termes de deux partitions de données, nous pouvons la considérer comme deux colonnes de pondérations. |
| |
Il y a un poids d'entraînement qui est égal à un pour les lignes de l'ensemble d'entraînement et à zéro sinon, et une colonne de validation |
| |
qui est égal à zéro pour les lignes d'entraînement et égal à un pour la colonne de validation, pour les lignes de validation. |
| |
Ainsi, à partir de la sélection du modèle d'apprentissage automatique, nous pouvons penser que chaque ligne a sa propre paire de valeurs de poids, où les deux poids sont des zéros et des uns binaires. |
| |
Les configurer de cette manière nous permet d’évaluer de manière indépendante l’adéquation du modèle. |
| |
Les modèles sont ajustés en trouvant des valeurs de paramètres qui minimisent les sommes des erreurs quadratiques pondérées à l'aide du poids d'entraînement, et les performances de généralisation sont mesurées à l'aide de la somme des erreurs quadratiques pondérées à l'aide des poids des colonnes de validation. |
| |
Si nous traçons ces paires de poids dans un nuage de points, nous voyons, bien sûr, que les poids de validation d'entraînement... les poids d'entraînement et de validation sont parfaitement anti-corrélés. |
| |
Et si, au lieu de nous forcer à utiliser des paires de valeurs binaires parfaitement anti-corrélées, nous assouplissons l'exigence selon laquelle les valeurs ne peuvent prendre que les valeurs de zéro et un ? |
| |
et permettre aux poids de prendre une valeur strictement positive ? |
| |
Pour ce faire, il faut renoncer à quelque chose, en particulier, à ma connaissance, pour que cela fonctionne mathématiquement, nous ne pouvons plus avoir des paires de poids parfaitement anti-corrélées, mais nous pouvons le faire de manière à avoir encore un anti-corrélé substantiel. corrélation. |
| |
Il existe de nombreuses façons de procéder, mais une façon d'y parvenir serait de créer des pondérations en utilisant le même schéma que le bootstrap à pondération fractionnaire, dans lequel nous utilisons une distribution exponentielle avec une moyenne de un. |
| |
pour créer les poids. Et il existe une petite astuce utilisant les propriétés de la distribution uniforme que nous pouvons utiliser pour créer des paires de poids à distribution exponentielle, mais hautement anti-corrélées. |
| |
Lorsque nous l'utilisons comme schéma de validation pondéré à deux colonnes, nous appelons cela l'autovalidation. Phil et moi avons donné plusieurs articles Discovery à ce sujet… sur cette idée même. |
| |
Utiliser cette approche revient à avoir une colonne d'entraînement de poids qui a une moyenne de variance de un et une colonne de validation avec les mêmes propriétés. |
| |
Dans le cadre de ce schéma d'autovalidation, si une ligne contribue plus que le poids moyen aux sommes de carrés d'entraînement, cette ligne contribuera moins aux sommes de validation des carrés et vice versa. |
| |
Il existe un complément que Mike... Je tiens à souligner qu'il existe un complément créé par Mike Anderson qui définit les ensembles de données dans ce type de format que les plates-formes de modélisation de JMP Pro peuvent utiliser. |
| |
Récemment, Phil et moi avons embauché Trent comme doctorant. |
| |
Au printemps et à l'automne, Trent a effectué de nombreuses simulations en essayant de nombreuses approches différentes pour ajuster les modèles aux données du DOE, y compris tout un zoo d'approches basées sur l'autovalidation. Je vais montrer certains de ses résultats |
| |
ici dans un petit moment. Il suffit de dire que l'approche qui a toujours fonctionné le mieux, en termes d'erreur moyenne minimale sur un ensemble de tests indépendant, consistait à appliquer l'autovalidation. |
| |
en combinaison avec des procédures de sélection de variables telles que la sélection directe, mais au lieu de le faire une fois que nous répétons le processus des dizaines ou des centaines de fois, |
| |
en enregistrant la formule de prédiction à chaque fois et en faisant finalement la moyenne des modèles sur toutes ces itérations autovalidées. Et nous appelons cette procédure générale modèles d’ensemble auto-validés ou SVEM. |
| |
Donc, pour rendre les choses un peu plus concrètes, je vais donner un exemple rapide qui illustre cela. Nous commençons par initialiser les poids d'autovalidation. |
| |
Nous appliquons des procédures de sélection de modèle, telles que le lasso ou la sélection directe, puis enregistrons la formule de prédiction dans la table. |
| |
Voici la première formule de prédiction. Dans cette itération, seuls deux effets principaux linéaires ont été sélectionnés. |
| |
Ensuite, nous réinitialisons les poids, nous intégrons à nouveau le modèle en utilisant le nouvel ensemble de poids et enregistrons cette formule de prédiction. |
| |
Voici la deuxième formule de prédiction autovalidée. Notez que cette fois, un ensemble différent d’effets et d’interactions principaux a été choisi et que leurs coefficients de régression sont cette fois différents. |
| |
Nous répétons ce processus plusieurs fois. |
| |
Et au final, le modèle SVEM est simplement la moyenne de toutes les formules de prédiction. |
| |
Voici un diagramme succinct qui illustre l'algorithme SVEM sous forme de diagramme. Donc l’idée de combiner les procédures bootstrap avec la moyenne du modèle |
| |
Cela se produit encore et encore, comme nous le sommes... après avoir réinitialisé les poids. Nous sauvegardons la formule de prédiction de cette itération. |
| |
On sauve... ici je sauvegarde le paramètre... ici l'illustration montre les paramètres, mais c'est la même chose avec les formules. Enregistrez-les simplement et, en fin de compte, le modèle final n'est que la moyenne de toutes les itérations. |
| |
Une fois que nous avons terminé, nous pouvons utiliser ce modèle SVEM dans le profileur de graphiques avec les formules intermédiaires de développement activées afin de pouvoir visualiser le modèle résultant et optimiser notre processus, etc. |
| |
Je vais maintenant passer en revue les résultats de la recherche de thèse de Trent. |
| |
a Box Behnkens et DSD en quatre et huit facteurs. Chaque simulation comprenait 1 000 répétitions de simulation et chaque simulation possédait son propre ensemble de valeurs de paramètres réels pour notre modèle de surface de réponse quadratique. |
| |
Les paramètres actifs étaient distribués de manière doublement exponentielle et nous avons exploré différents pourcentages d'effets actifs allant de 50 % à 100 %. |
| |
Pour chacune des 1 000 répétitions de simulation, la prédiction SVEM a été évaluée par rapport au modèle réel sur un ensemble de tests indépendant consistant en une conception de remplissage d’espace de 10 000 exécutions sur l’espace des facteurs. |
| |
Nous avons examiné un grand nombre d'approches classiques de modélisation à un seul coup, ainsi qu'un certain nombre de variations sur toutes les validations. |
| |
Mais il est plus facile de se contenter d’examiner les résultats les plus intéressants, car il y avait trop de choses à comparer. L’histoire était très cohérente dans toutes les situations sur lesquelles nous avons enquêté. |
| |
Il s'agit d'une de ces simulations où le plan de base était un plan de sélection définitif, avec huit facteurs et 21 essais. Dans ce cas, 50 % des effets étaient non nuls. |
| |
Cela signifie que le modèle avait à peu près autant de paramètres non nuls qu’il y avait d’exécutions. |
| |
Sur la gauche se trouvent les diagrammes en boîte de l'erreur quadratique moyenne du logarithme pour le Lasso, le sélecteur de Dantzig, la sélection directe et la sélection directe élaguée, tous réglés à l'aide de l'AICc, la méthode la plus performante. |
| |
En outre, la méthode la plus performante de la plate-forme d'ajustement définitif est la suivante, suivie de SVEM appliquée à une modélisation différente... plusieurs procédures de modélisation différentes sur la droite. |
| |
Il y a une réduction spectaculaire de l’erreur quadratique moyenne de l’ensemble de tests indépendants, lorsque nous comparons les RMSE de l’ensemble de tests par rapport aux prédictions SVEM. |
| |
Et notez que c'est sur une échelle logarithmique, il s'agit donc d'une différence assez spectaculaire dans les performances prédictives. |
| |
Voici un résultat encore plus intéressant. C’est l’intrigue qui m’a vraiment bluffé. Il s'agit de la même configuration de simulation, sauf qu'ici tous les effets sont non nuls. |
| |
Les vrais modèles sont donc sursaturés, non seulement dans la matrice de conception mais aussi dans les paramètres eux-mêmes. |
| |
Dans le passé, nous avons dû supposer que le nombre d'effets actifs était un petit sous-ensemble de tous les effets et certainement inférieur au nombre de lignes. |
| |
Ici, nous obtenons des modèles raisonnablement précis malgré le nombre de paramètres actifs, soit environ deux fois le nombre de lignes, ce qui est vraiment remarquable. |
| |
Maintenant, je vais passer par une illustration rapide |
| |
de SVEM pour montrer comment vous pouvez l'appliquer à vos propres DOE historiques. Je vais utiliser un exemple réel d'un DOE à cinq facteurs issu d'un processus de fermentation, où la réponse intéressante était le rendement du produit mesuré par le titre d'ADNp. |
| |
Le grand avantage du SVEM est que nous pouvons obtenir des modèles plus précis avec moins d’exécutions. Cela signifie que nous pouvons prendre des ensembles de données existants, |
| |
utilisez le nouveau concepteur d'ensembles candidats dans JMP 16 pour identifier le sous-ensemble de lignes qui forment le cœur prédictif entre guillemets de la conception d'origine. |
| |
Je vais prendre les données d'origine qui comportaient 36 lignes, charger les cinq colonnes en tant que covariables et dire au concepteur personnalisé de me donner le sous-ensemble de 16 lignes de la conception d'origine qui donne les meilleures performances prévues à cette taille. |
| |
Ensuite, je masquerai et exclurai toutes les lignes qui ne figurent pas dans cette conception de sous-ensemble, afin qu'elles puissent être utilisées ultérieurement comme ensemble de test indépendant. |
| |
Je vais exécuter le modèle SVEM et comparer les performances du modèle SVEM à ce que vous obtenez si vous appliquez une procédure standard telle que la sélection avancée, plus l'ajustement AICc aux mêmes 16 exécutions. |
| |
Je tiens à dire que le nouveau candidat scénographe de JMP 16 est une... est également une contribution remarquable et je veux juste souligner à quel point l'équipe de Brad a été incroyable dans la création de ce nouvel outil qui va être profondément utile à bien des égards, y compris avec SVEM. |
| |
Donc pour ce faire, nous pouvons prendre notre ensemble de données, accéder au concepteur personnalisé. |
| |
Nous sélectionnons des lignes de covariables, il s'agit donc d'un nouveau nœud de plan dans JMP 16. |
| |
Ensuite, nous sélectionnons les cinq facteurs d'entrée. |
| |
Cliquez sur continuer. |
| |
Et nous allons appuyer sur le bouton RSM, qui convertira automatiquement les critères d'optimalité en conception de type I-optimale ou prédictive. |
| |
Nous sélectionnons tous les facteurs de non-interception et faisons un clic droit dans le... dans le modèle... |
| |
sélectionnez la liste ici et créez... définissez tous les effets de non-interception comme si des effets étaient possibles. C'est ce qui nous permet d'avoir des modèles |
| |
avec plus de paramètres qu'il n'y a d'exécutions comme conception de base, car les critères de conception seront désormais une conception bayésienne I-optimale. Nous pouvons maintenant fixer le nombre d'exécutions à 16. |
| |
Cliquez sur créer un design. |
| |
Et une fois que nous avons fait cela, l'optimiseur opère sa magie et toutes les lignes qui se trouvent dans la conception de sous-ensemble bayésien I-optimal sont désormais sélectionnées dans la table d'origine. |
| |
Nous pouvons accéder au tableau, puis utiliser un indicateur ou une colonne de transformation pour enregistrer la sélection de ligne actuelle. |
| |
Et je suis allé de l'avant et j'ai renommé la colonne un nom significatif pour plus tard. |
| |
Nous pouvons sélectionner les points qui ne figurent pas dans le plan de sous-ensemble en sélectionnant toutes les lignes où la nouvelle colonne d'indicateur est égale à zéro. |
| |
Nous pouvons ensuite masquer et exclure ces lignes afin qu'elles ne soient pas incluses dans notre processus d'ajustement de modèle. |
| |
Phil fera une démonstration du complément SVEM, je vais donc sauter les étapes de modélisation et passer directement à une comparaison de modèles de sélection directe plus AICc et le modèle SVEM sur les lignes non incluses dans la conception de sous-ensemble bayésien I-optimal. Vous pouvez donc voir cette comparaison ici en rouge... |
| |
dans le contour rouge du rapport ici. On voit que SVEM a un carré R sur le |
| |
ensemble de tests indépendant de 0,5, et la procédure classique, il a un R carré de 0,22, nous obtenons donc essentiellement deux fois plus de variation expliquée avec SVEM que la procédure classique. |
| |
Nous pouvons également comparer les traces de profil des deux modèles lorsque nous appliquons SVEM aux 46 observations. |
| |
Il est clair que nous obtenons essentiellement le même modèle lorsque nous appliquons SVEM aux 46 exécutions, alors que nous obtenons avec seulement 16 exécutions sous SVEM. |
| |
Mais le modèle basé sur la sélection directe manque de termes de courbure, à ne pas manquer... sans oublier qu'il manque également de nombreuses interactions. Il s'agit d'une procédure assez simple... une procédure assez simple que vous pouvez utiliser pour tester SVEM sur vos propres données historiques. |
| |
Donc globalement SVEM |
| |
soulève beaucoup de questions. Beaucoup d’entre eux sont centrés sur le rôle des degrés de liberté dans les expériences de conception, car nous sommes désormais en mesure d’ajuster des modèles comportant plus de paramètres que de lignes, ce qui signifie qu’il y aurait effectivement des degrés de liberté négatifs, si une telle chose existait. |
| |
Je pense que cela nous amènera à reconsidérer le rôle de la réflexion basée sur la valeur P dans l’expérimentation industrielle. |
| |
Nous allons devoir travailler à l'établissement de nouvelles méthodes d'incertitude dans l'analyse, comme la prédiction... dans les intervalles de confiance des prédictions. |
| |
Phil et moi travaillons pour essayer de comprendre quelle est la meilleure famille de modèles de base sur laquelle nous pouvons travailler. Il pourrait donc s'agir de RSM quadratiques et nous examinons également ces modèles cubiques partiels qui avaient été proposés il y a longtemps, mais qui, selon nous, méritent maintenant d'être reconsidérés. |
| |
Quels types de designs devrions-nous utiliser ? Quelles tailles d'échantillon sont appropriées en fonction du nombre de facteurs dans le modèle de base que nous utilisons ? Quel est le rôle des expériences de dépistage ? Et une grande inconnue est quel est le rôle du blocage et de l’expérimentation en parcelles divisées. |
| |
dans ce cadre ? |
| |
Alors maintenant, je vais le confier à Phil. Il va réaliser une étude de cas plus approfondie et également faire une démonstration du complément SVEM de Predictum. Enlève-le, Phil. |
| Philippe Ramsey |
D'accord, merci, Chris. Et ce que je vais faire, c'est discuter d'une étude de cas, alors laissez-moi mettre ceci dans |
| |
diaporama et je vais en faire |
| |
illustration, comme Chris l'a dit, du Predictum |
| |
complément qui automatise en fait une grande partie de l’analyse SVEM. Et ce que nous essayons d'examiner, c'est une méthode analytique utilisée dans l'industrie biotechnologique. |
| |
Et celui-ci sert à caractériser le glycoprofilage de protéines thérapeutiques, essentiellement des protéines destinées à devenir des anticorps. |
| |
Et beaucoup d'entre vous qui travaillent dans cette industrie savent que les glycoprotéines sont en réalité une source très riche de produits thérapeutiques et vous savez également que si vous travaillez pour respecter les BPF, vous devez démontrer la fiabilité des systèmes de mesure. Et effectivement pour le glycoprofilage, |
| |
les méthodes d’analyse rapides et faciles à utiliser ne sont pas vraiment au point. L'idée de cette expérience était donc de proposer une méthode assez rapide et simple que les gens pourraient utiliser et qui leur donnerait une évaluation précise des différents |
| |
(je ne suis pas chimiste ici) les sucres qui ont été |
| |
attaché à la protéine de base après la transcription. |
| |
Et pour vous donner une idée, l'idée d'utiliser la chromatographie et je vais supposer que vous en êtes un peu familier, en gros c'est une méthode où vous |
| |
Si vous avez une solution, vous la faites passer dans une colonne, et ensuite, au fur et à mesure que les différentes espèces chimiques traversent la colonne, |
| |
ils ont tendance à se séparer et à sortir de la colonne à des moments différents. Donc, fondamentalement, une forme, ce qu'on appelle un chromatagramme, où le pic |
| |
est fonction de la concentration et le moment auquel le pic se produit est en fait important pour identifier quelle était réellement l'espèce. Dans ce cas, nous allons examiner un certain nombre de |
| |
sucres. Je vais simplement les appeler glycoformes, et ce qui se passe ici, c'est que les scientifiques qui ont fait ce travail ont développé une solution d'étalonnage. |
| |
Et nous savons exactement ce que contient la solution d'étalonnage. Nous savons exactement quels pics doivent être élués et à peu près où. |
| |
Et puis nous pouvons comparer un échantillon d’anticorps humain réel à l’échantillon d’étalonnage. Et certaines de ces glycoformes sont chargées. Il leur est difficile de les faire passer à travers la colonne. |
| |
Ils ont tendance à s'y tenir, c'est pourquoi nous utilisons ce que l'on appelle parfois une procédure d'élution par gradient. |
| |
Et je n'entrerai pas dans les détails. Et ce que nous faisons ici, nous utilisons ce qu'on appelle la chromatographie d'échange d'anions haute performance. Je ne suis pas un expert en la matière, mais le scientifique avec qui j'ai travaillé l'a fait |
| |
un très bon travail de développement de cet étalonnage, et la raison pour laquelle nous avons besoin d'une solution d'étalonnage qui, historiquement, |
| |
les sucres qui s'éluent à partir d'un échantillon d'anticorps humain ne sont pas entièrement prévisibles quant à l'endroit où ils vont sortir d'une colonne, nous avons donc quelque chose que nous pouvons utiliser pour l'étalonnage. |
| |
Donc. |
| |
La personne qui a réalisé le travail, et je vais la mentionner dans un instant, a conçu deux expériences distinctes. L'un d'eux est un modèle à 16 passages et à trois niveaux. |
| |
Et puis plus tard, elle est revenue et a réalisé une conception plus grande de 28 pistes et trois niveaux. Et donc l'un pourrait être utilisé comme ensemble d'entraînement et l'autre comme ensemble de validation, mais pour démontrer le sélecteur de covariables et la stratégie bayésienne I-optimale dont Chris a parlé, |
| |
les deux modèles ont été combinés en un seul modèle de 44 passages. Nous avons ensuite |
| |
a pris cette conception dans une conception personnalisée avec le sélecteur de covariable, puis a créé diverses conceptions bayésiennes I-optimales. |
| |
Et nous aurions pu faire plus de combinaisons, mais nous n’avons que peu de temps pour en parler. Il y a donc trois modèles. On a 10 courses, rappelez-vous les cinq facteurs et nous faisons 10 courses. |
| |
Une conception à 13 passes et une conception à 16 passes et encore une fois, nous pourrions faire bien plus. Donc, ce que nous voulons faire, c'est voir comment ces |
| |
les conceptions fonctionnent après avoir utilisé un ventilateur pour ajuster les modèles et, en passant, comme Chris l'a mentionné, dans chacune de ces conceptions, les exécutions qui ne sont pas sélectionnées parmi les 44 sont ensuite utilisées comme ensemble de validation ou de test pour voir dans quelle mesure le modèle effectué. |
| |
D'accord, voici donc les facteurs initiaux, la quantité initiale d'acétate de sodium, la quantité initiale d'hydroxyde de sodium. Ensuite, trois étapes distinctes d'élution par gradient ont lieu. |
| |
sur la durée du processus, qui dure environ 40 minutes. Ce sont donc les paramètres qui sont utilisés et manipulés dans l'expérience. |
| |
Il y a en fait, dans cette expérience, 44 réponses différentes que l’on pourrait examiner. Donc, étant donné le temps dont nous disposons, je vais en examiner deux. |
| |
L’un est le temps de rétention de la glycoforme 3, et c’est la clé, c’est ce qui ancre le chromatogramme d’étalonnage. |
| |
Et nous aimerions qu'il sorte au bout de huit minutes et demie environ, car il s'aligne bien avec les échantillons d'anticorps humains. |
| |
C'est en fait assez facile à modéliser. La deuxième réponse est le temps de rétention de la glycoforme 10. C'est une glycoforme chargée. Il est élué très tard et a tendance à se regrouper avec d'autres glycoformes chargées et est plus difficile à distinguer. OK, ce sont donc les deux réponses que je vais examiner. |
| |
Et pour ceux qui ne sont pas familiers avec la chromatographie, voici quelques-uns de ce qu'on appelle des chromatogrammes. Ce sont essentiellement les réponses, |
| |
des images de ce à quoi ressemblent les réponses et, dans ce cas, si vous regardez l'image, nous allons regarder le temps de rétention, c'est-à-dire quand est-ce que |
| |
Le pic 3 est sorti ? À quelle heure et à quelle heure le pic 10 est-il apparu et est-il apparu dans le chromatogramme ? Et au fait, remarquez entre les deux |
| |
les chromatogrammes que je montre, à quel point les profils sont différents. Donc, dans cette expérience, lorsque nous avons manipulé ces facteurs expérimentaux |
| |
(et d'ailleurs, nous avons 44 de ces chromatogrammes ; je vous en montre deux), vous voyez beaucoup de différences dans les formes et les temps de rétention, etc. de ces pics et dans la résolution. Donc quoi que nous fassions, nous manipulons clairement |
| |
les chromatogrammes, et pour ceux d'entre vous qui sont curieux, oui, nous y réfléchissons à l'avenir en tant que données fonctionnelles et à la manière dont l'analyse des données fonctionnelles pourrait être utilisée. |
| |
Mais c’est souvent l’avenir, mais c’est certainement quelque chose qui nous intéresse beaucoup. Les chromatogrammes sont finalement des données fonctionnelles. Mais je vais juste extraire deux fonctionnalités et essayer de les modéliser. D'accord. Et je veux aussi rendre hommage à |
| |
Dr Eliza Yeung de Cytovance Biologics, une bonne amie et une excellente scientifique. Et elle a fait tout le travail expérimental et c'est elle qui a eu l'idée de construire le... |
| |
ce qu'elle appelle l'échelle de glucose, la solution d'étalonnage. Et Eliza, en plus d'être une personne sympathique, elle aime aussi JMP. Donc nous aimons Eliza à bien des égards, d'accord. Excellent scientifique. Bon alors |
| |
avant d'entrer dans |
| |
SVEM, je veux juste mentionner... Chris a mentionné le modèle quadratique complet qui est utilisé depuis, quoi, 1950 comme base d'optimisation. |
| |
Fondamentalement, tous les principaux effets, interactions à deux facteurs et termes au carré. En fait, pour de nombreux systèmes physiques complexes, la cinétique est en réalité trop complexe pour ce modèle. |
| |
Et Cornell et Montgomery, dans un très bon article de 1998, l'ont souligné et ont suggéré que dans de nombreux cas, |
| |
ce qu'ils appellent le modèle d'interaction, nous l'appelons le modèle cubique partiel, pourrait mieux fonctionner. Et d'après mon expérience, en utilisant SVEM et en appliquant ce modèle à de nombreuses études de cas, ils ont raison. Cela donne effectivement de meilleurs modèles prédictifs, mais il y a un problème. |
| |
Ces modèles cubiques partiels peuvent être énormes et constituent un défi majeur pour les stratégies de modélisation traditionnelles où les modèles sursaturés, comme Chris l'a mentionné, constituent un gros problème. |
| |
Combien y a-t-il de termes potentiels ? Eh bien, prenez K carré, deux fois cela et ajoutez-en un pour l'interception. Donc pour cinq facteurs, la totalité |
| |
le modèle cubique partiel aurait 51 termes. Au fait, je vais utiliser ces modèles, mais je ne vais utiliser que 40 des termes qui sont généralement les plus importants. |
| |
Et puis nous allons utiliser une modélisation d'ensemble auto-validée pour ajuster les modèles et, comme Chris l'a dit, SVEM n'a aucun problème avec les modèles sursaturés. |
| |
Et d’ailleurs, dans la littérature sur l’apprentissage automatique, les modèles sursaturés sont toujours adaptés. |
| |
Et en utilisant les bonnes techniques d'apprentissage automatique, vous pouvez réellement... elles peuvent réellement vous montrer que vous obtenez de meilleures performances de prédiction. |
| |
C’est largement inconnu dans les statistiques traditionnelles, d’accord. Nous allons donc utiliser le complément SVEM et j'ai mentionné que si vous souhaitez en savoir plus, vous pouvez contacter Wayne Levin, qui a déjà parlé, chez Predictum et je suis sûr que Wayne adorerait vous parler. |
| |
Passons donc brièvement à JMP. |
| |
Et je vais vous montrer comment fonctionne réellement le complément, alors laissez-moi vous présenter JMP. |
| |
J'ai donc installé le complément pour qu'il ait son propre onglet. Je clique donc sur Predictum. À propos, il s’agit de l’un des modèles bayésiens I-optimaux que nous avons créés, et celui-ci comporte 16 exécutions. Sélectionnez une modélisation d’ensemble auto-validée. |
| |
Vous voyez donc à quoi ressemble votre dialogue de lancement de modèle d'ajustement typique. Je vais sélectionner mes cinq facteurs. |
| |
Et je vais juste faire un modèle de surface de réponse à ce stade à titre d'illustration, et je veux modéliser |
| |
temps de rétention pour la glycoforme 3. Remarquez en arrière-plan, cette configuration, la table d'autovalidation, donc il y a une fonction d'attente. |
| |
Et il y a une partie de validation automatique. Tout cela est en arrière-plan, vous n'avez pas besoin de le voir. Mais la scie... mais le complément l'a créé et ensuite il le cache, mais vous pouvez le regarder, si vous le souhaitez, mais il est caché parce qu'il n'est pas très important de le voir. |
| |
Alors maintenant, nous ouvrons GenReg, voici donc le GenReg |
| |
Panneau de contrôle. Et à titre d'illustration, en passant, SVEM est vraiment agnostique en termes de méthode avec laquelle vous l'utilisez pour la création de modèles. Donc, en fait, vous pouvez utiliser des méthodes qui ne figurent même pas dans GenReg, mais c'est notre objectif principal aujourd'hui. Nous allons donc faire une sélection avancée. |
| |
Et comme nous n’avons que peu de temps, je ne ferai que 10 répétitions. |
| |
Cliquez sur OK et nous créerons le modèle. |
| |
Voici donc le résultat pour seulement 10 répétitions, et vous obtenez un tracé réel par prévu. Mais ce qui est vraiment bien avec cela, c'est que cela crée la moyenne du modèle d'ensemble pour vous. |
| |
Je clique donc sur le modèle d'ensemble auto-validé, enregistre la formule de prédiction. Je vais donc continuer et fermer cet écran. |
| |
Venir. |
| |
Et voilà mon modèle. |
| |
Je peux maintenant prendre ce modèle et l'appliquer aux données de validation. Nous avons donc 16 exécutions qui ont été sélectionnées, il y en a donc 28 autres disponibles qui peuvent être utilisées comme ensemble de validation pour voir comment nous avons réellement fait. Donc à ce stade, je vais maintenant revenir au |
| |
présentation et, soit dit en passant, sans le complément SVEM, cela peut être un peu difficile, surtout si vous n'êtes pas particulièrement compétent en script JMP. |
| |
pour réellement créer ces modèles. Donc, ce complément n’a peut-être pas l’air d’avoir fait énormément de travail en arrière-plan, d’accord. Alors, comment avons-nous fait ? Alors laissez-moi remettre ça en diaporama. |
| |
Donc ce que j'ai fait, il y a trois modèles, un modèle à 16 passages, un à 13 passages, puis j'ai choisi un modèle à 10 passages. Nous repoussons vraiment les limites. |
| |
Et il y a deux réponses, comme je l'ai dit : la glycoforme 10 est éluée tardivement et a tendance à être bruyante et peut être difficile à résoudre. Donc, pour la conception à 16 passes, j'adapte en fait un modèle cubique partiel à 40 termes. Gardez cela à l’esprit, 16 courses. Et je correspond à un modèle de 40 termes. |
| |
Et puis la clé est l’erreur quadratique moyenne sur l’ensemble de validation, d’accord. Donc |
| |
J'adapte mon sixième... mon modèle de 40 ans, et puis le |
| |
L'erreur quadratique moyenne sur l'ensemble de validation était faible et le R au carré de validation était en fait proche de 98, donc cela correspondait très, très bien. |
| |
Attention, même pour les plus bruyants |
| |
glycoforme 10, nous avons toujours un assez bon modèle. Je vais vous montrer quelques intrigues réelles et prédites. Donc on a fait ça pour 13, encore une fois pour 13, on a obtenu de très bons résultats. |
| |
Et puis enfin pour 10. Au fait, pour 10, je viens de m'adapter au modèle quadratique complet standard, j'avais l'impression de vraiment pousser ma chance. |
| |
Mais j'aurais pu aller de l'avant et essayer le cube partiel. Et remarquez, encore une fois, même avec 10 analyses, modélisant le temps de rétention de la glycoforme 3, j'ai obtenu un R carré de 0,94. |
| |
Pour moi, c'est vraiment impressionnant et encore une fois j'ai modélisé... mon modèle avait deux fois plus de prédicteurs qu'il y avait d'observations et même avec la glycoforme 10 difficile à modéliser, nous avons plutôt bien réussi. |
| |
Voici donc quelques tracés réels et prédits et encore une fois, je choisis la glycoforme 10 car elle est vraiment difficile à modéliser. |
| |
Je ne voulais donc pas trop jouer avec le système. Je sais par expérience que c'est difficile à modéliser. Il y a donc une intrigue réelle par prévision. Il y a un autre tracé réel par prévu pour la conception en 10 exécutions, il fonctionne toujours plutôt bien. |
| |
quand on considère ce que nous essayons de faire ici. |
| |
Et puis finalement, comment avons-nous fait globalement ? |
| |
C'est donc un petit tableau que j'ai créé et j'ai pris le plan à 16 runs comme base de référence, puis ce que je fais, c'est comparer ce qui s'est passé lorsque nous avons ajusté le plan à 10 runs. |
| |
modèle de terme et le 13 terme pour le temps de rétention pour G10. |
| |
Vous remarquerez que nous avons une erreur assez importante pour 13 et une erreur beaucoup plus petite pour 10. Je ne sais pas pourquoi. J'ai choisi de simplement montrer quels étaient les résultats. C'est un peu un mystère et je ne suis pas retourné l'explorer. |
| |
Mais pour le temps de rétention trois, remarquez que je passe de 16 à 10. Oui, j'ai eu une certaine augmentation de l'erreur quadratique moyenne, mais vous savez, si vous regardez le tracé réel par prédit, |
| |
il fait toujours un bon travail de prédiction sur l'ensemble de validation. Donc le but de tout cela est, et c'est, je le sais, c'est que je travaille beaucoup avec des sociétés de biotechnologie, le |
| |
l'efficacité réelle que vous pourriez potentiellement atteindre dans vos conceptions expérimentales et je sais que pour beaucoup d'entre vous, ces expériences sont coûteuses. |
| |
Et plus important encore, cela prend beaucoup de temps. Cela peut vraiment raccourcir votre temps d'expérimentation, réduire votre budget expérimental et obtenir encore plus d'informations. |
| |
Donc juste une sorte de conclusion rapide à ceci. Cette procédure SVEM et celle-ci, et comme Chris l'a montré, nous avons étudié cela dans des simulations et des études de cas. |
| |
SVEM est idéal pour les modèles sursaturés. Je n'entrerai pas dans les détails, mais d'après la pratique de l'apprentissage automatique, les modèles sursaturés sont connus pour être très performants. Ils utilisent tout le temps et l’apprentissage profond comme exemple. |
| |
Fondamentalement, comme le dit Chris, SVEM combine l'apprentissage automatique et la conception d'expériences. |
| |
Et plus important encore, une fois que vous commencez à emprunter la voie du SVEM, cela vous informe sur la façon dont vous envisagez l’expérimentation. |
| |
Ainsi, en utilisant SVEM, nous pouvons commencer à réfléchir à des expériences très efficaces qui peuvent réellement accélérer le rythme de l'innovation et réduire réellement le temps et les coûts de l'expérimentation. Et avec le temps pour développer des produits et des processus |
| |
devenant... les délais de livraison étant de plus en plus courts, ce n'est pas un point anodin, et je sais que beaucoup d'entre vous dans le secteur de la biotechnologie sont également confrontés à de sérieuses contraintes budgétaires. |
| |
Et puis (d'ailleurs, la plupart des gens le sont) et enfin, un domaine prometteur est celui des conceptions bayséiennes I-optimales. |
| |
Et encore une fois, je mentionnerai que Brad Jones et son groupe ont fait un excellent travail en les introduisant dans JMP. C'est le seul logiciel que je connaisse qui réalise réellement des conceptions bayésiennes I-optimales. |
| |
Et nous pensons que SVEM va ouvrir la fenêtre sur de nombreuses possibilités. Donc, fondamentalement, c'est mon histoire et je vais la céder à Wayne Levin. |
| Wayne Levin |
Merci beaucoup pour cela, |
| |
Phil et Chris. J'espère que tout le monde peut voir qu'il y a énormément de travail, beaucoup de recherches ont été consacrées à ce sujet, y compris certaines |
| |
Je travaille dans les tranchées, pourriez-vous dire, et je suis dans ce jeu depuis plus de 30 ans maintenant, cela ne me dérange pas de vous dire que je suis très enthousiasmé par ce que je vois ici. |
| |
Je pense que cela peut être vraiment transformateur, vraiment changer la façon dont les expériences industrielles sont menées ici. Auparavant, j'étais très enthousiasmé par les seuls designs sursaturés et c'était |
| |
facilité par un concepteur personnalisé et maintenant avec... c'est du côté de la conception. |
| |
de choses. |
| |
Maintenant, quand vous apportez SVEM du côté de l'analyse, je veux dire que ce sont deux bons goûts |
| |
qui vont très bien ensemble, pourrait-on dire. Quoi qu'il en soit, juste pour conclure, je vais juste glisser ici que |
| |
Phil, moi-même et Marie Goddard, nous préparons un cours à la demande (il devrait être disponible au prochain trimestre, comme en avril) |
| |
sur les expériences conçues avec des mélanges, et nous allons nous concentrer beaucoup de temps sur SVEM dans ce cours. Donc, si cela vous intéresse, faites-le-moi savoir ou le ferai... afin que nous puissions vous le faire savoir ou nous suivre sur LinkedIn ou l'une de ces choses. |
| |
Et pour le complément SVEM, encore une fois, si je peux me permettre, je suis ravi que nous ayons été les premiers à le commercialiser. |
| |
Nous y travaillons dur depuis plusieurs mois. Nous faisons une nouvelle version environ tous les mois, donc elle évolue au fur et à mesure que nous recevons des retours du terrain, et je tiens à remercier beaucoup Phil. |
| |
pour avoir dirigé cela. Et il s'est associé à l'un de nos développeurs (???) et cela a vraiment été un effort formidable, beaucoup de travail acharné. |
| |
pour en arriver là, et nous souhaitons le mettre à votre disposition. Et comme Phil l'a mentionné plus tôt, vous avez en réalité deux façons d'essayer. La première consiste simplement à essayer le complément lui-même, |
| |
ça marche avec 14 et 15. Et avec la sortie du 16, je pense que cela fonctionnera également pour le 16. Cela nécessite JMP Pro, donc si vous n'avez pas JMP Pro, il y a un lien ici, où vous pouvez demander... pour obtenir une licence d'essai JMP Pro. |
| |
Et vous pouvez bien sûr obtenir ce lien en téléchargeant les diapositives de cette présentation. C'est ainsi que vous pouvez l'obtenir, c'est donc une façon de travailler avec et de l'essayer vous-même. |
| |
Une autre façon est simplement de nous contacter et nous pourrons travailler avec vous sur une base de validation de principe, d'accord. |
| |
Et nous pourrions faire des analyses comparatives, etc., et bien sûr revoir cette analyse avec vous. Vous savez donc que nous mettrons en place les documents nécessaires, et |
| |
cela ne nous dérange pas de l'essayer. Nous l'avons fait pour un bon nombre d'entreprises et cela peut être le moyen le plus simple pour vous, quelle que soit la solution qui vous convient. D'accord, et pour l'instant, ce que j'aimerais faire, c'est |
| |
ouvrez-le pour toute question ou commentaire à ce moment-là. Je dirai au nom de Chris et Phil, merci de vous joindre à nous. Alors d'accord, questions et commentaires, s'il vous plaît. |
