Conférencier
|
Transcription
|
| Wayne Levin |
modèle d'ensemble auto-validant, tel que nous le considérons comme un changement de paradigme dans la conception des expériences et ainsi de suite. |
| |
Je vais juste ... on y va. Notre programme ici est ... nous allons ... juste une brève introduction sur qui parle. |
| |
Alors, quoi, pourquoi et comment de SVEM. Nous allons donc avoir un bref aperçu du DOE et de l'apprentissage automatique, décrire leur fusion dans SVEM, analyser des expériences du monde réel ... du monde réel SVEM, et nous allons |
| |
Passez en revue certaines recherches en cours et démontrez le nouveau concepteur de décors candidat de JMP, nouveau dans JMP 16, puis nous terminerons avec les prochaines étapes habituelles, vous savez, les questions et réponses, etc. |
| |
SVEM est une nouvelle méthode remarquable pour extraire plus d'informations avec moins de cycles expérimentaux et créer des modèles prédictifs plus précis à partir de petits ensembles de données, y compris les DOE. |
| |
En utilisant SVEM, nous prévoyons, nous vous promettons que vous aurez moins de coûts, que vous serez plus rapide sur le marché, une résolution de problèmes beaucoup plus rapide. Nous allons explorer tout cela au fur et à mesure que nous avançons. |
| |
dans la session. |
| |
Je suis Wayne Levin et je suis le président de Predictum.Je me joins à moi est Chris Gotwalt, qui est le scientifique en chef des données chez JMP, et Phil Ramsey qui est un scientifique principal des données ici à Predictum et professeur associé à l'Université de New Hampshire. |
| |
Alors disons simplement |
| |
faites le point ici. Les contributions de JMP à la science des données sont énormes, donc nous le savons tous, et dans l'espace DOE, il y a plus de 20 ans maintenant, ce serait ... JMP 4, avec l'algorithme d'échange de coordonnées. |
| |
Et puis il y a environ huit ans, il y a neuf ans, nous avons vu sortir des designs de criblage définitifs. Et nous aimerions penser que SVEM, nous l'appelons pour une modélisation d'ensemble courte et auto-validante (essayez de le dire rapidement trois fois), nous aimons penser que c'est une autre contribution. |
| |
apprentissage automatique et conception d'expériences. |
| |
Il surmonte les limites des quantités limitées de données, à droite. Avec de petites quantités de données, vous ne pouvez pas faire de machine learning, vous devez normalement disposer de grandes quantités de données pour y parvenir. |
| |
Maintenant, nous avons essayé SVEM sur le terrain et nous avons eu un certain nombre d'entreprises qui nous ont contactés à ce sujet et nous avons mis à disposition une version d'essai de SVEM. Était à |
| |
Predictum, le premier à créer un produit dans ce domaine, à mettre un produit sur le marché, et je veux juste partager avec vous certaines des choses que nous avons apprises jusqu'à présent. |
| |
Et l'un est que SVEM fonctionne exceptionnellement bien. Je veux dire, quand vous avez plus de paramètres et de nombre de courses, cela fonctionne très bien avec |
| |
modèles d'ordre supérieur. Il donne des prédictions plus précises, il aide également à se remettre des DOE cassés. Ainsi, par exemple, si vous avez des conceptions de criblage définitives, |
| |
quelle que soit la raison ne peut pas être exécutée en parfait état, nous avons reçu des DOE historiques qui nous |
| |
manque de puissance. Ils ont juste, vous savez, n'ont rien trouvé et mais avec SVEM, en fait, ils l'ont fait. Il a pu. Et vous savez que nous avons eu des cas où il y avait des courses manquantes ou douteuses. |
| |
Une autre chose que nous avons appris, c'est que cela ne vous aidera pas avec une factorielle rationnelle, donc des choses comme ça. Nous nous intéressons aux modèles prédictifs ici |
| |
et les factorielles fractionnaires ne donnent vraiment pas de modèles prédictifs; ils ne sont pas conçus pour cela. Cela ne vous donnera donc pas quelque chose que les données ne sont pas structurées pour fournir, |
| |
du moins pas dans cette mesure. L'autre chose que nous avons apprise est que nous n'avons pas encore testé le plein potentiel de SVEM. Pour ce faire, nous avons vraiment besoin |
| |
concevoir des expériences avec SVEM à l'esprit pour commencer, et cela signifie examiner plus de facteurs. Nous ne voulons pas simplement examiner trois ou quatre facteurs. Que diriez-vous de 10, 15 ou même plus? |
| |
Nous comprenons d'après les recherches dont Chris et Phil parleront que les conceptions bayésiennes optimales I sont les meilleures ... la meilleure approche pour une utilisation avec SVEM et également des conceptions de mélanges |
| |
étaient particulièrement utiles pour SVEM et j'aurai un petit quelque chose à dire à ce sujet plus tard. Et en ce qui concerne SVEM |
| |
si vous souhaitez l'essayer, nous aurons quelques informations à la fin après Chris et Phil pour en parler. Et donc avec cela dit, je vais te le jeter, Chris, qui le fera |
| |
entrer dans le quoi, le pourquoi et le comment de SVEN. Alors à vous, Chris. |
| Chris Gotwalt |
Très bien, très bien, merci Wayne. Oh attendez, est-ce que je partage mon écran? |
| Wayne Levin |
Pas encore. |
| |
On y va. |
| Chris Gotwalt |
D'accord, très bien, eh bien, merci, Wayne. |
| |
Alors maintenant, je vais vous présenter l'idée de modèles d'ensemble auto-validés ou SVEM. |
| |
Je vais rester assez basique. Je suppose que vous avez une certaine expérience de la conception et de l'analyse d'expériences. |
| |
Plus important encore, vous devez comprendre que le processus de modélisation statistique se résume à l'ajustement de fonctions aux données |
| |
cette variable de réponse du prédicteur en fonction des variables d'entrée. À un niveau élevé, SVEM est un pont entre les algorithmes d'apprentissage automatique utilisant des applications Big Data |
| |
et la conception des expériences, qui est généralement considérée comme un petit et bon problème d'analyse. L'apprentissage automatique et le DOE ont chacun une longue histoire, mais jusqu'à présent, il s'agissait de traditions relativement distinctes. |
| |
Nos recherches indiquent que vous pouvez obtenir des modèles plus précis en utilisant moins d'observations en utilisant SVEM. |
| |
Cela signifie que l'amélioration des produits et des processus peut se produire en moins de temps en utilisant moins de ressources à moindre coût. Donc, si vous êtes dans une industrie compétitive, |
| |
là où il est essentiel d'être le premier sur le marché, SVEM devrait vous intéresser. |
| |
En particulier, nous pensons que SVEM a en particulier ... a d'énormes promesses dans les industries pharmaceutique et biotechnologique, |
| |
la haute technologie comme la fabrication de semi-conducteurs et le développement de produits de consommation. |
| |
Dans mon travail ici chez JMP, j'ai eu une vue d'ensemble de la façon dont les données sont traitées dans de nombreux secteurs et domaines d'application. |
| |
J'ai développé des algorithmes pour construire des expériences de conception optimales ainsi que des procédures d'analyse connexes telles que des modèles mixtes et généraliser vos modèles. |
| |
D'autre part, je suis également le développeur des algorithmes de réseau neuronal de JMP Pro, ainsi que de certaines des autres techniques d'apprentissage automatique du produit. |
| |
Au cours des 20 dernières années, j'ai vu l'apprentissage automatique devenir plus important lors de la modélisation de grands ensembles de données d'observation et de la découverte de nombreux nouveaux |
| |
algorithmes qui ont été développés. Dans le même temps, l'analyse des expériences conçues a également changé, mais de manière plus progressive au cours des 20 dernières années. |
| |
La méthodologie statistique globale de l'expérimentation industrielle serait reconnaissable à quiconque lirait Box, Hunter et Hunter à la fin des années 1970. |
| |
L'apprentissage automatique et la conception d'expériences sont généralement appliqués à l'industrie pour résoudre des problèmes de nature prédictive. |
| |
Nous utilisons ces outils pour répondre à des questions, telles que le capteur indiquant un lot défectueux ou comment ajuster le processus pour maximiser le rendement tout en minimisant les coûts. |
| |
Bien qu'ils soient tous deux de nature prédictive, l'apprentissage automatique et la conception d'expériences se sont généralement appliqués à des types de données assez différents. |
| |
Ce que je vais faire maintenant, c'est donner un bref aperçu des deux et ensuite décrire comment nous les avons fusionnés dans SVEM. |
| |
Je vais analyser certaines données d'une véritable expérience, pour montrer comment cela fonctionne et pourquoi nous pensons que cela se passe très bien dans l'ensemble. |
| |
Je vais aller dans l'ensemble ... Je vais aller ... Je vais passer en revue les résultats des simulations faites par Trent Limpkiss (?), Un doctorant à l'Université du New Hampshire, qui nous a donné l'assurance que l'approche est très prometteur. |
| |
Ensuite, je vais passer en revue un exemple qui montre comment vous pouvez utiliser les nouvelles conceptions d'ensemble candidates dans JMP 16 pour trouver des sous-ensembles optimaux d'ensembles de données existants afin que vous puissiez essayer SVEM par vous-même. |
| |
Je vais souligner certaines de nos observations, j'ai mentionné quelques questions futures auxquelles nous espérons répondre, puis je la céderai à Phil, qui passera par une étude de cas plus approfondie et une démo de l'adjonction SVEM. dans. |
| |
Considérez les données simples à l'écran. Il s'agit d'une donnée du processus métallurgique et nous voulons prédire la quantité de retrait à la fin des étapes de traitement. |
| |
Nous avons trois variables sur la gauche que nous voulons utiliser pour prédire le retrait. La modélisation revient à trouver une fonction qui relie la pression, le temps et la température qui prédit ici la réponse (rétrécissement). |
| |
Espérons que ce modèle générerait ... se généralisera à de nouvelles données dans le futur. |
| |
Dans un contexte d'apprentissage automatique, la méthode standard consiste à partitionner ces données en deux ensembles disjoints de lignes. L'un s'appelle l'ensemble d'entraînement et il est utilisé pour ajuster les modèles afin de s'assurer que nous ne surajustons pas les données, |
| |
ce qui conduit à des modèles inexacts sur de nouvelles observations. Nous avons un autre sous-ensemble de données, appelé l'ensemble de validation qui est utilisé pour tester divers modèles que nous avons utilisés ... |
| |
qui ont été adaptés à l'ensemble de formation. Il y a un compromis ici, où les fonctions trop simples s'intègrent mal dans les ensembles de formation et de validation car elles n'expliquent pas suffisamment les variations. |
| |
Alors que les modèles trop complexes peuvent avoir un ajustement presque parfait sur l'ensemble d'entraînement, mais seront très imprécis sur l'ensemble de validation. |
| |
Nous utilisons des mesures comme la validation R au carré pour trouver le modèle de boucles d'or qui n'est ni trop simple ni trop compliqué. |
| |
Ce modèle de boucles d'or sera celui dont la validation R au carré est la plus élevée sur l'ensemble de validation. |
| |
Cette sélection de modèle de style est un très bon moyen de procéder lorsque vous avez un devis sans citation d'un nombre raisonnablement grand de lignes, |
| |
souvent dans les centaines de millions de lignes ou plus. La déclaration raisonnablement grande est intentionnellement ambiguë et dépend de la tâche à accomplir. Cela dit, les 12 lignes que vous voyez ici sont vraiment trop petites et ne sont utilisées ici qu'à titre d'illustration. |
| |
Dans les DOE, nous sommes généralement dans des situations où il existe de sérieuses contraintes de temps et / ou de ressources. |
| |
Une idée de base des expériences conçues, en particulier les expériences conçues optimales qui sont une capacité clé du JMP, consiste à obtenir des informations de la plus haute qualité regroupées dans le plus petit nombre de lignes possible. |
| |
Depuis de nombreuses années, de nombreuses personnes brillantes ont créé des outils statistiques tels que les tests F, les graphiques demi-normaux et les critères de sélection de modèles, comme l'AIC et le BIC, |
| |
qui nous aident à prendre des décisions sur les modèles de données DOE. Ce sont tous des guides qui nous aident à identifier sur quel modèle nous devrions utiliser pour baser nos décisions scientifiques, d'ingénierie et de fabrication. |
| |
Une chose qui n'est pas souvent faite est d'appliquer la sélection de modèles d'apprentissage automatique à des expériences conçues. Maintenant, pourquoi serait-ce? |
| |
Une raison importante est que les informations sont si étroitement intégrées dans les conceptions que la suppression de quelques observations peut entraîner l'effondrement des principaux effets et interactions. |
| |
de sorte que nous ne sommes plus en mesure de les séparer en effets uniquement estimables. Si vous essayez de le faire quand même, vous verrez probablement des avertissements de rapport logiciel, tels que des degrés de liberté perdus ou des détails de singularité ajoutés au rapport de modèle. |
| |
Nous allons maintenant mener une petite expérience de pensée. Et si on essayait de tricher un peu? |
| |
Et si nous copiions toutes les lignes de la table d'origine, les X et Y, et étiquetions une copie «formation» et l'autre copie «validation»? Maintenant, nous avons suffisamment de données, non? Mal. Nous ne trompons personne avec ça, c'est ce stratagème fou. |
| |
C'est fou, car si vous avez essayé de modéliser en utilisant cette approche et que vous avez regardé n'importe quel graphique d'indice de qualité de l'ajustement, vous verrez que les rendre plus compliqués conduit à un meilleur ajustement sur l'ensemble d'entraînement, mais parce que la formation et la validation |
| |
les ensembles sont les mêmes dans ce cas, l'approche conduira toujours à un surajustement. |
| |
Alors, revenons en arrière et refondons la sélection de modèles d'apprentissage automatique comme une histoire de deux sommes pondérées de carrés calculées sur les mêmes données. |
| |
Au lieu de penser à la sélection du modèle en termes de deux partitions de données, nous pouvons la considérer comme deux colonnes de poids. |
| |
Il existe un poids d'entraînement égal à un pour les lignes de l'ensemble d'entraînement et à zéro dans le cas contraire, et colonne de validation |
| |
qui est égal à zéro pour les lignes d'apprentissage et égal à un pour la colonne de validation, pour les lignes de validation. |
| |
Ainsi, à partir de la sélection du modèle d'apprentissage automatique, nous pouvons penser que chaque ligne a sa propre paire de valeurs de poids, où les deux poids sont des zéros binaires et des uns. |
| |
Les avoir mis en place de cette manière est ce qui nous donne une évaluation indépendante de l'ajustement du modèle. |
| |
Les modèles sont ajustés en trouvant des valeurs de paramètres qui minimisent les sommes des erreurs quadratiques pondérées à l'aide du poids d'entraînement, et les performances de généralisation sont mesurées à l'aide de la somme des erreurs quadratiques pondérées à l'aide des poids de la colonne de validation. |
| |
Si nous traçons ces paires de poids dans un nuage de points, nous voyons, bien sûr, que les poids de validation d'entraînement ... les poids d'entraînement et de validation sont parfaitement anti-corrélés. |
| |
Maintenant, que se passe-t-il si, au lieu de nous forcer à utiliser des paires de valeurs binaires parfaitement anti-corrélées, nous assouplissons l'exigence selon laquelle les valeurs ne peuvent prendre que les valeurs de zéro et un |
| |
et permettre aux pondérations de prendre une valeur strictement positive? |
| |
Pour ce faire, nous devons abandonner quelque chose, en particulier, à ma connaissance, pour que cela fonctionne mathématiquement, nous ne pouvons plus avoir des paires de poids parfaitement anti-corrélées, mais nous pouvons le faire d'une manière que nous ayons encore un anti corrélation. |
| |
Il y a plusieurs façons de le faire, mais une façon de le faire serait de créer des pondérations en utilisant le même schéma que le bootstrap à pondération fractionnaire, où nous utilisons une distribution exponentielle avec une moyenne de un. |
| |
pour créer les poids. Et il y a une petite astuce utilisant les propriétés de la distribution uniforme que nous pouvons utiliser pour créer des paires de poids distribuées de manière exponentielle, mais hautement anti-corrélées. |
| |
Lorsque vous l'utilisez comme schéma de validation pondéré à deux colonnes, nous appelons cette validation automatique. Phil et moi avons donné plusieurs articles Discovery à ce sujet ... sur cette idée même. |
| |
Utiliser cette approche revient à avoir une colonne de formation de poids qui a une moyenne de variance de un et la colonne de validation avec les mêmes propriétés. |
| |
Dans ce schéma d'autovalidation, si une ligne contribue plus que le poids moyen aux sommes d'entraînement des carrés, cette ligne contribuera moins aux sommes de validation des carrés et vice versa. |
| |
Il y a un complément que Mike ... Je tiens à souligner qu'il existe un complément créé par Mike Anderson qui définit les ensembles de données dans ce type de format que les plates-formes de modélisation de JMP Pro peuvent utiliser. |
| |
Maintenant, récemment, Phil et moi avons embauché Trent en tant que doctorant. |
| |
Au printemps et à l'automne, Trent a fait de nombreuses simulations en essayant de nombreuses approches différentes pour adapter les modèles aux données du DOE, y compris tout un zoo d'approches basées sur l'autovalidation. Je vais montrer certains de ses résultats |
| |
ici dans un peu. Qu'il suffise de dire que l'approche qui fonctionnait toujours le mieux, en termes d'erreur moyenne minimale sur un ensemble de test indépendant, était d'appliquer l'autovalidation. |
| |
en combinaison avec des procédures de sélection de variables telles que la sélection directe, mais au lieu de le faire une fois que nous répétons le processus des dizaines ou des centaines de fois, |
| |
l'enregistrement de la formule de prédiction à chaque fois et finalement la moyenne des modèles sur toutes ces itérations auto-validées. Et nous appelons cette procédure générale des modèles d'ensemble auto-validés ou SVEM. |
| |
Donc, pour rendre les choses un peu plus concrètes, je vais donner un exemple rapide qui illustre cela. Nous commençons par initialiser les poids d'autovalidation. |
| |
Nous appliquons des procédures de sélection de modèle, telles que le lasso ou la sélection avant, puis sauvegardons la formule de prédiction dans le tableau. |
| |
Voici la première formule de prédiction. Dans cette itération, seuls deux effets principaux linéaires ont été sélectionnés. |
| |
Ensuite, nous réinitialisons les poids, nous les adaptons à nouveau au modèle à l'aide du nouvel ensemble de poids et enregistrons cette formule de prédiction. |
| |
Voici la deuxième formule de prédiction autovalidée. Notez que cette fois, un ensemble différent d'effets principaux et d'interactions a été choisi et que leurs coefficients de régression sont différents cette fois. |
| |
Nous répétons ce processus plusieurs fois. |
| |
Et à la fin, le modèle SVEM est simplement la moyenne de toutes les formules de prédiction. |
| |
Voici un diagramme succinct qui illustre l'algorithme SVEM sous forme de diagramme. Donc l'idée de combiner les procédures bootstrap avec la moyenne du modèle |
| |
se produit encore et encore, car nous sommes ... après avoir réinitialisé les pondérations. Nous sauvegardons la formule de prédiction de cette itération. |
| |
On enregistre ... ici je sauvegarde le paramètre ... ici l'illustration montre les paramètres, mais c'est la même chose avec les formules. Sauvegardez-les tous, puis à la fin de la journée, le modèle final est simplement la moyenne de toutes les itérations. |
| |
Une fois que nous avons terminé, nous pouvons utiliser ce modèle SVEM dans le profileur de graphes avec les formules intermédiaires d'extension activées afin que nous puissions visualiser le modèle résultant et optimiser notre processus, etc. |
| |
Je vais maintenant passer en revue les résultats de la recherche de thèse de Trent. |
| |
a Box Behnkens et DSD en quatre et huit facteurs. Chaque simulation se composait de 1000 réplications de simulation et chaque simulation avait son propre ensemble de valeurs de paramètres réels pour notre modèle de surface de réponse quadratique. |
| |
Les paramètres actifs étaient distribués de manière doublement exponentielle et nous avons exploré différents pourcentages d'effets actifs de 50% à 100%. |
| |
Pour chacune des 1 000 répétitions de simulation, la prédiction SVEM a été évaluée par rapport au modèle réel sur un ensemble de test indépendant qui consistait en une conception de remplissage de l'espace d'exécution de 10 000 sur l'espace des facteurs. |
| |
Nous avons examiné un grand nombre d'approches de modélisation classiques en un seul coup, ainsi qu'un certain nombre de variations sur toutes les validations. |
| |
Mais il est plus facile de regarder les résultats les plus intéressants car il y avait trop de choses à comparer. L'histoire était très cohérente dans toutes les situations sur lesquelles nous avons enquêté. |
| |
Il s'agit de l'une de ces simulations où la conception de base était une conception de criblage définitive, avec huit facteurs et 21 essais. Dans ce cas, 50% des effets étaient non nuls. |
| |
Cela signifie que le modèle avait autant de paramètres non nuls qu'il y avait d'exécutions, à peu près. |
| |
Sur la gauche se trouvent les boîtes à moustaches de l'erreur quadratique moyenne de la racine logarithmique pour le Lasso, le sélecteur de Dantzig, la sélection avant et la sélection avant élaguée, tous réglés à l'aide de l'AICc, les méthodes les plus performantes. |
| |
En outre, la meilleure performance des méthodes de la plate-forme définitive d'ajustement est la suivante, suivie par SVEM appliqué à une modélisation différente ... plusieurs procédures de modélisation différentes sur la droite. |
| |
Il y a une réduction spectaculaire de l'erreur quadratique moyenne de l'ensemble de test indépendant, lorsque nous comparons les RMSE de l'ensemble de test par rapport aux prédictions SVEM. |
| |
Et notez que c'est sur une échelle logarithmique, c'est donc une différence assez dramatique dans les performances prédictives. |
| |
Voici un résultat encore plus intéressant. C'est l'intrigue qui m'a vraiment époustouflé. C'est la même configuration de simulation, sauf qu'ici tous les effets sont non nuls. |
| |
Ainsi, les vrais modèles sont sursaturés, non seulement dans la matrice de conception, mais dans les paramètres eux-mêmes. |
| |
Dans le passé, nous avons dû supposer que le nombre d'effets actifs était un petit sous-ensemble de tous les effets et certainement plus petit que le nombre de lignes. |
| |
Ici, nous obtenons des modèles raisonnablement précis malgré le nombre de paramètres actifs, soit environ deux fois le nombre de lignes, ce qui est vraiment vraiment remarquable. |
| |
Maintenant, je vais passer par une illustration rapide |
| |
de SVEM pour montrer comment vous pouvez l'appliquer à vos propres DOE historiques. Je vais utiliser un exemple réel d'un DOE à cinq facteurs issu d'un processus de fermentation, où la réponse intéressante était le rendement du produit mesuré par le titre d'ADNp. |
| |
Le grand avantage de SVEM est que nous pouvons obtenir des modèles plus précis avec moins d'exécutions. Cela signifie que nous pouvons prendre des ensembles de données existants, |
| |
utilisez le nouveau concepteur d'ensemble candidat dans JMP 16 pour identifier le sous-ensemble de lignes qui forment le cœur prédictif sans guillemets de la conception d'origine. |
| |
Je vais prendre les données d'origine qui avaient 36 lignes, charger les cinq colonnes en tant que covariables et dire au concepteur personnalisé de me donner le sous-ensemble de 16 lignes de la conception d'origine qui donne les meilleures performances prévues à cette taille. |
| |
Ensuite, je vais masquer et exclure toutes les lignes qui ne sont pas dans cette conception de sous-ensemble, afin qu'elles puissent être utilisées ultérieurement comme ensemble de test indépendant. |
| |
Je vais exécuter le modèle SVEM et comparer les performances du modèle SVEM à ce que vous obtenez si vous appliquez une procédure standard comme la sélection avant, plus l'ajustement AICc aux mêmes 16 exécutions. |
| |
Je tiens à dire que le nouveau scénographe candidat dans JMP 16 est un ... est également une contribution remarquable et je veux juste souligner à quel point l'équipe de Brad a été incroyable dans la création de ce nouvel outil qui va être profondément utile à bien des égards, y compris avec SVEM. |
| |
Donc, pour ce faire, nous pouvons prendre notre ensemble de données, aller au concepteur personnalisé. |
| |
Nous sélectionnons des lignes de covariables, il s'agit donc d'un nouveau nœud de contour dans JMP 16. |
| |
Ensuite, nous sélectionnons les cinq facteurs d'entrée. |
| |
Cliquez sur continuer. |
| |
Et nous allons appuyer sur le bouton RSM, qui convertira automatiquement les critères d'optimalité en conception de type I-optimale ou prédictive. |
| |
Nous sélectionnons tous les facteurs de non interception et faisons un clic droit dans le ... dans le modèle ... |
| |
sélectionnez la liste ici et créez ... définissez tous les effets sans interception comme des effets possibles. C'est ce qui nous permet d'avoir des modèles |
| |
avec plus de paramètres qu'il n'y a d'exécutions comme conception de base, car les critères de conception seront désormais une conception bayésienne I-optimale. Maintenant, nous pouvons définir le nombre de courses égal à 16. |
| |
Cliquez sur créer un design. |
| |
Et une fois que nous avons fait cela, l'optimiseur fait sa magie, et toutes les lignes qui sont dans la conception de sous-ensemble bayésien I-optimal sont maintenant sélectionnées dans le tableau d'origine. |
| |
Nous pouvons accéder au tableau, puis utiliser un indicateur ou une colonne de transformation pour enregistrer la sélection de ligne actuelle. |
| |
Et je suis allé de l'avant et j'ai renommé la colonne un nom significatif pour plus tard. |
| |
Nous pouvons sélectionner les points qui ne figurent pas dans la conception du sous-ensemble en sélectionnant toutes les lignes où la nouvelle colonne d'indicateur est égale à zéro. |
| |
Ensuite, nous pouvons masquer et exclure ces lignes afin qu'elles ne soient pas incluses dans notre processus d'ajustement de modèle. |
| |
Phil fera une démonstration du complément SVEM, donc je vais sauter les étapes de modélisation et passer directement à une comparaison de modèle de sélection directe plus AICc et le modèle SVEM sur les lignes non incluses dans la conception de sous-ensemble bayésien I-optimal. Vous pouvez donc voir cette comparaison ici dans le rouge ... |
| |
dans la partie contour rouge du rapport ici. On voit que SVEM a un carré R sur le |
| |
ensemble de test indépendant de .5, et la procédure classique, elle a un carré R de .22, donc nous obtenons fondamentalement deux fois la quantité de variation expliquée avec SVEM que la procédure classique. |
| |
Nous pouvons également comparer les traces de profil des deux modèles lorsque nous appliquons SVEM à l'ensemble des 46 observations. |
| |
Il est clair que nous obtenons le même modèle lorsque nous appliquons SVEM aux 46 exécutions, car nous obtenons seulement 16 exécutions sous SVEM. |
| |
Mais le modèle basé sur la sélection directe manque de termes de courbure, à ne pas manquer ... sans oublier qu'il manque également beaucoup d'interactions. C'est une procédure assez simple ... une procédure assez simple que vous pouvez utiliser pour tester SVEM sur vos propres données historiques. |
| |
Donc globalement SVEM |
| |
soulève beaucoup de questions. Beaucoup d'entre eux sont centrés sur le rôle des degrés de liberté dans les expériences de conception, car nous sommes maintenant en mesure d'ajuster des modèles contenant plus de paramètres que de lignes, ce qui signifie qu'il y aurait effectivement des degrés de liberté négatifs, s'il y avait une telle chose. |
| |
Je pense que cela nous amènera à reconsidérer le rôle de la pensée basée sur la valeur P dans l'expérimentation industrielle. |
| |
Nous allons devoir travailler pour établir de nouvelles méthodes d'incertitude dans l'analyse, comme la prédiction ... dans les intervalles de confiance sur les prédictions. |
| |
Phil et moi travaillons actuellement pour essayer de comprendre quelle est la meilleure famille de modèles de base à partir de laquelle nous pouvons travailler. Donc, cela pourrait être des RSM quadratiques et nous examinons également ces modèles cubiques partiels qui avaient été proposés il y a longtemps, mais nous pensons maintenant qu'ils méritent d'être reconsidérés. |
| |
Quels types de designs devrions-nous utiliser? Quelles tailles d'échantillon sont appropriées en fonction du nombre de facteurs dans le modèle de base que nous utilisons? Quel est le rôle des expériences de dépistage? Et une grande inconnue est quel est le rôle du blocage et de l'expérimentation de parcelles fractionnées |
| |
dans ce cadre? |
| |
Alors maintenant, je vais le remettre à Phil. Il va faire une étude de cas plus approfondie et également une démonstration du complément SVEM de Predictum. Emmenez-le, Phil. |
| Philip Ramsey |
D'accord, merci, Chris. Et ce que je vais faire, c'est discuter d'une étude de cas, alors laissez-moi mettre ceci en |
| |
diaporama et je vais en faire |
| |
illustration, comme Chris l'a dit, du Predictum |
| |
complément qui automatise en fait une grande partie de l'analyse SVEM. Et ce que nous essayons d'examiner, c'est une méthode analytique utilisée dans l'industrie biotechnologique. |
| |
Et celui-ci sert à caractériser le glycoprofilage de protéines thérapeutiques, essentiellement des protéines pour devenir des anticorps. |
| |
Et beaucoup d'entre vous qui travaillent dans cette industrie savent que les glycoprotéines sont vraiment une source très riche de produits thérapeutiques et vous savez également que si vous travaillez pour voir les BPF, vous devez démontrer la fiabilité des systèmes de mesure. Et en fait pour le glycoprofilage, |
| |
les méthodes analytiques rapides et faciles à utiliser ne sont pas vraiment complètement développées. L'idée de cette expérience était donc de proposer une méthode assez rapide et facile que les gens pourraient utiliser pour leur donner une évaluation précise des différents |
| |
(Je ne suis pas chimiste ici) des sucres qui ont été |
| |
attaché à la protéine de base après la transcription. |
| |
Et pour vous donner une idée, l'idée d'utiliser la chromatographie et je vais supposer que vous avez une certaine familiarité avec elle, en gros c'est une méthode où vous |
| |
avoir une solution, vous la faites passer à travers une colonne, puis, au fur et à mesure que les différentes espèces chimiques traversent la colonne, |
| |
ils ont tendance à se séparer et à sortir de la colonne à des moments différents. Donc fondamentalement une forme, ce qu'on appelle un chromatagramme, où le pic |
| |
est une fonction de la concentration et le moment auquel le pic se produit est en fait important pour identifier ce qu'était réellement l'espèce. Donc, dans ce cas, nous allons examiner un certain nombre de |
| |
sucres. Je vais simplement les appeler des glycoformes, et ce qui se passe ici, ce sont les scientifiques qui ont fait ce travail ont développé une solution d'étalonnage. |
| |
Et nous savons exactement ce que contient la solution d'étalonnage. Nous savons exactement quels pics doivent être élués et à peu près où. |
| |
Ensuite, nous pouvons comparer un échantillon d'anticorps humain réel à l'échantillon d'étalonnage. Et certaines de ces glycoformes sont chargées. Ils sont difficiles à faire passer par la colonne. |
| |
Ils ont tendance à s'y tenir, alors nous utilisons ce que l'on appelle parfois une procédure d'élution par gradient. |
| |
Et je n'entrerai pas dans les détails. Et ce que nous faisons ici, nous utilisons ce qu'on appelle la chromatographie d'échange d'anions haute performance. Je ne suis pas un expert en la matière, mais le scientifique avec lequel j'ai travaillé a fait |
| |
un très bon travail de développement de cet étalonnage, et la raison pour laquelle nous avons besoin d'une solution d'étalonnage qui historiquement |
| |
les sucres qui sont élués à partir d'un échantillon d'anticorps humains ne sont pas entièrement prévisibles quant à l'endroit où ils vont sortir d'une colonne, nous avons donc quelque chose que nous pouvons utiliser pour l'étalonnage. |
| |
Alors. |
| |
La personne qui a fait le travail, et je vais la mentionner dans un instant, a conçu deux expériences distinctes. L'un est une conception à trois niveaux à 16 tirages. |
| |
Et plus tard, elle est revenue et a fait une plus grande conception de 28 séries, trois niveaux. Et donc l'un pourrait être utilisé comme ensemble d'entraînement et l'autre est un ensemble de validation, mais pour démontrer le sélecteur de covariable et la stratégie bayésienne I-optimale dont Chris a parlé, |
| |
les deux modèles ont été combinés en un seul modèle de 44 tirages. Nous avons ensuite |
| |
a pris cette conception dans une conception personnalisée avec le sélecteur de covariable, puis a créé divers modèles bayésiens optimaux en I. |
| |
Et nous aurions pu faire plus de combinaisons, mais nous n'avons que très peu de temps pour en parler. Il y a donc trois modèles. On a 10 courses, souvenez-vous des cinq facteurs et nous faisons 10 courses. |
| |
Une conception à 13 tirages et une conception à 16 tirages et encore une fois, nous pourrions faire bien plus. Donc, ce que nous voulons faire, c'est voir comment ces |
| |
les conceptions fonctionnent après que nous ayons utilisé un ventilateur pour ajuster les modèles et, en passant, comme Chris l'a mentionné, dans chacune de ces conceptions, les séries qui ne sont pas sélectionnées parmi les 44 sont ensuite utilisées comme ensemble de validation ou de test pour voir à quel point le modèle effectué. |
| |
Bon, ce sont donc les facteurs initiaux, la quantité initiale d'acétate de sodium, la quantité initiale d'hydroxyde de sodium. Et puis il y a trois étapes d'élution de gradient distinctes qui ont lieu |
| |
sur la durée du processus, qui dure environ 40 minutes. Ce sont donc les paramètres qui sont utilisés et manipulés dans l'expérience. |
| |
Il y a en fait, dans cette expérience, 44 réponses différentes que l'on pourrait examiner. Donc, compte tenu du temps dont nous disposons, je vais en examiner deux. |
| |
L'un est le temps de rétention de la glycoforme 3, et c'est la clé, c'est ce qui ancre le chromatogramme d'étalonnage. |
| |
Et nous aimerions qu'il sorte dans environ huit minutes et demie car il s'aligne bien avec les échantillons d'anticorps humains. |
| |
C'est en fait assez facile à modéliser. La deuxième réponse est le temps de rétention de la glycoforme 10. C'est un glycoforme chargé. Il élue très tardivement et a tendance à être groupé avec d'autres glycoformes chargées et est plus difficile à distinguer. OK, ce sont donc les deux réponses que je vais examiner. |
| |
Et pour ceux qui ne sont pas familiers avec la chromatographie, voici quelques-uns de ce qu'on appelle des chromatogrammes. Ce sont essentiellement les réponses, |
| |
des photos de ce à quoi ressemblent les réponses et, dans ce cas, si vous regardez la photo, nous allons regarder le temps de rétention, c'est-à-dire quand |
| |
Peak 3 est-il sorti? À quelle heure et ensuite, à quelle heure le pic 10 est-il sorti et est-il apparu dans le chromatogramme? Et, au fait, remarquez entre les deux |
| |
chromatogrammes que je montre, à quel point les profils sont différents. Donc, dans cette expérience, lorsque nous avons manipulé ces facteurs expérimentaux |
| |
(et au fait, nous avons 44 de ces chromatogrammes; je vous en montre deux), vous voyez beaucoup de différences dans les formes et les temps de rétention et ainsi de suite de ces pics et dans la résolution. Donc quoi que nous fassions, nous manipulons clairement |
| |
les chromatogrammes, et pour ceux d'entre vous qui sont curieux, oui, nous pensons à cela à l'avenir comme des données fonctionnelles et comment l'analyse des données fonctionnelles pourrait être utilisée. |
| |
Mais c'est souvent l'avenir, mais c'est certainement quelque chose qui nous intéresse beaucoup. Les chromatogrammes sont vraiment des données fonctionnelles en fin de compte. Mais je vais juste extraire deux fonctionnalités et essayer de les modéliser. D'accord. Et je veux aussi rendre hommage à |
| |
Dr Eliza Yeung de Cytovance Biologics, une bonne amie et une excellente scientifique. Et elle a fait tout le travail expérimental et c'est elle qui a eu l'idée de construire le ... |
| |
ce qu'elle appelle l'échelle de glucose, la solution d'étalonnage. Et Eliza, en plus d'être une personne sympa, elle aime aussi JMP. Nous aimons donc Eliza à bien des égards, d'accord. Excellent scientifique. Bon alors |
| |
avant que je rentre |
| |
SVEM, je veux juste mentionner ... Chris a mentionné le modèle quadratique complet qui a été utilisé depuis, quoi, 1950 comme base de l'optimisation. |
| |
Fondamentalement, tous les effets principaux, les interactions à deux facteurs et les termes au carré. En fait, pour beaucoup de systèmes physiques complexes, la cinétique est en fait trop complexe pour ce modèle. |
| |
Et Cornell et Montgomery, dans un très bel article de 1998, l'ont souligné et ont suggéré que dans de nombreux cas, |
| |
ce qu'ils appellent le modèle d'interaction, nous l'appelons le modèle cubique partiel, peut mieux fonctionner. Et d'après mon expérience, en utilisant SVEM et en appliquant ce modèle à de nombreuses études de cas, ils ont raison. Cela donne en fait de meilleurs modèles prédictifs, mais il y a un problème. |
| |
Ces modèles cubiques partiels peuvent être énormes et ils représentent un grand défi pour les stratégies de modélisation traditionnelles où les modèles sursaturés, comme Chris l'a mentionné, sont un gros problème. |
| |
Combien de termes potentiels y a-t-il? Eh bien, prenez K carré, deux fois cela et ajoutez-en un pour l'interception. Donc, pour cinq facteurs, le plein |
| |
le modèle cubique partiel aurait 51 termes. Au fait, je vais utiliser ces modèles, mais je n'utiliserai que 40 des termes qui sont généralement les plus importants. |
| |
Et puis nous allons utiliser la modélisation d'ensemble auto-validée pour ajuster les modèles et, comme Chris l'a dit, SVEM n'a aucun problème avec les modèles sursaturés. |
| |
Et en passant, dans la littérature sur l'apprentissage automatique, les modèles sursaturés sont toujours adaptés. |
| |
Et en utilisant les bonnes techniques d'apprentissage automatique, vous pouvez en fait ... elles peuvent réellement vous montrer que vous obtenez de meilleures performances de prédiction. |
| |
Ceci est largement inconnu dans les statistiques traditionnelles, d'accord. Nous allons donc utiliser le complément SVEM et j'ai mentionné que si vous souhaitez en savoir plus, vous pouvez contacter Wayne Levin, qui a déjà parlé, chez Predictum et je suis sûr que Wayne aimerait vous parler. |
| |
Passons donc brièvement à JMP. |
| |
Et je vais vous montrer comment le complément fonctionne réellement, alors laissez-moi apporter JMP. |
| |
J'ai donc installé le complément afin qu'il ait son propre onglet. Alors je clique sur Predictum. À propos, c'est l'un des designs bayésiens optimaux I que nous avons créés, et celui-ci comporte 16 pistes. Sélectionnez la modélisation d'ensemble auto-validée. |
| |
Vous voyez donc à quoi ressemble votre boîte de dialogue de lancement de modèle d'ajustement typique. Je vais sélectionner mes cinq facteurs. |
| |
Et je vais juste faire un modèle de surface de réponse à ce stade à titre d'illustration, et je veux modéliser |
| |
temps de rétention de la glycoforme 3. Remarquez en arrière-plan, cette configuration, la table d'auto-validation, il y a donc une fonction d'attente. |
| |
Et il y a une partie d'autovalidation. Tout cela est en arrière-plan, vous n'avez pas besoin de le voir. Mais la scie ... mais le complément l'a créée et ensuite elle la cache en gros, mais vous pouvez la regarder, si vous le souhaitez, mais elle est cachée car ce n'est pas très important de la voir. |
| |
Alors maintenant, nous ouvrons GenReg, c'est donc le GenReg |
| |
panneau de commande. Et à titre d'illustration, au fait, SVEM est vraiment indépendant en termes de méthode avec laquelle vous l'utilisez pour la construction de modèles. Donc, en fait, vous pouvez utiliser des méthodes qui ne sont même pas dans GenReg, mais c'est notre objectif principal aujourd'hui. Nous allons donc procéder à une sélection en avant. |
| |
Et comme nous n'avons que trop de temps, je ne vais faire que 10 répétitions. |
| |
Cliquez sur OK et nous créerons le modèle. |
| |
Voici donc la sortie pour seulement 10 répétitions, et vous obtenez un réel par tracé prédit. Mais ce qui est vraiment bien à ce sujet, c'est que cela crée en fait la moyenne du modèle d'ensemble pour vous. |
| |
Je clique donc sur le modèle d'ensemble auto-validant, enregistre la formule de prédiction. Je vais donc continuer et fermer cet écran. |
| |
Venir. |
| |
Et voilà mon modèle. |
| |
Je peux maintenant prendre ce modèle, et je peux continuer et l'appliquer aux données de validation. Nous avons donc 16 exécutions qui ont été sélectionnées, il y en a donc 28 autres disponibles qui peuvent être utilisées comme ensemble de validation pour voir comment nous avons réellement fait. Donc, à ce stade, je vais maintenant revenir à la |
| |
présentation et, au fait, sans le complément SVEM, cela peut être un peu difficile, surtout si vous ne maîtrisez pas particulièrement les scripts JMP |
| |
pour créer réellement ces modèles. Donc, ce complément peut ne pas avoir l'air d'avoir fait énormément de travail en arrière-plan, d'accord. Alors, comment avons-nous fait? Alors permettez-moi de remettre cela en diaporama. |
| |
Donc ce que j'ai fait, il y a trois modèles, un modèle à 16 tirages, 13 tirages, puis j'ai choisi un tirage à 10. Nous repoussons vraiment les limites. |
| |
Et il y a deux réponses, comme je l'ai dit, la glycoforme 10 élue tardivement et a tendance à être bruyante et peut être difficile à résoudre. Donc, pour la conception à 16 tirages, j'adapte en fait un modèle cubique partiel à 40 termes. Gardez cela à l'esprit, 16 courses. Et je correspond à un modèle de 40 termes. |
| |
Et puis la clé de ceci est l'erreur quadratique moyenne sur l'ensemble de validation, d'accord. Alors |
| |
J'adapte mon sixième ... mon modèle de 40 termes, puis le |
| |
l'erreur quadratique moyenne sur l'ensemble de validation était faible et le R au carré de la validation était en fait proche de 98, donc ça allait très, très bien. |
| |
Remarquez, même pour les plus bruyants |
| |
glycoform 10, nous avons toujours un très bon modèle. Je vais vous montrer quelques parcelles réelles par prédiction. Nous avons donc fait cela pour 13, encore une fois pour 13, nous avons obtenu de très bons résultats. |
| |
Et puis enfin pour 10. Au fait, pour 10, je ne fais que monter le modèle quadratique complet standard, j'avais l'impression de vraiment pousser ma chance. |
| |
Mais j'aurais pu aller de l'avant et essayer le cube partiel. Et remarquez, encore une fois, même avec 10 essais, en modélisant le temps de rétention de la glycoforme 3, j'ai obtenu un carré R .94. |
| |
Pour moi, c'est vraiment impressionnant et encore une fois j'ai modélisé ... mon modèle avait deux fois plus de prédicteurs qu'il y avait d'observations et même avec la glycoforme 10 difficile à modéliser, nous avons plutôt bien fait. |
| |
Donc, voici quelques parcelles réelles par prédiction et encore une fois, je choisis la glycoforme 10 parce qu'elle est vraiment difficile à modéliser. |
| |
Je ne voulais donc pas trop jouer avec le système. Je sais par expérience que c'est difficile à modéliser. Il y a donc une parcelle réelle par prédiction. Il y a un autre tracé réel par prédiction pour la conception à 10 tirages, il fait toujours assez bien |
| |
quand vous considérez ce que nous essayons de faire ici. |
| |
Et puis enfin, comment avons-nous fait globalement? |
| |
C'est donc un petit tableau que j'ai assemblé et j'ai pris la conception à 16 tirages comme base, puis ce que je fais est de comparer ce qui s'est passé lorsque nous avons ajusté le 10- |
| |
modèle de terme et le terme 13 pour le temps de rétention pour G10. |
| |
Vous remarquerez que nous avons eu une erreur assez importante pour 13 et une erreur beaucoup plus petite pour 10. Je ne sais pas pourquoi. J'ai choisi de simplement montrer quels étaient les résultats. C'est un peu un mystère, et je ne suis pas retourné pour l'explorer. |
| |
Mais pour le temps de rétention trois, notez que je passe de 16 à 10. Oui, j'ai eu une certaine augmentation de l'erreur quadratique moyenne, mais vous savez si vous regardez le réel par tracé prédit, |
| |
il fait toujours un bon travail de prédiction sur l'ensemble de validation. Donc, le but de cet être, et c'est, je sais que c'est, je travaille beaucoup avec des entreprises de biotechnologie, le |
| |
les gains d'efficacité réels que vous pourriez potentiellement atteindre dans vos conceptions expérimentales et je sais que pour beaucoup d'entre vous, ces expériences sont coûteuses. |
| |
Et plus important encore, ils prennent beaucoup de temps. Cela peut vraiment raccourcir votre temps d'expérimentation, réduire votre budget d'expérimentation et obtenir encore plus d'informations. |
| |
Donc, une sorte de conclusion rapide à ce sujet. Cette procédure SVEM et ceci, et comme Chris l'a montré, nous avons étudié cela dans des simulations et des études de cas. |
| |
SVEM est idéal pour les modèles sursaturés. Je ne vais pas y entrer, mais d'après la pratique de l'apprentissage automatique, les modèles sursaturés sont connus pour fonctionner très bien. Ils utilisent tout le temps et l'apprentissage profond comme exemple. |
| |
Fondamentalement, comme le dit Chris, SVEM combine l'apprentissage automatique avec la conception d'expériences. |
| |
Et plus important encore, une fois que vous commencez à emprunter la voie de SVEM, cela vous informe à son tour de la façon dont vous pensez expérimenter. |
| |
Donc, fondamentalement, en utilisant SVEM, nous pouvons commencer à penser à des expériences très efficaces qui peuvent vraiment accélérer le rythme de l'innovation et réduire en fait le temps et les coûts d'expérimentation. Et avec le temps de développer des produits et des processus |
| |
devenant ... les délais de plus en plus courts, ce n'est pas un point trivial, et je sais que beaucoup d'entre vous dans la biotechnologie sont également confrontés à de sérieuses contraintes budgétaires. |
| |
Et puis (au fait, la plupart des gens le sont) et enfin, un domaine prometteur est celui des conceptions bayseiennes optimales. |
| |
Et encore une fois, je mentionnerai que Brad Jones et son groupe ont fait un excellent travail en les introduisant dans JMP. C'est le seul logiciel que je connaisse qui propose des conceptions bayésiennes optimales. |
| |
Et nous pensons que SVEM va ouvrir la fenêtre à de nombreuses possibilités. Donc, fondamentalement, c'est mon histoire et je vais céder la parole à Wayne Levin. |
| Wayne Levin |
Merci beaucoup pour cela, |
| |
Phil et Chris. J'espère que tout le monde peut voir qu'il y a énormément de travail, beaucoup de recherches ont été menées à ce sujet, y compris |
| |
travaillez dans les tranchées, vous pourriez dire, et je suis dans ce jeu depuis plus de 30 ans maintenant, cela ne me dérange pas de vous dire que je suis très excité par ce que je vois ici. |
| |
Je pense que cela peut être vraiment transformateur, vraiment changé ce ... comment les expériences industrielles sont menées ici. J'étais auparavant très enthousiasmé par les seuls designs sursaturés et c'était |
| |
facilité avec un designer personnalisé et maintenant avec ... c'est du côté du design. |
| |
de choses. |
| |
Maintenant, quand vous apportez SVEM du côté de l'analyse, je veux dire que ce sont deux bons goûts |
| |
qui vont bien ensemble, pourriez-vous dire. Donc de toute façon, juste pour conclure, je vais juste glisser ici que |
| |
Phil, moi-même et Marie Goddard, nous mettons sur pied un cours à la demande (il devrait être disponible le trimestre prochain, comme en avril) |
| |
sur des expériences conçues par mélange, et nous allons consacrer beaucoup de temps à SVEM dans ce cours. Donc, si cela vous intéresse, faites-le moi savoir ou le fera ... afin que nous puissions vous le faire savoir ou nous suivre sur LinkedIn ou l'une de ces choses. |
| |
Et pour le complément SVEM, encore une fois, si vous me le permettez, je suis ravi que nous ayons été les premiers à commercialiser avec cela. |
| |
Nous y travaillons dur depuis plusieurs mois. Nous faisons une nouvelle version environ tous les mois, elle évolue donc au fur et à mesure que nous recevons des commentaires du terrain, et je tiens à remercier beaucoup Phil |
| |
pour avoir dirigé cela. Et il s'est associé à l'un de nos développeurs (???) et c'est vraiment un effort formidable, beaucoup de travail acharné |
| |
pour arriver à ce point, et nous voulons mettre cela à votre disposition. Et donc, comme Phil l'a mentionné plus tôt, il y a vraiment deux façons pour vous d'essayer cela. La première consiste simplement à essayer le complément lui-même, |
| |
cela fonctionne avec 14 et 15. Et avec 16 sortants, je pense que nous allons le faire fonctionner pour 16 également. Il nécessite JMP Pro, donc si vous n'avez pas JMP Pro, il y a un lien ici, où vous pouvez demander ... pour obtenir une licence d'évaluation JMP Pro. |
| |
Et vous pouvez obtenir ce lien, bien sûr, en téléchargeant les diapositives de cette présentation. C'est ainsi que vous pouvez l'obtenir, c'est donc une façon de l'utiliser pour l'essayer vous-même. |
| |
Une autre façon est de nous contacter et nous pouvons travailler avec vous sur une base de preuve de concept, très bien. |
| |
Et nous pourrions faire des analyses comparatives et ainsi de suite, et bien sûr, revoir cette analyse avec vous. Vous savez donc que nous mettrons les documents nécessaires en place, et |
| |
cela ne nous dérange pas de l'essayer. Nous l'avons fait pour un bon nombre d'entreprises et c'est peut-être le moyen le plus simple pour vous, peu importe ce qui fonctionne pour vous. D'accord, et pour l'instant, alors ce que j'aimerais faire c'est |
| |
ouvrez-le pour toute question ou commentaire en ce moment. Je vais dire au nom de Chris et Phil, merci de vous joindre à nous. Alors d'accord, questions et commentaires, s'il vous plaît. |
