Apprenez des retours de notre atelier JMP Pro avec Chris G. à HeidelbergJe décris ici mes apprentissages de l'atelier de Heidelberg avec Chris Gotwalt sur l'optimisation bayésienne :
Quelques faits en bref :
- 48 inscrits - environ 40 dans la salle
- Thème Optimisation bayésienne
- beaucoup d'intérêt
- environ 60 % avaient JMP Pro
- La plupart connaissent le DoE et visent à optimiser les processus plus rapidement et à moindre coût
Hypothèses et confirmations sur des situations exotiques:
- Réponses multiples, 𝑦_𝑖 (𝑥)
- Toutes les mains se sont levées pour demander de confirmer que c'était important pour eux et qu'ils en avaient besoin.
- Augmentation par « lot » de plusieurs exécutions
- Presque tous les cas nécessitent des expérimentations par lots, non seulement pour le prochain, mais aussi pour les 4, 6 ou autres suivants. La plupart du temps, cela s'explique par le fait que
- l'expérience dure trop longtemps pour attendre la prochaine suggestion,
- mais le manque de matériel (pas toujours disponible) est une autre raison.
- Attentes mentionnées :
- comment raccourcir le temps de développement
- Objectif du service analytique (utilisateur Design Expert)
- pour persuader les collègues d'utiliser DOE plus facilement car ils disent que de nombreuses exécutions ne peuvent pas être effectuées.
- Donnez aux utilisateurs des options pour autre chose que DOE, pourquoi devrais-je faire des expériences qui ne m'apportent rien ? Je veux juste un bon résultat
- Coût -> moins de courses
- Qu'espérez-vous obtenir ?
Questions du public :
- Et si les facteurs n’étaient pas importants ?
- Réponse : Les facteurs sans impact seront ignorés. L'option Importance variable permettra d'afficher les facteurs ordonnés en puissance.
Les réponses peuvent-elles être pondérées ? (un autre cas « exotique »)
- Réponse : Oui, cela sera appliqué à la désirabilité opt bayésienne dans le profileur. Les objectifs concurrents ou la parcimonie complexe peuvent être gérés, ainsi que l'objectif de limite cible/spécification.
Comment les problèmes locaux min/max seront-ils traités ?
- Réponse : Comparez-le un peu avec Newton, cela pourrait arriver, mais si vous n'êtes pas satisfait, vous pouvez facilement explorer d'autres régions, par exemple avec une variance élevée.
Puis-je utiliser des réponses/facteurs catégoriques ? (un autre cas « exotique »)
- Réponse : Oui, mais la corrélation ne sera pas basée sur la distance comme pour les réponses continues
Que faire si je sais que la réponse sera très bruyante ? Comment gérer ce problème ? (Autre cas « exotique »)
- Réponse : Vous devez développer des stratégies : effectuez d’abord une MSA pour évaluer la variance et utilisez des répliques pour faire la moyenne de la variabilité.
Puis-je ajouter de nouveaux facteurs ? (un autre cas « exotique »)
- Répondez oui, même en plein milieu du projet
Cas d'utilisation :
- Chris G. : Les formulations et les mélanges constituent le cas d'utilisation numéro un, car les confusions et les contraintes ne sont plus un problème. Tout dépend de la distance et non de l'espace de conception ! Les facteurs d'inflation n'ont aucune importance.
- Clients mentionnés :
- Réglage du contrôleur PID : une exécution prend 15 à 30 minutes, mais il est fastidieux d'entrer et de sortir à chaque fois, les exécutions par lots sont donc très importantes pour eux (par rapport aux solutions optoélectroniques bayésiennes de base avec seulement l'exécution suivante)
- Formation et modélisation d'hyperparamètres
- Environnement GMP où vous ne pouvez pas trop varier et êtes limité, par exemple, à 2 lots à exécuter.
- Peut avoir un impact énorme dans la recherche (pharmaceutique), mais peut être moindre, par exemple, dans la caractérisation des procédés.
- Persuadez vos collègues d'utiliser DOE, car c'est plus facile et vous pouvez les surmonter, car comme on dit, de nombreuses courses ne peuvent pas être effectuées.
Suggestions : @chris_gotwalt1 @DanielValente
- P&G/BASF : Il serait formidable d'avoir la possibilité d'ajouter des informations préalables (par exemple, à partir de réactions/formules chimiques connues ou dont vous savez avec certitude qu'il s'agit d'un modèle linéaire) pour influencer la courbe de désirabilité.
Résumé général :
- Un grand intérêt
- Notre plateforme semble bien s'intégrer dans le paysage entre Bofire (pour les programmeurs Python) et les solutions développées en interne (rendues très faciles pour les professionnels)
- C'est bien plus que ce que la plupart des outils d'optimisation bayésienne peuvent faire - parlons des situations « exotiques » de Bayes Opt
Autres commentaires :
- Comment gérer les questions sur la sélection sous-jacente et les mathématiques ?
- Les utilisateurs de JMP souhaitent cette fonctionnalité et constatent qu'elle est utile à de nombreux utilisateurs. C'est pourquoi il est important de discuter de la valeur ajoutée que pourrait apporter l'utilisation de cette fonctionnalité par tous ces utilisateurs et de calculer le retour sur investissement (ROI) pour comparer un ELA/un certain nombre de licences Pro. Par exemple, laissez le promoteur montrer la différence entre les expériences précédentes et ce qui se serait passé si nous avions appliqué la BO après la première expérimentation. Cela a-t-il conduit à une autre voie/permis de trouver la réponse plus tôt/quand avons-nous fait fausse route ? Il s'agit de convaincre les autres (les mêmes ingénieurs qui répètent sans cesse les mêmes hypothèses).
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergUn autre commentaire : les organisations utilisent probablement déjà une solution, par exemple BoFire (package Python) ou une solution plus simple. La plupart d'entre elles ne proposent pas toutes les solutions exotiques dans leurs outils ou sont réservées aux programmeurs.
Nous sommes là pour conquérir une bonne partie du marché avec ce que nous avons maintenant.
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergExcellent résumé des commentaires. Juste quelques questions/réponses supplémentaires que j'ai notées.
Et si la table venait d'ailleurs ?
- Réponse : Ne vous inquiétez pas, vous pouvez ajouter toutes les contraintes dans le profileur
Un exemple pour montrer comment le profileur évolue au fil des exécutions ?
Réponse : Oui, ce serait bien ! Chris a dit qu'ils ajouteraient peut-être cela à l'avenir. Dans sa présentation, il a réussi à montrer cette évolution du profileur manuellement en utilisant plusieurs diapositives, mais cela a demandé beaucoup de travail.
Donnez-vous également des poids lorsque vous optimisez ?
- Réponse : Oui, tout comme nous le faisons dans le profileur, vous pouvez les modifier à la volée, et si vous modifiez la désirabilité (par exemple maximiser dans le cas de l'abrasion), les désirabilités pour l'option bayésienne s'ajusteront automatiquement.
Que se passe-t-il si les gammes ne sont pas assez bonnes ou étroites ?
- Réponse : Vous pouvez simplement modifier les plages dans le profileur et il en tient compte.
Pouvons-nous sauvegarder le profileur de formule/prédiction ?
Réponse : Il n’existe aucun moyen direct de le faire. Il faut retourner à la table de données et ouvrir la plateforme de processus gaussien pour enregistrer le modèle (il s’agira d’une formule/d’un modèle différent de celui créé avec la plateforme d’optimisation bayésienne).
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergMerci pour le partage, Martin. Avez-vous des commentaires sur le déroulement de l'atelier ? Avez-vous montré un exemple, puis demandé au public de le travailler avec vous ? Pensez-vous que nous devrions ajouter ou modifier un exemple pour effectuer quatre séries d'exercices simultanément au lieu d'une seule ?
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergMerci à tous d'avoir partagé vos réflexions sur BayesOpt lors de vos discussions. Je partage une tension exprimée par certains participants à l'atelier de Londres : de nombreux scientifiques souhaitent s'essayer à l'optimisation bayésienne, mais je crains qu'ils ne commettent des erreurs dans l'application de la méthode. Cela m'amène à me demander si certains de nos utilisateurs avancés ne sont pas des observateurs statistiques et ne risquent pas de décourager les utilisateurs grand public.
La perfection est un objectif noble et difficile à atteindre. Aider les scientifiques et les ingénieurs à abandonner l'expérimentation par tâtonnements est le résultat louable que nous pourrions viser. Aider les scientifiques et les ingénieurs à réaliser un travail plus gratifiant et à obtenir des résultats commerciaux plus prévisibles et souvent meilleurs (que les approches par tâtonnements). Serait-il possible d'encourager nos responsables statistiques à se concentrer moins sur la perfection dans l'application des méthodes d'expérimentation statistique et davantage sur l'accompagnement des scientifiques et des ingénieurs dans leur évolution, d'une manière qui profite au plus grand nombre ? Dans le cadre de cette évolution, les scientifiques et les ingénieurs pourraient découvrir qu'ils ont besoin à la fois de DoE et de BayesOpt, mais le point de départ devrait leur revenir, ainsi qu'à leur responsable.
Soyez attentifs aux statisticiens. Aidez-les à réfléchir au défi d'aider les scientifiques et les ingénieurs à faire évoluer leurs approches expérimentales de manière à les intéresser au mieux. Si ces statisticiens refusent d'évoluer, il nous faudra peut-être trouver d'autres influenceurs qui, eux, ont un besoin urgent d'abandonner les approches par essais et erreurs. Trouvez un moyen de prendre de l'ampleur, alors que l'optimisation bayésienne suscite un vif intérêt au sein de la communauté scientifique.
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à Heidelberg@malcolm_moore1 - C'est intéressant que vous souleviez ce point. Plusieurs de mes comptes comptent des personnes de ce type. Sur la côte Est, certains d'entre nous ont présenté BayesOpt comme un outil particulièrement adapté aux PME qui mènent les expériences – avec les PME elles-mêmes – plutôt que comme une technique réservée aux équipes statistiques. L'idée est qu'il suggère de nouvelles expériences possibles pour aider les PME à appréhender la nature multidimensionnelle des données de fabrication. Il semble également très performant avec un ensemble de données de départ, comme un DSD, ce qui suggère une stratégie de DOE hybride qui pourrait convenir aux équipes de fabrication. Il utilise en effet (principalement) des techniques automatisées dans JMP.
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergIl me semble tout à fait logique, @MikeD_Anderson , de se concentrer sur les PME face à la résistance des contrôleurs statistiques, plus susceptibles d'appartenir aux grandes entreprises. N'hésitez pas à nous faire part de vos impressions concernant la présentation de BayesOpt aux PME.
Il ne faut peut-être pas abandonner les grandes entreprises avant de chercher à trouver les influenceurs acheteurs qui ont besoin de BayesOpt et qui sont satisfaits d’une amélioration progressive par rapport à leur quotidien avant BayesOpt.
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergSalut Pete,
Le flux de travail était Chris à propos de Bayes Opt en général, premier exemple, déjeuner, Chris plus détaillé, deuxième exemple pratique, troisième exemple bref, récapitulation.
Je pense que le premier exemple (simple) est un bon point de départ pour la plupart d'entre eux. Le deuxième cas sur lequel ils travaillent est plus concret ; d'après les retours, il a été satisfaisant pour la majorité. Je ne pense pas qu'il soit vraiment nécessaire d'adapter le cas d'utilisation, à condition de mentionner l'option. Chris a également présenté cette partie dans certaines diapositives, elle est donc couverte.
Cependant, pour nos démonstrations/inspirations SE, il serait bon d'avoir le cas d'utilisation par lots comme exemple complet prêt à être montré.
Cela dit, je pense toujours que nous devrions simplement présenter brièvement la plateforme et discuter davantage des cas d'utilisation potentiels pour les clients, principalement dans le sens déjà évoqué par Malcolm et Mike.
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à Heidelberg@malcolm_moore1 - J'ai trouvé cela intéressant aussi. Je soupçonne que ces responsables craignent également que leur expertise en matière de DOE ne soit rendue superflue. J'ai entendu dire que des personnes testent déjà l'optimisation bayésienne, mais qu'elles utilisent divers logiciels open source, ce qui est très inquiétant pour le responsable. Si nous avons établi une relation de confiance et une crédibilité avec le responsable, permettre aux expérimentateurs d'utiliser BayesOpt dans JMP Pro devrait être une solution plus attrayante.
Que préféreriez-vous :
- Guider vos collègues pour explorer les possibilités de cette nouvelle approche passionnante dans JMP Pro ?
- laissez vos collègues s'amuser avec l'optimisation bayésienne par eux-mêmes en Python ?
Je suis d’accord que dans d’autres cas, trouver des moyens de contourner le gardien sera la bonne chose à faire.
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergRavi de voir BayesOpt décoller ! Si quelqu'un souhaite une démonstration simple pour l'optimisation des hyperparamètres :
1. Exécutez XGBoost avec Autotune coché.
2. En bas du résultat se trouve un tableau contenant les statistiques de chaque exécution. Clic droit > Convertir en tableau de données.
3. Exécutez BayesOpt sur cette table pour déterminer les prochains meilleurs hyperparamètres candidats.
4. Rechargez-les manuellement dans XGBoost ou utilisez l'option Table de conception sous Avancé.
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergMerci @malcolm_moore1 . J'ai rencontré ce problème à plusieurs reprises ces dernières semaines. J'ai trouvé deux raisons à cela (toutes deux aboutissant au même résultat de « contrôle d'accès ») :
1. Peur de perdre le contrôle/le pouvoir (parce que c'est leur expertise actuelle, etc.)
2. Ils craignent que les gens fassent des expériences aléatoires au lieu de faire des DOE (ils ont prêché pour que les gens fassent des DOE au lieu de OFAT, etc.)
Il s’agissait de deux personnalités différentes, mais les deux types étaient plus ou moins opposés à une utilisation plus large de BO.
Dans les deux cas, j'ai eu des utilisateurs qui disaient : « Oh, en fait, c'est exactement comme ça que nous opérons et réalisons nos expériences (par petits lots d'expériences itératives) - nous devrions utiliser BO ».
Pour le deuxième groupe de « gardiens d'accès », nous pouvons les rassurer en leur expliquant que l'expérimentation participative est une méthode simple pour amener les utilisateurs à la prise de décision basée sur les données. En effet, s'ils n'y connaissent pas grand-chose, l'expérimentation participative leur permet de réaliser des plans d'expérience (DOE) sans le savoir. Démonstration de l'expérimentation participative avec un tableau de facteurs comme point de départ (2-3 exécutions). Cela les aide donc à atteindre leur objectif : inciter davantage de personnes à utiliser les DOE, ou ce que j'appellerais des méthodes d'expérimentation intelligentes.
Pour le premier groupe, oui, il vaut probablement mieux trouver quelqu'un d'autre à qui parler.;)
Re : Apprendre des retours de notre atelier JMP Pro avec Chris G. à HeidelbergExcellente idée, Florian. Pour le quatrième trimestre, je suggère de nous concentrer sur les utilisateurs potentiels de BayesOpt qui sont motivés et qui souhaitent urgemment changer. Concrétisons ces opportunités et aidons-les à démontrer leur réussite.
Lorsque nous aurons plus de temps (l'année prochaine), nous verrons peut-être si nous pouvons explorer les avantages personnels des « gardiens de l'accès ». J'entends parler de réductions d'effectifs dans certaines équipes statistiques de nos plus grands comptes. Dans ce contexte, une idée à explorer avec les « gardiens de l'accès » est la manière dont BayesOpt aide l'équipe statistique à permettre aux scientifiques et aux ingénieurs d'apporter une plus grande valeur organisationnelle et à aider leur entreprise à comprendre la valeur ajoutée de l'équipe statistique. Mieux vaut agir pour améliorer les résultats maintenant que viser la perfection (ce qui arrive rarement).
Re: Tirer des enseignements de notre atelier JMP Pro avec Chris G. à HeidelbergSalut,
Après plusieurs échanges avec la direction (responsable MSAT, directeur de site, etc.), un cas d'usage important qui a particulièrement retenu l'attention est celui où le client doit collaborer avec des clients réticents à mener une expérimentation complète lors du développement ou de l'exécution d'un processus. Lors de toutes mes réunions, ils ont posé de nombreuses questions et ont acquiescé lorsque je leur ai demandé si cette approche leur serait utile par rapport à leurs pratiques actuelles.
Je pensais que cela pourrait vous intéresser.;)
