Nous avons été ravis de présenter l'incroyable duo père-fille, le Dr Chris Nachtsheim et le Dr Abby Nachtsheim, lors de notre premier Statistiquement parlant de 2023. Nous avons apprécié les événements passés avec Chris comme celui-ci, excellent discours en plénière lors d'un dernier Discovery Summit Americas (cela vaut vraiment le détour !). Et nous étions très intéressés d’en savoir plus sur les projets fascinants d’Abby.
Chris est titulaire de la chaire Frank A. Donaldson de gestion des opérations au sein du département de la chaîne d'approvisionnement et des opérations de la Carlson School of Management de l'Université du Minnesota. Ses intérêts de recherche couvrent la conception optimale d'expériences industrielles, la modélisation prédictive et la gestion de la qualité. Il est co-auteur de plusieurs livres et a publié de nombreux articles dans la littérature statistique.Il est membre de l'American Statistical Association et est également récipiendaire de nombreux prix, notamment les suivants :
- Quatre fois récipiendaire du prix Brumbaugh de l'American Society for Quality
- Deux fois récipiendaire du prix Lloyd S. Nelson
- Trois fois récipiendaire du prix Jack Youden du meilleur article explicatif en technométrie.
Abby est statisticienne au sein du groupe des sciences statistiques du Los Alamos National Lab. Elle collabore régulièrement avec des physiciens, des chimistes, des biologistes, des informaticiens et des ingénieurs pour développer des solutions à des problèmes interdisciplinaires complexes. Ses intérêts de recherche se concentrent sur la conception et l'analyse d'expériences, et elle fournit l'expertise du DOE à un large éventail d'applications au Los Alamos National Lab. Elle est également un membre actif de la communauté nationale des statistiques et est actuellement présidente de la section Twin Cities de l'American Statistical Association.
Leur plénière Statistiquement parlant a été très engageante, comme en témoignent les nombreuses réactions et commentaires Zoom dans le chat, comme ceux-ci :
- « J'*adore* DOE ! Cela a littéralement changé l’efficacité avec laquelle mes scientifiques R&D ont travaillé.
- «J'adore la collaboration du travail d'Abby !!!»
- « Présentation éclairante, merci !
- "Ceci est incroyable."
- "Il est dommage que le DOE ne soit pas davantage utilisé dans la science des données, car il peut être très utile pour créer l'ensemble de données de formation le plus informatif et représentatif possible."
- "Merci pour cette discussion incroyable."
Leur séance plénière a également inspiré de nombreuses bonnes questions, dont plusieurs sont restées sans réponse pendant le temps limité dont nous disposions pour les questions et réponses, mais Abby et Chris ont gentiment accepté de répondre à d'autres questions intéressantes posées par les téléspectateurs dans ce billet de blog.
Pour ces entreprises qui disposent de départements d’expérimentation ou de modélisation causale, de quelles autres compétences pourraient-elles avoir besoin, en particulier lorsqu’une expérience n’est peut-être pas réalisable ?
Vous devez avoir une bonne compréhension de la régression et de la modélisation prédictive, probablement aussi la capacité de coder en R et/ou Python, et p peut-être une familiarité avec certaines techniques de modélisation causale. Et surtout, ayez une bonne compréhension de la différence entre les études observationnelles et expérimentales.Les expériences donnent une cause et un effet.Les études observationnelles donnent des hypothèses.
Pouvez-vous utiliser la conception Plackett-Burman pour les formulations chimiques afin d'évaluer des composants individuels ? Ou faut-il toujours utiliser des modèles de mélange ? J'ai utilisé les outils de tamisage et de modélisation de Minitab sous l'assistant DOE pour les mélanges, mais je n'ai pas utilisé la conception de mélange car j'évalue généralement plus de trois facteurs pour les tamiseurs et environ 3 à 4 pour la modélisation.
Oui, vous pouvez utiliser une conception Plackett-Burman pour les formulations chimiques. Si la somme des pourcentages des composants est égale à 100 % ou à une autre constante (par exemple, 40 % du mélange total), vous devrez soit 1) utiliser une expérience de mélange, soit 2) laisser de côté l'un des composants et utilisez une conception plus standard telle que Plackett-Burman. En laisser un de côté s’appelle l’approche slack-variable. Bien entendu, les plans de mélange ne s’appliquent pas si la somme des pourcentages des composants n’est pas une constante fixe.
Quels sont les avantages/inconvénients de l'utilisation du DOE plutôt que de la descente de gradient stochastique pour le réglage des hyperparamètres ? Ces méthodes peuvent-elles être utilisées ensemble (peut-être le DoE d'abord ?) avec les réseaux de neurones ? Pourraient-ils être envisagés ? Pourraient-ils être pris en compte pour le cas complexe ?
La descente de gradient stochastique est une technique d'optimisation importante, souvent utilisée pour ajuster les paramètres (peut-être des millions) du réseau neuronal pour un ensemble fixe d'hyperparamètres. Mais je ne l'utiliserais pas pour l'optimisation des hyperparamètres --- cela coûterait cher par rapport à l'utilisation d'une expérience conçue.
Qu’en est-il du PCA/PLS ? Peuvent-ils être « assistés » par le DOE ?
Grâce aux discussions sur ce sujet avec le professeur Dennis Cook de l'Université du Minnesota, nous savons qu'il existe des raisons théoriques pour lesquelles le PLS (Partial Least Squares) ne peut *pas* être assisté par le DOE.Et même si cela est possible, nous ne connaissons aucun lien utile entre le DOE et le PCA.
Où voyez-vous les plus grandes opportunités pour les statisticiens travaillant dans le DoE moderne pour le Big Data d'avoir un impact ? Je sais que les tests A/B semblent émerger comme un nouveau domaine avec beaucoup de potentiel (voir Nicholas Larsen, Jonathan Stallrich, Srijan Sengupta, Alex Deng, Ron Kohavi et Nathaniel Stevens, « Défis statistiques dans les expériences contrôlées en ligne : examen de la méthodologie des tests A/B .»
Les statisticiens du DOE peuvent avoir un impact majeur sur les tests A/B, à la fois grâce à l'utilisation efficace des sujets et grâce à la mise en œuvre d'expériences multifactorielles capables d'estimer les interactions entre les facteurs, c'est-à-dire allant au-delà des tests OFAAT.Mais nous pensons que le plus grand impact viendra de la participation au développement et aux tests de modèles d’IA.
Les entreprises qui réussissent utilisent-elles l’expérimentation ?
Absolument.Le degré peut varier selon le produit, mais l’expérimentation est largement utilisée dans les meilleures entreprises.Il existe beaucoup de littérature à ce sujet.Un point de départ est ce récent Article de la Harvard Business Review : SCHÖPPNER, F.; THOMKE, S. ; LOVEMAN, GW Agissez comme un scientifique.revue de Harvard business , [sl] , v. 100, n. 3, p. 120-129, 2022.
Dans les discussions que j'entends, ML semble « préféré » au DOE. Comment décririez-vous les avantages de la modélisation basée sur les DOE (et non sur le ML) ainsi que l'approche consistant à utiliser le DOE pour collecter des données pour l'analyse du ML ?
Nous ne considérons pas le ML et le DOE comme des méthodes concurrentes.Le DOE est simplement un moyen efficace de collecter des données pour découvrir comment divers facteurs contrôlables affectent une réponse intéressante.Le ML est un moyen d'adapter des modèles très complexes à (généralement) de grandes quantités de données existantes.Les données pourraient être d’observation ou résulter d’une expérience conçue.
Quels sujets devraient être inclus dans un cours du DOE pour les programmes d'analyse de données et de science des données ? Par exemple, devrions-nous nous concentrer sur des sujets tels que les tests A/B qui ne sont normalement pas abordés dans un cours standard du DOE ?
En plus des tests A/B, les sujets du DOE devraient inclure la conception et l'analyse d'expériences factorielles, le blocage, l'analyse de covariance et les modèles de sélection.Une bonne compréhension de la différence entre les principaux effets et interactions est essentielle.
Comment évaluez-vous la qualité de votre DOE ?
Avant ou après l'expérience ?Avant l'expérience, il existe de nombreuses mesures statistiques standard de la qualité de la conception, y compris la puissance de détection des effets que nous souhaitons voir, le degré d'orthogonalité entre/parmi les facteurs, la précision attendue, la robustesse, les degrés de liberté d'erreur, D- efficacité, etc Non statistique : Avons-nous contrôlé tous des facteurs qui peuvent affecter la réponse ?Avons-nous randomisé ? La mesure de la réponse est-elle fiable ?Après l’expérience : le modèle statistique prédit-il de manière fiable ?L’expérience est-elle reproductible ?
Les conceptions Max Entropy seraient-elles utiles pour estimer les paramètres des modèles mécanistes/déterministes ?
Les conceptions à entropie maximale dont nous avons discuté ne seraient pas utiles dans cette application.Nos conceptions sont conçues pour faire la distinction entre deux ou plusieurs modèles, qui peuvent être mécanistes/déterministes.
Comment procédez-vous pour trouver les facteurs pertinents pour un DOE ? D'après mon expérience, nous exécutons souvent un DOE et réalisons que nous avons manqué un facteur obscur mais important et que nous devons ensuite réexécuter la conception.
C’est un problème majeur, et nous avons également vécu ces expériences.En tant que concepteurs d’expériences, nous devons compter sur les experts en la matière pour identifier à l’avance les facteurs importants.Alors d’abord, travaillez avec des personnes vraiment intelligentes, si vous le pouvez.S'il y a beaucoup d'incertitude, vous pouvez filtrer un grand nombre de facteurs potentiels à moindre coût et réduire l'ensemble aux plus pertinents.Alors partez de là.
Avez-vous une suggestion spécifique sur la façon d'intégrer le DOE dans les programmes et programmes de science des données ?
Concentrez-vous sur les tests A/B et A/B/n, mais introduisez également les concepts d'expériences factorielles, de blocage, d'analyse de covariance et de plans de sélection.Une bonne compréhension de la différence entre les principaux effets et interactions est essentielle.
Si vous disposez déjà de grands ensembles de données d’observation, avons-nous toujours besoin du DOE ?
Les études observationnelles ne peuvent pas prouver la cause et l’effet, et la plupart des ensembles de données observationnelles se résument à des études très mal conçues qui ne sont souvent pas reproductibles.Si vous souhaitez identifier de manière fiable les relations de cause à effet, vous avez besoin du DOE.Les études observationnelles peuvent être utiles pour identifier les facteurs potentiels d’expérimentation de suivi.
Une question que nous avons posée pendant la diffusion en direct, mais à laquelle nous n'avions pas de réponse toute prête, était la suivante : « Y a-t-il des participants qui travaillent avec et/ou sont activement intéressés par le DOE pour améliorer les opérations hospitalières ? Une ressource utile pour commencer pourrait être : Conception d'expériences dans l'industrie des services : une revue critique de la littérature et des orientations de recherche futures . Si d'autres personnes lisant cet article de blog connaissent d'autres ressources appliquant le DOE aux opérations hospitalières, nous vous invitons à les partager dans les commentaires. Merci!
Un grand merci à Chris et Abby d'avoir pris le temps de partager davantage leur expertise statistique.Nous espérons que vous regarderez le film à la demande épisode de Statistical Speaking pour voir des applications vraiment inspirantes d'expériences conçues qui profitent à nous tous.
