JMP a organisé un séminaire Statistiquement parlant sur les plans d'expériences (DOE) au début du mois. Un merci tout spécial à Julia O'Neill de Moderna, Andrea Geistanger de Roche et Rachel Findlay de CPI pour avoir participé à une discussion passionnante avec le modérateur Malcolm Moore. Les participants ont également entendu deux présentations principales. La première était celle de Dame Sally Davies, présidente exécutive du Trinity Challenge, qui a décrit les défis auxquels sont confrontés les scientifiques dans le paysage actuel des données et ce qui peut être réalisé lorsque l'analyse est adoptée. Le Dr O'Neill a prononcé le deuxième discours, dans lequel elle a expliqué comment Moderna a utilisé le DOE et l'analyse pour résoudre avec succès un problème du monde réel, à savoir comment développer un vaccin contre le nouveau coronavirus, le SRAS-CoV-2.
L'événement a suscité beaucoup d'intérêt, à en juger par le nombre de questions reçues par les panélistes. Même s'ils ont fait un excellent travail pour répondre à bon nombre d'entre eux, il n'a pas été possible de répondre à tous dans le temps imparti. Nous avons donc décidé d'y répondre dans ce post.
Q : Pourriez-vous s'il vous plaît associer la taille de l'échantillon aux possibilités d'avoir une innovation fiable ?
R : Nous pouvons faire mieux que cela. Les nouveaux explorateurs de tailles d'échantillon, introduits dans JMP16 et JMP Pro 16 , ont été créés pour encourager l'exploration de la relation entre la puissance, la taille de l'échantillon et d'autres mesures clés impliquées dans la détermination de la meilleure façon de garantir le succès de vos expériences, comme expliqué dans ce billet de blog par Caleb King ( @calking ). Nous recommandons à toute personne intéressée par l'allocation de ressources ou de budgets entre des projets de développement, la planification de délais ou simplement la compréhension des calculs de taille d'échantillon de consulter cette nouvelle fonctionnalité.
Q : Avez-vous des recommandations sur les ressources pour aborder la partie la plus difficile du DOE : choisir les facteurs et définir les fourchettes ?
R : Il s'agit d'un sujet très intéressant et pour cause : le choix des facteurs qui affectent votre réponse et des plages suffisamment larges pour détecter un effet sont les premières étapes critiques de la planification et de l'exécution d'une DOE réussie. À ce stade, il serait également utile de définir le succès. Un DOE réussit s’il aboutit à un modèle qui englobe suffisamment de compréhension du processus pour satisfaire un besoin commercial : « Comment pouvons-nous définir nos facteurs pour atteindre ce niveau de qualité de notre production ? Par exemple.
Un DOE réussit également s’il identifie les facteurs significatifs, quantifie la variation non capturée par le modèle et ouvre la voie à une expérience de suivi (un DOE augmenté). Une expérience qui ne parvient pas à identifier un seul facteur significatif constituerait un échec, même si l'apprentissage serait que les mauvais facteurs ont été choisis ou que les fourchettes n'ont pas été suffisamment larges. Toute bonne ressource sur le DOE comprend des discussions sur la façon de choisir des facteurs et des plages, même si cela ne consiste souvent pas beaucoup plus que « choisissez les facteurs susceptibles d'affecter votre réponse et des plages suffisamment larges pour voir un effet s'il en existe, mais pas assez large pour provoquer l’échec des courses. En effet, le choix des facteurs et des fourchettes dépend entièrement des spécificités de la situation en question. Par conséquent, les personnes les mieux placées pour les déterminer sont les experts en processus, plutôt que les statisticiens ayant une grande compréhension du DOE mais une compréhension limitée de son application. Cela dit, jetez un œil à cette discussion sur la communauté des utilisateurs JMP , qui comprend de nombreuses informations utiles sur le sujet.
Q : Comment garantissez-vous la fiabilité des données « historiques » ou des données provenant de « sources externes » ? Quelqu'un a dit un jour : « N'analysez jamais les données que vous n'avez pas collectées vous-même ». Comment surmonter ce problème afin d'être sûr que vos données historiques sont fiables, significatives, que le système de mesure utilisé est capable d'évaluer au minimum les variations du processus, etc. ?
R : Je ne sais pas qui a dit cela à propos des données que vous n'avez pas collectées vous-même, mais je ne suis pas d'accord avec cela. Dans son discours d'ouverture, Dame Sally Davies a évoqué la multitude de façons dont les données sont générées et collectées, ainsi que les risques pour les analystes « travaillant en silos » utilisant différents ensembles de données qui « ne s'informent pas mutuellement ». Selon elle, il existe actuellement « un engagement plus grand que jamais entre les scientifiques et les données », et limiter notre analyse aux données que nous collectons nous-mêmes entraverait gravement les progrès.
Bien entendu, nous devrions toujours être sceptiques à l’égard des données, tout comme nous le sommes à l’égard des modèles générés à partir des données. Mais traiter quelque chose avec scepticisme n’équivaut pas à le rejeter d’emblée. Rien n’est parfait, et cela est certainement vrai pour les données et les modèles, comme l’a succinctement exprimé George Box dans son célèbre aphorisme. Il ne s’ensuit pas que parce que quelque chose n’est pas parfait ou qu’on ne peut pas lui faire confiance, on ne peut rien en tirer. Nous avons raison de nous poser des questions sur la source ou l’exactitude des données. Toutes les conclusions tirées de son analyse doivent être considérées parallèlement à notre propre connaissance des processus et de notre expertise en la matière, et ne doivent jamais être acceptées aveuglément.
Q : Seriez-vous prêt à développer les erreurs courantes dont les nouveaux utilisateurs du DOE devraient être conscients ?
R : L'une des erreurs que font les gens est de se concentrer trop sur la conception plutôt que sur la raison pour laquelle ils font un DOE en premier lieu. Il arrive bien trop souvent que quelqu’un commence par choisir un modèle, puis compromette ses besoins expérimentaux pour s’adapter à ce modèle. Le Design personalisé plate-forme dans JMP vous permet de créer des conceptions optimales adaptées à toutes les situations. De plus, Rachel Findlay du CPI a donné d'excellents conseils lors de l'événement : « Partagez votre apprentissage et vos erreurs » avec vos collègues. Plus nous promouvons le DOE au sein de notre organisation, plus l’organisation en bénéficiera.
Q : Quel est le facteur le plus important à garder à l’esprit lors de la sélection d’un DOE ?
R : Il existe de nombreux facteurs importants dans la sélection du bon DOE, à commencer par la question commerciale à laquelle nous essayons de répondre. Que souhaitons-nous accomplir exactement en exécutant un DOE en premier lieu ? Voulons-nous minimiser les défauts ou augmenter les rendements ? Peut-être souhaitons-nous incorporer des matériaux provenant d'un nouveau fournisseur dans notre processus, trouver un moyen d'accélérer la production ou de réduire les coûts. Le DOE est souvent un processus itératif d’apprentissage progressif, et il est essentiel de comprendre notre objectif cible pour déterminer s’il convient d’expérimenter davantage. Nous devons également nous demander combien de variables pourraient affecter notre processus, ainsi que notre calendrier et notre budget. Une fois que tout cela est clair, nous pouvons commencer le processus de choix d’un design.
Par exemple, si nous savons déjà qu'un petit nombre de variables sont significatives et que nous recherchons la meilleure combinaison de paramètres pour maximiser le résultat, nous pouvons choisir d'opter pour une Expérience de surface de réponse . Alternativement, un grand nombre de facteurs et un budget serré peuvent ouvrir la voie à une Conception de dépistage définitive . Des réponses bien définies sur notre situation, nos contraintes, nos limites et ce que nous essayons de résoudre ouvriront la voie vers une conception, ou une série de conceptions, garantissant que nos exigences sont satisfaites. Il convient également de mentionner que le Évaluer la conception et Comparer la conception les plateformes sont des outils utiles pour aider à prendre la meilleure décision possible.
Q : Le DOE peut être une technique extrêmement puissante… lorsqu’elle est utilisée correctement…. mais j'ai également vu trop d'exemples de modèles fortement surajustés qui ne sont pas prédictifs, et cela n'est souvent pas évident pour les statisticiens/biologistes débutants. Comment pouvons-nous mieux aider les novices à comprendre les outils qu’ils utilisent et la signification réelle des résultats ?
R : Il existe de nombreuses ressources pour aider les nouveaux expérimentateurs à se familiariser très rapidement avec la conception d’expériences. Ils couvrent également les différentes manières de supprimer les termes insignifiants d'un modèle et d'utiliser la validation pour éviter le surajustement. En fin de compte, la meilleure preuve d’un modèle est la vérification avec des données indépendantes : la prédiction proposée en tant que solution déterminée à partir de notre modèle est-elle appuyée par des séries de vérification ? Un excellent point de départ est le Pensée statistique de la résolution de problèmes industriels cours en ligne, qui comprend un module sur le DOE. Plusieurs manuels sont également disponibles ici . Les nouveaux utilisateurs de JMP et DOE peuvent passer par le kit de bienvenue des nouveaux utilisateurs et Kit d'introduction à la conception d'expériences . Le Maîtriser JMP les webinaires incluent également le DOE. Finalement, le Communauté d'utilisateurs JMP est une ressource puissante où toute personne ayant une question spécifique peut la publier comme sujet de discussion ; les questions reçoivent généralement une réponse de l'un des 30 000 membres de la communauté en quelques heures.
Q : Comment l’intelligence artificielle peut-elle compléter le DOE ?
R : Le sujet de l'intelligence artificielle (IA) a été abordé dans un précédent Événement statistiquement parlant . Dire qu’il s’agit d’un domaine très prometteur ne lui rend pas vraiment justice. Il a déjà tenu bon nombre de ses promesses. Cependant, les plus grands risques liés à l’IA sont liés à notre dépendance excessive à son égard pour résoudre tous les problèmes, ou à notre acceptation aveuglément des solutions qu’elle prétend présenter. L’adage selon lequel « corrélation ne signifie pas causalité » met en évidence les lacunes de l’IA. Pour séparer les deux et aller au cœur de la compréhension de tout processus, le DOE est nécessaire. Bien entendu, le DOE n’est pas en mesure de diriger un processus de travail de manière autonome. Je dirais qu’il existe des opportunités pour l’IA et le DOE de se compléter.
Pour en savoir plus sur la manière dont le DOE peut accélérer l'innovation, veuillez vous inscrire à ces événements gratuits en novembre :
