Chez JMP, nous sommes fans de Dennis Lendrem, de ses livres, de ses publications LinkedIn et de sa newsletter,Singes en blouse de laboratoire, sa passion pour la défense d'une science plus performante et son humour britannique charmant. Nous avions plus de questions que de temps pour y répondre dans cet épisode de « Statistically Speaking » , c'est pourquoi Lendrem a aimablement apporté ses réponses pour cet article. Nous sommes ravis de souligner son message : la nécessité d'une science plus performante et d'une résolution plus rapide des problèmes.
Dans vos collaborations avec des scientifiques, montrez-leur comment le DOE peut rendre leurs expériences plus efficaces. efficace et efficient, certains d'entre eux ont-ils été tellement impressionnés par la puissance du DOE qu'ils ont été motivés à en apprendre davantage et à l'utiliser eux-mêmes ?
Quelques-uns. Mais ne vous faites pas d'illusions. Pour la plupart, c'est comme montrer du feu à un homme des cavernes. Au début, on est impressionné, mais le lendemain, on se frotte le dos. Pourquoi ? Parce que ce n'est pas une habitude. Ce n'est pas de l'instinct. Ce n'est pas comme ça qu'ils ont été éduqués. Ceux qui se convertissent sont généralement ceux qui soupçonnaient déjà que quelque chose clochait. Ils ont passé des années à chercher sans succès.
Nous observons une recherche de nourriture à faible densité dans l’ingénierie, les tests de logiciels et d’autres domaines. Devrions-nous commencer à enseigner l’expérimentation intelligente au lycée et enfin remplacer l’approche « un facteur à la fois » ?
Oui. En fait, nous devrions nous excuser de ne pas l'avoir fait il y a 30 ans.
La méthode « un facteur à la fois » est une malbouffe scientifique. C'est simple, satisfaisant et totalement trompeur. Quand les étudiants arrivent à l'université, c'est déjà ancré. Ils ne le remettent même pas en question. Nous devons reconnaître que le monde est complexe et que la pensée à variable unique est un mensonge que nous nous racontons pour rester à l'aise. Il ne s'agit pas de statistiques, mais de curiosité, de découverte et d'exploration structurées. C'est un état d'esprit qu'il vaut la peine d'inculquer dès le plus jeune âge. (Voir aussi la question complémentaire ci-dessous.)
Concernant votre remarque sur les espaces d'apprentissage bienveillants et non bienveillants, avec la complexité croissante de nombreux domaines, voyez-vous davantage d'opportunités pour les tests combinatoires et la conception de matrices de couverture ? Par exemple, les logiciels sont de plus en plus omniprésents, comme les voitures autonomes..
Absolument. L'espace d'apprentissage n'est plus clément : il est multidimensionnel, clairsemé et semé d'embûches. Impossible de se fier à l'intuition ou à la manipulation d'une seule variable. C'est ainsi que l'on passe à côté de l'interaction fatale. Les tests combinatoires et les tableaux de recouvrement ne sont plus facultatifs, ce sont des outils de survie. Les tests logiciels l'ont compris. L'ingénierie rattrape son retard. La science est toujours dans le déni. Et oui, les voitures autonomes en sont la figure emblématique, avec des millions de combinaisons d'entrées possibles. Soit vous concevez vos tests, soit vous laissez le monde réel le faire pour vous – avec des piétons.
La panne/crash de 5,4 milliards de dollars de 2024 n'était pas un bug ; c'était une panne. Un contrôle d'entrée manquant et boum ! Des annulations de vols et des hôpitaux hors service. Voilà pourquoi les tests combinatoires ne sont pas un luxe, mais un risque.‐Crowdstrike fait face à un procès de 500 millions de dollars de la part de Delta Airlines et d'autres suivront.
Une variable à la fois ? Qu'en est-il du blocage et des robots, ainsi que de la DOE factorielle fractionnaire et des facteurs de confusion ?
Nous avons besoin d’une loi interdisant l’expérimentation d’une seule variable à la fois.
Le blocage est essentiel, même en robotique, car les équipements peuvent tomber en panne et les choses peuvent mal tourner. Voir la loi de Murphy dansGorilles en costume.
Les factorielles fractionnaires réduisent considérablement les ressources tout en faisant un sacrifice modeste en termes de perte d’informations.
Le blocage et la sélection des fractions aident à se protéger contre la confusion.
Dans trois secteurs différents, j'ai expérimenté le développement de produits qui alignait l'équipe sur un ensemble de limites et de délais, et où la réflexion collective empêchait finalement l'utilisation efficace des expériences planifiées. En effet, la collecte rapide de données (sans planification, conditions déterminées par le scientifique) avait cette prophétie autoréalisatrice et est devenue l'approche principale et unique. J'ai bénéficié d'un excellent soutien en statistique, qu'il soit interne ou externe, mais je suis curieux de connaître d'autres idées pour accroître l'influence de la pensée scientifique, notamment dans le domaine du développement de produits.
La R&D est en panne ; les expérimentations défectueuses sont endémiques. Sachez que vous n'êtes pas seul. Gardez confiance. Rejoignez la Nouvelle Vague. Recherchez la compagnie de ceux qui savent qu'il existe une meilleure voie à suivre grâce à des événements comme celui-ci. Et voir ci-dessous.
Votre ensemble de données pour l'expérimentation aléatoire par rapport à la recherche scientifique est-il disponible en ligne (JMP Live ?) J'adorerais l'utiliser comme exemple au sein de mon propre groupe (entièrement crédité bien sûr !).
Pas encore. Il sera publié en annexe du troisième livre de laDes singes en blouse de laboratoiretrilogie,Singes et anoraks, dont la date de lancement est le 1er novembre. Mais pour une copie plus complète et à jour de l'ensemble des données, veuillez contacter Harrold Fellerman, qui dispose d'une multitude de nouvelles données, à l'Université de Newcastle.
Je pense qu'une des idées fausses concernant l'approche DOE est qu'elle coûte plus cher ou nécessite plus de conditions (ce que j'ai entendu à maintes reprises). J'ai constaté exactement le contraire ! C'est la méthode la plus efficace pour obtenir le résultat, car elle permet de modéliser et de prédire l'effet des facteurs sur les réponses sans avoir à exécuter toutes les combinaisons possibles. C'est une approche itérative ! On ne part pas d'une factorielle complète, on la termine avec !
Premièrement, si l'on souhaite minimiser le nombre de conditions et de ressources consommées tout en maximisant la quantité d'informations sur ce qui se passe dans un espace multidimensionnel, la seule façon d'y parvenir est d'adopter une approche conçue. C'est précisément ce que font les conceptions. Point final. Le seul moyen d'y parvenir avec moins de ressources est de sacrifier de l'information. Point final.
Deuxièmement, si l'on considère la quantité de ressources consommées sur le terrain par la recherche scientifique traditionnelle, on constate qu'elle en consomme davantage pour générer des informations de moindre qualité. De plus, les ressources à mettre à disposition sont plus imprévisibles. Parfois, on tombe sur une solution qui fonctionne et qu'on peut rapidement déployer. D'autres fois, on hésite jusqu'à manquer de temps avant de la déployer. Dans les deux cas, il est probable que les informations soient incomplètes et que la solution échoue du jour au lendemain, ce qui constitue un scénario catastrophe pour la direction de la R&D. VoirGorilles en costume.
Trouvez-vous difficile de transmettre ce message en personne à un scientifique qui veut se fier à son intuition ? En parler de manière abstraite semble plus facile que de lui dire qu'il doit changer d'approche.
Oui. Tout le monde ne le comprend pas. Nous collaborons avec les scientifiques qui le comprennent. Ils se désignent eux-mêmes comme utilisateurs principaux. Nous leur demandons simplement de mettre leur incrédulité de côté pendant que nous les accompagnons dans cette première étude. Et nous collaborons avec eux pour générer des études de cas efficaces qui permettront de vendre le design à l'organisation. Rien ne vend mieux que le succès. Et le DOE connaît un succès extraordinaire.
Des travaux sont-ils en cours pour élaborer une mesure objective de l'application d'un plan d'expérience multidimensionnel et des meilleures pratiques statistiques dans une étude ? Autrement dit, il s'agirait d'un système d'évaluation qui ne vise pas à évaluer les résultats ou les conclusions de l'étude, mais plutôt à évaluer l'objectivité de l'étude en utilisant un plan d'expérience multidimensionnel et les meilleures pratiques statistiques.
C'est une très bonne idée. Pour l'instant, c'est inégal.ÉQUATEURLes réseaux (par exemple, STROBE, STARD, CONSORT) ont été proactifs, même s'ils ont tendance à être axés sur la pratique clinique. Par ailleurs, des initiatives ont été menées par le passé, mais elles ne sont pas du domaine public. Par exemple, GSK a produit une série d'aide-mémoire d'une page pour le DOE, destinée à l'usage interne de ses chercheurs.
La nécessité d'une collaboration accrue avec les scientifiques et les personnes compétentes du Département de l'Énergie est évidente. Comment pouvons-nous encourager cette collaboration ?
Créer un environnement d'apprentissage convivial, offrant aux individus la possibilité d'apprendre en toute sécurité, est essentiel. Des événements tels que des webinaires, des ateliers et des conférences rassemblent des personnes partageant les mêmes idées et les aident à développer une compréhension commune des applications concrètes. D'autres moyens incluent le partage d'outils logiciels collaboratifs , la visualisation simplifiée des résultats et la cartographie des espaces d'intérêt multidimensionnels, et aident les utilisateurs à piloter le changement de mentalité au sein de leur organisation.
Je suis convaincu que je devrais utiliser DOE. Mais je ne sais pas par où commencer ! Auriez-vous des conseils ?
Restez simple. Trouvez quelqu'un qui l'a déjà fait. Demandez-lui de tenir le clou lorsque vous manierez le marteau pour la première fois. Soyez conservateur. Privilégiez une conception relativement sûre. Et rappelez-vous l'observation de Moore : presque n'importe quelle conception vaut mieux que pas de conception du tout.
De nombreux fondateurs dans le secteur des biotechnologies et chercheurs principaux dans le monde universitaire ont bâti leur carrière et leur réputation sur la recherche scientifique. Ils sont toujours au pouvoir. Comment percer ? Vu de la base, cela semble impossible. Qu'en pensez-vous ?
Tout changement commence par une personne. Et tout changement se fait de la base jusqu'à ce qu'une personne parvienne au sommet pour impulser le changement de haut en bas. Souvenez-vous de l'histoire d'Imo, le jeune macaque japonais qui a initié la troupe à laver le sable des patates douces avant de les manger. La nouvelle tendance s'est répandue dans tous les rangs, mais ce sont les mâles dominants qui ont été les derniers à adopter ce comportement.
J'aimerais connaître votre avis sur la meilleure façon de remédier au manque d'enseignement de la DOE en sciences ? L'intégrer discrètement dans les programmes des lycées ? Cibler les cours de niveau doctorat ? Les doyens ? Ou l'oublier et laisser l'industrie combler le vide ?
Dès maintenant, nous devons faire tout cela. Nous avons besoin de la prochaine génération MAINTENANT . D'ici là : les lycées ? Oui. Les cours de doctorat ? Oui. Les doyens ? Trop tard pour la plupart, mais un ou deux doyens chargés de la recherche et de l'innovation pourraient intervenir. L'industrie ? Oui.
Nous devons présenter le développement durable plus tôt dans le cycle de développement, aux enfants à l'école. Les enfants l'ont compris. Personne ne leur a encore dit qu'ils devaient s'en tenir à une seule variable à la fois. Ils apprécient les outils pédagogiques du développement durable, comme les hélicoptères et les catapultes. Montrez-leur des choses comme le paradoxe de la prophétie autoréalisatrice et ils riront quand vous leur direz que la plupart des scientifiques utilisent des approches à une seule variable à la fois. Nous devons enseigner aux enfants que le monde est complexe et que la pensée à variable unique est un mensonge que les adultes se racontent pour rester à l'aise et éviter d'être dépassés. Il s'agit de développer un état d'esprit scientifique : exploiter la curiosité naturelle, offrir des opportunités d'exploration structurée et encourager les découvertes scientifiques.
Je suis tout à fait d'accord sur le fait que le DOE commence à s'implanter dans les biosciences industrielles, mais qu'il est beaucoup plus rare dans le milieu universitaire. Cela pourrait s'expliquer en partie par le coût élevé des robots, de l'automatisation et des consommables. Comment les universitaires et les étudiants disposant de budgets limités peuvent-ils aborder le DOE plus efficacement ?
Vous n'avez pas besoin de robots. Si vous y avez accès, tant mieux, mais vous n'en avez pas besoin. Si vous souhaitez minimiser les consommables, le DOE maximise l'information tout en minimisant les coûts. Les chercheurs scientifiques sous-estiment le coût associé à l'exploration empirique d'une obscurité multidimensionnelle.
Pouvez-vous nous parler de la façon dont l’expérimentation séquentielle peut être utile, mais aussi un peu dangereuse, en vous basant sur votre exemple de scientifiques qui veulent tirer rapidement des conclusions ?
L'expérimentation séquentielle peut s'avérer précieuse lorsque le coût de chaque expérience est exorbitant. L'expérimentation parallèle est idéale, ce qui explique l'utilité des robots. Or, en science, plus la séquence est longue, plus elle est vulnérable aux confusions liées aux changements au fil du temps, plus les risques de dérives analytiques et autres tendances sont nombreux, et plus la loi de Murphy risque de se produire. (Voir le chapitre sur la loi de Murphy dansGorilles en costume.) Gardez les séquences courtes, exploitez le blocage, vérifiez les effets d'exécution.
Dennis a-t-il fait référence au livre de Ronald Fisher sur le DOE ?
N'est plus imprimé, mais présente un intérêt historique :
- Fisher RA 1935 La conception des expériences Éditeur : Oliver & Boyd, Édimbourg.
Mais pour un traitement plus moderne et pertinent du DOE :
Pensez-vous que le résultat de JMP DOE sera différent de celui des autres applications ? Si oui, pourquoi ?
Plutôt que de laisser le logiciel devenir un obstacle, nous avons dispensé des formations DOE avec le logiciel choisi par le client. Nous avons ainsi appris à connaître la plupart des logiciels DOE disponibles (Modde, DesignExpert, SPSS, BMDP et divers logiciels DOE basés sur R). Si, en termes de calcul, JMP DOE produit des résultats similaires à ceux des autres logiciels, il excelle en termes d'expérience utilisateur : simplicité d'utilisation, visualisation et interprétation des données.
Nous remercions Dennis d'avoir non seulement répondu aux questions auxquelles nous n'avons pas eu le temps de répondre lors du live, mais aussi d'avoir développé celles auxquelles il a répondu. Nous espérons que vous découvrirez l' émission à la demande « Statistically Speaking », instructive et divertissante. Nous attendons avec impatience le troisième tome de la trilogie « Apes in Lab Coats », à paraître en novembre.
