在 JMP,我们是 Dennis Lendrem 的粉丝,也是他的书籍、LinkedIn 帖子和时事通讯的粉丝。穿着实验室外套的猿猴他对倡导更先进科学的热情,以及他令人愉悦的英式幽默。在本期《统计学说》节目中,我们遇到的问题太多,时间不够,所以Lendrem慷慨地在这篇博文中提供了答案。我们很高兴地强调他的观点:我们需要更先进的科学和更快速的问题解决方式。
在与科学家的合作中,向他们展示 DOE 如何使他们的实验更加 高效和有效,他们中是否有人对 DOE 的力量感到震惊,并有动力去了解它并自己使用它?
少数人会。但别抱太大希望。对大多数人来说,这就像向穴居人展示火。起初他们还会感到敬畏,但第二天他们就又开始互相摩擦木棍了。为什么?因为这不是习惯,不是本能,也不是他们被训练的方式。那些真正皈依的人往往是那些已经怀疑出事的人。他们多年来一直在寻找食物,却一无所获。
我们在工程、软件测试和其他领域看到了低密度觅食现象——我们是否应该从高中开始教授智能实验,并最终取代一次一个因素的方法?
是的。事实上,我们应该为30年前没有这样做而道歉。
一次只研究一个因素就像科学垃圾食品。它简单、令人满意,却又极具误导性。等到学生上大学时,这种思维模式已经根深蒂固,他们甚至不会质疑。我们需要承认世界是复杂的,单变量思维是我们为了安于现状而编造的谎言。这关乎的不是统计数据,而是好奇心、结构化的发现和结构化的探索。这种思维模式值得从小培养。(另见下文相关的补充问题。)
关于你提到的“友善”和“不友善”的学习空间,随着众多领域的复杂性日益增加,你是否认为组合测试和覆盖阵列设计会有更多机会?例如,软件正变得越来越普遍——想想自动驾驶汽车。.
绝对如此。学习空间不再友善——它高维、稀疏,而且充满陷阱。你不能依赖直觉或单变量的摆弄。正因如此,你才会错过致命的相互作用。组合测试和覆盖阵列不再是可有可无的,而是生存工具。软件测试已经意识到了这一点。工程学正在迎头赶上。科学界仍在否认这一点。没错,自动驾驶汽车就是拥有数百万种可能输入组合的典型代表。你要么设计自己的测试,要么让现实世界——也就是行人——替你完成测试。
2024年那场损失54亿美元的停运/崩溃并非故障,而是一次故障。一次输入检查缺失,就会导致航班取消,医院停运。这就是为什么组合测试并非奢侈,而是风险。‐缓解措施。Crowdstrike 正面临达美航空提出的 5 亿美元诉讼,未来还将面临更多诉讼。
一次一个变量?那阻塞和机器人,以及部分因子实验设计 (DOE) 和混杂因素呢?
我们需要一条法律来禁止一次进行一个变量的实验。
即使在机器人领域,阻断也是关键,因为设备可能会发生故障,事情也可能出错。参见墨菲定律穿西装的大猩猩.
部分阶乘显著减少了资源,同时在信息丢失方面做出了适度的牺牲。
阻断和选择分数都有助于防止混淆。
我在三个不同的行业中经历过产品开发,这些产品开发要求团队遵循一套界限和目标时间框架,而集体思维最终阻碍了设计实验的有效实施。原因在于,快速收集数据点(无需设计,由科学家确定条件)具有自我实现的预言性,并成为主导和唯一的方法。我得到了大量的统计科学支持,无论是内部还是外部,但我渴望听到其他关于如何在科学思维方面产生更大影响的想法,尤其是在产品开发领域。
研发工作已不堪重负;有缺陷的实验随处可见。要知道,你并不孤单。保持信念,加入新浪潮。在类似这样的事件中,寻找那些知道有更好方法的人。详情请见下文。
您的随机实验与科学觅食的数据集是否可以在线获取(JMP Live?)我很乐意在我自己的小组中使用它作为示例(当然会完全注明来源!)。
还没有。它将作为第三本书的附录出版。穿着实验室外套的猿猴三部曲,猿猴与防寒服,其发射日期为 11 月 1 日。但如果需要更完整、最新的完整数据集副本,请联系纽卡斯尔大学的 Harrold Fellerman,他拥有大量新数据。
我认为人们对 DOE 方法的一个误解是它“成本”更高,或者需要更多“条件”(这种说法我听过很多遍了)。我发现事实恰恰相反!它是获得结果最有效的方法,因为你可以建模并预测因子对响应的影响,而无需运行所有可能的组合。它是迭代的!我们不是从全因子开始——而是以全因子结束!
首先,如果你想最小化条件和资源消耗,同时最大化多维空间中正在发生的事情的信息量,那么唯一的方法就是采用设计方法。这就是设计的作用。就是这样。用更少的资源做到这一点的唯一方法是牺牲信息量。故事结束。
其次,如果你看看传统的科学寻觅方法在实地消耗了多少资源,就会发现它消耗了更多资源,却只得到了更糟糕的信息。而且,你需要提供的资源也更加难以预测。有时你会偶然发现一些可行的方案,然后可以迅速付诸实践。有时,你最终会陷入困境,直到时间耗尽才不得不放弃。在这两种情况下,信息都很不完整,你的解决方案很可能瞬间就失败了,这对研发管理来说简直是噩梦。参见穿西装的大猩猩.
您是否觉得,当面向一位想要相信自己直觉的科学家传达这个信息很困难?抽象地谈论这个问题似乎比告诉科学家必须改变他们的研究方法更容易。
是的。并非每个人都明白这一点。我们与那些明白这一点的科学家合作。他们自选为主要用户。我们只是要求他们在我们引导他们完成第一项研究时,暂时放下怀疑。我们与他们合作,生成成功的案例研究,以便向组织推销我们的设计。没有什么比成功更有吸引力了。而美国能源部就非常成功。
目前是否有任何工作正在进行,旨在开发一种客观的衡量标准,以衡量多维实验设计 (DOE) 和统计最佳实践在研究中的应用?换句话说,评级系统并非试图评估研究的结果或结论,而是评估研究是否客观地运用了多维实验设计 (DOE) 和统计最佳实践。
这真是个好主意。目前,它还不够完善。赤道网络(例如 STROBE、STARD、CONSORT)一直积极主动,尽管它们往往以临床为导向。过去也有一些未公开的尝试,例如葛兰素史克公司制作了一系列单页的 DOE 备忘单,供其研究科学家内部使用。
显然,我们需要与科学家以及能源部相关人士加强合作。我们该如何鼓励更多这样的合作呢?
营造一个友好的学习环境,让人们有机会安全地学习,这一点至关重要。网络研讨会、研讨会和会议等活动可以将志同道合的人聚集在一起,帮助他们对现实世界的应用达成共识。其他方式包括:共享协作软件工具;轻松实现结果可视化并绘制感兴趣的多维空间;帮助用户引领组织思维模式的变革。
我确信我应该使用DOE。但我不知道从哪里开始!有什么建议吗?
保持简单。找一个以前做过的人。让他们在你第一次挥动锤子时握住钉子。要保守一点。坚持相对安全的设计。记住摩尔的观察:几乎任何设计都比没有设计好。
生物科技行业有太多创始人,学术界有太多首席研究员,他们通过科学探索建立了自己的职业生涯和声誉。他们仍然掌权。我们如何才能取得突破?自下而上似乎不可能。你是怎么想的?
一切改变都始于一人。所有改变都是自下而上的,直到那位升至顶层的人推动改变自上而下。还记得“伊莫的故事”吗?这只日本幼年猕猴带领猴群养成了在吃红薯前洗掉沙子的习惯。这一新潮流席卷了整个猴群,但最后采用这种行为的却是那些占主导地位的雄性猴。
我很好奇,您认为如何才能最好地弥补能源部在科学领域教学不足的问题?是偷偷地把它纳入高中课程?还是瞄准博士课程?还是由院长来负责?还是干脆就此打住,让产业界来填补这个空白?
现在,我们需要把这些都做起来。我们现在就需要下一代。在那之前:高中?是的。博士课程的教学部分?是的。院长?对大多数人来说太晚了,但一两个研究和创新学院的院长可能会有所作为。工业界?是的。
我们需要在开发生命周期的早期阶段就推动实验设计(DOE)——在学校里就让孩子们参与进来。孩子们明白这一点。还没有人告诉他们应该一次只关注一个变量。他们喜欢实验设计(DOE)的教具——比如直升机和弹射器。向他们展示像“自我实现预言悖论”这样的东西,当你告诉他们大多数科学家都使用一次只关注一个变量的方法时,他们会哈哈大笑。我们需要告诉孩子们,世界是复杂的,单变量思维只是成年人为了保持舒适和避免不知所措而编造的谎言。这关乎建立科学思维:利用天生的好奇心,提供结构化探索的机会,并鼓励科学发现。
我完全同意能源部(DOE)正在逐渐渗透到工业生物科学领域,但在学术界却鲜有涉及。部分原因可能是机器人、自动化和耗材的成本门槛仍然很高。预算有限的学者和学生如何才能更有效地与能源部合作?
你不需要机器人。如果你有渠道,那很好,但你不需要机器人。如果你想最大限度地减少消耗品,那么美国能源部(DOE)可以最大限度地获取信息,同时最大限度地降低成本。科学觅食者低估了在多维黑暗中摸索的成本。
您能否以科学家想要快速得出结论的例子来谈谈连续实验如何既有帮助,又有点危险?
当单次实验的成本高得离谱时,顺序实验可能很有价值。但并行实验才是理想状态,这也是机器人如此有用的原因。但在科学研究中,序列越长,随着时间推移,结果越容易受到干扰,出现分析漂移和其他趋势的可能性也越大,墨菲定律也就越有可能成立。(参见“墨菲定律”章节)穿西装的大猩猩) 保持序列简短,利用阻塞,检查运行效果。
丹尼斯是否参考了罗纳德·费舍尔关于能源部的书?
已不再印刷,但具有历史意义:
- Fisher RA 1935实验设计出版商:Oliver & Boyd,爱丁堡。
但对于 DOE 更现代、更相关的处理:
您认为 JMP DOE 的结果会与其他应用程序有所不同吗?如果是,为什么?
为了避免软件成为障碍,我们过去常常在客户选择的软件中进行 DOE 培训。因此,我们熟悉了市面上大多数 DOE 软件包(Modde、DesignExpert、SPSS、BMDP 以及各种基于 R 的 DOE 软件包)。虽然 JMP DOE 在计算方面与其他软件包的结果相似,但它在用户体验方面更胜一筹:易于使用、数据可视化和可解释性。

我们感谢丹尼斯不仅解答了我们在直播中没来得及回答的问题,还详细阐述了他已经回答的问题。希望您能观看这档点播节目,既有启发性又充满趣味。我们期待着《穿白大褂的猿人》三部曲的第三部,该书将于11月出版。
孩子们明白这一点。但还没有人告诉他们,他们应该一次只关注一个变量。
我很喜欢向小学生教授“实验设计”(DOE)这个主意。我曾经在小学教授戴明循环/“计划-执行-检查-行动”循环,孩子们都很喜欢,觉得这是一种解决问题的自然方法。让新一代从一开始就习惯“实验设计”(DOE)真的会让世界变得更美好。