在 JMP,我們是 Dennis Lendrem 的粉絲,也是他的書籍、LinkedIn 貼文和電子報的粉絲。穿著實驗室外套的猿猴他對倡導更先進科學的熱情,以及他令人愉悅的英式幽默。在本期《統計學說》節目中,我們遇到的問題太多,時間不夠,所以Lendrem慷慨地在這篇文章中提供了答案。我們很高興地強調他的觀點:我們需要更先進的科學和更快速的問題解決方式。
在與科學家的合作中,向他們展示 DOE 如何使他們的實驗更加 有效率和有效,他們中是否有人對 DOE 的力量感到震驚,並有動力去了解它並自己使用它?
少數人會。但別抱太大希望。對大多數人來說,這就像向穴居人展示火。起初他們還會感到敬畏,但第二天他們又開始互相摩擦木棍了。為什麼?因為這不是習慣,不是本能,也不是他們被訓練的方式。那些真正皈依的人往往是那些已經懷疑出事的人。他們多年來一直在尋找食物,卻一無所獲。
我們在工程、軟體測試和其他領域看到了低密度覓食現象——我們是否應該從高中開始教授智慧實驗,並最終取代一次一個因素的方法?
是的。事實上,我們應該為30年前沒有這樣做而道歉。
一次只研究一個因素就像科學垃圾食物。它簡單、令人滿意,卻極具誤導性。等到學生上大學時,這種思考模式已經根深蒂固,他們甚至不會質疑。我們需要承認世界是複雜的,單變量思維是我們為了安於現狀而編造的謊言。這關乎的不是統計數據,而是好奇心、結構化的發現和結構化的探索。這種思維模式值得從小培養。 (另見下文相關的補充問題。)
關於你提到的「友善」和「不友善」的學習空間,隨著眾多領域的複雜性日益增加,你是否認為組合測試和覆蓋陣列設計會有更多機會?例如,軟體正變得越來越普遍——想想自動駕駛汽車。.
絕對是如此。學習空間不再友善──它高維、稀疏,而且充滿陷阱。你不能依賴直覺或單變量的擺弄。正因如此,你才會錯過致命的相互作用。組合測試和覆蓋陣列不再是可有可無的,而是生存工具。軟體測試已經意識到了這一點。工程學正在迎頭趕上。科學界仍在否認這一點。沒錯,自動駕駛汽車就是擁有數百萬種可能輸入組合的典型代表。你要嘛設計自己的測試,要嘛讓現實世界——也就是行人——替你完成測試。
2024年那場損失54億美元的停駛/崩盤並非故障,而是故障。一次輸入檢查缺失,就會導致航班取消,醫院停駛。這就是為什麼組合測試並非奢侈,而是風險。‐緩解措施。 Crowdstrike 正面臨達美航空提出的 5 億美元訴訟,未來還將面臨更多訴訟。
一次一個變數?那阻塞和機器人,以及部分因子實驗設計 (DOE) 和混雜因素呢?
我們需要一條法律來禁止一次進行一個變因的實驗。
即使在機器人領域,阻斷也是關鍵,因為設備可能會發生故障,事情也可能出錯。參見墨菲定律穿西裝的大猩猩.
部分階乘顯著減少了資源,同時在資訊遺失方面做出了適度的犧牲。
阻斷和選擇分數都有助於防止混淆。
我在三個不同的行業中經歷過產品開發,這些產品開發要求團隊遵循一套界限和目標時間框架,而集體思維最終阻礙了設計實驗的有效實施。原因在於,快速收集數據點(無需設計,由科學家確定條件)具有自我實現的預言性,並成為主導和唯一的方法。我得到了大量的統計科學支持,無論是內部還是外部,但我渴望聽到其他關於如何在科學思維方面產生更大影響的想法,尤其是在產品開發領域。
研發工作已不堪負荷;有缺陷的實驗隨處可見。要知道,你並不孤單。保持信念,加入新浪潮。在類似這樣的事件中,尋找那些知道有更好方法的人。詳情請見下文。
您的隨機實驗與科學覓食的數據集是否可以在線獲取(JMP Live?)我很樂意在我自己的小組中使用它作為示例(當然會完全註明來源!)。
還沒有。它將作為第三本書的附錄出版。穿著實驗室外套的猿猴三部曲,猿猴與防寒服,其發射日期為 11 月 1 日。但如果需要更完整、最新的完整資料集副本,請聯絡紐卡斯爾大學的 Harrold Fellerman,他擁有大量新資料。
我認為人們對 DOE 方法的一個誤解是它「成本」更高,或者需要更多「條件」(這種說法我聽過很多遍了)。我發現事實恰恰相反!它是獲得結果最有效的方法,因為你可以建模並預測因子對反應的影響,而無需運行所有可能的組合。它是迭代的!我們不是從全因子開始──而是以全因子結束!
首先,如果你想最小化條件和資源消耗,同時最大化多維空間中正在發生的事情的資訊量,那麼唯一的方法就是採用設計方法。這就是設計的作用。就是這樣。用更少的資源做到這一點的唯一方法是犧牲資訊量。故事結束。
其次,如果你看看傳統的科學尋找方法在實地消耗了多少資源,你會發現它消耗了更多資源,卻只得到了更糟糕的資訊。而且,你需要提供的資源也更難預測。有時你會偶然發現一些可行的方案,然後可以迅速付諸實行。有時,你最終會陷入困境,直到時間耗盡才不得不放棄。在這兩種情況下,資訊都很不完整,你的解決方案很可能瞬間就失敗了,這對研發管理來說簡直是個惡夢。參見穿西裝的大猩猩.
您是否覺得,當面對一位想要相信自己直覺的科學家傳達這個訊息很困難?抽像地談論這個問題似乎比告訴科學家必須改變他們的研究方法更容易。
是的。並非每個人都明白這一點。我們與那些明白這一點的科學家合作。他們自選為主要用戶。我們只是要求他們在我們引導他們完成第一項研究時,暫時放下懷疑。我們與他們合作,產生成功的案例研究,以便向組織推銷我們的設計。沒有什麼比成功更有吸引力了。而美國能源部就非常成功。
目前是否有任何工作正在進行,旨在開發客觀的衡量標準,以衡量多維實驗設計 (DOE) 和統計最佳實踐在研究中的應用?換句話說,評級系統並非試圖評估研究的結果或結論,而是評估研究是否客觀地運用了多維實驗設計 (DOE) 和統計最佳實踐。
這真是個好主意。目前,它還不夠完善。赤道網路(例如 STROBE、STARD、CONSORT)一直積極主動,儘管它們往往以臨床為導向。過去也有一些未公開的嘗試,例如葛蘭素史克公司製作了一系列單頁的 DOE 備忘單,供其研究科學家內部使用。
顯然,我們需要與科學家以及能源部相關人士加強合作。我們該如何鼓勵更多這樣的合作?
創造一個友善的學習環境,讓人們有機會安全地學習,這一點至關重要。網路研討會、研討會和會議等活動可以將志同道合的人聚集在一起,幫助他們對現實世界的應用達成共識。其他方式包括:共享協作軟體工具;輕鬆實現結果視覺化並繪製感興趣的多維空間;幫助使用者引領組織思維模式的變革。
我確信我應該使用DOE。但我不知道從哪裡開始!有什麼建議嗎?
保持簡單。找一個以前做過的人。讓他們在你第一次揮動錘子時握住釘子。要保守一點。堅持相對安全的設計。記住摩爾的觀察:幾乎任何設計都比沒有設計好。
生技產業有太多創辦人,學術界有太多首席研究員,他們透過科學探索建立了自己的職業生涯和聲譽。他們仍然掌權。我們如何才能取得突破?自下而上似乎不可能。你是怎麼想的?
一切改變都始於一人。所有改變都是由下而上的,直到那位升至頂層的人推動改變自上而下。還記得「伊莫的故事」嗎?這隻日本幼年獼猴帶領猴群養成了在吃地瓜前洗掉沙子的習慣。這一新潮流席捲了整個猴群,但最後採用這種行為的卻是那些占主導地位的雄性猴。
我很好奇,您認為如何才能最好地彌補能源部在科學領域教學不足的問題?是偷偷把它納入高中課程?還是瞄準博士課程?還是由院長負責?還是乾脆就此打住,讓產業界來填補這個空白?
現在,我們需要把這些都做起來。我們現在就需要下一代。在那之前:高中?是的。博士課程的教學部分?是的。院長?對大多數人來說太晚了,但一兩個研究和創新學院的院長可能會有所作為。工業界?是的。
我們需要在開發生命週期的早期階段就推動實驗設計(DOE)-在學校裡就讓孩子們參與其中。孩子們明白這一點。還沒有人告訴他們應該一次只專注在一個變數。他們喜歡實驗設計(DOE)的教具——像是直升機和彈射器。向他們展示像「自我實現預言悖論」這樣的東西,當你告訴他們大多數科學家都使用一次只專注於一個變數的方法時,他們會哈哈大笑。我們需要告訴孩子們,世界是複雜的,單變量思維只是成年人為了保持舒適和避免不知所措而編造的謊言。這關乎建立科學思維:利用天生的好奇心,提供結構化探索的機會,並鼓勵科學發現。
我完全同意能源部(DOE)正在逐漸滲透到工業生物科學領域,但在學術界卻鮮有涉及。部分原因可能是機器人、自動化和耗材的成本門檻仍然很高。預算有限的學者和學生如何更有效地與能源部合作?
你不需要機器人。如果你有辦法,那很好,但你不需要機器人。如果你想最大限度地減少消耗品,那麼能源部(DOE)可以最大限度地獲取信息,同時最大限度地降低成本。科學覓食者低估了在多維黑暗中摸索的成本。
您能否以科學家想要快速得出結論的例子來談談連續實驗如何既有幫助,又有點危險?
當單次實驗的成本高得離譜時,順序實驗可能很有價值。但並行實驗才是理想狀態,這也是機器人如此有用的原因。但在科學研究中,序列越長,隨著時間推移,結果越容易受到干擾,分析漂移和其他趨勢的可能性也越大,墨菲定律就越有可能成立。 (請參閱「墨菲定律」章節)穿西裝的大猩猩) 保持序列簡短,利用阻塞,檢查運轉效果。
丹尼斯是否參考了羅納德費雪關於能源部的書?
已不再印刷,但具有歷史意義:
- Fisher RA 1935實驗設計出版商:Oliver & Boyd,愛丁堡。
但對於 DOE 更現代、更相關的處理:
您認為 JMP DOE 的結果會與其他應用程式不同嗎?如果是,為什麼?
為了避免軟體成為障礙,我們過去常常在客戶選擇的軟體中進行 DOE 培訓。因此,我們熟悉了市面上大多數 DOE 軟體套件(Modde、DesignExpert、SPSS、BMDP 以及各種基於 R 的 DOE 軟體包)。雖然 JMP DOE 在計算方面與其他軟體套件的結果相似,但它在使用者體驗方面更勝一籌:易於使用、資料視覺化和可解釋性。

我們感謝丹尼斯不僅解答了我們在直播中沒來得及回答的問題,還詳細闡述了他已經回答的問題。希望您能觀看這檔點播節目,既有啟發性又充滿趣味。我們期待《穿白大褂的猿人》三部曲的第三部,將於11月出版。
孩子們明白這一點。但還沒有人告訴他們,他們應該一次只專注在一個變數。
我很喜歡向小學生教授「實驗設計」(DOE)這個主意。我曾經在小學教授戴明循環/「計畫-執行-檢查-行動」循環,孩子們都很喜歡,覺得這是一種解決問題的自然方法。讓新一代從一開始就習慣「實驗設計」(DOE)真的會讓世界變得更美好。