756639_zh-TW

liliconcom

21世紀篩選設計（2021-EU-45MP-772）

Bradley Jones，SAS JMP 傑出研究員

JMP 一直處於篩選實驗設計和分析創新的前沿。過去十年的發展包括確定性篩選設計、用於最小化係數估計值平均變異數的 A 最優設計，以及群體正交超飽和設計。本教學將分別舉例說明這些用於篩選多因子的方法，並提供針對特定問題類型選擇適用方法的經驗法則。

自動產生的成績單...

揚聲器	抄本
布拉德瓊斯	大家好，感謝您的參與。我叫 Bradley Jones，在 JMP 的開發部門工作。今天我們來聊聊 21 世紀的篩選設計。
	過去，JMP 一直是篩選實驗領域的創新者。
	嗯，我想說的是過去十年左右。我要講的是三個
	不同類型的篩選設計，並告訴您它們是什麼，如何使用它們，以及何時應該優先使用其中一種。
	因此，我要討論的三種篩選設計是 A 最優篩選設計、確定性篩選設計（或 DSD）和群體正交過飽和設計（或 GO SSD）。
	首先，我來介紹A-最優篩選設計。 A-最優設計可以最小化模型參數估計的平均變異數。
	記住...記住的方法是，A-optimal 代表平均值，所以是 A 平均值。
	相較之下，D 最優設計透過最大化資訊矩陣的行列式，最小化參數估計周圍置信橢球的體積。所以，這裡面有很多話要說。
	從行列式來看，很難理解為什麼所有這些都成立。不過你可以記住D-最優，D-最優中的D代表行列式。
	那麼，為什麼我說我們應該做 A 最優篩選設計呢？ D 最優設計在客製化設計器中已經預設使用了 20 年。我們為什麼要改變呢？
	嗯，我的第一個原因是 A 最優...A 最適性標準比 D 標準更容易理解。
	每個人都知道平均值是什麼。
	參數估計的平均值是
	直接相關
	參數估計的平均變異數與您檢測特定活性效應的能力直接相關。
	D 標準，談論的是這個全域置信橢圓體，並沒有告訴你任何
	能夠精確估計任何一個參數的特定能力。
	所以，我認為 A 最優標準比較容易理解。
	更重要的是，當 A 最優設計與 D 最優設計不同時，A 最優設計通常具有較好的統計特性。而且，很多時候，A 最優設計和 D 最優篩選設計確實會相同。
	但有時它們是不同的，當它們不同時，我真的更喜歡 A 最優設計。
	我想用一個例子來激勵你們。第一個例子是…假設我有四個連續因子。
	我想擬合一個包含所有這些因子的主效果及其所有雙因子交互作用的模型。因此，有四個主效應和六個雙因子交互作用，但我只能運行12次。
	所以我要做一個 JMP 演示。在演示中，我將針對這種情況分別製作一個 D 最優設計和一個 A 最優設計，然後比較這兩個設計。
	因此，我將在這裡打開我的 JMP 日誌並轉到第一個案例，即具有兩個因素交互作用和 12 次運行的四個因素。
	這是一個腳本，它讓我無需實際創建 D 最優設計。只要相信它是 D 最優即可。這是 D 最優設計。您會注意到，設計中的所有數字都是正一或負一。
	這是 A 最優設計，這裡有個驚喜。在第一列中，你可以看到 X1 中有四個零，
	而X2、X3和X4都是正1和負1。這有點令人驚訝。幸好，所有這些因子都是連續的，但現在讓我們來比較一下這兩個設計。
	因此，為了開始比較，讓我們來看看參數估計的相對效率。
	這是 A 最優設計相對於 D 最優設計的效率。所以，當…當數字大於 1 時，就表示 A 最優設計比 D 最優設計更有效率。
	對於 A 最優設計來說，有一個參數效率較低，但其餘的
	參數的估計至少與 D 最優設計一樣好，其中許多參數的估計值比 A 最優設計好 15%。
	我還想給你們展示另外一件事，那就是這個。
	這是這兩個設計的相關圖，您可以看到 D 最優設計具有各種相關性…
	從這裡的對角線開始，一直到 33.33；這是三分之一。
	還有很多其他的，而 A 最優設計只有三個
	不為零的成對相關性。這組成對相關性中的其他所有項實際上都為零，並且主效應彼此正交，並且第一個主效應與所有兩個因子的交互作用正交。
	許多雙因子交互作用也是相互正交的。所有這些正交性意味著更容易
	A 最優設計的模型選擇決策比 D 最優設計更優。另外，我認為你可能感興趣的是 A 最優設計的 G 效率比 D 最優設計高出 87% 以上。 G 效率指的是
	最大值…它是參數空間內預測方差最大的量測。所以
	D 最優設計的最大變異數預測為
	幾乎是最大變異數和預測的兩倍
	A-最優設計。
	和
	此外，A 最優設計的 I 效率比 D 最優設計高出 14% 以上。因此，基於以上所有原因，我認為在本例中 A 最優設計優於 D 最優設計是顯而易見的。
	所以讓我稍微清理一下。
	回到投影片，這只是您剛才看到的圖片。
	但我想用 JMP 來示範。那麼，我們繼續討論我喜歡 A 級最優設計的另一個原因。
	A 最優設計允許對參數組賦予不同的權重。那麼這意味著什麼呢？在 D 最優設計中，你可以：
	理論上，對不同的參數賦予更大的權重...某些參數比其他參數更重要，但是
	這樣做，您就不會改變已建立的設計。
	無論你使用什麼權重，最終都會得到相同的設計，所以這意味著在D最優設計中，權重是沒用的。事實上，
	對於大多數變異數最優標準，包括 I 最優設計，加權並不能幫助你更強調
	在設計中，參數是關鍵。但在A-最優設計中，當你對參數進行加權時，你可以實現不同的設計，這可能在某些方面有用。
	案例。這是我的加權A-最優設計範例。假設我現在有五個連續因子，我想擬合一個包含所有主效應和所有雙因子交互作用的模型。所以我有
	五個主效果和十個雙因子交互作用，我只能進行20次。所以我更關心能否精確估計主效應，因為我認為
	主效應會比兩個因子的交互作用更大。我想要……我想要得到真正準確的估計值。
	所以我要做的是…再一次，我要為這個案例做一個D最優設計。我要為這個案例做一個加權A最優設計。然後我要比較這些設計。這裡有一張圖片
	演示。這是 D 最優設計，我們再次看到它全是正 1 和負 1。
	這是A最優設計，其中…我加權了主效應，使其重要性比雙因子交互作用高10倍。現在我想比較一下這兩個設計。
	現在，在這種情況下，
	我現在正在比較 D 最優設計的 D 效率…相對於 A 最優設計，因此 A 最優設計在以下情況下更佳
	這些數字都小於 1。而且我們發現，對於所有主效應，A 最優設計在估計它們方面做得更好
	比D最優設計更好。當然，你需要為此付出代價，因為在加權…降低兩個因子交互作用的權重時，估算這些因子的精確度會略有下降。
	所以這是一種權衡，但你說......你說你更......或者我說我對兩個因素相互作用中的主要效應更感興趣，所以這就是我得到的。
	但這裡是這樣的比較...相關性的比較是您可能更喜歡 A 最優設計而不是 D 最優設計的另一個原因。
	在D最優設計中，成對相關性明顯增加。需要注意的是，在A最優設計中，所有主效果都與所有兩因子交互作用完全正交。
	您可以看到相關單元圖的整個區域都是白色的，這意味著零相關性。
	主效果彼此並不正交，除了X1和X2都與X3和4或5正交，也就是說它們的配對相關性為零。
	但有一些細微的關聯
	之間
	X1 和 X2 之間以及 X3、4 和 5 之間，
	相關性為.2。
	但這個情節中有很多正交性，比
	在
	D 最優設計。
	因此，如果您確實想要，如果您確信您希望能夠比估計兩個因子的交互作用更好地估計主效應，那麼 A 最優設計將優於 D 最優設計。
	我不想關閉所有內容，因為那樣也會關閉我的日記。
	好的，回到幻燈片。
	那我什麼時候應該使用 A 最優篩選設計呢？
	出色地，
	我要告訴你關於DSD和GO SSD
	在此之後，但只要它們不合適，那麼您就應該使用 A 最優篩選設計，這在現實世界中經常出現。
	當您有許多分類因素，而某些分類因素可能具有兩個以上的等級時，您就不能使用 DSD 或 GO SSD。
	如果某些因子水平組合不可行，例如，如果設計空間的某個角落沒有運作意義，
	那麼你必須使用 A 最優設計，因為 JMP 中的自訂設計器支援該設計，並且可以處理不可行的組合，
	透過不允許的組合或不等式約束。或者，如果你想擬合一個非標準模型，你可能會
	想要適應
	三方互動
	某些因素，DSD 或 GO SSD 就不合適了。最後，當你想讓某些效果比其他效果更受重視時
	您唯一的選擇是使用 A 最優設計。
	好了，關於A-最優性的部分就到此結束了，現在我將開始討論確定性篩選設計。這些設計最早是在2011年發表在文獻中的，所以它們到現在已經有10年歷史了。
	它們看起來是這樣的。這是六因素確定性篩選設計，但確定性篩選設計可以適用於任意數量的因素，所以…
	它們非常靈活。
	如果我們先看第一次和第二次運行，我們會注意到
	運行號 1 中的每個位置加一，運行號 2 中的每個位置減一，並且行號 1 中的每個位置減一，行號 2 中的每個位置加一。
	所以，運行 1 和運行 2 就像彼此的鏡像，如果我們看看所有這些運行對，它們都是這樣的。每一個…每一個奇數
	運行是每個偶數運行的鏡像。最後我們以一行零結束。
	我們可能注意到的另一件事是，每個都有幾個零
	設計中的因素。
	事實證明，這是一件很有用的事情，因為它使我們能夠估計所有因素的二次效應。
	透過這個整體中心運行，您可以估計所有因素的所有二次效應以及截距項。
	那麼，進行確定性篩選設計會帶來哪些正面影響呢？
	如果存在活躍的雙因子交互作用，它將不會偏向任何主效應的估計，因此雙因子交互作用和二次效應都與主效應不相關。
	此外，任何單一有效的雙因子交互作用都可以用此設計識別，以及任何單一…單一二次效應。它和…最後，非常有用的
	這種設計的一個特性是，如果只有三個因子有效，那麼無論具體是哪三個因子，都可以擬合出一個完全二次模型。所以，如果…
	當然，這也適用於兩個因素或一個因素活躍的情況。
	因此，作為篩選實驗的後續，您可能能夠避免進行響應曲面實驗。
	現在，為了充分揭露，確定性篩選設計與 D 最優篩選設計進行比較時，必須做出權衡，即主效應的參數估計比次效應的參數估計長約 10%。
	D 最優篩選設計。因此
	所以，為了實現這項功能，這點代價不算什麼。它還能估算所有…所有二次效應，並且能夠抵禦雙因子交互作用。
	讓我們來看看最終篩選設計的實際操作的小演示。
	所以
	我最近與 Chris Nachtsheim 合寫了一篇關於如何分析確定性篩選設計的論文，
	當我們提交原始論文時，審查者要求我們提供一個真實的例子。對於一個新人來說，提供一個真實的例子有點困難。
	這種設計，因為以前沒人做過，因為他們沒聽過。但我們有一種方法可以檢測客製化設計器，這樣我們就能知道一個設計需要多長時間才能運作。所以我們有一套
	各種因素都會使設計耗時更長…需要更長的時間來製作。例如，其中之一就是
	你使用的隨機啟動次數。所以，這裡是自訂設計師為所有這些範例計算的所有時間。然後
	如果我們看一下 DOE 確定性篩選，就會發現有一個自動分析工具叫做“Fit Definitive Screening”，如果你使用 JMP 創建確定性篩選設計，那麼
	腳本始終可用，因此我們可以看到
	分析是什麼？分析分為兩個階段。首先，擬合主效應，然後擬合二階效應，最後將它們合併。結果是
	這個因素 E 是第一類錯誤，但其餘所有影響實際上都是活躍的，我們知道因為
	我們也進行了全因子設計
	所有這些因素，以及
	所以我們知道在這種情況下真正的模型是什麼。因子E沒有出現在全因子設計的分析中，但所有其他效應，包括因子A的平方效應和這三個兩因子交互作用，都是被辨識的真實效應。
	透過最終的螢幕設計。所以它被插入到論文中，最終由 Technometrics 發表。
	那我什麼時候應該使用 DSD？
	當大多數因素都是連續的時，DSD 效果最佳。
	我們確實有一篇論文展示瞭如何添加最多三個雙因素或兩級分類因素，但隨著你繼續添加更多的兩級因素，
	DSD 表現不佳。所以你……所以大多數因子必須是連續的。另外，如果你預期因子效應存在曲率，那麼
	例如，如果你認為可能存在一個活躍的二次效應，那麼你會想要
	優先使用DSD，而不是兩層篩選設計。而且，使用DSD還可以處理一些雙因素交互作用。所以，這些情況才是你該使用DSD的時候。
	這就是我現在要說的全部內容，但我想繼續討論組正交過飽和設計或 GO SSD。
	不好意思，嗯。
	這是組正交過飽和設計的相關單元圖，其有趣之處在於這些因素是
	歸入一個群組。這裡，一個組是 W1 到 W4。這些因素是相關的，但它們與任何其他組別因素都不相關，所以這些因素是
	組內數據互不相關，但組內略有相關。當然，由於設計是超飽和的，必然會有一定的相關性。我們只是把相關性放在了非常方便的位置。
	這是一篇關於
	我們如何建構這些組正交過飽和設計，以及許多合著者，包括 Ryan Lekivetz，他是另一位
	開發人員在
	JMP DOE 組。
	這是我的合著者的照片。
	這是瑞安。
	克里斯
	我和他長期共事，大概有30年了。 Dibyen Majumdar是芝加哥伊利諾大學的副院長，Jon Stallrich是北卡羅來納州立大學的教授。
	因此，我將稍微談論一下進行過飽和設計的動機，告訴您如何建立 GO SSD，分析 GO SSD，然後將它們與我們的自動分析方法和其他分析方法進行比較。
	超飽和設計是指因子數多於運行次數的設計。例如，你可能有20個感興趣的因子，但運行次數昂貴，而你的預算只能支援12次運行。那麼問題是，這是個好主意嗎？
	當我去詢問 SAS 的一位同事對過飽和設計的看法時，他說：“我認為過飽和設計是邪惡的。”
	所以
	我感覺我的耳朵有點向後傾斜，但是我還是繼續…繼續實施超飽和設計。
	不過，我理解蘭迪為什麼會有這種感覺。超飽和設計的問題在於，設計矩陣是奇怪的，所以你甚至無法進行多元迴歸，而多元迴歸是擬合模型中的標準工具。此外，還存在因子混疊，因為
	這些因素通常是相關的。事實上，在大多數超飽和設計中，所有因素都與其他因素有關，所以你會有這種感覺：你不應該指望不勞而獲。
	在早期文學中
	它們是由 Satterthwaite 於 1959 年提出的，然後 Booth 和 Cox 於 1962 年提出了這個標準
	為了
	一種最佳地選擇過飽和設計的方法。
	這裡的這個標準基本上是最小化設計中的平方相關係數，即平方相關的和。所以，我們認為，John Tukey 是第一個在 Satterthwaite 論文討論中使用過飽和這個術語的人。
	那是……這篇論文是經過討論後發表的。
	很多討論者都很刻薄。但從圖基的討論來看，他說：“當然，薩特思韋特的方法，也就是所謂的‘恆定平衡’，只能讓我們達到飽和狀態。”
	（喬治·博克斯精心選擇的術語之一）「飽和設計」是一種所有影響都由參數估計來承擔的設計。
	我的意思是所有的運行都被參數估計所佔據。
	但 Tukey 表示，“我認為做一些過飽和實驗是完全自然和明智的”，但基本上其他討論者
	這個想法遭到了廣泛批評，30 年來，這一領域沒有任何進展。
	1993 年，兩篇論文
	兩篇文章幾乎同時發表。一篇由 Jeff Wu 發表在 Biometrika 雜誌上，另一篇由 Dennis Lin 發表在 Technometrics 雜誌上。
	Jeff 現任喬治亞理工學院可口可樂系教授，Dennis Lin 現任普渡大學可口可樂系主任。
	那麼什麼時候該使用過飽和設計呢？嗯，
	當運行成本高昂時，你肯定想使用它，因為這樣你就可以運行比因子更少的運行，因此
	如果您使用標準方法，則設計成本會更低，標準方法總是要求至少有...至少與因素一樣多的運行次數。
	如果你曾經進行過腦力激盪實驗，你就會知道，當每個人都拿出便籤，寫下他們認為重要的因素時，
	最後你可能會在牆上貼出幾十張貼紙，代表至少一個人認為很重要的不可能因素。
	然後會發生什麼事呢
	隨後，只有少數......在過去，只有少數因素被選擇進行實驗，而其他因素則被忽略了。
	在我看來，這似乎是不道德的，消除...在沒有數據的情況下消除一堆因素似乎是個壞主意。
	你可能還想做的另一件事是將它們用於電腦實驗，因為如果你有一個非常複雜的電腦實驗，那麼…
	透過電腦實驗所具有的幾十甚至幾百個調整參數，你可以進行過飽和設計。
	那就是……如果電腦實驗需要很長時間才能運行，那就特別好，所以你不想坐著等上幾個星期才能運行一個
	非常大
	不飽和實驗。
	那我們要如何建構這些 GO SSD？
	這是一點數學知識，但是
	我們從一個 Hadamard 矩陣（H）開始，我們有另一個 Hadamard 矩陣（T），我們捨棄了一些
	行，然後我們取這兩個矩陣的克羅內克積（這裡這個有趣的符號是克羅內克積），這樣就創建了一個 GO SSD。
	因此，當你形成 X 轉置 X 矩陣時，你得到的是這個東西，它會創造看起來像這樣的東西，這個矩陣是一個塊方陣，
	且 X 轉置 X 或資訊矩陣中的所有其他元素都為零。
	這就是創建群組正交性的原因。這是
	舉個小例子。這裡，這個 H 是一個正交的 Hadamard 矩陣，而這個 T 就是去掉最後一行的 H。
	因此，T 和...H 和 T 的克羅內克積正好替代了每個 1...每個
	H 中的元素 1 由矩陣 T 表示，H 中的每個負 1 由矩陣
	這是 T 的負數。
	所以
	因為 H 是四乘四，而 T 是三乘四，所以我們用一個三乘四的矩陣來代替每個單獨的
	H 的元素，因此我們提出的設計是 16 列 12 行。
	因此它擴大了
	那個例子。現在，這就是當你使用……當你做我剛才談到的事情時會發生的情況。所以我們有12次運行和16列。第一列是…是用來估計截距的1列，所以我們不考慮它。
	這是相關性……這是這個設計的相關性。前三個因素…它們之間的相關性較高，而且不平衡。
	這些列有...優點和缺點的數量不一樣。
	其他...所有其他因素都具有相同的相關結構，
	他們都
	有平衡的列。
	另一件有趣的事情是他們的專欄是
	折疊，因此每組因素的主要影響與這些因素的兩個因素交互作用不相關。
	現在我和我的合著者建議我們將這前三個因素視為……不是不把它們當作因素，而是因為它們與所有其他因素正交，你可以使用這些列來估計方差
	以一種不受任何其他因素主效應影響的方式。這樣，我們就能得到一個無偏估計…一個相對無偏的變異數估計，這對於建模非常有幫助。
	因此，這款特定最終畫面的設計屬性...或 GO SSD，抱歉，GO SSD
	因為我們有三個獨立的、由四個因素組成的組別，所以每個因素組的秩都是三，所以這意味著我可以估計三個…三個因素的影響。
	在這種情況下，假因子列的秩為 2，因為您...您正在使用其中一個...其中一個列來估計截距，因此您可以估計具有兩個自由度的 Sigma 平方。
	並且假設二階效應可以忽略不計，這個估計是無偏的。
	所以現在，我可以估計...的影響。
	在三組四個因素中，我每組都可以估計出三個。
	我可以，我可以用一定程度...具有兩個自由度的 Sigma 平方來測試每一組因素。
	我已經指出這些因素組是折疊的，並且
	為雙因素相互作用提供了實質的保護。
	這張表出現在 Technometrics 論文中。我很樂意發給你
	如果你能給我寫一封電子郵件，我就會給你一份那篇論文的副本。
	我是 Bradley.Jones@jmp.com。
	只是我的名字@ JMP.com。
	所以，有很多選擇可以用來創造這些設計。
	相當靈活。
	所以
	在論文中，我們討論如何創建設計，也討論如何分析設計。所以，我們想用這些…第一組因子來估計方差，而不是…而不是把它們當作實際因子。
	我們使用正交組結構來識別活躍組，然後在活躍組內，我們進行逐步回歸或所有可能的回歸來
	辨識組內的活躍因子。然後，我們可以將非活躍組的平方和合併到 Sigma 平方的估計值中，這能讓我們更有效地
	在活躍的因素組中找到活躍的因素。
	如果你能猜出影響跡象的方向，而且你經常知道…你可能不知道影響會有多大，但你知道它們會朝哪個方向發展，那麼你
	你可以猜測結果是正面還是負面。如果你認為某個結果為負面，你可以將…將正值重新標記為負值，將負值重新標記為正值，這樣…新的結果就會是正面的。
	如果你對所有負面影響都這樣做，那麼每個方面的所有影響
	每個組別中的陽性結果都是陽性，這樣可以最大程度地提高檢測活躍組的能力。因此我們建議這樣做。
	因此，我們進行了一項模擬研究來比較 GO SSD，我們對 GO SSD 的分析程序與標準
	通用迴歸分析...現代迴歸分析，如 Lasso 和 Dantzig 選擇器，所以我們有三種不同的分析方法。
	Dantzig Selector、Lasso，以及我們的「兩兩階段」方法。我們有三種不同的設計，三種不同的 GO SSD。我們擁有的活躍群組數量…
	要嘛是一個活躍的群體…然後隨著你…隨著你擁有更多活躍的群體，你當然會…讓設計更難找到所有東西。然後
	所有方法的功效都很高，除非所有組別都處於活動狀態。所以
	在這個設計中，只有三個組，並且所有...當你使它們全部處於活動狀態時，Dantzig 選擇器和套索的威力就會非常弱。
	但是，我們提出的兩階段分析基本上具有對所有可估計事物進行估計的能力。
	在這兩個設計中，有七個…七個活躍的群體和
	所以當它們全部啟動時，Dantzig 選擇器和套索
	效果遠不如我們推薦的兩階段方法。所以
	我們的兩階段方法就是利用設計的結構來引導我們的分析方法。 Dantzig 選擇器和 Lasso 並不關心資料的結構。事實上，它們被用於任意的觀察性分析。
	分析，以及分析設計好的實驗。所以你會認為一個通用的程序可能不如一個建設性的程序那麼好
	純粹是為了分析這種設計。
	434
	258
	259
	260
	261
	262
	263
	264
	265
	266
	267
	268
	269
	270
	271
	272
	273
	274
	275
	276
	277
	278
	279
	280
	281
	282
	283
	284
	285
	286
	287
	288
	289

進階統計建模基礎資料分析與建模消費者與市場研究實驗設計預測模型和機器學習品質與工藝工程