揚聲器
|
成績單
|
| 布拉德·瓊斯 |
您好，感謝您加入我。 我叫 Bradley Jones，在 JMP 的開發部門工作，今天我們將討論 21 世紀的篩選設計。 |
| |
並且 JMP 在過去一直是篩選實驗的創新者。 |
| |
好吧，我會說過去十年左右。 我將談論三個 |
| |
不同種類的篩選設計，並告訴您它們是什麼，以及如何使用它們，以及何時應該優先使用另一種。 |
| |
因此，我將要討論的三種篩選設計是 A 最優篩選設計、確定篩選設計（或 DSD）和組正交過飽和設計（或 GO SSD）。 |
| |
因此，讓我首先介紹 A 最優篩選設計。 A 最優設計最小化模型參數估計的平均方差。 |
| |
記住……記住這一點的方法，A-optimal 代表平均值，所以 A 平均值。 |
| |
相比之下，D 最優設計通過最大化信息矩陣的行列式來最小化參數估計周圍的置信橢圓體的體積。 所以有很多話 |
| |
而且很難從行列式中看出為什麼所有這些都是正確的。 但是您可以記住 D-optimal D-optimal 中的 D 代表行列式。 |
| |
那麼為什麼我說我們應該做 A 最優篩選設計呢？ 20 年來，D 最優設計一直是定制設計器的默認設置。 我們為什麼要改變？ |
| |
嗯，我的第一個原因是 A 最優……A 最優標準比 D 標準更容易理解。 |
| |
每個人都知道什麼是平均值。 |
| |
參數估計的平均值是 |
| |
直接相關 |
| |
參數估計的平均方差與您檢測特定主動效應的能力直接相關。 |
| |
D 標準，談論這個全局置信橢球，並沒有告訴你任何 |
| |
精確估計任何一個參數的特殊能力。 |
| |
所以，所以我認為 A 最優性標準更容易理解。 |
| |
但更重要的是，當 A 最優設計與 D 最優設計不同時，A 最優設計通常具有更好的統計特性。 確實，很多時候，A 和 D 最優設計……A 和 D 最優篩選設計將是相同的。 |
| |
但有時它們是不同的，當它們不同時，男孩，我真的更喜歡 A 最優設計。 |
| |
所以我想用一個例子來激勵你。 我的第一個例子是我有......假設我有四個連續因素。 |
| |
我想用這些因素的所有主要影響以及它們所有的兩個因素相互作用來擬合一個模型。 所以有四個主效應和六個二因素交互作用，但我只能承受 12 次運行。 |
| |
所以我要做一個 JMP 演示。 在那個演示中，我將為這個案例做一個 D 最優設計，一個針對這個案例的 A 最優設計，然後比較這兩個設計。 |
| |
因此，我將在這裡打開我的 JMP 日誌並轉到第一個案例，這是具有兩個因素相互作用和 12 次運行的四因素。 |
| |
這是一個腳本，它使我不必實際創建 D 最優設計。 只要相信它是 D 最優的。 這是 D 最優設計。 您注意到設計中的所有數字都是正數或負數。 |
| |
這是 A 最優設計，這裡有一個驚喜。 在第一列中，您看到 X1 中有四個零， |
| |
而 X2、3 和 4 都有正數和負數。 所以這有點令人驚訝。 這是一件好事，這是……所有這些因素都是連續的，但現在讓我們比較這兩種設計。 |
| |
因此，為了開始比較，讓我們看看參數估計的相對效率。 |
| |
這是 A 最優設計對 D 最優設計的效率。 因此，當...當數字大於 1 時，這意味著 A 最優設計比 D 最優設計更有效。 |
| |
並且有一個參數對於 A 最優設計效率較低，但所有其他參數 |
| |
參數的估計至少與 D 最優設計一樣好，其中許多參數的估計比 A 最優設計好 15%。 |
| |
我想告訴你另一件事，就是這個。 |
| |
這是這兩個設計的相關單元圖，您可以看到 D 最優設計在...上具有各種相關性 |
| |
此處對角線外，最高 33.33；那是三分之一。 |
| |
而且，還有很多其他的，而 A 最優設計只有三個 |
| |
成對相關性不為零。 其他一切……在這組成對相關性中實際上為零，並且主效應彼此正交，第一個主效應與所有兩個因素的相互作用正交。 |
| |
許多兩個因素的相互作用也是相互正交的。 所有這些正交性意味著它會更容易製作 |
| |
與 D 最優設計相比，A 最優設計的模型選擇決策。 然後我認為您可能感興趣的另一件事是 A 最優設計的 G 效率比 D 最優設計高 87% 以上。 什麼是 G 效率，是 |
| |
最大值......它是參數空間內預測的最大方差的度量。 所以 |
| |
D 最優設計的最大方差預測為 |
| |
幾乎是最大方差和預測的兩倍 |
| |
A 最優設計。 |
| |
和 |
| |
此外，A 最優設計的 I 效率比 D 最優設計高 14% 以上。 因此，出於所有這些原因，我認為在這種情況下 A 最優設計優於 D 最優設計是非常明確的。 |
| |
所以讓我清理一下。 |
| |
回到幻燈片，這只是您剛剛看到的圖片。 |
| |
但我想在 JMP 中向您展示它。 因此，讓我們繼續討論我喜歡 A 最優設計的另一個原因。 |
| |
A 最優設計允許對參數組施加不同的權重。 那是什麼意思？ 在 D 最優設計中，您可以， |
| |
理論上，對不同的參數加權更多……一些參數比其他參數更多，但是 |
| |
這樣做，您不會更改創建的設計。 |
| |
......無論你使用什麼權重仍然會給你相同的......相同的設計，所以這意味著 D 最優設計中的權重是沒有用的。 實際上， |
| |
對於大多數方差最優性標準，包括 I 最優設計，加權並不能幫助您更加強調 |
| |
在設計上就參數。 但是在 A 最優設計中，當您對參數進行加權時，您可以實現不同的設計，這可能在某些情況下有用 |
| |
案例。所以這是我的加權 A 最優設計示例。 假設我現在有五個連續因素，我想擬合一個包含所有主效應和所有兩因素交互作用的模型。 所以我有 |
| |
五個主效應和十個二因素交互作用，我只能承受 20 次運行。 所以我更關心能夠準確估計主要影響，因為我認為 |
| |
主要影響將大於兩個因素的相互作用。 我想要...我想要對它們進行非常好的估計。 |
| |
所以我要做的是……再次為這個案例做一個 D 最優設計。 我將為這種情況做一個加權 A 最優設計。 然後我將比較這些設計。 所以這裡有一張圖片 |
| |
的演示。 所以這是 D 最優設計，我們再次看到它都是正負值。 |
| |
這是 A 最優設計，其中...我對主要影響進行了加權，因此它們的重要性是兩個因素交互作用的 10 倍。 現在我想比較這兩種設計。 |
| |
現在，在這種情況下， |
| |
我現在正在研究相對於 A 最優設計的 D 最優設計的 D 效率，因此 A 最優設計在以下情況下更好 |
| |
數字小於一。 我們看到，對於所有主效應，A 最優設計在估計它們方面做得更好 |
| |
比 D 最優設計。 當然，您必須為此付出代價，因為在加權...降低這兩個因素相互作用的權重時，您估計它們的精度會稍差。 |
| |
所以這是一個權衡，但你說......你說你更多......或者我說我對兩個因素相互作用中的主效應更感興趣，所以這就是我得到的。 |
| |
但是在這裡進行比較...相關性的比較是您可能喜歡 A 最優設計而不是 D 最優設計的另一個原因。 |
| |
在 D 最優設計中，有更多的成對相關性。 請注意，在 A 最優設計中，所有主效應都與所有兩個因素的交互作用完全正交。 |
| |
您可以看到相關單元圖的整個區域......是白色的，這意味著零相關性。 |
| |
主效應互不正交，只是 X1 和 X2 都與 X3 和 4 或 5 正交，也就是說它們的成對相關性為零。 |
| |
但有一些小的相關性 |
| |
之間 |
| |
X1 和 X2 以及 X3、4 和 5 之間， |
| |
0.2 的相關性。 |
| |
但是在這個情節中有很多正交性，遠遠超過 |
| |
在裡面 |
| |
D 最優設計。 |
| |
因此，如果您真的想要，如果您確定希望能夠比估計兩個因素交互作用更好地估計主效應，那麼 A 最優設計將優於 D 最優設計。 |
| |
我不想關閉所有內容，因為那樣也會關閉我的日記。 |
| |
好的，回到幻燈片。 |
| |
那麼我什麼時候想使用 A 最優篩選設計呢？ |
| |
出色地， |
| |
我將告訴你有關 DSD 和 GO SSD 的信息 |
| |
在此之後，但當它們不合適時，您將使用 A 最優篩選設計，這在現實世界中可能經常出現。 |
| |
當您有許多分類因素並且某些分類因素可能有兩個以上的級別時，您不能使用 DSD 或 GO SSD。 |
| |
如果某些因素水平組合是不可行的，例如，如果設計空間的某個角落運行沒有意義， |
| |
那麼您將不得不使用 A 最優設計，因為 JMP 中的自定義設計器支持該設計，並且可以處理不可行的組合， |
| |
通過不允許的組合或不等式約束。 或者，例如，如果您想安裝一個非標準模型，您可能 |
| |
想要適合 |
| |
三向交互 |
| |
一些因素，然後DSD或GO SSD在那裡不合適。 然後，最後，當你想比其他效果更重視某些效果時 |
| |
你唯一的選擇是使用 A 最優設計。 |
| |
所以，關於 A 最優性的部分到此結束，我現在將繼續進行最終的篩選設計。 這些設計首先在 2011 年發表在文獻中，所以它們現在已經 10 歲了。 |
| |
這就是他們的樣子。 這是六因素確定性篩選設計，但確定性篩選設計存在於任何數量的因素，所以它... |
| |
他們非常靈活。 |
| |
什麼...如果我們首先查看第一次和第二次運行，我們會注意到 |
| |
第 1 行中的每個位置都加一，第 2 行中的每個位置都減一，並且第 1 行中的每個位置都減一，第 2 行中的每個位置都加一。 |
| |
所以運行 1 和 2 就像彼此的鏡像，如果我們查看所有這些運行對，它們都是這樣的。 每一個……每一個奇數 |
| |
運行是每個偶數運行的鏡像。 最後我們以一行零結束。 |
| |
我們可能會注意到的另一件事是每個都有幾個零 |
| |
設計中的因素。 |
| |
事實證明，這是一件有用的事情，因為它允許我們估計所有因素的二次效應。 |
| |
這個整體中心運行允許您估計所有因子的所有二次效應，以及截距項。 |
| |
那麼，運行確定性篩選設計的積極後果是什麼？ 出色地， |
| |
如果存在活躍的兩因素交互作用，則不會對任何主效應的估計產生偏差，因此兩因素交互作用和二次效應都與主效應不相關。 |
| |
此外，任何單一的主動兩因素交互作用都可以通過這種設計來識別，以及任何單一的……單一的二次效應。 它和...最後，非常有用 |
| |
這種設計的特點是，如果只有三個因素是活躍的，那麼無論是哪三個因素，您都可以在這三個因素中擬合一個完整的二次模型。 所以和它，如果... |
| |
當然，這也適用於兩個因素或一個因素是活躍的。 |
| |
因此，作為篩選實驗的後續，您也許可以避免進行響應面實驗。 |
| |
現在，為了全面披露，確定性篩選設計在將它們與 D 最優篩選設計進行比較時必須做出權衡，即主效應的參數估計值比參數估計值長約 10%為了 |
| |
D 最優篩選設計。 所以 |
| |
因此，對於這種能力，這是一個很小的代價。 它還估計所有...所有二次效應，並具有並具有針對兩個因素相互作用的保護。 |
| |
因此，讓我們看一個實際篩選設計的小演示。 |
| |
所以 |
| |
我最近和 Chris Nachtsheim 一起寫了一篇關於如何分析確定性篩選設計的論文，以及 |
| |
當我們提交原始論文時，審稿人要求我們提供一個真實的例子。 為一個新的例子提供一個真實的例子有點困難 |
| |
一種設計，因為以前沒有人會這樣做，因為他們沒有聽說過。 因此，但是我們有這種方式來檢測定制設計器，以便我們知道設計需要多長時間才能運行它。 所以我們，我們有一套 |
| |
可以使設計更長的各種因素......需要更長的時間來生產。 例如，其中之一是 |
| |
您使用的隨機啟動次數。 所以這裡是所有人的時間......定制設計師為所有這些示例採取了。 接著 |
| |
如果我們查看 DOE 確定性篩選，有一個名為 Fit Definitive Screening 的自動分析工具，如果您使用 JMP 創建確定性篩選設計， |
| |
腳本總是可用的，所以我們可以看到什麼 |
| |
分析是什麼。 分析分為兩個階段。 首先，主效應擬合，然後二階效應擬合，然後將它們組合。 事實證明，這 |
| |
這個因素 E 是一種類型錯誤，但所有其餘的這些影響實際上都是活躍的，我們知道因為 |
| |
我們還進行了全因子設計 |
| |
在所有這些因素上，以及 |
| |
所以我們知道在這種情況下真正的模型是什麼。 並且因子 E 沒有出現在全因子設計的分析中，但所有這些其他效應，包括因子 A 的平方效應和這三個兩個因素的交互作用都是已確定的真實效應 |
| |
通過明確的屏幕設計。 因此，它被插入到論文中，最終由 Technometrics 發表。 |
| |
那麼我什麼時候會使用 DSD 呢？ |
| |
當大多數因素是連續的時，DSD 效果最好。 |
| |
我們確實有一篇論文展示瞭如何添加最多三個二級因子或二級分類因子，但是當您繼續添加更多二級因子時， |
| |
DSD 表現不佳。 所以你……所以大多數因素需要是連續的。 此外，如果您希望因子效應存在曲率，那麼 |
| |
比如，如果你認為可能存在一個活躍的二次效應，那麼你會想要 |
| |
使用 DSD 優先於兩級篩選設計。 然後，您還可以在使用 DSD 時處理一些兩因素交互作用。 因此，這些就是您使用 DSD 的時代。 |
| |
這就是我現在要對它們說的全部內容，但我想繼續對正交過飽和設計或 GO SSD 進行分組。 |
| |
對不起，嗯。 |
| |
所以這是組正交過飽和設計的相關單元圖的圖片，關於它們的很酷的事情是因子是 |
| |
在一組。 這裡，一組是W1到W4。 這些因素是相關的，但它們與任何其他組因素不相關，因此這些因素是 |
| |
在組之間相互不相關但組內有一點相關性的組中。 而且，當然，由於設計是過飽和的，因此必須存在一些相關性。 我們只是將相關性放在非常方便的地方。 |
| |
所以這裡有一篇關於 |
| |
我們如何構建這些組正交過飽和設計以及許多合著者，包括另一位作者 Ryan Lekivetz |
| |
開發商在 |
| |
JMP DOE 組。 |
| |
這是我的合著者的照片。 |
| |
這是瑞恩。 |
| |
克里斯是一個 |
| |
長期的，大概 30 年，我的同事。 Dibyen Majumdar 是芝加哥伊利諾伊大學的副院長，Jon Stallrich 是北卡羅來納州立大學的教授。 |
| |
因此，我將稍微談談進行過飽和設計的動機，告訴您如何構建 GO SSD，分析 GO SSD，然後將它們與我們的自動分析方法與其他分析方法進行比較。 |
| |
因此，過飽和設計是具有比遊程更多的因素的設計。 因此，例如，您可能有 20 個您感興趣的因素，但運行成本很高，您只能負擔 12 次運行的預算。 所以問題是，這是個好主意嗎？ |
| |
當我去 SAS 的一位同事詢問他對超飽和設計的看法時，他說：“我認為超飽和設計是邪惡的。” |
| |
所以 |
| |
我覺得我的耳朵有點後退，但我還是繼續……繼續實施過飽和設計。 |
| |
不過，我理解蘭迪為什麼會有這種感覺。 過飽和設計的問題是設計矩陣是奇異的，所以你甚至不能做多元回歸，這是擬合模型的標準工具。 還有因子混疊，因為 |
| |
這些因素通常是相關的。 事實上，所有的相關因素……在大多數過飽和設計中，所有因素都與所有其他因素相關，所以你有這種感覺，你不應該期望白白得到一些東西。 |
| |
在早期文學中 |
| |
它們是由 Satterthwaite 在 1959 年引入的，然後 Booth 和 Cox 在 1962 年引入了這個標準 |
| |
為了 |
| |
一種最佳選擇過飽和設計。 |
| |
這個標准在這里基本上是最小化平方相關，平方相關之和，在設計中。 因此，John Tukey 在他對 Satterthwaite 論文的討論中首次使用了“過飽和”這個術語。 |
| |
是……這篇論文是在討論中發表的。 |
| |
很多討論者都非常討厭。 但從 Tukey 的討論中，他說：“當然，Satterthwaite 的方法，即所謂的恆定平衡，只能使我們達到飽和 |
| |
（George Box 精心挑選的術語之一）“飽和設計是一種設計，其中所有的影響都被參數估計所佔據。 |
| |
我的意思是所有的運行都被參數估計佔用。 |
| |
但 Tukey 說，“我認為做一些過飽和實驗是非常自然和明智的，”但基本上其他討論者 |
| |
在很大程度上推翻了這個想法，30年來這個領域沒有發生任何事情。 |
| |
然後在 1993 年有兩篇論文得到 |
| |
幾乎同時出版。 一個是 Jeff Wu 的 Biometrika，另一個是 Dennis Lin 的 Technometrics。 |
| |
Jeff 是佐治亞理工大學可口可樂講座教授，Dennis Lin 現在是普渡大學系主任。 |
| |
那麼什麼時候會使用過飽和設計呢？ 出色地， |
| |
你當然想在運行成本高的時候使用它，因為你知道你的運行次數可以少於因子，因此有很多 |
| |
比使用標準方法所需的設計成本更低，標準方法總是需要至少……至少與因素一樣多。 |
| |
如果你對實驗進行過頭腦風暴，你就會知道當每個人都拿出他們的便利貼並寫下他們認為重要的因素時， |
| |
你最終可能會在牆上貼上幾十個便簽，這代表了一個不可能的因素，至少有人認為它很重要。 |
| |
然後，發生的事情是 |
| |
隨後，只有少數……在過去，這些因素中只有少數被選擇進行試驗，而其他的則被忽略了。 |
| |
這對我來說似乎沒有原則，消除......在沒有數據的情況下消除一堆因素似乎是個壞主意。 |
| |
您可能想要做的另一件事是在計算機實驗中使用它們，因為如果您可能有一個非常複雜的計算機實驗...... |
| |
幾十甚至上百個調優參數……電腦實驗有的，你可以做一個過飽和的設計。 |
| |
那是……如果計算機實驗需要很長時間才能運行，那將特別好，因此您不會想坐下來等待數週才能運行 |
| |
很大 |
| |
不飽和實驗。 |
| |
那麼我們如何構建這些 GO SSD 呢？ |
| |
這是一個小數學，但是 |
| |
我們從一個 Hadamard 矩陣 (H) 開始，我們有並且我們有另一個 Hadamard 矩陣 (T)，我們已經刪除了幾個 |
| |
行，然後我們取這兩個矩陣的 Kronecker 乘積（這裡這個有趣的符號是 Kronecker 乘積），然後創建一個 GO SSD。 |
| |
所以當你形成它的 X 轉置 X 矩陣時，你得到的是這個東西，它創建了一個看起來像這樣的東西，這個矩陣是一個塊方陣，並且 |
| |
並且 X 轉置 X 或信息矩陣中的所有其他元素都為零。 |
| |
這就是創建組正交性的原因。 所以這裡是 |
| |
一個小例子。 這裡，這個 H 是一個正交的 Hadamard 矩陣，而這個 T 就是去掉最後一行的 H。 |
| |
因此，T 和...的 H 和 T 的克羅內克積只是替換了每 1...每 |
| |
矩陣 T 中 H 中的元素 1，以及矩陣中 H 中的每個減一， |
| |
這是T的否定。 |
| |
所以 |
| |
因為 H 是四乘四，T 是三乘四，所以我們用一個三乘四的矩陣代替每個矩陣 |
| |
H 的元素，所以我們想出的是一個 16 列和 12 行的設計。 |
| |
所以它 展開 |
| |
那個例子。 現在在這裡，這就是當你使用......當你做我剛才談到的事情時發生的事情。 所以我們有 12 次運行和 16 列。 第一列是...是用於估計截距的列，因此我們不認為這是一個因素。 |
| |
這是相關性...這是此設計的相關性。 前三個因素……它們之間的相關性更高，而且它們也不平衡。 |
| |
這些列...沒有相同數量的優缺點。 |
| |
其他...所有其他因素具有相同的相關結構， |
| |
他們都 |
| |
有平衡的列。 |
| |
另一件有趣的事是他們的專欄是 |
| |
折疊，因此每組因素的主要影響與這些因素的兩個因素相互作用不相關。 |
| |
現在我和我的合著者所建議的是我們對待前三個因素......不要將它們用作因素，而是因為它們與所有其他因素正交，您可以使用這些列來估計方差 |
| |
以一種不受任何其他因素的任何主要影響的方式......任何因素。 這樣一來，我們就得到了一個無偏估計……一個相對無偏的方差估計，我們可以……這對建模非常有幫助。 |
| |
所以這個特定的明確屏幕的設計屬性....或 GO SSD，對不起，GO SSD |
| |
是我們有三個獨立的四個因素組，因此每個因素組的等級為三，這意味著我可以估計三個......三個因素的影響。 |
| |
在這種情況下，假因子列的等級為 2，因為您是……您正在使用其中之一……其中一個列來估計截距，因此您可以估計 Sigma 平方與兩個自由度。 |
| |
假設二階效應可以忽略不計，該估計是無偏的。 |
| |
所以現在，我可以估計... |
| |
在這三組四個因素中，我可以估計其中的三個。 |
| |
我可以，而且我可以用一個度數來測試每組因素……使用 Sigma 平方，它有兩個自由度。 |
| |
我已經指出，這些因素組是折疊的，而且 |
| |
對兩個因素的相互作用提供了實質性的保護。 |
| |
所以這張表出現在...在 Technometrics 論文中。 我很高興送你 |
| |
那篇論文的副本，如果你給我寫一封電子郵件。 |
| |
我是 Bradley.Jones@jmp.com。 |
| |
只是我的名字@JMP .com。 |
| |
因此，您可以使用很多選擇來創建這些設計。 它是 |
| |
相當靈活。 |
| |
所以 |
| |
在論文中，我們討論瞭如何創建設計，但我們也討論瞭如何分析設計。 所以那些......第一組因素，我們想用來估計方差而不是......而不是將它們用作實際因素。 |
| |
我們使用正交組結構來激活...識別活動組，然後在活動組內，我們進行逐步或所有可能的回歸以 |
| |
識別組內的活躍因素。 在我們進行的過程中，我們可以將非活動組的平方和匯集到 Sigma 平方的估計中，這為我們提供了更多的力量 |
| |
在活躍的因子組中找到活躍的因子。 |
| |
如果你能猜出你的影響跡象的方向，而且你通常知道……你可能不知道影響會有多大，但你知道它們會朝哪個方向發展，那麼你 |
| |
你可以猜測效果是積極的還是消極的。 如果你有一個你認為是負面的效果，你可以聯繫起來……將優點重新標記為缺點，將缺點重新標記為優點，這樣效果……新的效果將是積極的。 |
| |
如果你對所有的負面影響都這樣做，那麼每個 |
| |
在每個組中都是積極的，這可以最大限度地提高您檢測活躍組的能力。 所以我們建議這樣做。 |
| |
所以我們做了一個模擬研究來比較 GO SSD，我們對 GO SSD 的分析程序與標準 |
| |
通用回歸分析...現代回歸分析，如 Lasso 和 Dantzig 選擇器，因此我們有三種不同的分析方法。 |
| |
Dantzig 選擇器、套索和我們的兩到兩階段方法。 我們有三種不同的設計，三種不同的 GO SSD。 我們有我們...的活躍組的數量 |
| |
要么是一個活躍的群體……當你……當你得到更多活躍的群體時，當然，你會……讓設計更難找到所有東西。 接著 |
| |
所有方法的功率都很高，除非所有組都處於活動狀態。 所以 |
| |
在這個設計中，只有三個組和所有的......當你讓它們全部激活時，Dantzig Selector 和 Lasso 的力量很差。 |
| |
但是我們提出的兩階段分析基本上具有 1 的冪，用於估計所有可估計的事物。 |
| |
在這兩種設計中，有七個……七個活動組和 |
| |
因此，當所有這些都處於活動狀態時，Dantzig Selector 和 Lasso |
| |
表現不如我們推薦的兩階段方法。 所以 |
| |
我們的兩階段方法正在做的是使用設計的結構來告知我們的分析方法。 Dantzig 選擇器，套索不...不關心數據的結構是什麼。 事實上，它們被用於任意觀察 |
| |
分析，以及分析設計的實驗。 所以你會期望一個通用的過程可能不如一個有建設性的過程那麼好 |
| |
分析這種設計的純粹目的。 |
| |
434 |
| |
258 |
| |
259 |
| |
260 |
| |
261 |
| |
262 |
| |
263 |
| |
264 |
| |
265 |
| |
266 |
| |
267 |
| |
268 |
| |
269 |
| |
270 |
| |
271 |
| |
272 |
| |
273 |
| |
274 |
| |
275 |
| |
276 |
| |
277 |
| |
278 |
| |
279 |
| |
280 |
| |
281 |
| |
282 |
| |
283 |
| |
284 |
| |
285 |
| |
286 |
| |
287 |
| |
288 |
| |
289 |
