揚聲器
|
成績單
|
| 布拉德瓊斯 |
你好，謝謝你加入我。 我叫 Bradley Jones，在 JMP 開發部門工作，今天我們將討論 21 世紀的篩選設計。 |
| |
JMP 過去一直是篩選實驗的創新者。 |
| |
好吧，我想說的是過去十年左右。 我要談三個 |
| |
不同類型的篩選設計，並告訴您它們是什麼、如何使用它們，以及何時應該優先使用其中一種。 |
| |
因此，我要討論的三種篩選設計是 A 最優篩選設計、最終篩選設計（或 DSD）和群體正交過飽和設計（或 GO SSD）。 |
| |
首先讓我介紹一下 A 最優篩選設計。 A 最優設計可最小化模型參數估計的平均變異數。 |
| |
請記住...記住這一點的方式，A 最優代表平均，所以 A 平均。 |
| |
相較之下，D 最優設計透過最大化資訊矩陣的行列式來最小化參數估計周圍的置信橢球體的體積。 所以就這麼多字 |
| |
從行列式很難看出為什麼這一切都是正確的。 但你可以記住 D-optimal D-optimal 中的 D 代表行列式。 |
| |
那為什麼我說我們應該進行 A 最優篩選設計呢？ 20 年來，D 最優設計一直是客製化設計器的預設設計。 我們為什麼要改變？ |
| |
嗯，我的第一個原因是 A 最優...A 最優準則比 D 準則更容易理解。 |
| |
大家都知道什麼是平均數。 |
| |
參數估計的平均值是 |
| |
直接相關 |
| |
參數估計的平均變異數與您檢測特定主動效應的能力直接相關。 |
| |
D 標準談論的是這個全域置信橢球體，並沒有告訴你任何 |
| |
精確估計任何一個參數的特殊能力。 |
| |
所以，所以我認為A最優準則比較容易理解。 |
| |
但更重要的是，當 A 最優設計與 D 最優設計不同時，A 最優設計往往具有較好的統計特性。 確實，很多時候，A 最優設計和 D 最優設計…A 最優篩選設計和 D 最優篩選設計是相同的。 |
| |
但有時它們是不同的，當它們不同時，我真的更喜歡 A 最優設計。 |
| |
所以我想用一個例子來激勵你。 我的第一個例子是…假設我有四個連續因子。 |
| |
我想擬合一個包含這些因素的所有主要影響及其所有兩個因素交互作用的模型。 所以有四個主效果和六個二因子交互作用，但我只能承擔 12 次運行。 |
| |
所以我要做一個 JMP 演示。 在該演示中，我將針對這種情況進行 D 最優設計，針對這種情況進行 A 最優設計，然後比較這兩種設計。 |
| |
因此，我將在這裡打開我的 JMP 日誌並轉到第一個案例，這是具有兩個因子交互作用和 12 次運行的四個因子。 |
| |
這個腳本使我不必實際創建 D 最優設計。 只要相信它是 D 最優的即可。 這是 D 最優設計。 您注意到設計中的所有數字要么是正數，要么是負數。 |
| |
這是 A 最優設計，這裡有一個驚喜。 在第一列中，您會看到 X1 有四個零， |
| |
而 X2、3 和 4 都有正負。 所以這有點令人驚訝。 這是一件好事……所有這些因素都是連續的，但現在讓我們比較這兩種設計。 |
| |
因此，為了開始比較，讓我們來看看參數估計的相對效率。 |
| |
這是A最優設計到D最優設計的效率。 因此，當...當數字大於 1 時，這表示 A 最優設計比 D 最優設計更有效。 |
| |
有一個參數對於 A 最優設計來說效率較低，但其餘所有參數的效率都較低。 |
| |
參數的估計值至少與 D 最優設計一樣好，其中許多參數的估計值比 A 最優設計高出 15%。 |
| |
我想向你們展示另一件事，那就是這個。 |
| |
這是這兩種設計的相關單元格圖，您可以看到 D 最優設計在...上具有各種相關性。 |
| |
此處偏離對角線，最高可達 33.33；這是第三個。 |
| |
而且，還有很多其他的，而 A 最優設計只有三個 |
| |
成對相關性不為零。 這組成對相關性中的其他所有內容實際上為零，並且主效應全部彼此正交，並且第一個主效應與所有兩個因子相互作用正交。 |
| |
許多兩個因素的相互作用也是相互正交的。 所有這些正交性意味著它會更容易製作 |
| |
A 最優設計的模型選擇決策優於 D 最優設計的模型選擇決策。 我想您可能感興趣的另一件事是 A 最優設計的 G 效率比 D 最優設計好 87% 以上。 G效率是什麼，是 |
| |
最大值...它是參數空間內預測最大變異數的量測。 所以 |
| |
D 最優設計的最大變異數預測為 |
| |
幾乎是最大變異數和預測的兩倍 |
| |
A-最優設計。 |
| |
和 |
| |
此外，A 最優設計的 I 效率比 D 最優設計好 14% 以上。 因此，基於所有這些原因，我認為在這種情況下 A 最優設計優於 D 最優設計是非常明確的。 |
| |
那麼就讓我清理一下。 |
| |
回到幻燈片，這就是您剛剛看到的圖片。 |
| |
但我想在 JMP 中向您展示它。 那麼讓我們繼續討論我喜歡 A 最優設計的另一個原因。 |
| |
A 最優設計允許對參數組賦予不同的權重。 那麼這意味著什麼呢？ 在 D 最優設計中，您可以， |
| |
理論上，對不同參數的權重更大......某些參數比其他參數更多，但是 |
| |
這樣做時，您不會更改已建立的設計。 |
| |
....無論您使用什麼權重，仍然會給您相同的...相同的設計，因此這意味著 D 最優設計中的權重沒有用。 實際上， |
| |
對於大多數變異數最適性標準，包括 I 最優設計，加權並不能幫助您更重視 |
| |
在設計上就在參數上。 但在 A 最優設計中，當您對參數進行加權時，您可以實現不同的設計，這在某些情況下可能有用 |
| |
案例。這是我的加權 A 最優設計範例。 假設我現在有五個連續因子，並且我想擬合一個具有所有主效應和所有兩個因子交互作用的模型。 所以我有 |
| |
五個主效果和十個二因子交互作用，我只能承擔 20 次運行。 所以我更關心能夠準確估計主要影響，因為我認為 |
| |
主要影響將大於兩個因素的交互作用。 我想要……我想要對它們進行非常好的估計。 |
| |
所以我要做的是…再次為這種情況進行 D 最優設計。 我將為這個案例做一個加權 A 最優設計。 然後我將比較這些設計。 所以這是一張照片 |
| |
演示的。 這是 D 最優設計，我們再次看到它都是正負設計。 |
| |
這是 A 最優設計，其中…我對主效應進行了加權，使其比兩個因素的相互作用重要 10 倍。 現在我想比較這兩種設計。 |
| |
現在，在這種情況下， |
| |
我現在正在研究 D 最優設計的 D 效率…相對於 A 最優設計，因此 A 最優設計在以下情況下更好： |
| |
數字小於一。 我們發現，對於所有主要效應，A 最優設計在估計它們方面做得更好 |
| |
比 D 最優設計。 當然，您必須為此付出代價，因為在加權...降低兩個因素交互作用的權重時，您估計這些因素的精確度會稍差一些。 |
| |
所以這是一種權衡，但你說……你說你更……或者我說我對兩個因素相互作用的主要影響更感興趣，所以這就是我得到的。 |
| |
但這裡是這個比較...相關性比較是您可能喜歡 A 最優設計而不是 D 最優設計的另一個原因。 |
| |
在 D 最優設計中，有較多的成對相關性。 請注意，在 A 最優設計中，所有主效應都與所有兩個因素的交互作用完全正交。 |
| |
您可以看到相關單元格圖的整個區域...為白色，這意味著零相關性。 |
| |
主效果彼此不正交，只是X1和X2都與X3和4或5正交，也就是說它們的兩兩相關為零。 |
| |
但有一些小的相關性 |
| |
之間 |
| |
X1和X2以及X3、4和5之間， |
| |
.2 的相關性。 |
| |
但是這個圖中有很多正交性，比上面的多很多 |
| |
在裡面 |
| |
D 最優設計。 |
| |
因此，如果您確實願意，如果您確定希望能夠比估計兩個因子交互作用更好地估計主效應，那麼 A 最優設計將再次優於 D 最優設計。 |
| |
我不想關閉所有內容，因為那樣也會關閉我的日記。 |
| |
好的，回到幻燈片。 |
| |
那我什麼時候想使用 A 最優篩選設計呢？ |
| |
出色地， |
| |
我將向您介紹 DSD 和 GO SSD |
| |
在此之後，但每當它們不合適時，您就會使用 A 最優篩選設計，這在現實世界中可能經常出現。 |
| |
當您有許多分類因素並且某些分類因素可能有兩個以上等級時，您就無法使用 DSD 或 GO SSD。 |
| |
如果某些因素水平組合不可行，例如，如果設計空間的某個角落運行沒有意義， |
| |
那麼您將必須使用 A 最優設計，因為 JMP 中的自訂設計器支援該設計，並且可以處理不可行的組合， |
| |
透過不允許的組合或不平等約束。 或者，例如，如果您想要擬合一個非標準模型，您可能會 |
| |
想要適合 |
| |
三向交互 |
| |
由於某些因素，DSD 或 GO SSD 在那裡不合適。 最後，當您想要比其他效果更重視某些效果時 |
| |
您唯一的選擇是使用 A 最優設計。 |
| |
那麼，關於 A 最優性的部分就到此結束，我現在將繼續進行最終的篩選設計。 這些設計最早在 2011 年在文獻中發表，所以它們現在已經有 10 年的歷史了。 |
| |
這就是它們的樣子。 這是六因素最終篩選設計，但最終篩選設計存在多種因素，因此... |
| |
他們非常靈活。 |
| |
這是什麼......如果我們先看第一次和第二次運行，我們注意到 |
| |
運行號 1 中的每個位置加一，運行號 2 中的每個位置減一，行號 1 中的每個位置減一，行號 2 中的每個位置加一。 |
| |
因此，運行 1 和運行 2 就像彼此的鏡像，如果我們查看所有這些運行對，它們都是這樣的。 每...每一個奇怪的 |
| |
run 是每個偶數運行的鏡像。 最後我們以一行零結束。 |
| |
我們可能注意到的另一件事是每個都有幾個零 |
| |
設計中的因素。 |
| |
事實證明，這是一件有用的事情，因為它使我們能夠估計所有因素的二次效應。 |
| |
這個整體中心運行允許您估計所有因素的所有二次效應以及截距項。 |
| |
那麼，執行明確的篩選設計會產生哪些正面後果？ 出色地， |
| |
如果存在主動的雙因素交互作用，則不會使任何主效應的估計值產生偏差，因此就這一點而言，兩因素交互作用和二次效應均與主效應不相關。 |
| |
此外，任何單一主動雙因素交互作用以及任何單一...單一二次效應都可以透過此設計來識別。 它和...最後的，非常有用 |
| |
此設計的特性是，如果只有三個因子處於活動狀態，則無論是哪三個因子，都可以在這三個因子中擬合完整的二次模型。 那麼它和如果... |
| |
當然，這也適用於兩個因素或一個因素處於活躍狀態。 |
| |
因此，您或許能夠避免進行響應曲面實驗，作為篩選實驗的後續實驗。 |
| |
現在，為了充分揭露，確定性篩選設計在與 D 最優篩選設計進行比較時必須做出權衡，即主效應的參數估計值比參數估計值長約 10%為了 |
| |
D 最優篩選設計。 所以 |
| |
不過，對於這種能力來說，這只是一個很小的代價。 它還估計所有...所有二次效應，並具有針對兩個因素相互作用的保護。 |
| |
那麼，讓我們來看看實際的最終篩選設計的一個小演示。 |
| |
所以 |
| |
我最近與 Chris Nachtsheim 寫了一篇關於如何分析最終篩選設計的論文，以及 |
| |
當我們提交原始論文時，審查者要求我們提供一個真實的例子。 為新的事物提供一個真實的例子是有點困難的 |
| |
一種設計，因為以前沒有人這樣做過，因為他們沒有聽說過。 因此，我們有這種方法來檢測客製化設計人員，以便我們知道設計需要多長時間才能運作。 所以我們有一套 |
| |
各種因素都會使設計變得更長......需要更長的時間來生產。 例如，其中之一是 |
| |
您使用的隨機啟動次數。 所以這是定制設計師為所有這些示例所採取的所有人的時間。 進而 |
| |
如果我們查看 DOE 最終篩選，您會發現有一個名為 Fit Definitive Screening 的自動分析工具，如果您使用 JMP 建立最終篩選設計， |
| |
腳本始終可用，因此我們可以看到什麼 |
| |
分析是什麼。 分析分為兩個階段。 首先擬合主效應，然後擬合二階效應，然後將它們組合起來。 事實證明，這 |
| |
這個因素 E 是第一類錯誤，但所有其他影響實際上都是活躍的，我們知道因為 |
| |
我們也進行了全因子設計 |
| |
考慮所有這些因素，並且 |
| |
所以我們知道這種情況下的真實模型是什麼。 因子 E 沒有出現在全因子設計的分析中，但所有其他效應，包括因子 A 的平方效應和這三個兩個因子的相互作用，都是已確定的真實效應 |
| |
透過最終的螢幕設計。 因此，這一點被插入到論文中，最終由 Technometrics 發表。 |
| |
那什麼時候我會使用 DSD 呢？ |
| |
當大多數因素都是連續的時，DSD 效果最佳。 |
| |
我們確實有一篇論文展示瞭如何添加最多三個二因子或二水平分類因子，但是當您繼續添加更多二水平因子時， |
| |
DSD 表現不佳。 所以你...所以大多數因素需要是連續的。 另外，如果您預期因子效應存在曲率，那麼 |
| |
例如，如果您認為可能存在主動二次效應，那麼您會想要 |
| |
使用 DSD 優先於兩層篩選設計。 然後，您也可以在使用 DSD 時處理一些兩因素交互作用。 所以這些就是你會使用 DSD 的時候。 |
| |
這就是我現在要說的所有內容，但我想繼續討論分組正交超飽和設計或 GO SSD。 |
| |
對不起，嗯。 |
| |
這是一組正交過飽和設計的相關單元圖的圖片，其中最酷的一點是因子是 |
| |
在一組。 這裡，一組是W1到W4。 這些因素是相關的，但它們與任何其他因素組都不相關，因此這些因素是 |
| |
在組別之間互不相關但在組內有一點相關的組別。 當然，由於設計已經過飽和，因此必須存在某種相關性。 我們只是將相關性放在非常方便的地方。 |
| |
所以這裡有一篇論文 |
| |
我們如何建構這些群正交超飽和設計以及許多合著者的陣容，包括 Ryan Lekivetz，他是另一位 |
| |
開發商在 |
| |
美國能源部 JMP 小組。 |
| |
這是我的合著者的照片。 |
| |
這是瑞安。 |
| |
克里斯是一個 |
| |
長期的，大概30年，我的同事。 Dibyen Majumdar 是芝加哥伊利諾大學副院長，Jon Stallrich 是北卡羅來納州立大學教授。 |
| |
因此，我將談談進行超飽和設計的動機，告訴您如何建立 GO SSD、分析 GO SSD，然後將它們與我們的自動分析方法和其他分析方法進行比較。 |
| |
因此，超飽和設計是一種因素多於遊程的設計。 例如，您可能有 20 個感興趣的因素，但運行費用昂貴，而且您只能承擔 12 次運行的預算。 所以問題是，這是個好主意嗎？ |
| |
當我去 SAS 的一位同事詢問他對超飽和設計的看法時，他說：“我認為超飽和設計是邪惡的。” |
| |
所以 |
| |
我感覺我的耳朵有點後縮，但我還是繼續…繼續實施超飽和設計。 |
| |
不過，我理解蘭迪為什麼會有這樣的感覺。 超飽和設計的問題在於設計矩陣是奇異的，因此您甚至無法進行多元迴歸，而多元迴歸是擬合模型中的標準工具。 還有因子混疊，因為 |
| |
這些因素通常是相關的。 事實上，所有的相關性…在大多數過飽和的設計中，所有的因素都與所有其他因素相關，所以你有一種感覺，你不應該期望不勞而獲。 |
| |
在早期文學中 |
| |
它們由 Satterthwaite 於 1959 年引入，然後 Booth 和 Cox 於 1962 年引入了該標準 |
| |
為了 |
| |
一種最佳選擇過飽和設計。 |
| |
這裡的這個標準基本上是最小化設計中的平方相關性、平方相關性總和。 因此，約翰·圖基 (John Tukey) 在他對薩特思韋特論文的討論中首次使用了「過飽和」這個術語。 |
| |
那是……論文發表並進行了討論。 |
| |
許多討論者的態度都非常惡劣。 但從圖基的討論來看，他說：「當然，薩特思韋特的方法，即所謂的恆定平衡，只能使我們達到飽和狀態。 |
| |
（George Box 精心挑選的術語之一）「飽和設計是一種所有效應都由參數估計來承擔的設計。 |
| |
我的意思是所有運行都由參數估計佔用。 |
| |
但圖基說，“我認為做一些過飽和實驗是非常自然和明智的”，但基本上其他討論者 |
| |
這個想法在很大程度上受到了批評，30 年來這個領域沒有任何進展。 |
| |
然後在1993年有兩篇論文得到了 |
| |
幾乎同時發布。 由 Jeff Wu 撰寫的《Biometrika》，另一篇由 Dennis Lin 撰寫的《Technometrics》。 |
| |
傑夫是喬治亞理工學院可口可樂教席教授，丹尼斯林現任普渡大學系主任。 |
| |
那麼什麼時候會使用過飽和設計呢？ 出色地， |
| |
當運行成本昂貴時，你當然想使用它，因為這樣你，知道你，可以比因子更少的運行，因此有更多 |
| |
比使用標準方法所需的設計成本更低，標準方法總是要求至少...至少與因子一樣多的運行次數。 |
| |
如果你做過腦力激盪實驗，你就會知道，當每個人拿出便利貼並寫下他們認為重要的因素時， |
| |
你最終可能會在牆上貼上幾十張便利貼，代表一個不可能的因素，但至少有人認為它很重要。 |
| |
然後，發生的事情是 |
| |
隨後，只有少數…在過去，只選擇其中少數幾個因素進行實驗，而其他因素則被忽略。 |
| |
在我看來，這似乎沒有原則，消除……在沒有數據的情況下消除一堆因素似乎是一個壞主意。 |
| |
您可能想做的另一件事是在計算機實驗中使用它們，因為如果您可能有一個非常複雜的計算機實驗... |
| |
電腦實驗有幾十個甚至幾百個調整參數，你可以做一個超飽和設計。 |
| |
如果計算機實驗需要很長時間才能運行，那將是特別好的，因此您不想坐下來等待數週才能運行 |
| |
很大 |
| |
不飽和實驗。 |
| |
那我們要如何建構這些GO SSD呢？ |
| |
這是一個小數學，但是 |
| |
我們從一個 Hadamard 矩陣 (H) 開始，我們有另一個 Hadamard 矩陣 (T)，我們已經刪除了幾個 |
| |
行，然後我們取這兩個矩陣的克羅內克積（這裡這個有趣的符號是克羅內克積），然後創建一個 GO SSD。 |
| |
因此，當你形成它的 X 轉置 X 矩陣時，你得到的是這個東西，它創建了看起來像這樣的東西，其中這個矩陣是一個塊方陣，並且 |
| |
X 轉置 X 或資訊矩陣中的所有其他元素均為零。 |
| |
這就是創建群正交性的原因。 所以這裡是這裡 |
| |
一個小例子。 這裡，這個H是一個正交Hadamard矩陣，這個T只是H去掉最後一行。 |
| |
所以 T 和...H 和 T 的克羅內克積只需替換每 1...每 |
| |
H 中的元素 1 由矩陣 T 表示，並且 H 中的每個減一由矩陣表示， |
| |
這是 T 的負數。 |
| |
所以 |
| |
因為 H 是四乘四，T 是三乘四，所以我們用一個三乘四矩陣來代替每個單一矩陣 |
| |
H 的元素，所以我們得到的是 16 列 12 行的設計。 |
| |
所以它擴展了 |
| |
那個例子。 現在，這就是當您使用...當您執行我剛才談到的操作時會發生的情況。 所以我們有 12 次運行和 16 列。 第一列是...是您用來估計截距的列，因此我們不認為這是一個因素。 |
| |
這是相關性...這是此設計的相關性。 前三個因素……彼此之間相關性較高，而且不平衡。 |
| |
這些列......沒有相同數量的優點和缺點。 |
| |
其他...所有其他因素都具有相同的相關結構， |
| |
他們都 |
| |
有平衡列。 |
| |
另一件有趣的事情是他們的專欄是 |
| |
折疊，因此每組因素的主要影響與這些因素的兩個因素交互作用不相關。 |
| |
現在，我和我的合著者建議我們對待前三個因素......不是不將它們用作因素，而是因為它們與所有其他因素正交，所以您可以使用這些列來估計方差 |
| |
以一種不受任何其他…任何因素的主要影響的方式。 這樣，我們就得到了一個無偏估計…我們可以得到一個相對無偏的變異數估計…這對於建模非常有幫助。 |
| |
所以這個特定的最終螢幕的設計特性......或 GO SSD，抱歉，GO SSD |
| |
是我們有三個獨立的組別，每個組別有四個因素，因此每個因素組的排名為三，這意味著我可以估計三個…三個因素的影響。 |
| |
在這種情況下，假因子列的等級為 2，因為您...您正在使用其中一列...其中一列來估計截距，因此您可以估計兩個自由度的西格瑪平方。 |
| |
假設二階效應可以忽略不計，這個估計是無偏的。 |
| |
所以現在，我可以估計...的影響 |
| |
在這三組四個因素中，我可以估計其中的三個。 |
| |
我可以，我可以測試每組因素，用一個度數......用有兩個自由度的西格瑪平方。 |
| |
我已經指出這些因素組是折疊的並且 |
| |
提供兩個因素交互作用的實質保護。 |
| |
所以這個表格出現在…技術計量學論文中。 我很高興寄給你 |
| |
如果你給我寫一封電子郵件，你就可以拿到那篇論文的副本。 |
| |
我是 Bradley.Jones@jmp.com。 |
| |
只是我的名字@JMP .com。 |
| |
因此，您可以使用多種選擇來創建這些設計。 它是 |
| |
相當靈活。 |
| |
所以 |
| |
在論文中，我們討論瞭如何創建設計，但我們也討論瞭如何分析設計。 因此，我們希望使用這些...第一組因素來估計方差，而不是...而不是將它們用作實際因素。 |
| |
我們使用正交組結構來活動...識別活動組，然後在活動組內，我們進行逐步回歸或所有可能的回歸 |
| |
辨識群體內的活躍因素。 隨著我們的進展，我們可以將不活躍組的平方和匯集到西格瑪平方的估計中，這為我們提供了更多的動力 |
| |
在活躍因素組中尋找活躍因素。 |
| |
如果你能猜測你的影響跡象的方向，並且通常你知道......你可能不知道影響會有多大，但你知道它們會朝哪個方向發展，你知道 |
| |
你可以猜測效果是正面的還是負面的。 如果你有一個你認為是負面的影響，你可以將優點與缺點聯繫起來，將缺點與優點聯繫起來，這樣效果...新的效果將是積極的。 |
| |
如果你對所有負面影響都這樣做，那麼每個影響中的所有影響 |
| |
每個組別中的值都是正面的，這可以最大限度地提高您檢測活躍組的能力。 所以我們建議這樣做。 |
| |
所以我們做了一個模擬研究來比較 GO SSD，我們對 GO SSD 與標準的分析程序 |
| |
通用迴歸分析...現代迴歸分析，如 Lasso 和 Dantzig 選擇器，所以我們有三種不同的分析方法。 |
| |
Dantzig 選擇器、Lasso 和我們的兩到兩階段方法。 我們有三種不同的設計，三種不同的 GO SSD。 我們有很多活躍的團體... |
| |
任一活躍組...當您...當您獲得更多活躍組時，當然，您會...使設計更難找到所有內容。 進而 |
| |
所有方法的功效都很高，除非所有組別都處於活動狀態。 所以 |
| |
在這個設計中，只有三組並且全部...當您將所有組都啟動時，Dantzig 選擇器和套索的功能非常差。 |
| |
但我們提出的兩階段分析基本上具有 1 的冪來估計所有可估計的東西。 |
| |
在這兩個設計中，有七個...七個活躍組和 |
| |
因此，當它們全部處於活動狀態時， Dantzig 選擇器和套索 |
| |
其性能幾乎不如我們推薦的兩階段方法。 所以 |
| |
我們的兩階段方法正在做的是使用設計的結構來為我們的分析方法提供資訊。 Dantzig 選擇器、Lasso 不...不關心資料的結構是什麼。 事實上，它們被用於任意觀察 |
| |
分析，以及分析設計的實驗。 因此，您可能會認為通用流程可能不如對特定專案有建設性的流程那麼好。 |
| |
分析這種設計的純粹目的。 |
| |
第434章 |
| |
258 |
| |
第259章 |
| |
260 |
| |
261 |
| |
262 |
| |
263 |
| |
264 |
| |
265 |
| |
266 |
| |
第267章 |
| |
268 |
| |
269 |
| |
270 |
| |
第271章 |
| |
第272章 |
| |
273 |
| |
274 |
| |
275 |
| |
276 |
| |
第277章 |
| |
278 |
| |
第279章 |
| |
280 |
| |
第281章 |
| |
第282章 |
| |
第283章 |
| |
第284章 |
| |
第285章 |
| |
第286章 |
| |
第287章 |
| |
288 |
| |
第289章 |
