349240_zh-TW

liliconcom

重新思考實驗的設計和分析？ (2021-EU-30MP-776)

級別：中級

 

Phil Kay，JMP 高級系統工程師，SAS
Peter Hersh，SAS JMP 技術支持工程師

 

科學家和工程師設計實驗來了解他們的流程和系統：找到關鍵因素並使用有用的模型進行優化和控制。 實驗的統計設計可確保您可以通過實驗工作做更多的事情並更快地解決問題。 但這些方法的實際實施通常需要接受某些假設（包括效應稀疏性、效應遺傳以及主動或非主動效應），這些假設並不總是與該領域的知識和經驗相適應。 機器學習方法能否克服其中一些挑戰，並在無需額外成本的情況下通過實驗提供更豐富的理解？ 這會是實驗設計和分析的一場革命嗎？

本演講將探討使用 Chris Gotwalt 和 Phil Ramsey 開發的自動驗證技術來分析工業實驗的潛在好處。 將提供案例研究示例，以將傳統工具與自動驗證技術在篩選重要效應以及構建預測和優化模型方面進行比較。

 

 

我們無法回答問答中的所有問題，所以這裡是......

 

我看到權重不在0-1之間，它們是如何生成的？

它們是“分數加權”的。 這是啟用該方法的關鍵技巧。 在 JMP Pro 的 Gen Reg 中，我們在 Freq 角色中使用它。 您可以使用這個插件用於 JMP Pro 15 生成帶權重的重複表。我們可以推薦Chris Gotwalt 和 Phil Ramsey 的演講解釋權重的深層統計細節。

 

當您複製行時，它們會被複製並具有相同的輸出結果嗎？ 這種重複的目的是什麼？

是的，它們是重複的，具有相同的響應。 僅僅這樣做並繼續分析是一個壞主意。 這裡的關鍵創新在於它們是分數加權的，這樣它們在驗證集的一部分中具有較低的權重，而在另一驗證集中具有較高的權重。 例如，“訓練”中權重較低的運行將具有“驗證”中權重較高的重複對。 一些重複對在訓練和驗證中將具有更平等的權重。

 

我們使用這些權重來擬合模型，以確定每次運行有多少進入訓練，有多少進入驗證。 然後我們重新繪製權重並擬合另一個模型。 我們重複這個過程數百次。 然後，我們使用所有這些模型的結果，要么從其非零比例中篩選重要影響，要么通過對所有單獨模型進行平均來構建有用的模型。

是否可以在普通的非專業版 JMP 15 版本中運行該插件？

很有可能。 您可以運行該插件，但您需要 JMP Pro 才能在分析中利用驗證列 - 這至關重要。

它如何處理分類變量？

我們提供了僅包含連續變量的示例。 一個很好的功能是它適用於任何模型和任何變量類型。

現在這是公認的方法嗎？

一句話，不。 還沒有。 我們的動機是讓人們意識到這種方法，以刺激有興趣探索該方法的人們並提供批判性反饋。 正如我們在演示中明確指出的，我們不建議您將其用作實驗的唯一分析。 如果您喜歡這個想法，請嘗試一下，看看它與其他方法相比如何。

 

話雖如此，模型平均和保留驗證的想法在更大的數據情況下得到了認可。 看來這對於設計實驗的較小數據的世界應該是有益的。

您手動執行重複步驟嗎？

不，這是由插件或 JMP Pro 16 中的平台作為自動驗證設置的一部分完成的。 您可以輕鬆地自己創建重複的行。 更困難的部分是設置分數加權，沒有它分析將無法進行。

 

貝葉斯也使用了大量的模擬（MCMC），它也適用嗎？ 整合先驗分佈和後驗分佈？
很有可能。 使用引導模型平均進行分數加權驗證的總體思想很可能適用於許多其他領域。

 

 

自動生成的成績單...

 

揚聲器	成績單
菲爾·凱	好的，我們將討論重新思考實驗的設計和分析。 我是菲爾·凱。 我是全球技術支持團隊的學習經理，Pete Hersh 也加入了我的行列。
彼得·赫什	是的，我也是全球技術支持團隊的成員，很高興談論 DOE 以及我們今天正在探索的一些新技術。
菲爾·凱	首先要說的是，我們是能源部的忠實粉絲。 這很棒。 長期以來，它在科學和工程領域具有巨大的價值。
	話雖如此，為了大量使用能源部，我們必須接受一些假設。
	作為一名科學家或工程師，他們並不總是感到非常舒服。 所以像效果稀疏這樣的東西，所以這個想法並不是你所看到的一切都很重要
	事實上，只有少數你正在嘗試的事情被證明是重要的。 或者說效應遺傳是另一種假設。
	因此，這意味著我們只期望看到以簡單形式活躍的因素的複雜行為或高階效應。
	而且，正是這種主動效應和非主動效應的想法，通常情況下，實驗設計的順序過程就是從非主動效應中篩選出主動效應。
	有時這感覺像是一個太多的二元決定。 我認為，很多時候，這似乎有點瘋狂，我們正在完全不活躍地試驗一些東西，
	我想我們真的知道，一切都會產生一些影響。 這可能不太重要，但是
	它仍然會產生一些影響。 這些很大程度上是我們使用的假設
	當您無法承擔大量運行的費用時，可以克服設計實驗的一些挑戰，是的。 Pete，我不知道你是否也想從你的角度對此發表評論。
彼得·赫什	是的，我完全同意。 我認為溫度不活躍這樣的想法是……我認為很難想像溫度對實驗沒有影響。
菲爾·凱	是的，這有點荒謬，不是嗎？ 所以，
	是的，如果這是在你的實驗中，那麼它總是會以某種方式活躍，但可能不像其他事情那麼重要。
	所以我要直接跳到結果
	我們所看到的。 所以我們一直在研究 Chris Gotwalt 和 Phil Ramsey 發明的自動驗證技術
	並在設計實驗的分析中使用它，它確實提供了瘋狂的結果。 我們只是認為它們不可能。
	因此，首先我查看了一個具有 13 種主動效應的系統，並分析了 13 次運行的最終篩選設計，從中我能夠識別出 13 種效應是活躍的，這就是……這就是我們所說的飽和情況。 我們不會...
	通常，我們討論過明確的篩選設計，當我們存在效應稀疏性時，當只有少數實際上重要或活躍的效應時，它可以有效地識別主動效應。 但在本例中，我成功識別了所有 13 種主動效應。
	不僅如此，實際上能夠從這 13 次運行的最終篩選設計中建立一個包含所有 13 種活性效應的模型。
	所以，這又有點令人難以置信；我們不期望能夠擁有一個具有與我們構建模型的數據行一樣多的主動效果的模型。
	皮特，你研究了其他一些東西並得到了一些其他非常有趣的結果。
彼得·赫什	是的，絕對如此，而且菲爾的成績非常非常令人印象深刻。 我認為
	我們嘗試的下一步是製作超飽和設計，這比跑步效果更活躍，我們嘗試了以下方法：
	非常小的 DOE。 因此，六次運行的 DOE 具有七個主動效應，如果我們採用標準 DOE 技術，則無法分析
	正確地說。 我們將其與 8 次和 10 次運行的 DOE 進行比較，以及這給我們帶來了多少錢。 所以我們得到了相當有用的模型，即使是來自六次運行的 DOE，這是
	比我預期的要好。
菲爾·凱	是的，這比你想像的要好，不是嗎？
	因此，我們得到了這些非常令人印象深刻的結果，並且能夠從很小的影響中識別出大量的活性效應。
	明確的屏幕設計並實際構建具有所有這些主動效果的模型。 在皮特的例子中，我已經能夠從非常小的數據中建立一個具有七個主動效果的模型
	設計了實驗。
	那麼，我們是如何做到這一點的呢？ 自動驗證方法如何工作？ 嗯，它從機器學習中汲取靈感，而機器學習中真正有用的工具之一就是驗證。 因此，堅持驗證是確保您構建的一個非常好的方法
	最有用的模型。 所以這是一個穩健的模型。 因此，我們保留了一部分數據，用它來測試我們構建的不同模型，並且
	基本上，對我們所提供的數據進行最佳預測的模型就是我們所使用的模型，並且這只是經過真正嘗試和測試的模型。
	實際上，這幾乎是構建最有用模型的黃金標準，但對於 DOE 來說，這是一個更大的挑戰，不是嗎，Pete？ 它顯然並不適合這樣做。
彼得·赫什	是的，是的，能源部背後的整個想法是盡可能有效地探索設計空間。 如果我們開始堅持跑步或堅持
	運行分析，那麼我們將錯過部分設計空間
	我們確實無法通過許多能源部技術（例如最終篩選設計）來做到這一點。
菲爾·凱	是的，是的，所以如果有一些技巧可以讓我們從這種保留驗證中受益，並且不會因保留關鍵數據而受到影響，那就太好了。 這給我們帶來了自動驗證
	想法，皮特，你想描述一下它是如何工作的嗎？
彼得·赫什	絕對，所以這是克里斯和菲爾拉姆齊開發的一個真正聰明的想法，他們基本上從能源部獲取我們的原始數據，然後重新採樣，所以你
	重複結果。 因此，如果您注意到幻燈片底部的表格，灰色的運行與白色的運行結果相同。 它們只是重複而已。
	他們解決這個問題的方法是製作一個配對的加權列。 所以基本上，如果一個人的體重很高，
	重複運行的速率較低...重量等等。 這……這……使我們能夠使用經過驗證和加權的數據，我們將更詳細地介紹如何完成此操作。
菲爾·凱	是的，當我們進行演示時，您會看到它是如何發生的。 因此，我們基本上有兩個模擬示例的案例研究，我們用它們來說明這種方法。 所以我要講的第一個案例研究
	我強調這是一個模擬的例子。 在某些方面，這是一個不切實際的例子，但我認為它很好地展示了這種方法的力量。
	我們有六個因素，為了讓它看起來更真實，我們從這裡的案例研究中選擇了一些真實的因素，他們試圖種植一些生物有機體並優化它們輸入系統的營養物質以優化增長率。
	所以我們有這六種不同的營養素，這些就是我們的因素。 我們可以添加不同數量的這些因素，因此我設計了一個 13 次運行的最終篩選設計，以探索具有這種增長率響應的這些因素。
	而且反應數據完全是我模擬的，模擬出有13個強活性效果。 所以
	我對其進行了模擬，因此所有主要效果（所有六個主要效果）均處於活動狀態。
	然後，對於每個因素，二次效應也很活躍，因此我們有六個二次效應。
	另外，我們還有一個始終需要估計的截距，因此總共有 13 個活躍效應，這對於理解系統非常重要。
	1 信噪比，但這對於標準方法來說仍然是一個真正的挑戰，以便對其進行建模，我們將在演示中討論這一點。
	所以，實際上，問題是，我們能否識別所有這些重要影響，如果可以，那麼我們是否可以建立一個具有所有這些重要影響的模型？ 因為正如我所說，那將是非常了不起的
	與我們使用標準方法可以做什麼。
	然後是案例研究#2，皮特？
彼得·赫什	是的，絕對是。 與菲爾的案例研究非常非常相似。 同樣的想法，我們向有機體提供不同水平的不同營養物質並檢查其生長速度。 在這種情況下，我簡化了菲爾所做的事情，並將其分解為三個營養因子。 這是
	構建不同類型的設計，即 I 最優過飽和設計，我們正在研究完整的響應曲面
	以過飽和的方式，我們看了六次、八次和十次
	設計。同樣的想法。
	的
	效果非常非常
	高信噪比，所以真的希望能夠挑出這些影響（如果它們處於活動狀態）。 就像菲爾一樣，我保留了二次方程中的主要效應以及截距，我們正在嘗試將它們挑出來。
	同樣的想法，那麼我們需要運行多少次才能看到這些主動效果，以及我們可以從這些非常小的設計中製作出多準確的模型？
菲爾·凱	是的，因為你知道，就像我說的，你真的沒有權利期望能夠從如此小的設計中構建出一個好的模型。
彼得·赫什	是的，完全正確。 好的。
菲爾·凱	現在我將演示案例研究#1。
	我通過 JMP 項目來展示這一點，因此這是展示結果的一種非常好的方式。 我建議嘗試一下。
	這就是我們的
	設計，所以這是我們 13 次運行的最終篩選設計，我們改變這些營養因子，並且我們有模擬的生長率響應。 正如我所說，這是經過模擬的
	主要影響，所有這些因素的二次方都非常活躍，而且我們必須估計這個截距。
	現在，通過明確的篩選設計，我通常建議您使用適合的明確篩選作為查看結果的一種方式，作為您可以進行的分析之一。
	當我們的稀疏性原理成立時，它會非常有效。 因此，只要只有少數效果是強烈活躍的……活躍的，而其餘的則不重要，
	然後它會找到那些……少數重要的影響，並將它們與不重要的影響區分開來。
	但在這種情況下，我沒想到它能很好地工作，而且效果並不好。 它並沒有表明所有六個因素都是活躍的。 事實上，它僅識別出此處活躍的因素之一。
	所以這並不奇怪，對於這種類型的分析來說，這太困難、太具有挑戰性了。
	如果我們知道所有這些主動效應都是主動的，並且我們嘗試擬合一個具有所有六個主要效應、所有六個二次項和截距的模型，
	那麼這就是一個飽和模型。 我們需要估計的參數與數據行一樣多，因此我們可以擬合該模型，但我們沒有獲得任何統計數據。
	無論如何，你知道，除了我模擬了這些數據之外，在現實生活中，我們不知道哪些數據是活躍的，所以我們甚至不知道適合哪個模型。
	現在，使用自動驗證方法，我實際上能夠非常令人信服地識別出主動效果，我將介紹我們是如何做到這一點的。
	這只是我的結果的可視化。 您不一定需要以這種方式可視化它。 這是出於演示目的。
	我首先能夠確定攔截是活躍的。 我已經得到了所有六個主要效果，
	以及我的二次效應，然後是我的兩個因素相互作用，我模擬其效果為零。 你可以看到他們很沮喪
	與其他的相比。 實際上這裡有一個我們使用的零因子……所以是一個虛擬因子。 因此，如果您願意，任何小於零因子的東西我們都可以聲明為不重要或不活躍。
	我們實際上......我們在這裡看到的指標是所謂的非零比例，我將在我們討論這個問題時解釋這意味著什麼。 這就是我們在這裡用來確定效果強度和效果重要性的指標。
	簡單介紹一下我是如何經歷這一切的。 因此，我採用了最初的 13 次運行最終篩選設計，然後將其設置為自動驗證，因此現在我們已經復制了 26 行。
	我們的同事之一邁克·安德森 (Mike Anderson) 有一個插件可以執行此操作。創建了一個插件，您可以使用它在 JMP 15 中執行此操作。
	在 JMP 16 中，他們實際上在驗證列平台的預測建模工具中添加了功能。
	這是做什麼的，我們得到了數據的重複集，然後我們得到了這個權重，正如皮特所說，我們......每一行都在訓練集中和驗證集中。
	在訓練集中，如果它的權重較低，那麼它在驗證中的權重就會較高。 因此，如果它在訓練集中的權重較高，那麼它在驗證集中的權重就會較低。
	我們實際上所做的是，我們閱讀……這些基本上是隨機分配的。
	我們重新分配這些，我們能夠迭代數百次，每次擬合模型，然後查看聚合......多次模擬運行的聚合結果。 那麼你會怎麼做
	是為了擬合模型，我在 JMP Pro 中使用 GenReg。
	無論如何，您都需要 JMP Pro，因為您需要能夠指定此驗證角色，因此我們將...訓練驗證列納入驗證。
	權重進入頻率，然後我們按照通常的響應方式設置其他所有內容。 然後我得到了一個模型，這是包含所有這些效果的響應面模型，然後我將單擊“運行”。
	它將適合模型，我們可以使用前向選擇或套索。 在這裡，我使用了套索。
	在這種情況下，這並不是很重要。
	實際發生的情況是，在這種情況下，我們僅確定截距很重要，因此我們實際上只在模型中獲得了截距。
	但是，如果我們更改權重，如果我們返回數據表重新模擬這些權重，我們可能會從模型中得到不同的結果。
	我們對不同行的數據、實驗中的不同運行進行加權，這會改變適合的模型。 因此，我們將重複執行數百次，而我要做的實際上是使用 JMP Pro 中的模擬功能。
	我們所做的就是關閉權重列並切換到權重列的重新計算版本。 你可以這樣做幾百次。 在這種情況下，我實際上做了 250 次。 我實際上不會讓它運行，因為這需要一兩分鐘。
	完成後，您將得到一個如下所示的表格。
	現在我已經獲得了這 250 個模型中每種效應的參數估計值。 所以
	在我運行的第一個模型中，這是檸檬酸主效應的參數估計。 在下一個模型中，當我們重新採樣權重時，
	檸檬酸的主效應未進入模型，因此在這種情況下它為零。
	您實際上可以對所有這些參數估計值運行分佈。 你可以做的事情之一就是
	自定義此統計數據，即摘要統計數據，以查看非零比例。 所以你可以在這裡看到攔截，
	我們對攔截的估計。 你可以看到檸檬酸，很多時候它被估計為零，所以這些模型是，
	檸檬酸的主效應不在模型中，而且很多時候它被估計為 3 左右，這就是我模擬的結果。
	因此，我們關注的是非零的次數比例，我們可以根據這些比例製作一個組合數據表。 我已經這麼做了，而且只是做了一點點……
	這裡有一點額外的增強。 我剛剛添加了一列來說明它是主要效果還是其他什麼，然後這就是我創建的方式
	這個可視化在這裡。 因此，您看到的是每個效應不為零的次數比例，即每個效應在我們的模型中出現的次數佔所有效應的比例
	我們已經進行了 250 次模擬運行，其中我們重新模擬了分數加權。 這就是我們用來識別的
	積極的效果，那就是……它做得非常出色。 它能夠完成我們標準方法無法完成的任務。 從 13 次運行中識別出 13 種有效效果
	最終篩選設計。
	現在，您下一步想做什麼？ 我們可能想讓該模型真正適合所有這些效果，我已經能夠做到這一點。 我正在比較我適合這裡的模型
	與真實的模擬響應相比，您可以看到它們的匹配程度。 所以我已經能夠建立一個具有所有這些主效應、所有這些二次方程和截距的模型。
	所以我這裡有一個 13 參數模型，我已經能夠適應這個 13 次運行的最終屏幕設計，這又是非常了不起的。
	我不會詳細講述我是如何到達那部分的。 我現在就把任務交給皮特。 他將更多地討論自我驗證集成模型的想法。
彼得·赫什	絕對地。 謝謝你，菲爾。 讓我們來看看。 我將在這里分享我的屏幕，我們來看看這個項目。 所以
	你可以在這裡看到
	在相同的
	作為菲爾，我們正在看一個項目，我有
	從六次運行過飽和 DOE 開始，在這裡你可以看到，我有三個因素，
	我的實際基礎模型增長率是多少，然後增長率是多少……模擬增長率是多少，然後就像菲爾提到的那樣，
	我創建了這個自動驗證列，這可以通過 Mike Anderson 開發的 JMP 15 中的插件來完成。 或者在 JMP 16 中，它直接內置於軟件中，您可以在分析預測建模平台製作驗證列下訪問它。
	就像菲爾展示的那樣，他展示了一個很好的例子，說明我們如何找到哪些因素是活躍的，因此進行因素篩選。 這通常是我們與能源部的主要目標，但如果我們想更進一步並以此為基礎建立一個模型，
	我們會經歷同樣的過程，對吧。 所以我們構建我們的 DOE，我們將自動驗證添加到該 DOE，我們構建我們的模型，就像菲爾展示的那樣，使用廣義回歸和其中之一
	變量選擇技術。 Phil Ramsey 和 Chris Gotwalt 研究了許多不同的技術，它們似乎都運作良好。 因此，無論您使用套索還是兩階段前向選擇，它們似乎都有相似的結果，並且
	工作得相當好。 因此，一旦你設置並啟動它，你就會得到一個模型，就像菲爾展示的那樣，你知道其中一些模型將具有

爆發美國能源部預測建模回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

謝謝@菲爾_凱！ 你的答案正是我所需要的:)

期待下一次探索峰會，我希望能親自參加，因為我真的很想見到你們大家！

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

你好@Stefan_Ivan ,

 

很高興您喜歡這次演講。

 

這是一個好問題。 如果你有時間，建議你讀一讀Lemkus、Ramsey、Gotwalt、Weese 的論文。 他們進行了適當嚴格的模擬研究來嘗試 SVEM 的變體，包括（如果我沒記錯的話）使用虛擬因子進行模型選擇的版本。 基本上，虛擬因子模型選擇方法並不是最好的。

 

SVEM 背後的最初想法需要一個虛擬因子。 但隨著它的發展，隨著集成建模的增加，虛擬因子似乎可能沒有用處。

 

原因之一是@彼得_赫什我自己喜歡 SVEM 是因為它不需要你將效果分類為活動和非活動（或“真”/“假”）的二元。 作為科學家/工程師，我們認為說因素效應不活躍是沒有意義的。 SVEM 意味著您可以在模型中包含所有因素的影響。 有些比其他更重要。 但所有這些都是活躍的，這對我們來說更有意義。

 

我希望這有幫助。

 

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

你好@菲爾_凱和@彼得_赫什。

我參加了 2022 年歐洲探索峰會並出席了 SVEM 演講。 這確實引起了我的注意，並很快觀看了引用的其他演示文稿。 就創建實際的 SVEM 模型而言，這確實是最具指導意義的，特別是在創建“去偏見”模型方面:)

然而我只有一個問題：在使用虛擬變量“空因子”識別出主動效應後，您是否不應該僅使用真實效應（當然沒有空因子:)）重複 SVEM 過程？ 我問這個問題是因為我看到用於創建 200 個預測公式的腳本包含 7 因子 DoE 的所有 RSM 項。

希望我清楚地說明了問題。

謝謝 ：）

 

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

太棒了， @ckronig 。 如果我們可以提供幫助，請告訴我們。

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

謝謝@彼得_赫什和@菲爾_凱。 我已經能夠讓腳本工作了。 我會用我自己的數據嘗試一下。 再次感謝！！

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

@ckronig我還附上了 13 次運行的 DSD 示例，既作為具有模擬“真實”響應的原始表，又作為自動驗證的表設置。 其中第二個包含用於循環重新繪製權重然後從重新計算的模型中保存預測公式列的腳本。 只是皮特描述的。 我認為您應該能夠理解這些內容，但如果您不理解任何內容，請告訴我們。

 

還有最後一步。 當您對所有模型進行平均以給出集成模型時，您應該會發現預測與實際存在顯著偏差。 可能很難解釋為什麼會出現這種情況，但這是因為每個“真實”效果的參數從所有歸零的模型實例（不在模型中）縮小到零。 我認為在這種情況下這是特別極端的，因為所有“主動”效果在 DSD 中都是正交的。

 

您可以簡單地通過在擬合模型中擬合模型來解決此問題，其中集成模型作為效果，響應作為 Y。 然後，您可以將此“去偏”模型預測公式保存為最終模型。   

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

@ckronig我一定很快就讀完了那部分。關鍵是建立模型然後保存預測公式。然後讓 JMP 重新計算重量公式（您可以在表格菜單中的紅色三角形下執行此操作，重新運行公式）。 使用新的權重列再次重新運行模型，然後保存該預測公式並重複。我編寫了一個循環，讓它重複 100 次，然後取這些模型的平均值。您不需要加載項即可完成此操作。我遠不是一個專業的腳本編寫者，而且它的設置相當簡單。我將在帖子中包含我的數據表和腳本。

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

你好@菲爾_凱和@彼得_赫什

是的，非常好的演示，我也想看看數據集。

我對您如何生成所有平均模型特別感興趣，因為您的演示文稿中沒有涵蓋這一點。

我之前已經使用過這種自動驗證來通過模擬來識別活動參數，然後使用這些參數來構建模型。 但您所展示的內容更進一步，生成大量模型並對它們進行平均。 這部分是使用 SVEM 插件完成的嗎？

 

 

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

謝謝。@russ_wolfinger 。

嘗試對重複的 k 次折疊的模型進行平均肯定會很有趣。 正如你所說，力量在於整體。

我將很快發布 13 次運行的示例數據集，以便您可以探索這一點。

雖然該方法清楚地解決了分析問題，但我們認為這可能（我會強調“可能”）對實驗設計產生重要影響。 我們沒有時間在演示中正確擴展這一思路，所以這裡......

我們在設計實驗時考慮到了分析。 正如我們在演示開始時所說，我們必須接受效應稀疏性和效應遺傳等假設，以便使用標準分析方法從合理規模的實驗中構建有用的模型。 有經驗證據表明這些假設在許多情況下都是成立的。 但它們並不總是成立，我認為科學家和工程師對這些想法感到不安。 當我在實驗室設計和運行實驗時，我知道我寧願不必擔心這些事情。

自動驗證/SVEM 似乎可以提供替代方案。 因此，我們可以在沒有標准假設的相同約束的情況下設計實驗。 當涉及到實驗設計時，這將是一個巨大的變化。

我要再次強調，這一切仍然是推測性的。 從我有限的探索來看，這似乎很有希望，但我會等待嚴格模擬研究的公佈結果。

我完全同意探索這些想法非常有趣。 JMP Pro 意味著您無需成為統計學家或專家編碼員即可嘗試它。

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

感謝菲爾和皮特的精彩演講！   

 

我目前對 SVEM/分數加權/自動驗證的解釋是重複 k 倍交叉驗證的平滑版本。反過來，可以設想將分數權重離散化為 0 或 1，作為重複 k 倍的形式。兩種驗證的威力都在於集成。這裡有一個猜想：重複的 5 倍集成方法也適用於使用套索或淺提升樹等作為基本模型的小型 13 次運行設計。您願意在這裡發布您的 JMP 項目，以便我和其他人可以嘗試一些事情嗎？

 

一個可能的爭論點是，我認為這種方法主要只處理分析，而不是直接處理 DOE，儘管當然知道計劃如何分析實驗會影響設計選擇，例如選擇貝葉斯 I 最優而不是其他標準。

 

無論如何，有希望的結果和沿著這些方向的調查非常有趣，並展示了 JMP Pro 的出色且穩步改進的功能。

回复：重新思考實驗的設計和分析？ (2021-EU-30MP-776)

如果您想了解更多有關該技術的信息，這是一個很好的後續演講。SVEM：實驗設計和分析的範式轉變 (2021-EU-45MP-779)