在 JMP DOE 中驗證隨機運行順序和設計有效性
大家好，
我目前正在使用 JMP 創建的實驗設計 (DOE)，並希望評估隨機化運行順序的品質。雖然 JMP 在設計生成過程中會自動隨機化運行順序，但我仍想客觀地評估這種隨機化的有效性。
我尤其想了解 JMP 是否提供內建功能或既定工作流程來：
- 檢測運行序列中的趨勢、系統模式或漂移，
- 辨識因子水準的聚類或非均勻分佈，
- 進行正式的隨機性統計檢定（例如，遊程檢定、自相關性檢定或獨立性檢定），
- 或用其他方式量化運行順序與真正隨機化的接近程度。
如果 JMP 沒有提供直接評估此類問題的方法，是否有建議的 JSL 腳本、外掛程式或最佳實踐方法來評估 DOE 執行順序中的隨機性？
此外，我還想了解 JMP 是否提供工具來驗證在手動重新排列運行順序後，實驗設計的完整性和統計特性是否得以保留。
感謝您提供的寶貴見解。
貝葉斯騎士
實驗設計回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@BayesKnight ，
歡迎加入社群！
我認為至少有兩種方法可以幫助您檢測由於模型擬合選項中可能缺乏隨機化或時間敏感性而導致的反應趨勢：
- 圖形選項：按行繪製殘差圖：此圖可以幫助您偵測觀測值的行排序所產生的模式。
- 統計檢定選項： Durbin-Watson 檢定：用於檢定殘差是否存在一階自相關的統計量。僅適用於行按時間順序排列的情況（實驗順序與資料表中的順序相同）。
您也可以使用其他圖形或統計選項，例如控製圖（利用控製圖和韋斯特加德規則評估因子水準的分佈是否符合趨勢）和時間序列分析選項。您也可以透過層次聚類檢查點的聚類是否不平衡或是否建立了有序的行組。最後，您還可以使用多元分析平台來檢查因子和行順序之間是否有顯著相關性。
透過「評估設計」平台進行的設計評估不會考慮不同評估中行的順序。如果您在運行設計時懷疑可能存在時間趨勢，並希望使因子水準的重新分配能夠抵禦任何時間趨勢的影響，您可以查看以下文章：
https://community.jmp.com/t5/RD-Blog/How-to-create-an-experiment-design-that-is-robust-to-a-linear/ba-p/30138
自訂設計中按訂順序排列的協變量
希望這個回答對您有幫助。
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@Victor_G ，
非常感謝您的熱情接待和提供的資訊。我想澄清一下，我的主要目的是在實驗執行前評估隨機化運行順序的品質。一旦收集到數據，就無法解決非隨機排序可能造成的問題。請問有什麼方法可以評估隨機化運行順序的品質嗎？
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性從你最初的貼文來看，你想「量化運行順序與真正隨機化的接近程度」。
你告訴我真正的隨機化是什麼樣子，我或許就能找到一種方法來量化我離它有多近。
最終，DOE實驗的隨機化就像保險，可以防範與時間或實驗順序相關的未知/意外誤差來源。如果這些誤差來源存在，它們就會在收集到的回應資料中反映出來，這就是@Victor_G提供這項見解的原因。
只要使用可靠的隨機數產生器（JMP 就擁有可靠的隨機數產生器），任何隨機模式通常都是合適的。某些特定情況可能並非如此，但您需要了解這些特定情況。
例如，假設一台設備總是會在生產的第四件產品上出錯。在這種情況下，一個有效的隨機模式可能恰好使某個因素每四次就處於高值。對於一個8次運行的設計來說，這種情況非常可能發生。但這肯定會影響結果。在進行分析之前，尤其是在驗證結果時，你無法得知這一點。我曾在現實世界中見過類似的情況，即使使用了「有效」的隨機模式。
最後，您所提到的統計分析和性質都基於模型誤差項獨立同分佈的假設。手動重新排列實驗設計（DOE）的運行順序不會影響這個假設。事實上，如果您確定每次運行都是真正獨立的，甚至無需進行隨機化。大多數人進行隨機化是為了防範那些未知的誤差來源（如上所述）。如果手動移動設計運行順序會影響獨立性，那麼您的設計（和分析）就應該考慮這些時間因素。
希望這些資訊對您有所幫助。請記住，所有實驗都應該經過驗證，即使是 1、2、3、4、5 這幾個數字順序也可能是隨機模式！
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性我提供一個不同的視角。有很多「技巧」可以在實驗後評估實驗策略的有效性。我建議花更多時間在計劃上。我認為實驗中的隨機化是一種防止某些未識別、未經測試的因素（我稱之為噪音）與實驗中的某個因素混淆的技術。我認為我們可以做得更好。那麼，這種噪音效應究竟是什麼呢？你想了解這種噪音效應嗎？使用隨機化可以避免分配（休哈特）。我想了解的是噪音。哪些噪音是顯著的？我該如何將噪音引入實驗？如何才能使實驗對噪音具有穩健性？我同意GEP Box的觀點：
“能阻止的就阻止，不能阻止的就隨機化。”
他的意思是，如果你能辨識出噪聲，將噪聲與區塊混淆比隨機化更有效。它是可分配的。對於你無法識別的噪音（我不確定為什麼你無法識別），則進行隨機化。
我推薦兩篇論文：
Youden, WJ，《隨機化與實驗》，《技術計量學》，第14卷，第1期，1972年2月
Hwan, Marilyn (2000)，“隨機化或不隨機化，這是一個問題”， ASQ統計分會通訊，第17卷，第1期，26頁
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@BayesKnight ，
除了其他人已經闡述得很好的觀點之外，我還想提出幾點其他想法供大家參考。
1. 在進行實驗之前，您會規劃如何量化 DOE 的順序？如果實驗運行取決於某些條件（樣品狀態、設備、烤箱溫度，或您在 DOE 中沒有考慮的因素），那麼這將在數據中體現出來，但只有在您完成所有實驗運行之後才會出現，並且可以按照之前討論的方式進行評估。
2. 如果你真的想事先測試一下實驗設計（DOE）的隨機性，你可以產生成百上千個DOE，如果你有前20次運行記錄，就可以統計每次運行被選中的頻率。如果產生的DOE夠多，你應該不會發現選擇過程中有任何規律。但是，接下來該選擇哪一個DOE呢？哪一個最隨機？你可以編寫一個JSL腳本來完成這項工作，而且應該不會花費太多時間。當然，你應該非常謹慎地定義你的DOE，確保沒有任何隱藏因素會影響結果。即使你進行了這樣的分析，它仍然無法解釋任何影響運行順序的隱藏變數。
3. 完成實驗設計（DOE）後，如前所述，有許多方法可以評估實驗運行的隨機性（以行計算殘差是一個很好的起點）。我還想指出，您可以添加一列“運行順序”，並將其納入分析，以確定結果是否對運行順序有任何統計上的顯著依賴性。您甚至可以添加一個「零因子」（請查閱 JMP 中的自動驗證功能——雖然有 JSL 程式碼可用，但它並非內建功能），該零因子是一個完全隨機的因子，任何統計上小於或等於該零因子的因子都可以被忽略。
前期規劃至關重要，而且往往會佔據討論時間的很大一部分。精心設計的實驗設計（DOE）比設計不周的DOE分析更省時，也能更快獲得更多洞見。在這方面，請考慮以下問題：是否有理由認為順序很重要？如果答案是肯定的，原因是什麼？順序的影響來自哪裡？我們如何在設計中考慮它？還有哪些因素可能會影響結果？我們能否考慮這些因素？訊號中的雜訊來自哪裡？我們如何才能最大限度地減少噪音，或在DOE中考慮噪音的影響？
希望這能幫到你！
DS
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@Dan_Obermiller ，
感謝您的詳細回覆。
您說得完全正確。根本不存在“完美”或“真正”的隨機化方法。不過，有些隨機化方法確實比其他方法更好，因為它們可以避免一些不良模式（例如，因子水平連續出現多次相同、週期性結構等）。
因此，我希望探索 JMP 是否提供工具來客觀地評估這些方面，而不是僅僅依賴對隨機數產生器的信任或目視檢查。
我正在尋找其他方法來評估運行順序的質量，尤其是在一些微妙的時間相關風險或設備行為可能會影響結果的情況下。
再次感謝您的見解，它們非常有幫助。
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@SDF1
謝謝回覆。
我完全同意實驗設計中的定義/計劃階段至關重要，這正是我提出這個問題的原因。我希望從盡可能完善的設計入手，並在執行前確保隨機運行順序的穩健性。
我意識到可能存在我們無法預見的隱藏變量，但我的主要關注點是：
- 如何產生穩健的隨機運行順序
- 如何在進行實驗之前評估其品質。
再次感謝您的見解。
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性如果您希望避免因子水平分佈中的模式，或許探索模式平台可以幫助您偵測不希望出現的單變數模式？
在研究隨機化過程中的任何模式（這些模式本身也是隨機化過程的一部分）之前，您是否使用「評估設計」平台評估過您設計的特性和效能？樣本量/統計效力不當或混疊結構不足可能導致的失敗情況，可能比隨機化過程中可能存在的模式更多。
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@BayesKnight ：我一直很關注這個問題……說實話，也有些困惑。在我看來，你問的是：JMP 產生的「隨機」運行順序是否真的隨機？正如@Dan_Obermiller所說，「只要使用可靠的隨機數產生器（JMP 的確有可靠的隨機數產生器），任何隨機模式通常都是合適的。」當然，即使是「可靠的」隨機數產生器，也大多是偽隨機數產生器。因此，它們通常使用某種演算法來產生具有隨機序列屬性的隨機數序列。所以，答案是「是的」。
一個簡單的隨機化運行順序的方法是為每次運行產生一個均勻分佈 (0,1) 的數。然後根據該均勻分佈 (0,1) 的數字對運行順序進行重新排序。
不過，我的問題是：是什麼促使你提出這個問題？
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@statman
感謝您的回覆以及分享的參考文獻。
我同意有很多方法可以評估一個設計，但正如你所提到的，大多數方法都是在實驗結束後才使用的。
我的目標是避免等到最後才發現問題，那時已經為時過晚，無法修正了。
我並非質疑隨機化或分組的目的，只是想儘早發現任何潛在問題。特別是，我想事先檢查隨機順序是否會意外引入可能削弱設計的模式或趨勢。
再次感謝您提供的寶貴意見。
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@BayesKnight ，
JMP 會為您的 DOE 產生可靠的隨機運行順序，您無需擔心（甚至不應該擔心）。 JMP 在該領域已領先超過 35 年。如果他們的軟體不可靠，他們肯定無法繼續存在。
即使你在進行實驗設計（DOE）之前就找到了量化和評估播放順序的方法，最終也只是在測試JMP的隨機化演算法，以確定它是否「真正」隨機。正如@MRB3855所提到的，沒有一個（數字）隨機數產生器是真正隨機的。以你最喜歡的音樂應用程式為例，測試一下它們的「隨機」播放功能。實際上，它們的「隨機」播放是有限制的，因為它們會優先播放播放清單中的每首歌一次，然後再「重新隨機化」清單。這並非真正的隨機順序。
我也同意@MRB3855的觀點，是什麼促使你提出在運行DOE之前就評估隨機性這個問題？為什麼認為JMP不能提供可靠的隨機運行順序？
如果你有任何歷史數據表明情況確實如此，那麼我建議你先花更多時間規劃實驗設計（DOE），並使用分塊或其他方法來解決這個問題。我不會妄加猜測JMP的運作結果，也不會假設是他們那邊出了問題──更有可能的情況是，實驗設計一開始就沒有規劃好。
DS
回覆：在 JMP DOE 中驗證隨機運行順序和設計有效性嗨@BayesKnight 。我同意@MRB3855 的觀點，這個討論串很有意思。這裡有許多經過深思熟慮的精彩回答，提供了不同的視角。不過，你似乎對每個回答都不滿意，正如前面提到的，你好像只是想知道有沒有辦法評估「隨機性的品質」。我的確認為隨機就是隨機，有時即使某些東西是隨機的，我們肉眼看到的模式可能不認為它是隨機的。
除了觀察因子水平的順序並判斷它們是否「足夠混亂」之外，我目前還不知道有什麼公認的統計方法可以評估隨機性的品質。或許答案就是繼續這樣做，不斷隨機化，直到得到一個看起來最混亂的順序？有人可能會認為（身為統計學家，我可能也會這麼認為），這樣做會使運行順序產生偏差，並可能消除隨機性。
一個不太專業的解決方法是，將因子繪製在 y 軸上，運行順序繪製在 x 軸上，然後使用熱圖，以因子水平（-1、0、+1）作為顏色。我想這或許能幫助你直觀地判斷是否有任何規律。
