在 JMP Pro 中,只需極少的點擊即可對大型 DoE 資料集進行高效的 RSM 擬合和逐步回歸。大家好,
我正在使用 JMP Pro 處理一個非常大的 DoE 資料集,希望盡可能快速地完成評估,並盡量減少手動操作。我對 JMP Pro 還不太熟悉,之前主要使用標準的最小平方法分析 DoE 研究。因此,即使閱讀了文件和教程,我仍然不確定完成當前任務的最有效工作流程。
我的實驗設計包含三個因素和大約 20 個反應變量,這些變量以不同的處理方式分組。我想為每個反應變數重新擬合一個響應曲面模型 (RSM),並對它們進行一致的分析。
我的主要問題是:
-
有沒有辦法更有效率地運行逐步迴歸或響應曲面法擬合,而無需為每一步都反覆點擊「開始」?
-
JMP 中是否有工具或選項可以實現對多個響應進行半自動或一鍵式工作流程(例如,Fit Definitive Screening / Fit Model 預設、模型對話框或其他快捷方式)?
-
還有一個問題:如果需要完全自動化,使用腳本(JSL)或批次是否是擴展規模的最佳方法?如果是,是否有推薦的入門指南或範本供初學者參考?
我的目標是盡可能加快模型評估和重新擬合步驟,理想情況下無需編寫大量腳本。
感謝您提前提供的協助和建議。
進階統計建模自動化和腳本編寫數據探索與視覺化實驗設計大規模客製化預測建模和機器學習回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸根據您提供的信息,幾乎不可能給出具體的建議。能否附上實驗過程?或至少附上實驗代碼?
抱歉,我對您的問題有些困惑。您的貼文表明您有一個大型的DOE資料集。但我不太明白,因為您只有3個因子?為什麼要設定工作流程呢?無論如何,任何實驗的第一步都是從實際角度確定是否創建了足夠的變異。反應變項的變異是否足以引起您對實驗分析的興趣?如果是,下一步是對多個Y值進行多元相關性分析。同時,使用馬氏距離檢定檢查是否有異常值。根據相關Y值的數量(如果它們相關,分析方法相同),您可能需要分別擬合Y值。逐步迴歸法不適用於DOE分析。它適用於歷史數據或觀測數據,用於尋找模型。在DOE中,您心中已經有了一個模型(或應該有),因此「擬合模型」才是您的平台。
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸嗨,Statman,
感謝您的解釋。讓我更詳細地解釋一下我的配置:
我正在使用三因素響應曲面法(RSM)設計,但針對這三個因素,我測量了 25 種不同的反應變數。這些反應變數被分為五個處理組(使用“By”角色)。因此,雖然因子空間較小,但反應變數/處理變數的組合總數卻很大。此外,我還有多個此類數據集(總共五個實驗設計),因此重複的分析步驟會顯著增加。
我完全理解這個數據集會很有幫助,我也很樂意分享,但由於保密協議的限制,我無法在這裡分享數據,而且匿名化也不可行。
我使用 JMP 的自訂設計器產生了模型,並使用 Fit Model 平台進行分析。我選擇逐步迴歸法而非標準最小二乘法,是為了使用 AIC/BIC 準則而非基於 p 值進行選擇,從而引入更多客觀性,並且由於只需點擊“執行”按鈕,操作也更簡便。逐步迴歸法仍然能夠擬合一個多項式模型來描述我的數據,但它更加自動化,偏差更小,並且不僅僅受 p 值驅動。
然而,實際問題在於,對於每個治療組中的每次回應,我仍然需要反覆點擊「執行」按鈕。當響應數量眾多且資料集較多時,這將非常耗時。我的問題很簡單:這部分工作流程是否可以自動化或加速?
我的最終目標是擬合所有反應變量,評估擬合結果,並使用 DOE 擬合平台產生預測模型。我不想事先剔除異常值,因為我想在擬合之後再評估它們,避免預先造成分析偏差。
所以核心問題依然存在:
是否有辦法在不手動點擊每個回應的「開始」按鈕的情況下,對多個回應和治療群組運行逐步回歸(或擬合模型)——無論是透過現有的使用者介面捷徑還是透過腳本/批次執行?
這將大幅減少所需的手動點擊次數。
這些補充資訊是否有助於回答我的工作流程問題?
此外,我使用 JMP 分析實驗設計 (DoE) 已有數年,一直採用傳統的最小平方法。現在我升級到了 JMP 專業版,我仍然希望它能提供一些節省時間的功能。
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸你試過按住 CTRL 鍵並點擊“GO”嗎?
在執行操作前按住 CTRL 鍵,可以將該操作廣播到所有類似的按鈕/框。它還可以用於同時更改所有回應的“逐步擬合”估計設定。
然而,比爾關於逐步選擇的建議仍然適用。如果您已經使用自訂設計平台建立了實驗設計(DoE),這表示您已經擁有一個針對此實驗場景的先驗模型。您應該先使用該模型,然後謹慎地使用其他建模方法作為競爭模型,以比較它們的性能以及各自的優缺點。
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸嗨,維克多,
首先,非常感謝你一如既往的幫助!
謝謝,這個小組合確實很有幫助。
關於您提到的擬合模型的限制,我有點困惑。
據我了解,無論是手動選擇 p 值的標準最小二乘迴歸,還是逐步迴歸,都將多項式模型擬合到我的數據,多項式模型的項在模型對話方塊中指定(在我的例子中,它是一個 RSM)。
我找到了一個非常好的影片:( 精通 JMP)在 JMP 和 JMP Pro 中部署逐步回歸方法 - YouTube。
以及以下解釋: 11.2 - 逐步回歸 | STAT 462
這裡對標準最小平方法和逐步迴歸之間的差異解釋得很清楚,根據我的初步理解,它們本質上是相同的,只不過逐步迴歸不僅使用p值進行選擇,還使用了BIC(或AIC)準則。這很合理,因為逐步迴歸的問題在於:在不增加模型複雜度的前提下,哪些變數對模型至關重要(簡單來說就是這樣),從而避免了主觀的p值偏差,並使整個模型建構過程自動化,提高了客觀性。您同意我的觀點嗎?
我的問題仍然沒有得到解答,我將在這裡重新發布我的問題,並補充一些內容:
1) 對於具有大量回應的大型資料集(例如使用自訂設計器完成的簡單設計,如 RSM、自訂設計等),是否有實用且快速的方法在 JMP Pro 中自動建立 DoE 模型?
2)逐步迴歸在這裡是否可行?
3)由於我只需要包含所有回應的最終預測分析結果,我面臨另一個問題:如何在不重新進行整個分析的情況下保存最終預測分析結果?如果我目前將其儲存為腳本,則必須重新執行所有操作,因為模型建置後的預測分析結果無法儲存。
4) 在 JMP Pro 中,我的腳本視窗中會自動顯示「通用回歸」選項,我也可以使用它(滑鼠懸停時的說明也指出,這是所有線性回歸選項的首選方法)。與標準的最小二乘迴歸或逐步迴歸相比,它的優勢是什麼?如何在通用迴歸模型建構器中自動執行分析(按住 Ctrl 鍵並點擊的選項在這裡不起作用)?
非常感謝您的幫忙!我想,自動化 DoE 分析和大型資料集的模型建立這個問題,不僅是我面臨的問題,對很多人來說也會有所幫助!
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸分析響應面法 (RSM) 的最佳方法是使用等高線圖。如果您正處於 RSM 的最佳化階段(RSM 的主要用途),那麼您應該已經了解一階和二階模型效應的重要性。
在進行模型擬合和評估模型適用性時,p 值只是您應該使用的統計量之一(而且只有在您對用於評估均方誤差 (MSE) 的方法有所了解,並且該部分具有代表性時才應使用 p 值)。再次強調,在進行任何操作之前,請評估資料的完整性(有多種方法可以做到這一點)。然後評估其實際意義。您還需要評估調整後的 R 平方值(越大越好)、R 平方值與調整後 R 平方值之間的差異(越小越好,否則表示模型過度擬合)、均方根誤差 (RMSE)(越小越好)。並且始終評估其實際應用價值。該模型是否可用?
說實話,你的情況並不複雜。處理分析應該不會花很長時間(我曾經做過一個包含 3281 個回應的實驗)。
你可以建立一個工作流程,但具體步驟可能會根據你實際操作中發現的情況而有所不同。
https://www.jmp.com/support/help/en/19.0/?os=mac&source=application#page/jmp/workflow-builder.shtml
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸嗨,Statman,
再次感謝您的解釋。我理解經典的實驗設計(DOE)觀點:在三因素響應面法(RSM)中,模型是預先定義的,重點在於優化而非尋找合適的模型,調整後的R平方、均方根誤差(RMSE)和實際應用相關性等指標對於模型的適用性至關重要。我認同這一點。
我的問題不在於統計數據,而是實際的工作量。在我的研究領域(蛋白質穩定性研究),每個數據集通常包含約 25 個響應值——聚集水平、電荷變體、流體動力學尺寸、Tm 等——並按處理方式分組。實驗設計本身保持不變(三個因素),但每個蛋白質的實際反應行為都不同。因此,我無法簡單地複用工作流程建構器模板;即使二次模型結構相同,每個蛋白質資料集也必須單獨評估。
我也理解響應曲面法的等高線圖或曲面圖。這些圖有助於理解。但它們本質上是定性的,因為它們只顯示了二維的預測曲面:
y_hat(x1, x2 | x3 = 常數)
在哪裡
-
y_hat 是模型預測的反應值,
-
x1、x2、x3 是三個因子,
-
“| x3 = 常數”表示 x3 保持不變。
對於單一回應來說,這沒問題,但是當有 20-25 個回應時,僅憑等高線圖就很難做出決定。
在實踐中,我更依賴預測分析器(以及期望值),因為它提供了一種量化的方法來同時評估和最佳化多個回應。例如,對於 k 個回應,我預測了值 y1_hat、y2_hat、…、yk_hat,每個值都有自己的期望值函數 d1(y1_hat)、d2(y2_hat)、…、dk(yk_hat)。我嘗試優化的總體期望值為:
D(x) = (d1 * d2 * … * dk)^(1/k)
其中 x = (x1, x2, x3)。
這使我能夠同時對多個穩定性讀數的因子設定進行數值最佳化。當響應數量較多時,等值線/誤差曲面很難做到這一點。
所以核心問題不在於方法論,而是點擊操作所花費的時間。目前,為了從原始資料產生分析結果並做出基於期望值的決策,我每個資料集都需要一個多小時才能運行相同的二次模型來處理每個反應變數。多個資料集加起來,即使模型定義沒有改變,也需要花費四到五個小時進行大量重複的點擊操作。
Workflow Builder 無法解決我的問題,因為即使因素相同,每個蛋白質資料集也會產生不同的回應,我仍然需要單獨審查模型的適用性。
這就是為什麼我正在尋找一種更有效率的方法——理想情況下是透過 JSL——來實現以下目的:
無需重複按下“排除”按鈕。
所以我的問題很簡單:JMP Pro 中是否有批量處理此流程的方法?如果您知道符合此場景的 JSL 模式或範例腳本,將對我幫助很大。我希望遵循美國實驗設計辦公室 (DOE) 的最佳實踐——我只是想減少流程中的手動點擊操作。
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸反應變數之間是否存在相關性?如果存在,這或許可以減輕模型的負擔。如果反應變數之間不存在相關性,則需要在優先權方面做出妥協,模型也會隨之改變。我不知道如何編寫腳本,將邏輯理性思維融入模型改進的決策過程中。或許有一些程式碼可以提高效率,但我並不了解。
如果是我,我會研究是什麼讓每種蛋白質有所不同,以及為什麼/如何為每種蛋白質設定不同的因素(也許可以對蛋白質進行分類?),但我不是專家。
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸您好,您可以錄製一段“Fit Model”腳本,然後循環播放以處理所有回复,這樣可以節省時間。這樣您就無需重複點擊「開始」按鈕了。順便說一下,我是Premium Crystal的市場經理Al Salman。如果您正在杜拜尋找零押金租車服務,我們為您提供完美的解決方案。我們提供杜拜零押金租車服務,讓預訂過程更加便利實惠。
回覆:如何在 JMP Pro 中以最少的點擊次數有效地對大型 DoE 資料集進行 RSM 擬合和逐步回歸你好@DualARIMACougar ,
正如@statman在回覆中所強調的那樣,評估和比較模型有很多指標,這取決於您的目標和建模重點(解釋性、預測性、兩者兼顧等等)。您可以閱讀一些關於這個廣泛主題的先前討論: 全因子裂區設計與響應面法 (RSM) 的比較分析/ 最佳模型/ 統計顯著性/ … 對於優化目標,您可能更注重預測性能而非其他指標的性能,因此均方根誤差 (RMSE) 和信息準則(AICc、BIC 等,以避免為預測任務使用過於復雜的模型指標可能是使用過於合理的模型。
我也認為,與其為不同的蛋白質分別創建多個設計,不如將這些不同的蛋白質作為設計中的一個分類因子,其他因子則嵌套在蛋白質的性質/類型之下。如果您擁有這些蛋白質的數值表徵/測量數據,或者能夠利用化學結構區分它們併計算分子描述符,則可以基於這些值對蛋白質進行聚類(以便更好地理解結果的異同),或者將這些值作為協變量來創建設計(以確保您擁有一個能夠覆蓋並代表所研究蛋白質群體多樣性的樣本)。使用連續因子而非分類因子有助於擴大推論空間。您可以參考以下兩個簡報: 提高測試乍看之下是多層分類因子的選項時的效率和模型適用範圍。
利用連續變數和混合變數進行編碼以探索更多輸入空間(2022-US-45MP-1103)
建模階段的自動化程度越高,分析結果就越容易出錯/面臨風險(也需要對建模/預測結果進行更嚴格的審查和驗證)。例如,您可能可以使用 JMP 為反應變數擬合數十個模型,但仍需要評估每個模型的有效性,特別是迴歸假設的有效性。
但是,關於您提出的其他幾點,我可以提出一些其他建議:
- 如果您使用的是 JMP Pro,我建議您使用「廣義迴歸」平台,並採用「常態剪枝前向迴歸」和「兩階段前向迴歸」估計方法,同時使用 AICc 準則(您可以按住 CTRL 鍵並點擊以對所有回應擬合相同類型的模型)。我透過這種建模方式獲得的模型通常非常令人滿意,只有當某些模型指標看起來較弱,或者殘差呈現異常(非隨機/非常態)模式時,我才需要進行更深入的研究。如果您擬合了多個響應,可以在模型擬合完成後,啟動紅色三角形中所有響應的“分析器”,以及其他類型的“分析器”。您也可以將這些預測公式儲存到表格或「公式庫」中。如果存在多個競爭模型,可以使用「模型比較」平台(直接從「公式庫」或「預測建模」功能表中)來更好地評估和比較這些競爭模型。
- 如果你的幾個回答之間存在相關性,你也可以使用偏最小二乘迴歸模型,該模型可以利用 Y 之間的相關性來更好地模擬 X 和 Y 之間的聯繫。
- 由於您可能更注重預測效能,因此您可以嘗試使用不同的機器學習建模選項來擬合一個靈活的模型,例如高斯過程、 支援向量機或隨機森林。這些機器學習模型更容易啟動,依賴的假設更少或更弱,但確實需要一些精力來制定合適的驗證策略,以避免過度擬合。 模型篩選平台也可以幫助您快速篩選、比較和選擇多個機器學習模型。但是,如果您的設計是基於二階曲面響應的模型,那麼這些建模選項可能會表現不佳。
- 最後,由於您採用的是最佳化設計,因此您希望根據已識別的因素最佳化多個反應變數。您可以先嘗試使用主成分分析(PCA)、其他(非線性) 多元投影方法(例如 UMAP)或多維尺度分析(MDS) 來簡化並視覺化反應空間,以便更好地理解實驗之間的相似性和權衡關係。如果您有基準數據,可以在進行此類分析之前將其新增至表格中,以便視覺化並提取您的實驗與這些基準數據之間的距離。簡化響應空間後,您可以將一些模型擬合到這些轉換後的「聚合」響應變數。
一旦您將模型擬合到響應,您就可以使用模擬器在實驗空間中生成合成數據點,並使用模型的預測公式來預測響應值(以查看它們與您的目標有多接近),甚至可以保存並使用每個響應的期望值公式列來計算此合成數據集上的期望值,並更好地突出顯示最佳候選者的基於帕託的最佳選擇公式列來計算此合成數據集上的期望值,並更好地突出顯示最佳候選者的最佳化期望
希望這些建議對您有幫助。
盡情享受年末慶祝活動吧!