客戶建模指導我收到了一位正在進行電鍍實驗的(JMP Pro)客戶提出的問題。 他有一個設計的實驗,他在這個實驗中有不同的輸入,目的是建立一個模型來實現目標結果。
他正在努力建立一個良好的預測模型。 他說,當他使用模型來預測新的運行時,它表現不佳。
通過刪除幾個點,模型似乎在復雜性(術語#)方面發生了變化。
這聽起來像一個問題,可以從他的數據和他的模型的一對一諮詢中受益,但他問的非常具體的事情(我從我們的轉換中解釋了一下): “認識到交叉驗證方法正在”做到這一點“已經......有一個自動化方法為實驗運行的每個可能子集生成模型 。我想比較每個模型的術語#(以及哪些術語)。“
我腦海中浮現的問題是:
- 你是否過度擬合模型?
- 你的測量系統好嗎?(他認為是)
- 您是否能夠精確控制輸入[足夠]?
我應該問什麼其他問題?我該如何對這位客戶有所幫助?
先感謝您!
回复:客戶建模指南我正在回復自己的帖子!進一步的證據我從來不是受歡迎的孩子......
我跟聊天了 @tom_donnelly 並希望在此發布我對客戶的回复。
“感謝您花時間與我一起解釋您的挑戰。
我在JMP技術社區做了一些外展活動,並簡短回答了你的問題“JMP是否有一個為實驗運行的每個可能子集生成模型的utomated方法 “ 沒有。
但是,我確實在一些可能對您有幫助的討論中收到了一些建議。
我相信您正在處理來自設計實驗的數據,對嗎?你使用定制設計了嗎?你有多少次錯誤運行?
如果是這種情況,那麼你設計的實驗......是一套適合假設模型的簡約運行(除非你有很多重複)。 該模型本質上對每次運行收集的數據非常敏感,因為設計是為了在盡可能少的運行中回答問題(您指定的假設模型)。 如果您的模型沒有很好地進行額外的“測試/驗證”運行,那麼您可以添加到原始設計以適應更高階模型。 當然,該模型也可能沒有很好地預測其他原因(例如,有些因素很重要,你無法控制,很難控制輸入,測量系統有很多噪音,等等。)
我記得你說你用額外的跑步改裝你的模型。 除了原始設計之外還有這些運行嗎?或者,當您從實驗中收集數據時,您是否適合您的模型?
如果答案是後者(你是否有這樣的實際原因?) - 你可以考慮阻止你的設計。 例如,第一組運行(第一組)可以是估計主效應。 第二組運行可以是估計交互條件等。 這樣 - 在每個塊中設置運行,以便它們估計完整模型。
如果您想進一步討論,請告訴我。“
@tom_donnelly 還提到客戶可能想要考慮轉換是否與模型構建相關,但我沒有在我的電子郵件中提及它(將等到我們實時聊天)。
回复:客戶建模指南我喜歡湯姆對此的回答。我認為這是最好的。但是,如果沒有時間或預算來進行更多的運行,那麼我也有一些運氣使用廣義回歸來獲得我過去生活中DOE數據的更多預測模型。Peter Hersh與我分享了一個非常棒的JMP Pro演示版,它與我所做的一樣非常可怕:) Pete,我可以向你提出這個問題嗎?
回复:客戶建模指南嗨溫迪,
我附上了我的日記,就像傑森所說的那樣。 他們運行DSD並嘗試構建預測模型的情況非常相似。 如果您使用Stepwise然後擬合最小二乘(標準JMP),您將得到一個非常過度擬合的模型,最終會成為一個糟糕的預測。 使用GenReg它可以更好地工作。 我下週將離開城鎮,所以我可以幫助更好地解釋它,但所有腳本都保存在數據表中。 這對GenReg vs.一個很好的理由 逐步/擬合最小二乘法。 希望這是有幫助的。
回复:客戶建模指南如果此實驗包含混合因子,可能值得一試。如果是這樣,我們就不應該像我們對涉及過程因素的實驗那樣簡化模型。而是嘗試使用設計模型進行預測。
最好,
馬爾科姆
回复:客戶建模指南謝謝!