降階模型有多少個數據點?我再次陷入這樣的情況:我認為我知道自己想做什麼,但無法弄清楚如何正確地提出問題...也許有人會好心幫助一位苦苦掙扎的工程師?
我正在嘗試建立一個降階模型 - 我有一個複雜的機械模型,並且想要開發一個簡單的相關性來描述我的系統在有限操作空間中的表現。我使用 JMP 設計了「空間填充」實驗,並編寫了一個腳本來運行我的機械模型來填充結果表。我可以將結果匯入 JMP,並成功地透過「擬合模型」平台建立了滿足我需求的相關性。
然而,機械模型的運行速度相對較慢,因此我有動力嘗試計算出我可以逃脫多少次機械運行,但仍能產生良好的整體擬合。感覺應該能夠使用我現有的數據集來開始回答這個問題 - 我可以手動屏蔽數據,適合一個子集,然後挑戰適合更大的數據集,比較看不見的數據上的 r2,例如。手動執行是可以的,但是很耗時(或者也許我只是懶)-我缺少一些神奇的小部件嗎?
我想我可以使用“神經”平台並增加“保留部分”,直到驗證集的 r2 開始攀升。我更願意堅持使用“線性”模型(儘管有二次項和交叉項),但我想這會估計極限。而且看起來我只能選擇一次 Holdback,所以我必須重新啟動平台才能玩遊戲。
先致謝!
查爾斯
資料存取資料混合與清理實驗設計預測建模和機器學習分享和交流成果回覆:降階模型有多少個數據點?再次感謝,丹。我理解並同意你的回覆。
底層(機械)模型是相當非線性的,所以我的問題是我不確定二次模型是否足夠好(或〜10個輸入參數中的哪一個可能顯示非線性)。我喜歡神經網絡,事實上它可能會拾取任何非線性,但我不喜歡它有這麼多參數,正如你所說。
我沒有意識到 aNN 的 Holdback 部分直接用於參數擬合 - 我認為它“僅”用於選擇何時停止。當然,如果我將阻礙分數增加得足夠遠,模型的品質就會降低(擬合和驗證)。實際上,我設法編寫了一個可愛的腳本,該腳本在一個循環內多次運行aNN 模型,並增加Holdback 分數,然後捕獲擬合集和驗證集的r2,這樣我就可以了解模型質量從哪裡開始惡化。 ..

無論如何,非常感謝您的幫助 - 我現在對 DoE 平台有了更多了解,並且感覺將來能夠更好地解決此類問題!如果我知道模型輸出可能相對平滑,我可能會使用您推薦的更結構化的設計,並測試邊緣/中心點。如果我不太有自信,我將使用空間填充設計 - 使用更多數據點來獲得擬合,但希望更好地理解系統的非線性(如果存在的話)
一切順利
查爾斯
回覆:降階模型有多少個數據點?設計的實驗和神經網路之間的差異與擬合的模型有關。
神經網路模型可以捕捉非常非線性的行為。 為了做到這一點,你需要更多的數據。 但最終的模型比二次模型更加複雜和「不穩定」。 神經網路模型中通常有許多參數。 此外,神經網路需要一組保留資料(如您所知),這意味著並非所有資料都用於擬合模型。 這也意味著您需要更大的資料集,因為只有一部分資料用於建立模型。 請注意,保留集用於確定何時停止神經網路參數估計,因此保留較大百分比的資料與使用較少的資料並不完全相同。 保留集仍在使用,但程度低於訓練資料。
因此,哪種方法最好取決於您期望該機械模型的非線性程度。 這對您來說將是成本/收益或風險/回報的權衡。
如果您確實相信二次模型可以充分估計這種關係,請採用實驗設計方法和較少的數據。
如果您期望神經網絡能夠更好地捕獲關係,請使用神經網絡,但代價是需要更多數據。
回覆:降階模型有多少個數據點?謝謝丹。 我解決了這個問題,返回的答案是 21 個案例(而不是我實際運行的約 2200 個案例)。 我在功效分析中的所有“功效”值都返回為 1,所以我認為這意味著模型應該很好。
話雖如此,我還是使用 Neural 平台來擬合原始 2200 個案例的部分內容。 我設定了一個執行擬合 4 次的腳本,並在增加 Holdback 分數時比較了 r2 和 q2。 當我的阻礙分數 <0.925 時,兩者都很好(4 個模型中的至少 3 個模型> 0.995)。 當我保留0.95 個變數時(即我使用0.05*2200 = 110 個條件進行擬合),則4 次擬合中的3 次擬合的r2 < 0.985,4 次擬合中的3 次擬合的q2 < 0.97。
我不知道為什麼當我使用神經平台時我需要更多的案例。 我猜“定制設計”使用 -1 / +1 模式,其中我原來的空間填充設計分佈在整個空間中,因此可能缺乏洞察力?
謝謝
查爾斯回覆:降階模型有多少個數據點?因此,您擁有一個適合您的二次模型。 現在您想確定真正需要運行多少次才能獲得類似的配合,對吧? 您是對線性模型的預測值更感興趣,還是對估計該線性模型的參數更感興趣? 我假設您對預測感興趣。
所以也許這種方法會起作用。 選擇 DOE > 自訂設計。 輸入您的因素。 指定 RSM 模型(主效應、所有雙向交互作用以及所有平方項 - 我認為這就是您所說的)。 查看預設運行的次數。 按一下“進行設計”。
JMP 將使用該運行次數來建立 I 最優設計(最適合預測)。
打開輸出的功率分析部分。 填寫預期 RMSE(這將是您已經擬合的模型的 RMSE)。 輸入已有線性模型的預期係數。 點擊將變更套用到預期係數。 得出的功效數字是該設計檢測到該效應的機率。 您會希望這些數字很高。 多高取決於你。 如果它們不夠高,請返回並增加設計中的試驗次數。
我還鼓勵您查看設計空間分數圖和預測變異數概況。 這些圖表將向您顯示模型在該運行次數下的預測「準確性」。 尋找在整個設計空間中相當平坦的低預測方差。
我希望這有幫助!