現有模型的評估大家好，
我創建了一個預測模型，最近我在 QC 的同事不得不更改他們的一種成分（模型中的眾多變數之一），以繼續對他們的產品進行批量處理。 我想評估現有模型而不是對其進行微調，因為還沒有足夠的數據，更改它會降低準確性。 他們使用新成分得到了新的測量反應，我可以用它來比較模型預測。 這是評估我的模型的一種方法。 但我想知道 JMP 是否已經有任何我可以使用的工具來做到這一點，或許可以進行更深入的挖掘。 任何來自統計製程管制 (SPC) 圖表？！
任何建議都將受到高度讚賞。
回覆：現有模型的評估@statman非常感謝您的連結、這本書以及您再次抽出時間。
1.根據篩選因子和貢獻因子欄來看顯著。 新成分來自不同的供應商。 它仍然在同一類型的 ASTM 限制範圍內。 是的，我可以實驗。 我會在不久的將來這樣做。
1. 是的，我知道這一點。 Boosted Tree 可能不會給我調整後的 R2。
2. 是的，顯然對達美航空來說。 我的意思是使用哪個增量。 但這似乎是基於我自己的決定...再次感謝。
回覆：現有模型的評估請參見單變數等價有關此測試的信息，請參閱發行版。 看單向等價有關 Oneway 的資訊。
回覆：現有模型的評估後續討論：
1. 先前模型中先前化學物質的重要性如何？ 新化學品有何不同？ 你能嘗試一下這個變數來看看它的效果嗎？
1. R^2 與模型的準確性無關。 R^2 是模型解釋的資料集中的變化量。 R^2 不應單獨計算。 您應該將 R^2 與調整後的 R^2 進行比較。 隨著模型自由度的增加（模型中顯然有許多 DF），R^2 總是會增加，但重點是模型中僅包含重要變數。 R^2 調整考慮了模型中不重要的項，因此您希望 R^2 和 R^2 調整之間的增量最小。
2. 要在先前模型（第 1 列）和新模型（第 2 列）之間建立一列增量，只需使用減去 2 列的公式建立一列。
要深入了解如何使用控制圖，您應該閱讀：
唐納德·惠勒和大衛·錢伯斯 (1992)“了解統計過程控制” SPC 出版社 (ISBN 0-945320-13-2)
對於發行版： https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
回覆：現有模型的評估@馬克貝利非常感謝您的回答。 是否有任何頁面可以讓我查看範例以及如何在 JMP 中運行該範例？ 非常感激。
回覆：現有模型的評估謝謝@statman和@馬克貝利。 我繼續回答您的問題，並希望我能得到您最終的最佳想法/解決方案。 我再次感謝您的時間和善意幫助：
1.我認為目前的模型（Boosted Tree）運作良好。 R2 為 92%，我用新測量的反應檢查了它的預測，QC 非常高興。 我所指的反應是來自相同30種成分的產品。 最近只有一種成分發生了變化，因為他們無法進口它，並且正在使用替代品。
2. 我想我在#1 中回答了這個問題。 因此，我創建的唯一模型使用了我們多年來一直使用的 30 個變數。 其中一種最近必須更換，它是一種類似的類型，但化學成分略有不同。
3.哦，對不起。 模型中沒有刪除任何內容。 我想檢查我創建的唯一模型是否仍能可接受預測響應。
4. 我希望與之前的模型具有相同的精度。 92% R2 用於訓練、驗證和測試集。 這是一個很棒的模型。 如果我想使用先前的 29 個變數和新成分（總共 30 個）來建立一個新模型，我將沒有足夠的資料集來訓練一個好的模型。 所以我至少要等一年才能拿出足夠的數據。關於增量，如何計算它以檢查是否保持相同的精度？ 我可以使用選單中的模型比較嗎？
所以我認為你的最後一段非常有趣。 有沒有關於如何在這些圖表中應用預測公式的範例？
我是這些圖表的新手。 另外，你所說的分佈摘要是什麼意思？ 抱歉我有點困惑。
回覆：現有模型的評估添加到@statman ，你想證明等價成分改變後驗證當前模型仍然準確。 這個目的推翻了零假設和替代假設。 您可以使用 Distribution 或 Oneway 平台執行等效性測試。 您需要說明結果被認為實際上相同的時間間隔。
回覆：現有模型的評估一些想法和問題：
1. 如何出色地在成分改變之前，您的預測模型有效嗎？
2. 目前的模型是否使用了完全不同的成分，或者從科學理論的角度來看它是否「相關」？
3.我不確定你所說的「微調」模型是什麼意思？ 如果您從模型中刪除了某個變量，則該模型在模型中其他項目的 beta 係數方面可能會完全不同。 當從模型中刪除該項目時，歷史資料模型的精確度會發生什麼變化？
4. 我認為你的想法是，有一列包含當前預測值（來自你的公式），一列包含測量的反應變量，一列是 2 的增量，這將是一種簡單的比較方法。 有多少差異對您來說很重要？
控製圖是一種診斷。 它們的目的是比較不同的變化來源並確定最大的影響力在哪裡。 他們透過首先評估比較基礎的穩定性（範圍圖 - 評估子組內變異源作為以該頻率變化的變量的函數的穩定性）來做到這一點。 然後比較這些來源對研究中其他來源的反應變異性的影響（x 條形圖 - 它將子組內變異（控制限）與子組間變異源進行比較。
現在，您可以對成分更改先前的流程進行採樣（如果您只是快速瀏覽一下而不是尋找診斷，您可以使用時間序列資料的 MR、X 圖表）和流程更改成分後，看看反應是否有明顯變化。 您也可以查看分佈摘要以獲得圖形外觀。
