在 GenReg 中評估模型你好，
在使用廣義回歸構建模型時，如果我使用標準最小二乘法（有或沒有驗證列），那麼 JMP 會在模型摘要大綱下輸出一些有用的指標。 但是，如果我使用不同的方法——前向選擇或套索或其他任何方法——以便我可以使用除驗證列之外的其他驗證方法，則沒有可以比較的單一指標。 因此，如果我有一個驗證列，我可以獲得訓練集和驗證集的 R^2 之類的東西。 但是，如果我使用留一法、AICc、保留集或其他任何東西，我將無法獲得任何好的整體模型匯總統計數據。 我假設解決方案路徑圖是我能得到的最好的。
但是，如果我試圖比較多種方法，解決方案路徑圖並不是特別有用。 如果我回到傳統的逐步，我可以通過 AICc 選擇和 BIC 選擇運行相同的候選術語集，看到我得到不同的模型，並比較 R^2 或 RMSE 或 AICc 或 BIC 或其他模型匯總統計以查看哪個模型“更好”。 如果在傳統的逐步我選擇 K 折交叉驗證，我可以獲得“R 方 K 折”統計量。
廣義回歸中這些工具的類似物是什麼？ 我真的很高興能夠利用 GenReg 可以提供的靈活性，但我不知道如何在各種選項之間進行選擇。 我確信有一些簡單的東西，但是對於 GenReg 來說相對較新，我只是不確定它是什麼。
謝謝，
邁克爾
回复：在 GenReg 中評估模型感謝您與我們合作，請確保將您希望看到的內容添加到願望清單中。
最好的，
賬單
回复：在 GenReg 中評估模型是的... 我正在處理一些較小的數據集，這就是為什麼我傾向於留一法，但這讓我回到了嘗試評估模型時的挫敗感。 我喜歡一些更量化的東西來解釋為什麼 JMP 會到達一個特定的模型，而不是僅僅按下一個 Go 按鈕並希望得到最好的結果。
回复：在 GenReg 中評估模型邁克爾，
我相信您可以通過 3 級驗證列完成您想要的。培訓、驗證和測試。模型擬合中不使用測試數據，然後將測試集的 R 方與訓練集和驗證集的 R 方進行比較。越近越好。使用較小的數據集（< 100 行）實現這一點有點困難，但我發現它是確定“全模型”預測未來數據的好方法。
至於您的最後一點，我相信 Leave-one-out K-fold 是您可以為較小的數據集選擇的最佳交叉驗證技術之一。
回复：在 GenReg 中評估模型好的，比爾，
謝謝。 我還在學習，但我想我現在明白了一點。
我認為我得到的是全輸入 R^2（在所有數據行上）很有用，但我正在尋找更像這樣的東西：
訓練集與驗證集的模型擬合統計數據之間的差異給出了模型對擬合過程中保留的觀察結果的魯棒性的觀點。 在構建模型時，我喜歡尋找的一件事是一些統計數據，它告訴我，如果我要獲得更多的觀察結果，我的模型仍然是合適的。
或許做到這一點的唯一方法是創建一個驗證列並隨機識別要保留的一組觀察，而不是嘗試進行多重驗證（識別要保留的多組觀察）。 我的想法是多重驗證會導致模型更健壯，但也許這不是真的？
邁克爾
回复：在 GenReg 中評估模型邁克爾，
根據您的回复，我與開發人員進行了進一步的通信，以下是他發回的內容；
“......他正在比較的是模型比較中的 R^2（對於在genreg中構建的前向選擇模型）與在逐步平台中構建的前向選擇模型的 R^2。 他的模型比較 (.8704) 中的 R^2 是根據整個數據計算的。 逐步輸出實際上也包含該信息，我在下面用紅色圈出了它。 他在逐步報告中圈出的值 (.8514) 是 k 倍 R^2。 所以問題是他將整個數據的 R^2 與 k 倍的 R^2 進行比較。” 
開發人員繼續談論兩個平台的差異；
“....（何時）將genreg中的前向選擇與Stepwise中的前向選擇進行比較。 兩個平台進行前向選擇的方式存在一些細微差別。 Genreg 著眼於分數測試來決定接下來要引入哪種效果，Stepwise 著眼於 wald 測試。”
最後是開發組方辰在 Stepwise 中對 K-fold Rsquare 的計算：
“逐步中的 K 折 R 方是通過遵循 R 方 = 1 – SSE/SST 的一般定義來計算的，其中 SSE 是根據每個 K 個保留樣本的殘差計算的。
K-Fold Rsquare = 1 - ResV`*ResV / ((Y-YMean)`*(Y-YMean)"
最後一點可能是您尋找 Rsquare 值不同的關鍵所在。我添加了其他位，希望提供更完整的答案。
高溫高壓
回复：在 GenReg 中評估模型賬單，
我仍然很困惑。 GenReg 開發人員說 GenReg 正在對模型進行比較（R^2？其他什麼？）但我不知道在哪裡可以找到它，請參閱我的原始帖子說我找不到任何指標。 同樣有趣的是，他說逐步和模型比較以相同的方式計算 R^2。 這很奇怪，因為我顯然得到了兩個不同的 R^2 值。
謝謝，
邁克爾
回复：在 GenReg 中評估模型邁克爾，
請參閱下面來自 GenReg 平台開發人員之一的解釋。
“當我們計算 R^2 時，我們正在比較我們的模型與空（僅攔截）模型相比的擬合程度。 在訓練集上，我們應該如何做到這一點很明顯——我們將我們的擬合與在訓練集上估計的僅截距模型進行比較。 在驗證集上，存在一些歧義。 在genreg中，我們將我們擬合的模型與僅攔截模型進行比較建立在訓練集上. 在逐步和模型比較中，將擬合模型與僅截距模型進行比較來計算 R^2建立在驗證集上。”
開發人員接著說他覺得“一個答案不一定是對或錯”。儘管如此，他還是非常喜歡在 GenReg 中完成的方式。 
回复：在 GenReg 中評估模型@Bill_Worley謝謝！ 從表面上看，這是一種有用的方法。 它確實不同意我在 Stepwise 中得到的東西。 我應該相信哪個平台？ （帶有正向選擇的 GenReg，留一個，表中有 38 行數據，相對於逐步，從紅色三角形中指定 38 折的 k 折。）請參閱屏幕截圖。 R^2 的差異相當明顯，係數估計的差異很小。
回复：在 GenReg 中評估模型嘿邁克爾，
我對您的問題的第一反應是建議使用模型比較。將要比較的預測公式發佈到公式庫，然後從那里或直接從 Gen Reg 報告轉到分析 > 預測建模 > 模型比較。不過，您必須先將預測公式保存到數據表中才能使用此選項。
高溫高壓
最好的，
賬單
