廣義RSquare和RSquare之間的結果差異嗨，大家好，
我試圖在社區或JMP幫助中找到問題的答案，但是沒有找到答案。 因此，如果有人能在正確的方向指我或讓我知道我所缺少的基本概念，我將不勝感激。
我正在對模型進行擬合（因變量-DV），該模型是連續的，使用3個自變量（IV）[2個分類變量和1個連續變量]以及其中2個之間的相互作用（另一個我只是使用主變量影響）。 我首先使用最小二乘，如下面的屏幕截圖所示。
但是，我通過預測圖得出的殘差看起來不太好（我有一些異常值）。無論我試圖添加到模型中的其他因素（還是轉換），我都無法改善殘差圖。 我所能得到的最好的就是改變我的回答，這就是我上面已經顯示的回答。
接下來，我考慮了通過廣義回歸使用懲罰回歸方法（更具體地說是里奇）。 我讀到它可以比異常值更健壯（儘管它會帶來一些偏差）。
我開始使用標準最小二乘法運行廣義回歸。
根據我看過的一些視頻，這應該產生與最小二乘回歸相同的結果。
另外，根據JMP幫助（ https://www.jmp.com/support/help/zh-CN/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ）提供的廣義RSquare應該在0到1之間，並且它將簡化為傳統RSquare，以在標準最小二乘法設置中獲得連續的法向響應。 但是，從下面的屏幕快照中可以看到，儘管Generalized RSquare與Training set的RSquare匹配，但與Validation set的RSquare不匹配（並且為負）。 其他統計信息（例如，RASE）確實匹配兩組（訓練和驗證）。
關於這裡可能發生什麼的任何想法？
預先感謝您的任何想法和提示！
PS：對於本文中我所做的一切，我都在JMP中使用了FitModel平台。
分析工具回复：廣義RSquare和RSquare之間的結果差異交互項中是否包含連續預測變量？ 您是使用忽略互動的估算值來確定應將其刪除還是將其排除在外？
您嘗試了哪種響應轉換？
懲罰回歸和最小二乘回歸通常不會導致對模型參數的相同估計，因此R平方將不會相同。 您的圖片顯示了OLS結果，而不是Ridge回歸。
最佳無偏模型的訓練和驗證結果應相似，但不相同。 您如何確定驗證的保留集？
負R平方是可能的。
回复：廣義RSquare和RSquare之間的結果差異你好@AnnaPaula ，
如果我理解正確，那麼您已經根據某種驗證列拆分了一個數據集。 要考慮的一件事是，是否對響應中的驗證列進行分層，以確保培訓和驗證列的分佈相似。
由於R ^ 2為負，對我來說這表明您過度擬合了數據。 您是否對估算值進行了一些引導，以查看模型中的術語是否真的很重要？ 您是否有包含混合術語的理論基礎？
另外，您可能想嘗試一下Elastic Net，因為它是Ridge和Lasso的組合。 要考慮的另一件事是，您的響應分佈是否真的很正常，或者其他分佈是否更適合您的數據。
DS
回复：廣義RSquare和RSquare之間的結果差異抱歉@markbailey ，我想我的問題不太清楚。
如您所說，我沒有使用Ridge（這將是我的下一步）。 但是首先，我只是再次使用了最小二乘方法（通過廣義回歸模型），以檢查結果是否與直接從FitModel窗口中使用LeastSquares的結果匹配。 因為我的結果不匹配，所以我什至沒有嘗試使用Ridge（這是我的下一步）。
但是我很好奇為什麼LeastSquares通過廣義回歸得到的結果與FitModel直接通過LeastSquares得到的結果不匹配。 你有什麼想法？
回答您的問題：
1.連續預測變量不參與交互項。
2.我逐步地使用了估計值，並自己確定了是否應消除交互作用
3.我嘗試了Log，Logistic，Logit和Reciprocal。 隨著互惠，模型惡化很多。 使用Logistic，統計量（R平方，RASE）略有改善，但殘差圖沒有改善。 因此，在我看來，沒有任何理由證明使用該轉換是合理的。
4.訓練和驗證是根據我所擁有的小組（這些是具有不同隨機種子的計算機實驗）定義的。 我使用種子將數據分組，然後將該列用作我的堅持驗證列。
5.我與否定性有關的問題是廣義R平方，因為當我第一次閱讀JMP幫助時，我認為它只能在0到1之間。 但是，是的，我找到了該公式的公式，並且我們可以看到它也可以低於0：
| Nagelkerke / Cragg＆Uhler（廣義RSquare） | 
|
謝謝！
回复：廣義RSquare和RSquare之間的結果差異你好@DS
非常感謝您的答復和見解。 他們非常有幫助，並且與我在想的一些事情保持一致。
如果您有更多的見解，我將在此處提供一些額外的信息（我將不勝感激）。
1.基於驗證列的分層響應確實具有（非常）相似的分佈。 正如我向Mark解釋的那樣，響應是根據使用不同種子生成的計算機實驗計算得出的（並且我使用種子將其分層為訓練和驗證集）。
2.假設我過度擬合，我的主要問題是：
為什麼我的訓練集的RSquare使用直接來自FitModel或通過廣義回歸的LeastSquares為0.9995，而我的驗證集的RSquare是0.9791直接從FitModel使用LeastSquares和-1.24e + 12通過廣義回歸使用最小二乘。
我不了解驗證集的RSquare值的差異。 值是否應該相同（即使存在過度擬合）？
3.我確實認為我有理由在模型中包括這些術語。 首先，我的響應是基於不同數量的重複數據（一個分類IV）和不同的“公式/數據”（基於不同數量的簇）（第二分類IV）計算得出的。 計算響應的已知理論公式考慮了到達率（連續IV），因為該值會影響所生成的數據。
我不確定如何在JMP中進行引導。 但是我確實手動嘗試了不同的模型（帶有或不帶有術語），並且還嘗試使用Forward Stepwise。 在這兩種情況下，結果最終表明兩個類別IV及其相互作用+連續IV是最佳模型。
4.您的最後一點實際上是我希望有人能帶入此討論的內容。
我的回答實際上不是正常的（實際上是LogNormal）。
所以，當我嘗試Ridge或ElasticNet時，我將對其進行調整。
但是，即使我的回答不是“正常”，我上傳的兩個圖像中的“驗證集”的RSquare值也不匹配嗎？
非常感謝您的見解！
回复：廣義RSquare和RSquare之間的結果差異我注意到在您的原始殘差圖中，異常值似乎都在驗證保留集中。
廣義回歸使用的參數與最小二乘擬合不同。 參見此頁統計細節。 它還使用了不同的估算方法（MLE與OLS）。
回复：廣義RSquare和RSquare之間的結果差異你好@AnnaPaula ，
我不確定我是否完全遵循您如何使用計算的種子來生成驗證列的分層。 但是，如果您使用JMP Pro中的驗證列平台（如果您可以訪問GenReg，則可以使用該平台），那麼您就可以對要匹配的響應（Y變量）進行分層。 如果所有異常值都在驗證集中，則您可能需要重新考慮其如何生成兩個驗證集。
您可能會考慮的另一點是將其完全分割-另一個測試數據集用於另一個數據表，該測試數據集不適合該數據。 如果您在訓練/驗證集上運行多個模型，則可以使用測試數據集查看哪個模型確實最適合預測，您可以使用“模型比較”平台來執行此操作。 大概，您的目標是擁有最佳的預測能力，並且您需要以某種方式進行測試。 看起來您有足夠大的集合，可以執行類似的操作。 例如，創建一個驗證列，例如60％的訓練，20％的驗證，20％的測試。 將測試數據集細分為一個完全不同的表，然後使用其餘的訓練/驗證子集來構建模型。
對於您關於R ^ 2的其他問題，它是否為負數或不完全匹配，我將參考Mark所說的。
如果您的數據是對數正態分佈的，則需要在模型規範中選擇該選項，因為這會更改其擬合方式後的一些基礎過程。
在SLS或GenReg或PLS中創建模型後，可以通過右鍵單擊“估計”列並選擇引導來引導估計。 您將要運行幾千次，然後查看分佈，以查看該項係數的原始估算值是否接近許多估算值的全局平均值。 JMP將以一些稍有不同的起點進行一些計算，因此會生成一些不同的估計值，然後您可以查看該分佈並確定總體是否1）第一次嘗試的估計值是準確的，以及2）效果係數是否確實起作用很多還是沒有。 例如，在SLS平台中，為效果賦予FDR LogWorth值，以估計該效果的錯誤發現率。 如果該值> 2（藍線），則有充分的證據表明效果確實對模型有所貢獻。 另一方面，它可能更小或接近值2。 如果您引導這些FDR值，則可以找到平均值和範圍來確定效果是否有意義。 我曾經有過一些效果看起來像是臨界點的情況，在引導FDR之後，大部分時間實際上都沒有超過2，因此在模型中並不是真正重要的全局因素。
最後一點，我強烈建議運行多種不同的建模平台：增強樹，引導林，NN等，以查看另一個平台是否可能最適合您的數據/情況。
希望這可以幫助！，
DS
回复：廣義RSquare和RSquare之間的結果差異你好@markbailey ，非常感謝您再次與我聯繫。 我非常感謝您對我的問題所給予的幫助和耐心。
是的，對於這個特定的響應，我所有的異常值都在驗證集中。 但是對於我正在調查的其他響應，這是不正確的（異常值同時屬於驗證和訓練集）。
關於我正在建模的內容：我使用離散事件模擬（使用不同的種子，因此我將擁有不同的數據）進行了一些實驗。 基於此，我計算了我感興趣的四個響應（此處僅顯示了一個）。
現在，我正在嘗試將回歸模型擬合到這些響應中，因為下一步是使用優化模型為感興趣的響應找到最佳設置。
據我所知，參數化/編碼不應影響模型統計信息。 我在這裡想念什麼嗎？ （編碼）
同樣，對於線性回歸以及當殘差呈正態分佈時，OLS和MLE得出相同的係數。 不是嗎 （ OLS和MLE ）
根據這個廣義回歸教程張貼者@gail_massari ，在8:35左右，我的理解是@brady_brady還說MLE和OLS之間的結果應該匹配。
最後，您介意將我指向JMP幫助頁面，該頁面指示正常分佈時，廣義回歸使用MLE而非OLS嗎？
由於下面的圖片（取自JMP），我有一種錯誤的印象，即如果選擇的分佈為正態分佈，則廣義回歸仍將使用OLS：
謝謝！
回复：廣義RSquare和RSquare之間的結果差異謝謝！
我不知道我們能夠引導JMP中的估計值。 謝謝您教我！
也感謝您提供所有其他見解。 很有幫助！
回复：廣義RSquare和RSquare之間的結果差異您是正確的，整個模型的指標不應隨著不同的參數設置而改變。 當然，各個術語或參數的度量標準將會改變。
因此，對於不同的參數設置，係數並不相同，因此它們的估計也必須不同。
OLS解決方案和MLE優化應在具有正態分佈響應的相同參數設置下得出相同的估計值。
我誤導了您：GenReg中標準的最小二乘結果是OLS。 看這一頁更多細節。
