GeneralizedRSquareとRSquareの結果の違い皆さんこんにちは、
コミュニティまたはJMPヘルプで質問の答えを見つけようとしましたが、見つかりませんでした。 ですから、誰かが私をここで正しい方向に向けたり、私が欠けている基本的な概念を教えてくれたら、本当にありがたいです。
3つの独立変数（IV）[2つのカテゴリカルと1つの連続]と2つの間の相互作用（もう1つはメインを使用している）を使用して、連続的な応答（従属変数-DV）にモデルを適合させています。効果）。 下のスクリーンショットにあるように、私は最初に最小二乗法を使用しました。
ただし、予測プロットによる残余はあまり良く見えません（いくつかの外れ値があります）。モデルに追加しようとした他の要因（または変換）に関係なく、残差プロットを改善できませんでした。 私が得ることができた最善のことは、私の応答の変更を使用することでした。これは、私がすでに上に示したものです。
次に、一般化回帰を通じてペナルティ付き回帰法（より具体的にはリッジ）を使用することを考えました。 私はそれが外れ値に対してよりロバストである可能性があることを読みました（それはいくらかのバイアスを導入しますが）。
標準最小二乗法を使用して一般化回帰を実行し始めました。
私が見たいくつかのビデオによると、これは最小二乗回帰と同じ結果を生成するはずです。
また、JMPヘルプによると（ https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ）提供される一般化RSquareは0から1の間である必要があり、標準の最小二乗設定での連続正規応答のために従来のRSquareに単純化されます。 ただし、下のスクリーンショットからわかるように、一般化されたRSquareはトレーニングセットのRSquareと一致しますが、検証セットとは一致しません（負の値です）。 他の統計（RASEなど）は両方のセット（トレーニングと検証）に一致します。
ここで何が起こっているのかについてのアイデアはありますか？
アイデアやヒントを事前にありがとう！
PS：この投稿で行っていることはすべて、JMPのFitModelプラットフォームを使用しました。
分析Re：一般化されたRSquareとRSquareの結果の違い連続予測子は交互作用項に含まれていますか？ 省略されたインタラクションの見積もりを使用して、削除する必要があるかどうかを判断しましたか、それとも最初から除外しましたか？
応答のどのような変換を試みましたか？
ペナルティ付き回帰と最小二乗回帰は通常、モデルパラメータの同じ推定値をもたらさないため、R二乗は同じではありません。 あなたの写真は、リッジ回帰ではなく、OLSの結果を示しています。
トレーニングと検証の結果は、最良の偏りのないモデルと類似している必要がありますが、同じではありません。 検証のためのホールドアウトセットをどのように決定しましたか？
負のR二乗が可能です。
Re：一般化されたRSquareとRSquareの結果の違いこんにちは@AnnaPaula 、
私が正しく理解していれば、ある種の検証列に従って分割したデータセットがあります。 考慮すべきことの1つは、応答の検証列を階層化して、トレーニング列と検証列の両方が同様の分布を持つようにするかどうかです。
R ^ 2は負であるため、私には、データが過剰適合していることを示しています。 モデルに含まれる用語が本当に重要かどうかを確認するために、見積もりに対してブートストラップを実行しましたか？ 混合用語を含めるための理論的根拠はありますか？
また、RidgeとLassoの組み合わせであるため、ElasticNetを試してみることをお勧めします。 考慮すべきもう1つのことは、応答分布が本当に正常であるかどうか、または別の分布がデータにより適しているかどうかです。
DS
Re：一般化されたRSquareとRSquareの結果の違いごめんなさい@markbailey 、私は私の質問であまり明確ではなかったと思います。
あなたが言ったように、私はRidgeを使用しませんでした（それが私の次のステップになるでしょう）。 しかし、最初に、（一般化回帰モデルを介して）最小二乗法を再度使用して、FitModelウィンドウから直接LeastSquaresを使用した結果と結果が一致するかどうかを確認しました。 結果が一致しなかったため、Ridgeを試すことすらできませんでした（これが次のステップになります）。
しかし、私は興味がありますGeneralized RegressionによるLeastSquaresの結果が、FitModelから直接LeastSquaresの結果と一致しない理由。 あなたはなにか考えはありますか？
あなたの質問に答える：
1.連続予測子は交互作用項に含まれません。
2.段階的に使用し、推定値を使用して、交互作用効果を削除する必要があるかどうかを判断しました
3. Log、Logistic、Logit、およびReciprocalを試しました。 逆数では、モデルが大幅に劣化します。 ロジスティックを使用すると、統計（R-square、RASE）はわずかに改善されますが、残差プロットは改善されません。 したがって、私の意見では、変換の使用を正当化するものは何もありません。
4.トレーニングと検証は、私が持っているグループに基づいて定義されました（これらは、さまざまなランダムシードを使用したコンピューター実験です）。 シードを使用してデータをグループに分け、その列をホールドアウト検証列として使用しました。
5.ネガティブに関する私の質問は一般化されたR-square 、私が最初にJMPヘルプを読んだとき、私はそれが0と1の間でしか行けないと思ったからです。 しかし、はい、私はその式を見つけました、そして私たちが見ることができるようにそれはまた0以下になることができます：
| Nagelkerke / Cragg＆Uhler's（Generalized RSquare） | 
|
ありがとうございました！
Re：一般化されたRSquareとRSquareの結果の違いこんにちは@DS
お返事と洞察をありがとうございました。 それらは非常に役立ち、私が考えていたいくつかのことと一致します。
あなたがより多くの洞察を与えることができる場合に備えて、ここでいくつかの追加情報を提供します（私はそれを本当に感謝します）。
1.検証列に基づく層化応答には、（非常に）類似した分布があります。 Markに説明したように、応答は、さまざまなシードを使用して生成されたコンピューター実験に基づいて計算されました（そして、シードを使用して、トレーニングセットと検証セットに階層化しました）。
2.私が過剰適合していると仮定しましょう。私の主な質問は、次のとおりです。
トレーニングセットのRSquareが、FitModelから直接またはGeneralized Regressionを介してLeastSquaresを使用して0.9995であるのに対し、検証セットのRSquareは0.9791 FitModelから直接LeastSquaresを使用し、 -1.24e + 12一般化された回帰による最小二乗法の使用。
検証セットのRSquare値の違いがわかりません。 値は同じであるべきではありませんか（過剰適合がある場合でも）？
3.モデルに用語を含める理由があると思います。 最初に、私の応答は、異なる複製数（1つのカテゴリーIV）に基づく異なるデータと、異なるクラスター数（2番目のカテゴリーIV）に基づく異なる「式/データ」を使用して計算されました。 応答を計算するための既知の理論式では、到着率（連続IV）が考慮されます。これは、その値が生成されるデータに影響を与えるためです。
JMPでブートストラップを行う方法がわかりません。 しかし、私はさまざまなモデルを手動で（用語の有無にかかわらず）試し、ForwardStepwiseを使用してみました。 どちらの場合も、結果は2つのカテゴリカルIV +それらの相互作用+連続IVが最良のモデルであることを示しています。
4.あなたの最後のポイントは、実際、誰かがこの議論に持ち込むことを望んでいたことです。
私の応答は実際には正常ではありません（実際にはLogNormalです）。
それで、RidgeまたはElasticNetを試すときにそれを調整します。
しかし、私の応答が正常でない場合でも、アップロードした両方の画像の検証セットのRSquare値は一致するべきではありませんか？
洞察力をありがとうございました！
Re：一般化されたRSquareとRSquareの結果の違い元の残差プロットで、外れ値がすべて検証ホールドアウトセットに含まれているように見えることに気付きました。
Generalized Regressionは、Fit LeastSquaresとは異なるパラメーター化を使用します。 のこのページを参照してください統計の詳細。 また、異なる推定方法（MLEとOLS）を使用します。
Re：一般化されたRSquareとRSquareの結果の違いこんにちは@AnnaPaula 、
計算されたシードを使用して検証列の階層化を生成した方法を完全に追跡できるかどうかはわかりません。 ただし、JMP Proの検証列プラットフォーム（GenRegにアクセスできる場合に使用できます）を使用する場合は、適合している応答（Y変数）を階層化するだけで済みます。 すべての外れ値が検証セットに含まれている場合は、2つのセットがどのように生成されたかを再考することをお勧めします。
これに関するもう1つのポイントは、完全に分割することです。つまり、データの適合に使用されないテストデータセットを別のデータテーブルに分割します。 トレーニング/検証セットで複数のモデルを実行する場合は、テストデータセットを使用して、どのモデルが実際に予測に最適であるかを確認できます。これは、モデル比較プラットフォームを使用して実行できます。 おそらく、あなたの目標は最高の予測機能を持つことであり、それを何らかの方法でテストする必要があります。 あなたはそのようなことをすることができる十分な大きさのセットを持っているようです。 たとえば、60％のトレイン、20％の検証、20％のテストを使用して検証列を作成します。 テストデータセットを完全に異なるテーブルにサブセット化し、残りのトレイン/検証サブセットを使用してモデルを構築します。
R ^ 2に関する他の質問と、それが否定的であるか、完全に一致していない場合は、マークが言ったことを参照します。
データが対数正規分布である場合は、モデル仕様でそのオプションを選択することをお勧めします。これにより、フィッティングの実行方法の背後にある基礎となるプロセスの一部が変更されます。
SLS、GenReg、またはPLSでモデルを作成した場合、[見積もり]列を右クリックして[ブートストラップ]を選択すると、見積もりをブートストラップできます。 数千を実行してから、分布を調べて、その項の係数の元の推定値が多くの推定値のグローバル平均に近いかどうかを確認する必要があります。 JMPは、わずかに異なる開始点でいくつかの計算を実行するため、いくつかの異なる推定値を生成します。次に、その分布を確認して、全体として1）最初の試行からの推定値が正確であったかどうか、2）効果の係数が実際に寄与しているかどうかを判断できます。たくさんかどうか。 たとえば、SLSプラットフォームでは、効果にFDR LogWorth値が与えられ、その効果の誤検出率が推定されます。 値が> 2（青い線）の場合、効果が実際にモデルに寄与しているという重要な証拠があります。 一方、それはより小さく、または値2に近い可能性があります。 これらのFDR値をブートストラップすると、平均と範囲を見つけて、効果に意味があるかどうかを判断できます。 効果が境界線のように見えることがありました。FDRをブートストラップした後、ほとんどの場合、実際には2を超えていなかったため、モデルのグローバルに重要な要素ではありませんでした。
最後の注意として、ブーストツリー、ブートストラップフォレスト、NNなど、複数の異なる種類のモデリングプラットフォームを実行して、別のプラットフォームがデータ/状況に最適かどうかを確認することを強くお勧めします。
お役に立てれば！、
DS
Re：一般化されたRSquareとRSquareの結果の違いこんにちは@markbailey 、またお返事ありがとうございます。 私の質問に対するあなたの助けと忍耐に本当に感謝します。
はい、この特定の応答では、すべての外れ値が検証セットに含まれています。 しかし、私が調査している他の応答については、これは真実ではありません（外れ値は検証セットとトレーニングセットの両方に該当します）。
私がモデル化しているものに関して：離散イベントシミュレーションを使用していくつかの実験を実行しました（異なるデータを持つように異なるシードを使用して）。 これに基づいて、関心のある4つの応答を計算しました（ここでは1つだけを示しました）。
現在、回帰モデルをこれらの応答に適合させようとしています。次のステップは、最適化モデルを使用して、関心のある応答に最適な設定を見つけることだからです。
私の知る限り、パラメーター化/コーディングはモデル統計に影響を与えるべきではありません。 ここで何かが足りませんか？ （（コーディング）
また、線形回帰の場合、および残差が正規分布している場合、OLSとMLEは同じ係数になります。 そうですね。 （（ OLSとMLE ）
これによれば一般化された回帰チュートリアル投稿者@gail_massari 、時間8:35頃、私の理解は@brady_bradyまた、MLEとOLSの間の結果は一致する必要があるとも述べています。
最後に、分布が正規分布の場合に一般化回帰がOLSではなくMLEを使用することを示すJMPヘルプページを教えていただけませんか。
以下の画像（JMPから取得）のため、選択した分布が通常の場合、一般化回帰は引き続きOLSを使用するという誤った印象を受けました。
ありがとうございました！
Re：一般化されたRSquareとRSquareの結果の違いありがとうございました！
JMPで見積もられたものをブートストラップできるとは思いもしませんでした。 教えてくれてありがとう！
他のすべての洞察にも感謝します。 非常に役立ちます！
Re：一般化されたRSquareとRSquareの結果の違い正解です。モデル全体のメトリックは、パラメーター化が異なっても変化しないはずです。 もちろん、個々の用語やパラメータの指標は変わります。
したがって、係数はパラメータ化が異なると同じではないため、推定値も異なる必要があります。
OLSソリューションとMLE最適化は、正規分布の応答を使用して、同じパラメーター化の下で同じ推定値をもたらす必要があります。
私はあなたを誤解しました：GenRegの標準的な最小二乗結果はOLSです。 見るこのページ詳細については。
