一般化RSquareとRSquareの結果の違いやあみんな、
コミュニティまたは JMP ヘルプで質問に対する答えを見つけようとしましたが、見つかりませんでした。 したがって、誰かがここで私に正しい方向を示してくれたり、私に欠けている基本的な概念が何であるかを教えてくれたりすると、本当に感謝します。
3 つの独立変数 (IV) [2 つのカテゴリ変数と 1 つの連続変数] とそれらの 2 つの相互作用 (もう 1 つはメイン変数を使用しています) を使用して、連続的な応答 (従属変数 - DV) にモデルを当てはめています。効果）。 以下のスクリーンショットでわかるように、最初に最小二乗法を使用しました。
ただし、予測プロットによる残差はあまり良くありません (外れ値がいくつかあります)。他のどの要素をモデル (または変換) に追加しようとしても、残差プロットを改善できませんでした。 私が得られた最善の方法は、応答を変更することでした。これは、すでに上で示したものです。
次に、一般化回帰によるペナルティ付き回帰法 (具体的にはリッジ) を使用することを考えました。 外れ値に対してより堅牢になる可能性があると読みました（ただし、多少のバイアスは発生します）。
標準最小二乗法による一般化回帰の実行を開始しました。
私が見たいくつかのビデオによると、これは最小二乗回帰と同じ結果を生成するはずです。
また、JMP ヘルプによると ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) 提供される一般化 RS2 乗は 0 から 1 の間である必要があり、標準最小二乗設定での連続正規応答の従来の RS2 乗に単純化されます。 ただし、以下のスクリーンショットからわかるように、一般化 RSquare はトレーニング セットの RSquare と一致しますが、検証セットには一致しません (そして負です)。 他の統計 (RASE など) は両方のセット (トレーニングと検証) に一致します。
ここで何が起こっているのかについて何か考えはありますか?
アイデアやヒントをよろしくお願いします。
PS: この記事で行っているすべての作業では、JMP の FitModel プラットフォームを使用しました。
データのブレンディングとクリーンアップRe: 一般化 RSquare と RSquare の結果の違いについてありがとう、マーク！ それについてチケットを開いたところです。
答えが分かり次第、ここに投稿します。Re: 一般化 RSquare と RSquare の結果の違いについてこの議論からは何が違いを引き起こすのかわかりません。 JMP テクニカル サポート ( support@jmp.com ）その件について。
Re: 一般化 RSquare と RSquare の結果の違いについてすべての詳細と、GenReg に関する詳細情報を教えていただき、ありがとうございます。
しかし、この場合（応答が正規分布であると仮定して）まだ混乱しています。2つの「プラットフォーム」（最小二乗法とGenReg）間の検証セット間の一般化R2乗値の違いは何で説明されるのでしょうか？
あなたの言ったことを誤解していたらごめんなさい。
ありがとう！
Re: 一般化 RSquare と RSquare の結果の違いについておっしゃる通りです。モデル全体のメトリクスは、パラメーター化が異なっても変更されるべきではありません。 もちろん、個々の用語やパラメータの指標は変わります。
したがって、パラメーター化が異なると係数は同じではないため、その推定値も異なるはずです。
OLS ソリューションと MLE 最適化は、正規分布応答による同じパラメータ化の下で同じ推定値をもたらすはずです。
誤解を招いたのですが、GenReg の標準の最小二乗結果は OLS です。 見るこのページ詳細については。
Re: 一般化 RSquare と RSquare の結果の違いについてありがとう！
JMP で推定値をブートストラップできるとは思いませんでした。 それを教えてくれてありがとう！
他のすべての洞察にも感謝します。 非常に役立ちます！
Re: 一般化 RSquare と RSquare の結果の違いについてこんにちは@Mark_Bailey 、またご連絡いただきまして誠にありがとうございます。 私の質問にご協力いただき、忍耐強く対応していただいたことに本当に感謝しています。
はい、この特定の応答では、すべての外れ値が検証セットに含まれています。 しかし、私が調査している他の応答については、これは当てはまりません (外れ値は検証セットとトレーニング セットの両方に含まれます)。
私がモデリングしているものに関しては、離散イベント シミュレーションを使用していくつかの実験を実行しました (異なるデータが得られるように異なるシードを使用しました)。 それに基づいて、興味のある 4 つの応答を計算しました (ここでは 1 つだけを示しています)。
ここで、これらの応答に回帰モデルを適合させようとしています。次のステップは、最適化モデルを使用して、関心のある応答に最適な設定を見つけることです。
私の知る限り、パラメータ化/コーディングはモデル統計に影響を与えるべきではありません。 ここで何かが足りないでしょうか？ (コーディング)
また、線形回帰の場合、残差が正規分布している場合、OLS と MLE は同じ係数になります。 そうじゃないですか？ ( OLSとMLE )
これによれば一般化回帰のチュートリアル投稿者@gail_massari 、8:35頃、私の理解では、 @brady_bradyまた、MLE と OLS の間の結果が一致する必要があるとも述べています。
最後に、分布が正常な場合に一般化回帰が OLS ではなく MLE を使用することを示す JMP ヘルプ ページを教えていただけますか。
以下の画像 (JMP から取得) のせいで、選択した分布が正規分布であれば一般化回帰でも OLS が使用されるのではないかという誤った印象を持っていました。
ありがとう！
Re: 一般化 RSquare と RSquare の結果の違いについてこんにちは@アンナポーラ、
計算されたシードを使用して検証列の層別化を生成する方法を完全に理解しているかどうかはわかりません。 ただし、JMP Pro の検証カラム プラットフォーム (GenReg にアクセスできる場合は利用可能) を使用する場合は、当てはめている応答 (Y 変数) を階層化するだけで済みます。 すべての外れ値が検証セット内にある場合は、2 つのセットをどのように生成したかを再考した方がよいでしょう。
これに関するもう 1 つの点は、データの適合に使用されないテスト データ セットを完全に分割して、別のデータ テーブルに分割することです。 トレーニング/検証セットで複数のモデルを実行する場合は、テスト データ セットを使用して、実際にどのモデルが予測に最も優れているかを確認できます。これは、モデル比較プラットフォームを使用して行うことができます。 おそらく、あなたの目標は最高の予測能力を持つことであり、何らかの方法でそれをテストする必要があります。 そのようなことを行うのに十分な大きさのセットがあるようです。 たとえば、60% トレーニング、20% 検証、20% テストなどの検証列を作成します。 テスト データ セットをまったく別のテーブルにサブセット化し、残りのトレーニング/検証サブセットを使用してモデルを構築します。
R^2 とそれが負であるか完全に一致していないことに関するその他の質問については、Mark の発言を参照します。
データが対数正規分布している場合は、モデル仕様でそのオプションを選択すると、近似の実行方法の背後にある基礎的なプロセスの一部が変更されるためです。
SLS、GenReg、または PLS でモデルを作成した場合、Estimate 列を右クリックしてブートストラップを選択することで、推定をブートストラップできます。 数千回実行してから分布を調べて、その項の係数の元の推定値が多くの推定値の全体平均に近いかどうかを確認するとよいでしょう。 JMP は、わずかに異なる開始点でいくつかの計算を実行するため、いくつかの異なる推定値を生成します。その後、その分布を確認して、全体として 1) 最初の試行からの推定値が正確であるかどうか、2) 効果の係数が実際に寄与しているかどうかを判断できます。多いかどうか。 たとえば、SLS プラットフォームでは、エフェクトに FDR LogWorth 値が与えられ、そのエフェクトの誤検出率を推定します。 値が >2 (青い線) の場合、効果がモデルに実際に寄与しているという重要な証拠があります。 一方、これより小さいか、値 2 に近い値になる可能性があります。 これらの FDR 値をブートストラップすると、平均と範囲を見つけて、効果が意味があるかどうかを判断できます。 効果が境界線に達しているように見えるときがありましたが、FDR をブートストラップした後、ほとんどの場合、実際には 2 を超えておらず、したがってモデル内で実際にはグローバルに重要な要素ではありませんでした。
最後の注意として、ブースト ツリー、ブートストラップ フォレスト、NN など、複数の異なる種類のモデリング プラットフォームを実行して、別のプラットフォームがデータや状況に最適かどうかを確認することを強くお勧めします。
お役に立てれば！、
DS
Re: 一般化 RSquare と RSquare の結果の違いについて元の残差プロットで、外れ値がすべて検証ホールドアウト セット内にあるように見えることに気づきました。
一般化回帰では、最小二乗法とは異なるパラメータ化が使用されます。 このページを参照してください統計的な詳細。 また、異なる推定方法 (MLE と OLS) も使用されます。
Re: 一般化 RSquare と RSquare の結果の違いについてこんにちは@SDF1
ご返信と洞察をいただきまして誠にありがとうございます。 彼らはとても役に立ち、私が考えていたいくつかのことと一致しています。
さらに詳しい情報をお持ちの場合に備えて、ここで追加情報を提供します (本当に感謝します)。
1. 検証列に基づく層別応答は、(非常に) 類似した分布を持っています。 マークに説明したように、応答はさまざまなシードを使用して生成されたコンピューター実験に基づいて計算されました (そして、私はシードを使用してトレーニング セットと検証セットに階層化しました)。
2. 私が過剰適合していると仮定しましょう。私の主な質問は次のとおりです。
FitModel から直接または一般化回帰を通じて最小二乗法を使用すると、トレーニング セットの RSquare が 0.9995 であるのに、検証セットの RSquare が 0.9995 であるのはなぜですか。 0.9791 FitModel から直接最小二乗法を使用し、 -1.24e+12一般化回帰による最小二乗法の使用。
検証セットの RSquare 値の違いがわかりません。 (過学習があるとしても) 値は同じであるべきではないでしょうか?
3. モデルに項を含める理由があると思います。 まず、私の応答は、異なる複製数 (1 つのカテゴリカル IV) に基づいた異なるデータと、異なるクラスター数 (2 番目のカテゴリカル IV) に基づいた異なる「式/データ」を使用して計算されました。 応答を計算する既知の理論式では、到着率 (連続 IV) が考慮されています。これは、その値が生成されるデータに影響するためです。
JMP でブートストラップをどのように実行すればよいかわかりません。 ただし、さまざまなモデルを手動で (条件の有無にかかわらず) 試し、Forward Stepwise の使用も試しました。 どちらの場合も、結果は 2 つのカテゴリカル IV + それらの交互作用 + 連続 IV が最良のモデルであることを示しました。
4. あなたの最後の論点は、実は私がこの議論に誰かが持ち込んでくれることを期待していたものです。
私の応答は実際には正常ではありません (実際には LogNormal です)。
なので、Ridge や ElasticNet を試すときに調整するつもりです。
しかし、たとえ私の応答が正常でなかったとしても、アップロードした両方の画像の検証セットの RSquare 値は一致するはずではないでしょうか?
貴重なご意見をありがとうございました！
Re: 一般化 RSquare と RSquare の結果の違いについてごめん@Mark_Bailey , 私の質問があまり明確ではなかったと思います。
あなたが述べたように、私はRidgeを使用しませんでした（それが私の次のステップになる予定でした）。 ただし、最初に、(一般化回帰モデルによる) 最小二乗法を再度使用して、結果が FitModel ウィンドウから直接最小二乗法を使用した結果と一致するかどうかを確認しました。 結果が合わなかったため、Ridge (次のステップとなる) を試すことさえできませんでした。
しかし、私は興味があります一般化回帰による最小二乗法の結果が、FitModel から直接最小二乗法による結果と一致しない理由。 あなたはなにか考えはありますか？
ご質問にお答えします:
1. 連続予測子は交互作用項には関与しません。
2. 交互作用効果を除去する必要があるかどうかを決定するために、段階的に使用し、推定値も使用しました。
3. Log、Logistic、Logit、Reciprocal を試してみました。 相反するとモデルがかなり劣化します。 ロジスティックを使用すると、統計 (R 二乗、RASE) にわずかな改善が見られますが、残差プロットには改善が見られません。 したがって、私の意見では、この変換の使用を正当化するものは何もありません。
4. トレーニングと検証は、私が所有するグループに基づいて定義されました (これらは、さまざまなランダム シードを使用したコンピューター実験です)。 シードを使用してデータをグループに分割し、その列をホールドアウト検証列として使用しました。
5. ネガティブに関する私の質問は次のとおりです。一般化された R2 乗というのも、最初に JMP ヘルプを読んだとき、0 と 1 の間でしか指定できないと思ったからです。 しかし、はい、その式を見つけました。ご覧のとおり、0 を下回る可能性もあります。
| Nagelkerke / Cragg & Uhler's (一般化された RSquare) | 
|
ありがとう！
Re: 一般化 RSquare と RSquare の結果の違いについてこんにちは@アンナポーラ、
私の理解が正しければ、ある種の検証列に従って分割したデータセットがあることになります。 考慮すべき点の 1 つは、トレーニング列と検証列の両方が同様の分布を持つようにするために、応答の検証列を層別化したかどうかです。
R^2 が負であるため、私にとって、それはデータが過剰適合していることを示していると考えられます。 モデル内の項が本当に重要かどうかを確認するために、推定値に対してブートストラップを実行しましたか? 混合用語を含める理論的根拠はありますか?
また、Elastic Net は Ridge と Lasso を組み合わせたものであるため、試してみるとよいでしょう。 もう 1 つ考慮すべき点は、応答分布が本当に正規分布であるかどうか、または別の分布の方がデータに適しているかどうかです。
DS
Re: 一般化 RSquare と RSquare の結果の違いについて連続予測変数は交互作用項に関係していますか? 省略されたインタラクションの推定値を使用して、削除する必要があると判断しましたか? それとも最初から省略しましたか?
応答のどのような変換を試みましたか?
ペナルティ付き回帰と最小二乗回帰では、通常、モデル パラメーターの推定値が同じにならないため、R 二乗は同じになりません。 あなたの写真は、リッジ回帰ではなく、OLS の結果を示しています。
トレーニングと検証の結果は、最適な不偏モデルと類似している必要がありますが、同じではありません。 検証用のホールドアウトセットをどのように決定しましたか?
負の R 2 乗も可能です。
