通常のOLSの対数尤度こんにちは、JMP コミュニティです!
線形モデルの対数尤度を表示したいと思います (モデルの適合 -> パーソナリティ: 標準最小二乗)。 「回帰レポート」の対応するオプションを使用して AICc を取得します。 しかし、対数尤度を抽出するにはどうすればよいでしょうか?
こんなスレッドも見つけました： https://community.jmp.com/t5/Discussions/AICc-log-likelihood-where-is-it-reported/td-p/272033?trMode=source
しかし、この -2LL 式では AICc を再現できませんでした。
ご協力いただきありがとうございます！
基本的なデータ分析とモデリングRe: 通常のOLSの対数尤度やあ@Halbvoll : AICc または BIC をお持ちの場合は、代数 (ここでの公式を使用) https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087 ) は対数尤度を与えます:
LL=(kln(n) - BIC)/2
また
LL= (2k+2k(k+1)/(nk-1) - AICc)/2
Re: 通常のOLSの対数尤度やあ@MRB3855 、
ご回答有難うございます！ 確かに、私はすでにそのように LL を計算しました。 ただし、他のソフトウェア/Python パッケージ (まったく同じデータとモデル パラメーターを使用) で LL を再確認したところ、R2、SSE、RMSE などはまったく同じですが、異なる LL が得られました。 特に k の数が大きくなると、LL は JMP と Python パッケージ Statsmodels (PpS) の間で大きな差を持つ傾向があります。
これが私を混乱させる原因です。PpS と JMP は AICc に同じ式を使用する必要がありますが、異なる結果が得られます (LL がおそらく異なるため)。
Re: 通常のOLSの対数尤度@Halbvoll同じ式を使用できない場合があります。 JMP のバージョンは、小さなサンプル サイズに合わせて調整された修正バージョンです。 そして、「特に k の数が大きくなると、LL は JMP と Python パッケージ Statsmodels (PpS) の間で大きな差を持つ傾向がある」と言っているので、Python は未修正バージョンを使用しているのではないかと思います。したがって、同じ式を使用しているという仮定を確認してください。
Re: 通常のOLSの対数尤度やあ@MRB3855 ！ 式というと、AIC の式のことを指します。 c、右？ それも確認しました。 statsmodels から取得した LL を使用して、JMP の AICc 式を Python で再実装しました。 ただし、statsmodels の AICc 関数を使用した場合と同じ AICc が得られます。 したがって、問題は、statsmodels と JMP の間の LL が異なるということであり、その理由を知りたいのです。
それともLL公式のことを言っているのでしょうか？ もしそうなら、JMP がどのように LL を計算しているのか理解できませんでしたが、これが私の質問の鍵となるでしょう。
ご協力いただきありがとうございます！
Re: 通常のOLSの対数尤度@Halbvoll , フィットモデル -> パーソナリティ: 一般化線形モデル、分布: 正規、リンク関数: アイデンティティを試してみましたか?
出力レポートには、完全モデルと縮小モデルの -(LL) が含まれます。
これがあなたのお役に立てば幸いです。
心から、
MG
Re: 通常のOLSの対数尤度モデルの -2LL はどのように計算しますか?
JMP は、パラメーター推定を最適化するときにカーネル密度関数をよく使用します。 -2LL と AICc には絶対的な意味や解釈がないため、このアプローチは正当化されます。 これらはモデルを比較するために相対的に使用されるため、カーネルで十分です。 代わりにカーネル密度を使用してみてください。
Re: 通常のOLSの対数尤度おそらくこのページが役立つかもしれません: https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087
一番下までスクロールすると、最小二乗法に関連する数式が表示されます。
3 つの数式セットの要素間の関係に注目してください。
(1) そのページの上半分より
(2) そのページの下半分から
(3) あなたが指定したスレッドから
したがって、(1) の -2対数尤度は、(2) で強調表示されている 2 つの部分と等しくなります。
そして、(1) と (2) の -2対数尤度は、(3) とは定数 N だけ異なります。
他の文献では、-2対数尤度 = N*log(SSE/N) と記載されている場合があります。 違いに気づいていただけると嬉しいです。 文献では、対数尤度の定数が省略されるのが一般的です。
Re: 通常のOLSの対数尤度皆様のご支援に感謝いたします！
ご指摘いただきありがとうございます@modelFit ！ これは私が探していたオプションでした。 私のデータでは、statsmodels の場合と同じ LL が得られますが、これがさらに混乱を招きます。 おそらく、問題のスクリーンショット (解像度が十分に高いことを願っています) を見ると、私の問題がより明確になるかもしれません。
したがって、JMP 16.2.0 に基づいて次の結果が得られます。
- -LL = 8.3501
- k = 3
- n = 18
- AICc = 27.7869
ただし、-LL、k、n を使用して AICc を手動で計算すると (式 (1))、次のようになります。 24.4243 -> statsmodelsでも同じ結果が得られます。
JMP AICc を使用し、式を LL= (2k+2k(k+1)/(nk-1) - AICc)/2 に再定式化すると、-LL は 10.036 になります。
何かが足りませんか、それとも何かが足りないのでしょうか?
Re: 通常のOLSの対数尤度rmse = 0.421637;
k = 3;
n = 18;
mse = rmse^2;
SSE = mse * (n - k);
//all above uses k=3, for 3 regression coefficients.
k = k+1;
//the above increases the number of parameters by 1, which is the sigma.
AICc = n * log(SSE/n) + 2*k + 2*k*(k+1)/(n-k-1) + n*log(2*pi()) + n;
Re: 通常のOLSの対数尤度ありがとう@peng_liu !! これが私の問題を解決する欠落情報です。 この点に関して JMP のドキュメントを強化する価値はあるでしょうか? なぜなら、ドキュメントでは k は次のように記述されているからです。 kはモデル内の推定パラメータの数です " ( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml ）それが私の混乱を引き起こしました。
また、ドキュメントで参照されている出版物では、k はパラメーターの数であると常に理解していました。 実際の AICc 計算の前に、この k+1 はどこから来るのでしょうか? この手順を説明した特定の出版物はありますか?
追記：この公式はこの出版物に基づいている可能性はありますか？ https://sites.warnercnr.colostate.edu/wp-content/uploads/sites/73/2017/05/Anderson-et-al-1994-Ecology.pdf
Re: 通常のOLSの対数尤度やあ@Halbvoll : 完全なモデルを検討します。回帰係数に加えて、シグマもあります (モデルの一部は誤差項、分布 Normal[mean=0, Sigma] であることを思い出してください)。 したがって、シグマ (RMSE によって推定) がモデルの追加パラメーターになります。
Re: 通常のOLSの対数尤度@Halbvollと@MRB3855フォローアップのディスカッションをありがとう。
@Halbvoll回答を投稿したときも同じ懸念がありました。 @MRB3855最小二乗法の AICc のシグマは RMSE ではなく、私も最初は混乱しました。 この件に関してより詳しい開発者とコミュニケーションを取った結果、何が起こっているのかを次のように説明できるようになりました。
- 最小二乗法では、シグマを自由パラメータとして推定しません。 したがって、最小二乗法のパラメータの数は回帰係数の数と同じです。
- シグマの最小二乗推定は RMSE、つまり sqrt(SSE/DF) です。ここで、DF = 観測値の数 - 係数の数です。 このシグマは、統計的推定という意味では自由なパラメータではありません。
- AICc 式は、MLE が sqrt(SSE/N) であるシグマの正規密度関数に基づく尤度を使用します。 次のスクリーンショットの最初の項は、Sigma の MLE からの貢献です。 そういう意味では、このようにAICcを計算する場合、パラメータの数は回帰係数に加えてシグマもカウントしなければなりません。
完全な証明と完全な導出を確認するために、次の記事を参照するように指示されました。 興味があれば、式 6 までのすべての導出を参照してください。
https://www.sciencedirect.com/science/article/pii/S0893965917301623?ref=cra_js_challenge&fr=RR-1
HT Banks と ML Joyner、2017 年、最小二乗推定の枠組みに基づく AIC、Applied Mathematics Letters、第 74 巻。
将来のバージョンのドキュメントで明確に説明する予定です。 再度、感謝します！
Re: 通常のOLSの対数尤度やあ@peng_liu 、詳細な説明とこの出版物をありがとうございます。私は今までこの論文に詳しくありませんでした。 今後もドキュメントを更新していただきありがとうございます。
