一般化線形モデルの切片係数が設計行列に依存するのはなぜですかglm のインターセプト項についてよく考えました。特にロジスティック回帰。標準的な線形回帰では、計画行列の知識がなくても切片項を推定できます。あくまで回答の平均値です。この原理は他のモデルでも変わらないと思いました。原則は
- 応答とリンク関数がわかれば、切片項を決定できます。これは、予測変数を使用せずに glm ダイアログを実行するのと同じになるはずです (NULL モデル)。
これはそうではありません。切片は NULL モデルに非常に近いです。計画行列を変更すると、異なる切片値も得られます。おそらく、係数が検索アルゴリズムによって生成されていることが原因と考えられます。Poisson glm に対しても同じことを行ったところ、同じことがわかりました。切片は NULL モデルに近いですが、同じではありません。
興味深いことに、LASSO を実行してペナルティを増加し続けると、切片は NULL モデルに収束します (NULL モデルに向かって縮小します)。この結果は、設計マトリックスとは無関係です。
共変量係数を推定する前に、応答とリンク関数から切片項を単純に計算できれば素晴らしいと思います。モデルの方が良かったのかな？
Re: 一般化線形モデルの切片係数が計画行列に依存するのはなぜですかありがとうマーク、
応答を中心に置くという概念は、応答が数値である場合に理解しやすいです。{T, F} のようなバイナリ応答があり、それを意図的にコード化されていない形式に保っているとします。応答を中心に置くことに意味を与える自然な方法はありません。これを {0, 1} としてコード化し、応答を中心に配置したとしても、一般的には 0 と 1 の間の値のベクトルが得られます。この中心に配置された応答は、0 と 1 のベクトルでなければならない実現可能な応答ベクトルのセットには含まれていません。したがって、この場合、インターセプト項は、リンク関数を通じて応答内の 1 の部分に関連付けられるため、保持することが非常に重要であると思われます。T と F の数が同じであれば、切片は 0 になります...しかしそうでない場合はそうではありません。したがって、応答ベクトルから切片を計算し (応答を中心に置くようなもの)、投げ縄またはその他の学習アルゴリズムを実行して、他の列に焦点を当てることができます。
したがって、二者択一の応答を中心にするのは良い考えではないというアドバイスを受けましたが、それよりも奥が深いと思います。切片は、他の予測子の係数を理解する上で中心的ではない場合でも、モデルとともに使用することが重要です。
Re: 一般化線形モデルの切片係数が計画行列に依存するのはなぜですかこんにちは、マークさん
あなたからは迅速かつ洞察力に富んだ返信が得られると思いました。ありがとう。X を中央に配置するという側面については考えていませんでした。特徴選択のロジスティック回帰問題に LASSO を適用しているため、明示的にセンタリング (およびスケール正規化) を行っていました。設計マトリックスを中心に配置しないと、異なる答えが得られることがわかります。中心にある場合、切片はほぼ正確に平均応答 (正の部分) に適用されるリンク関数になります。とてもかっこいい。この問題をきっかけに、応答空間が単位立方体の角になったため、LASSO の収縮についてどのような図を提示するかを考えるようになりました。さらに、最適解は、ペナルティが増加するにつれて、平均応答 ((1, 1, 1, ...) の倍) と正確に等しい内部のある点に向かって縮小します。
このすべてがさらなる疑問につながりました。楽しめるかも知れません。ユニット立方体の隅には最尤解が存在しない箇所がいくつかあります。これらの応答では、応答を完全に分類できる計画行列の列の線形結合があるため、JMP は係数が不安定であることを示します。私が抱いた質問は、観測数 N の関数としての不安定なコーナーの最大数はいくらかということでした。不安定な解に遭遇することはほとんどないため、この数は 2^N 未満でなければならないことは明らかです (おそらく、これを防ぐために最初に線形分類器を常に試してください)。答えはとてもクールです。これはケーキ数列に関連しています...3 つの予測子の場合は Cake(N -1) です。予測変数が 3 つを超えると非常に困難になります。
Re: 一般化線形モデルの切片係数が計画行列に依存するのはなぜですかこの OLS 回帰の場合の y 切片について考えてみましょう。最初の分析では回帰子として X が使用され、2 番目の分析ではセンタリング後の X が使用されます。
したがって、切片は一般に平均応答と等しくありませんが、予測変数を中心に置き、アイデンティティ リンク関数を使用すると、等しくなります。
Re: 一般化線形モデルの切片係数が計画行列に依存するのはなぜですか切片 (特に y 切片) は、通常の最小二乗回帰、一般化線形モデル、および一般化回帰 (JMP) で使用される線形予測子 (線形結合) の定数項です。 これは通常、すべての予測変数がゼロに設定されている場合の線形予測変数の値です。 一般に、それは平均的な反応ではありません。 その結果は、OLS 回帰の場合の予測子の値に依存します。 GLMの場合はリンク機能にも依存します。 切片を平均応答にしたい場合は、予測変数を中心に配置し、恒等リンクを使用する必要があります。
