GenRegの分布私はGenRegのディストリビューションについてChrisに尋ねました
GenRegのモデル起動ウィンドウには、応答分布が表示されます。 これは正しいです?それともモデルの残差の分布ですか?
簡単に言えば、それは応答分布であり、一般的にモデル化されているエラー分布ではないということです。 正規分布とCauchyのような他のいくつかの分布では、誤差分布と応答分布は同じものと考えることができますが、いくつかの特別な場合を除いて同じではありません。 たとえば、二項分布、ポアソン分布、対数正規分布、ガンマ分布、またはワイブル分布の「誤差項」は考えられません。応答分布だけです。 それが当てはまるのは、「y =平均モデル+誤差項」という概念があると考えるモードに関して分布が対称的である場合だけです。 何が起こるかというと、最初にモデル+誤差の概念を使って最小二乗法のモデリングを学びますが、次にロジスティックとポアソンの回帰を実際に理解するには、学習せずに応答分布を使用して考える必要があります。 残念ながら、特定の大学の設定以外では、この点はほとんど明らかにされていません。 良い知らせは、ほとんどの場合、この微妙な理解の欠如が、業界でモデルをうまく使用している人々の邪魔にならないことです。
それが非常に広まっているので、これについて完全に理解できる混乱。 の中の冒頭文でも一般化線形モデルに関するウィキペディアのページ彼らが言うと間違っている:
"に統計 、一般化線形モデル ( GLM )通常の柔軟な一般化です。線形回帰それが可能になります応答変数 a以外のエラー分布モデルを持つもの正規分布 」
彼らはそれを2番目の文で正しく理解し始めています、しかし…
ロジスティック、ポアソン、またはガンマ回帰で実際に行われているのは、応答変数に非正規分布を持たせることができるということです。 応答と予測変数の間の関係は、リンク関数と呼ばれる平均の適切に選択された関数に線形モデルを配置することによって発生します。 ロジスティック(二項)回帰の場合、これはロジスティック()関数です。ポアソンでは、log()などです。 この平均モデルを推定のために非正規分布と組み合わせると、分散が平均の関数としてどのように変化するかを本質的に考慮に入れるので、データをより効率的に使用することができます。仮説検定や分析の信頼区間などの推論的側面を正しく取得できます。
再:GenRegの分布クレイは今年のJMPディスカバリーサミットヨーロッパでコペンハーゲンでまさにこのトピックを発表しました。非常によくできていて、非常に啓発的です。
再:GenRegの分布https://community.jmp.com/t5/Discovery-Summit-Europe-2019/Not-Quite-Normal-Choosing-the-Best-Response-Distribution-for/ta-p/110053
これがClayの発表です。
再:GenRegの分布これを投稿していただきありがとうございます、ピート!私もこれを混乱させました。残差仮定の正規性は、応答の分布よりも私にとって常に強調されていました。再:GenRegの分布これを出してくれてありがとう。何が起こっているのかを説明するのに十分なほど私の頭を動かすのに苦労したものでした。あなたの投稿は、GLMとGenRegをよりよく説明する方法を思いつく動機を与えてくれました。
明確にするために、応答分布は起動ダイアログで指定されるものではなく、少なくとも私が通常応答分布として考えるものではありません。これは、固定入力値とモデルパラメータに対する観測値の分布です(すなわち、予測子を条件とする観測) 。クレイはスライド18の彼の話でこれを言及しています。この条件付けは、「入力の範囲全体の分布を見るのではなく、指定された入力値について」(または、複数の入力を処理する場合の値のベクトル)を示します。私の意見では、これは分散を特徴付けるもので、これを誤差分散と呼びます。また、混乱の多くは、「応答」という言葉が一般的に観察された無条件の観察を示すだけでなく、GLMまたはGenRegの場合に観察された条件値も示すために使用されるためだと考えています。この混乱を避けるために、後で話すときに形容詞の「応答」を落とすことがより明確になるかもしれません。
何が起こっているのかを説明するために、シミュレートされたデータの表を添付しています。作業員の経験年数と比較して、タスクを正常に完了するために必要な失敗した試行回数を予測する例を生成することに興味があるとしましょう。負の二項(NB)は、数を数えるための標準分布です。 n までの失敗 r 成功しました。列の式平均レスポンス私たちが条件にするものです。平均応答を中心に分散を生成するために、パラメータを使用してランダムなNB変量をシミュレートします。 r = 1(テーブル変数として指定) p (rの値、平均応答、および二次式を使用して計算されます)。式を見れば Nトライ 、それはの関数であることがわかります r (固定値) p (経由平均レスポンス )、相対的に変化する値長年の経験 、に基づいてそれを作る複数のNB あなたが同じ年の経験のために多数の観測をシミュレートするならば、あなたはこれを見ることができます、そしてデータにNBを当てはめます。1に近い分散推定値が得られます(分散= 1 / r )との平均推定値 r *(1- p )/ p (NBの予想平均) の値が平均レスポンスそして、NBの平均は2つの異なるものです。前者は、リンク関数が適用された後の(無条件)予測子と応答の間の線形関係を指定します。後者は、固定入力値を条件とした観測値の分散の平均です。年数の少ない経験では、平均応答のNB平均推定値は比較的大きくなる可能性があります。残差に関しては、それらはちょうどの間の違いです平均レスポンスそして Nトライ列 方法に関して上記で述べたことを考えると Nトライが作成されたとしても、与えられたディストリビューションに従わないのは当然のことです。
再:GenRegの分布保存されたスクリプトがN回の試行を使用して平均応答からパラメーター値を厳密に推定し、すべてを一周するようにすることを忘れていました。