JMP® Pro を使用した線形混合モデル: 1 つの顔、多くのフレーバー*
ジャン・カオ博士
SASインスティテュート株式会社
2015 年 3 月 24 日
ブリュッセル、ベルギー
抽象的な
JMP Pro 11 で導入された新機能の 1 つは混合モデルです。 Fit Model プラットフォームのこの新しいモデリング特性により、適切な共分散構造とともに固定効果とランダム効果を備えたさまざまな回帰モデルを適合させることができます。 混合モデルとは何ですか? いつ、そしてなぜ混合モデルを適合させる必要があるのでしょうか? そして、JMP はそのようなモデルにどのように適合するのでしょうか? この論文では、1) 統計的背景を簡単にレビューし、2) 混合モデルがより良い推定値を提供する理由と、応答変数の測定値が相関しているデータや、応答変数の測定値が相関しているデータに従来の回帰モデルを当てはめた結果を議論することによって、混合モデルに関する誤解を払拭することを試みます。主要な説明変数が欠落しており、3) 現実のアプリケーションで広く採用されているさまざまな種類の混合モデルを当てはめることによって、JMP® Pro の混合モデルを示しています。
謝辞: Christopher Gotwalt 氏と Laura Lancaster 氏のご協力に感謝いたします。
*このペーパーで説明されている内容は、JMP Pro 12 にも適用されます。新しい JMP Pro 12 の主な機能強化は、大規模なデータに対して JMP Pro 11 よりも高速に JMP を実行できるようにする最適化アルゴリズムの改善です。 。
JMP Pro 11 では、Fit Model プラットフォームに新しいモデリング パーソナリティである Mixed Model が追加されました。混合モデルとは何ですか? JMP はそのようなモデルにどのように適合するのでしょうか? 混合モデルを適用できる主なアプリケーションは何ですか? このホワイトペーパーでは、混合モデルに関する誤解を払拭し、実際の例を使って JMP の機能を実証しようと思います。
線形混合モデルとは
線形混合モデルは線形回帰モデルを一般化したものです、 y=Xβ +ε 。 ランダムな効果を可能にするためにモデルを拡張し、 Z 、新モデルはy=Xβ+Z γ + ε 。 両方の固定効果があるため、これは線形混合モデルです。バツ、そしてランダムな効果、 Z.
以下の仮定が行われます。ランダム効果パラメータ、 γそしてランダムエラーε :
(1) γそしてεは正規分布しており、(2) 間に相関はありません。そしてε 。JMP には、一般的に使用される構造がいくつか用意されています。 ε 。 固定効果係数、 、および共分散行列そして制限された最尤法によって共同推定されます。 混合モデルのフィッティングには次のことが必要ですある各断面ユニットの追加データ、または空間データをモデリングする場合は測定値の寸法。 非正規分布応答の混合モデルまたは非線形混合モデルがあります。 ;しかし、ここでは、議論の範囲を JMP Pro でサポートされている線形混合モデルに限定します。
混合モデルを使用する理由
回答間に相関関係がある場合や、重要な説明変数が欠落している場合、それを考慮しないと、治療効果やその他の要因の推定に偏りが生じます。
混合モデルの一般的な使用例をいくつか示します。
- 許可する係数
- 変更が困難な要因と変更が容易な要因により複数の誤差項が生じるランダム化ブロック計画および分割プロット計画の分析。
- ランダム効果の形で観察されない個々の異質性を制御します (つまり、パネル データ モデル)。
- 反復測定の分析被験者内エラーが相関している場合。
- 同じ被験者から測定されたため、相関関係のある複数の回答。
- 対象は階層的です (つまり、学校内の生徒) 。 これは階層線形モデルまたはマルチレベル モデルとして知られています。
- 空間的変動（つまり、地理空間回帰）。
JMP Pro を使用すると、ポイント アンド クリック インターフェイスを使用してこれらすべてのモデルを簡単に指定して当てはめることができ、ユーザー フレンドリーな方法で結果を確認できます。
JMP Pro で混合モデルを指定する手順
- 1.選択する分析 => モデルの適合を選択してください混合モデルの性格;
- 2.データテーブルから連続応答変数を選択します。 Y標準的な最小二乗近似で通常行うのと同じように、固定効果を構築します。
3A. 使用ランダム効果ランダム係数またはランダム効果を指定するタブ。
3B. 使用繰り返し構造タブでモデル誤差の共分散構造を選択します。
- 4. をクリックします。走る。
次に、混合モデルの 4 つの異なる種類を示す例に移ります。ランダム係数モデル、反復測定の分析、パネル データ モデル、および地理空間回帰。
例 1: ランダム係数モデル -切片と傾斜を許可する被験者間でランダムに変化させる
この例では、各小麦品種が集団効果からランダムに逸脱することを許容しながら、作付け前の土壌中の水分が小麦収量に及ぼす影響を推定することに興味があります。 したがって、ランダム係数モデルが必要になります。 実験では小麦の母集団からランダムに 10 品種を選択し、それぞれを次の品種に割り当てます。 6区画の土地。合計で、各品種の収量の 6 つの測定値を含む 60 の観察が収集されます。 (データ「小麦」は、JMP のサンプル データ ディレクトリで入手できます。)
上記の手順に従ってモデルを指定しました。 から固定効果タブで、固定効果としてデフォルトの切片とともに水分を指定します。
Fit Model: Fixed EffectsFit Model: Fixed Effectsモデルの適合: 固定効果
次に、ランダムな効果タブ、使用ネストランダム係数ボタンをクリックして、品種ごとにランダムな切片と水分効果をリクエストします。 
Fit Model: Random EffectsFit Model: Random Effectsモデルの適合: ランダム効果
最後に、から繰り返し構造タブで選択残留物モデル誤差項の場合。
Fit Model: Repeated StructuresFit Model: Repeated Structuresモデルの適合: 繰り返し構造
次のスクリーンショットは、ランダム効果共分散パラメータ推定値、固定効果パラメータ推定値そしてランダム係数。順番に説明しましょう。
切片の分散推定値は 18.89、標準誤差推定値は 9.11 であるため、Z スコアは 2.07 (=18.89/9.11) です。 JMP Formula Editor の正規分布関数を使用すると、p 値が 0.0192 であることがわかり、品種間のベースライン収量の変動が統計的に有意であることがわかります。同様に、 p -値Cov(水分、インターセプト) 、0.3777、および p 値ヴァール(水分)は0.0380です。
のランダム係数レポートでは BLUP (B est 線形不偏予測子)各品種が人口切片および人口水分効果とどのように異なるかを示す値。固定効果パラメータの推定値。 品種 1 の収量に対する推定水分の影響は 0.61 (=0.66-0.05)、ベースライン収量は 34.39 (=33.43+0.96) で、予測収量式は次のようになります。
固定効果とランダム係数推定値の両方を組み合わせると、小麦の水分収量に対する全体的な大きな影響がわかり、品種ごとに水分の影響に大きなばらつきがあることがわかりました。
ランダム係数モデルのその他の応用
個別成長モデルは、ランダム係数モデルの一種です。ランダム時間効果は人それぞれに見積もります。これは連続的なものを指定することによって行われます。時間変数などランダム効果としての日または月、およびあなた歌うネストランダム係数ボタンを使用して、各個人に対して個別の傾き (つまり、成長) と切片を要求します。
教育研究では、主題が階層順に入れ子になることがよくあります。変量効果ステートメントの複数のグループを追加することで、階層的線形モデル/マルチレベルモデル。
例 2: 反復測定の分析 - 相関誤差の考慮
反復測定値は、同じ被験者から長期間にわたって収集された応答の複数の測定値です。この臨床試験では、被験者 (つまり、患者) が異なる治療グループにランダムに割り当てられました。 各被験者の総コレステロール値は試験中に数回測定されました。 研究の目的は、新しい薬はコレステロールを下げるのに効果的です。 何反復測定の分析により、被験者内の測定値の相関関係が明確になります。 それを説明しないと、治療効果について誤った結論につながることがよくあります。 （データ、コレステロールの積み重ね、JMP のサンプル データ ディレクトリで入手できます。
JMP Pro は、一般的に使用される 3 つの共分散構造を提供します。
- 非構造化
- AR(1) (一次自己回帰) は、1 単位の時間離れた 2 つの測定値間の相関を推定します。時間差が大きくなると相関関係は低下します。
- CS
次のスクリーンショットは、固定効果反復測定分析の一部。これには以下が含まれます。処理、月、午前午後、そして彼らのやりとり。
Fixed effects part of the modelFixed effects part of the modelモデルのエフェクト部分を修正
被験者内誤差に対する 3 つの異なる共分散構造を検討します。まずは使ってみましょう構造化されていない。 適用する時間列として繰り返し、そして忍耐強い列として主題--これは、被験者内で繰り返される測定を定義します。 JMP では次のことが必要であることに注意することが重要です。主題列が一意に評価されること繰り返し列はカテゴリ的である必要があります非構造化オプション。
Unstructured Covariance StructureUnstructured Covariance Structure非構造化共分散構造
主なレポートには以下が含まれます反復効果の共分散パラメータ推定値、固定効果パラメータの推定値、そしてテスト 固定効果テスト。
Results using UnstructuredResults using Unstructured非構造化を使用した結果
共分散推定値の統計的有意性をテストする 1 つの方法は、前のランダム係数モデルの例で行ったように、Z スコアを計算してその p 値を見つけることです。 ただし、信頼限界を確認することはできます。共分散推定値の 95% 信頼区間にゼロが含まれる場合、その推定値は次の時点でゼロから統計的に有意ではないと言えます。 α = 5%。ご覧のとおり、6 つの分散推定値はすべてゼロとは大きく異なりますが、ほとんどの分散推定値はゼロとは大きく異なります。共分散推定はそうではありません。 これは、AR (1) のような節約的な構造を考慮する必要があることを示唆しています。
固定効果のテスト報告書では、非常に重要な治療効果が示されています。 Cホールステロール値また、月ごと、午前と午後によっても大きく異なることがわかりました。
次に考えますAR(1)被験者内誤差の共分散構造として。 その点に注意してください繰り返しJMP によって AR(1) で使用される列は連続変数である必要があります。それで、Dはい—各測定における試験開始日からの日数 -- UN オプションに使用されるカテゴリ変数の代わりに使用されます。
AR(1) Covariance StructureAR(1) Covariance Structure AR(1) 共分散構造
の繰り返される効果共分散パラメータの推定レポートでは、0.95 という非常に有意な被験者内相関が示されています。固定効果の結果は UN オプションの結果と似ています (図示せず)。治療効果と時間効果は統計的に有意です。
Results using AR(1)Results using AR(1) AR を使用した結果(1)
例を完成させるために、最後にモデルを次の条件で適合させましょう。 CS構造。 これを行うには、次を選択します残留物として反復共分散構造—ただし、指定する必要はありません繰り返しそして主題このオプションを使用した列。代わりに、件名 ID を追加します。忍耐強い、に対するランダムな効果として、ランダム効果タブ。 あれは
wサブジェクト共分散はサブジェクト ef を通じてモデル化されます。フェクト。
CS Covariance Structure with random subject effect and residual errorCS Covariance Structure with random subject effect and residual errorランダムな被験者効果と残差を含む CS 共分散構造
Results using CSResults using CSCSを使用した結果
95% 信頼限界から判断すると、同じ被験者に関する 2 つの測定値間の共分散は、次の時点では統計的に有意ではありません。 α =0.05 (実際には p 値 = 0.0621 ）。 固定効果のテスト結果は以前のモデルと同様であるため、ここでは示しません。
では、どのような繰り返し構造を採用すればよいのでしょうか？ モデル比較の基準の 1 つは AICc です。 から適合統計JMP によって報告された (図示せず)、AICcs は次のとおりです。非構造化—703.84、 AR(1) —652.63およびCS —832.55。 それで、 AR(1)が勝者です。
例 3:パネル データ モデル -- 観察されない異質性の制御
この例はから引用されていますVella and Verbeek (1998) で説明されています。計量経済学入門ジェフリー・ウッドリッジ例14.4 。 詳細については、以下の参考資料を参照してください。
元のデータは、全国青少年縦断調査 1979 コホート(NLSY79)。 データでは、545 人の男性労働者はそれぞれ、1980 年から 1987 年まで毎年働いていました。 私たちは、教育、職歴、民族などを管理する組合員の賃金収入への影響を推定することに興味があります。
NLSY79 は、制御変数として使用する作業者の詳細な背景情報を収集しますが、観察または測定できない個人差が依然として存在します。 パネル データは、個々の不均一性を説明する方法を提供します。観察されない不均一性がモデルに含まれるすべての説明変数と相関がないと仮定できる場合、それを変量効果として扱うことで説明できます。
Woodridge の議論に従って、観察されない差異を捕捉するための変量効果として労働者の ID が入力される Log(Wage) 方程式が当てはめられます。
Fixed effects part of the Log(Wage) EquationFixed effects part of the Log(Wage) Equation Log(Wage) 方程式の固定効果部分
Random effects part of the Log(Wage) EquationRandom effects part of the Log(Wage) EquationLog(Wage) 方程式のランダム効果部分
私が選択します残留物モードエラー項の場合。 モデルの名前は一方向ランダム効果モデル計量経済学で。
結果を以下に示します。
Panel Model ResultsPanel Model Resultsパネルモデルの結果
からランダム効果の共分散パラメータ推定値その人物を発見したと報告します異質性は変動全体の 47.8% (=0.11/(0.11+0.12)) を占め、観測されていない大きな不均一性の影響を示しています。 言い換えれば、OLS 分析では誤解を招く結果が得られる可能性があります。
の固定効果パラメータの推定値報告書によると、推定教育復帰率は 9.2%、組合保険料は 10.5% であり、どちらも統計的に非常に有意です。 比較として、プールされた OLS の組合保険料は 18.2% と推定されます。 Woodridge (2013、495 ページ) を参照してください。
参考文献
フランシス・ベラとマルノ・フェルベーク (1998)、」労働組合は誰の賃金を引き上げるのでしょうか? 労働組合主義と若者の賃金決定の動的モデル"、Journal of Applied Econometrics、Vol. 13、No. 2、pp. 163-183。データはジャーナルの Web サイトからダウンロードできます。 http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
ジェフリー・M・ウッドリッジ (2013)、計量経済学入門: 現代的なアプローチ (5)番目編）、センゲージ学習。
例 4: 地理空間データのモデリング - 空間相関を考慮する
繰り返された測定値が時間の経過とともに相関するのと同様に、空間データは空間内で相関している可能性があります。つまり、次のような測定値です。比較的近くにあるものは、遠くにあるものよりも似ています。 したがって、解析では空間依存性を考慮する必要があります。
空間データは、次のような座標とともに記録されます。緯度と経度、行と列の位置、南北と東西の方向。 2 つの測定値間の距離は、次の式を使用して計算されます。ユークリッド距離共分散構造を形成するために使用される関数。 私fa 距離関数は測定の方向に依存しないため、共分散は次のようになります。等方性;それ以外の場合はそうです異方性。加えて、あるナゲットローカルエリアの短い距離にわたる突然の変化を考慮してエフェクトを追加できます。
JMP Pro は 4 つの機能を提供しますユークリッド距離等方性構造の関数: べき乗、指数関数、ガウス関数、球面関数。さまざまな形状の異方性構造が利用可能です。ナゲット効果を共分散構造に追加することもできます。
次の例はから引用したものです混合モデル用 SAS、第 2 版、２００６年、４５７〜４６０頁。 ( http://www.sas.com/store/prodBK_59882_en.htm ）。 有害廃棄物処分場の排水を調査するために、現場のさまざまな場所で 30 個のサンプルが採取され、南北と東西の方向で記録されました。排水量との間には直線関係があります（次のように測定）。対数透過率)そして塩の層の厚さが提案されました。 ( Tデータ、有害廃棄物、 はデータセット 11.6圧縮されたファイルの中に
http://support.sas.com/publishing/bbu/59882/59882.zip 。）
空間回帰モデルは、ナゲット効果のある空間異方性パワー構造を使用してフィッティングされます。 この構造により、(1) 距離が空間相関のべき関数になること、(2) 空間相関が異なる方向で異なること、(3) 短い距離での変化が可能になります。
Spatial anisotropic power with nuggetSpatial anisotropic power with nuggetナゲットによる空間異方性パワー
Results using spatial anisotropic power with nuggetResults using spatial anisotropic power with nuggetナゲットによる空間異方性パワーを使用した結果
共分散パラメータの推定このレポートは、非常に有意な空間相関があり、2 つの相関係数がそれぞれ 0.81 (東西) と 0.91 (南北) であることを示唆しています。 ただし、信頼限界に基づくとナゲットはないようです。固定効果パラメータの推定値塩の厚さの排水に対して有意な負の影響 (-0.025) を示しています。
ナゲット効果を削除してモデルを再調整しました。
Results using spatial anisotropic power without nuggetResults using spatial anisotropic power without nuggetナゲットなしの空間異方性パワーを使用した結果
いくつかの小さな変化に気づきました。推定された空間相関はそれぞれ 0.86 と 0.82 で、塩の厚さの影響は -0.021 です。 AICc を使用した適合度を比較すると、AIC が小さいため 2 番目のモデルの方がわずかに優れています (84.7 対 86.4)。
空間相関の存在を正式にテストするには、以下を選択して独立誤差モデルを適合させます。残留物構造として（つまり、空間相関がないと仮定して）。 2 つのモデル間の -2 残差対数尤度値の差により、χ2 尤度比検定が形成されます。 独立誤差モデルからの -2 残差対数尤度は 94.07 であるため、その差は 13.72 (=94.07-80.35) になります。 これにより、DF=2 の p 値は 0.001 になります。 したがって、この場所では有意な空間相関が見られます。
まとめ
これらの例で、線形混合モデルの多用途性と、混合モデルを JMP に当てはめることの容易さが理解できれば幸いです。 最後に、一般的なヒントをいくつか共有したいと思います。
