JMP® Pro を使用した線形混合モデル: 1 つの顔、さまざまな特徴*
ジャン・カオ博士
SASインスティテュート株式会社
2015 年 3 月 24 日
ブリュッセル、ベルギー
概要
JMP Pro 11 で導入された新機能の 1 つは混合モデルです。 モデルの当てはめプラットフォームのこの新しいモデリング パーソナリティにより、適切な共分散構造とともに、固定およびランダム効果を使用してさまざまな回帰モデルを当てはめることができます。 混合モデルとは何ですか? いつ、なぜ混合モデルを当てはめる必要があるのでしょうか? そして、JMP はそのようなモデルにどのように適合するのでしょうか? この論文では、混合モデルについての神話を払拭するために、1) 統計的背景を簡単にレビューし、2) 混合モデルがなぜより良い推定値を提供するのか、また応答変数の測定値が相関しているデータや主要な説明変数が欠落しており、3) 実際のアプリケーションで広く採用されているさまざまな種類の混合モデルを当てはめて、JMP® Pro の混合モデルを説明します。
謝辞: Christopher Gotwalt と Laura Lancaster の協力に感謝します。
*このホワイト ペーパーに記載されている内容は、JMP Pro 12 にも適用されます。新しい JMP Pro 12 の主な機能強化は、最適化アルゴリズムの改善です。これにより、JMP は大規模なデータに対して JMP Pro 11 よりも高速に実行できるようになります。 .
JMP Pro 11 では、新しいモデリング パーソナリティである Mixed Model が Fit Model プラットフォームに追加されました。混合モデルとは何ですか? JMP はこのようなモデルにどのように適合しますか? 混合モデルを適用できる主要なアプリケーションは何ですか? このホワイト ペーパーでは、混合モデルに関する誤解を払拭し、実際の例を使用して JMP の機能を実証します。
線形混合モデルとは
線形混合モデルは、線形回帰モデルの一般化です、 y=Xβ +ε . ランダム効果を考慮してモデルを拡張し、 Z 、新しいモデルになりますy=Xβ+Z γ + ε . 両方の固定効果があるため、これは線形混合モデルです。バツ、そしてランダム効果、 Z.
次の仮定は、ランダム効果パラメータ、 γとランダムエラーε :
(1) γとεは正規分布しており、(2) 間に相関はありません。とε .JMP には、一般的に使用されるいくつかの構造が用意されています。 ε . 固定効果係数、 、および共分散行列と制限付き最尤法によって共同推定されます。 混合モデルのフィッティングにはa各断面単位の追加データ、または空間データのモデル化の場合は測定値の次元。 非正規分布応答または非線形混合モデルの混合モデルがあります;でも、議論の範囲を、JMP Pro でサポートされている線形混合モデルに限定します。
混合モデルの理由
応答または重要な説明変数が欠けている場合、それを説明できないと、治療の効果やその他の要因の偏った推定につながります。
混合モデルの一般的な使用例を次に示します。
- 許可する係数
- ランダム化されたブロック計画、および変更が困難な因子と変更が容易な因子が複数の誤差項をもたらす分割プロット計画の分析。
- 観察されていない個人の異質性を変量効果の形で制御する (つまり、パネル データ モデル)。
- 反復測定の分析被験者内エラーが相関している場所。
- 同じ被験者から測定値が取得されているため、相互に関連する複数の回答。
- 科目は階層的です (つまり、学校内の学生) . これは、階層線形モデルまたはマルチレベル モデルとして知られています。
- 空間変動性 (すなわち、地理空間回帰);
JMP Pro では、ポイント アンド クリック インターフェースを使用してこれらすべてのモデルを簡単に指定して適合させ、ユーザー フレンドリーな方法で結果を確認できます。
JMP Proで混合モデルを指定する手順
- 1.選択する分析 => モデルに適合、そして選択混合モデルの性格;
- 2.データ テーブルから連続応答変数を次のように選択します。よ標準の最小二乗法で通常行うように、固定効果を構築します。
3A。 使用するランダム効果タブでランダム係数またはランダム効果を指定します。
3B. 使用する繰り返し構造モデル誤差の共分散構造を選択するためのタブ。
- 4. クリック走る.
ここで、混合モデルの 4 つの異なるフレーバーを示す例に目を向けます。ランダム係数モデル、反復測定の分析、パネル データ モデル、地理空間回帰。
例 1: ランダム係数モデル—切片と勾配を許可する被験者間でランダムに変化する
この例では、植え付け前の土壌の水分が小麦の収量に及ぼす影響を推定することに関心がありますが、各小麦の品種が個体群の影響からランダムに偏差することを許可します。 したがって、ランダム係数モデルが必要です。 この実験では、コムギ集団から 10 品種をランダムに選択し、それぞれを6区画の土地.合計で、各品種の収量の 6 つの測定値を含む 60 の観測値が収集されます。 (データ「小麦」は、JMPのサンプルデータディレクトリにあります。)
上記の手順に従ってモデルを指定しました。 から固定効果タブで、固定効果として既定の切片と共に水分を指定します。
Fit Model: Fixed Effectsモデルのあてはめ: 固定効果
次からは、ランダム効果タブ、使用ランダム係数のネストボタンをクリックして、各品種のランダム インターセプトと水分効果をリクエストします。 
Fit Model: Random Effectsモデルの適合: 変量効果
最後に、から繰り返し構造タブ、選択残差モデル誤差項。
Fit Model: Repeated Structuresモデルのあてはめ: 反復構造
次のスクリーンショットは、変量効果共分散パラメーター推定、固定効果パラメーター推定とランダム係数.それらについて順番に説明しましょう。
切片の分散推定値は 18.89 で、標準誤差推定値は 9.11 であるため、Z スコアは 2.07 (=18.89/9.11) です。 JMP Formula Editor の正規分布関数を使用すると、p 値が 0.0192 であることがわかります。これは、品種間のベースライン収量の変動が統計的に有意であることを示しています。同様に、 p -値Cov(水分、インターセプト) 、0.3777、および p 値Var(水分)は 0.0380 です。
のランダム係数レポートは BLUP (B est 線形不偏予測子)各品種が個体群切片および個体群水分効果とどのように異なるかについての値は、で報告されています固定効果パラメーターの推定。 品種 1 の場合、収量に対する水分の推定効果は 0.61 (=0.66-0.05) で、ベースライン収量は 34.39 (=33.43+0.96) であり、予測収量式は次のとおりです。
固定効果とランダム係数推定値の両方を組み合わせると、水分の小麦収量に対する有意な全体的効果が見つかり、さまざまな品種間で水分効果の有意な変動が発見されます。
ランダム係数モデルのその他の応用
個人成長モデルはランダム係数モデルの一種で、ランダム時間効果は個人ごとに見積もります。彼は連続を指定することによって行われますなどの時間変数ランダム効果としての日または月、およびあなた歌うランダム係数のネストボタンをクリックして、個々の個別の勾配 (つまり、成長) と切片を要求します。
教育研究では、主題は階層的な順序で入れ子になっていることがよくあります。ランダム効果ステートメントの複数のグループを追加することにより、適合できます階層線形モデル/マルチレベル モデル.
例 2: 反復測定の分析 - 相関エラーの説明
反復測定は、同じ被験者から時間をかけて収集された応答の複数の測定です。この臨床試験では、被験者（すなわち患者）がランダムに異なる治療グループに割り当てられました。 各被験者の総コレステロール値は、試験中に数回測定されました。 この研究の目的は、新しい薬はコレステロールを下げるのに効果的です。 何反復測定の分析を明確にするのは、被験者内の測定値の相関関係です。 それを説明しないと、治療効果について誤った結論に至ることがよくあります。 （データ、コレステロール積み上げは、JMP の Sample Data ディレクトリにあります。
JMP Pro には、一般的に使用される 3 つの共分散構造が用意されています。
- 非構造化
- AR(1) (一次自己回帰) は、1 時間単位離れた 2 つの測定値間の相関を推定します。時間差が大きくなるにつれて、相関は低下します。
- CS
次のスクリーンショットは、固定効果以下を含む反復測定分析の一部処理、月、午前午後、およびそれらの相互作用。
Fixed effects part of the modelモデルの固定効果部分
被験者内誤差の 3 つの異なる共分散構造を検討します。まずは使ってみましょう非構造化。 申し込み時間列として繰り返し、と忍耐強い列として主題--これは、被験者内で繰り返される測定を定義します。 JMP が以下を要求することに注意することが重要です。主題列が一意に評価され、繰り返される列は、非構造化オプション。
Unstructured Covariance Structure非構造化共分散構造
主なレポートには以下が含まれます反復効果共分散パラメータ推定、固定効果パラメータの推定値、とテスト固定効果テスト.
Results using Unstructured非構造化を使用した結果
共分散推定値の統計的有意性をテストする 1 つの方法は、前のランダム係数モデルの例で行ったように、Z スコアを計算してその p 値を見つけることです。 ただし、信頼限界を確認することはできます。共分散推定の 95% 信頼区間にゼロが含まれる場合、その推定は 0 から統計的に有意ではないと言えます。 α = 5%。ご覧のとおり、6 つの分散推定値はすべてゼロとは大きく異なりますが、ほとんどの分散は共分散推定はそうではありません。 これは、AR (1) などの倹約的な構造を考慮する必要があることを示唆しています。
固定効果検定レポートは、非常に有意な治療効果を示しています。 Cコレステロール値また、月によって、また午前と午後で大きく異なることがわかります。
次に、 AR(1)被験者内誤差の共分散構造として。 その点に注意してください繰り返されるJMP が AR(1) で使用する列は、連続変数でなければなりません。だから、Dエイズ—各測定での試行開始日からの日数 - UN オプションに使用されるカテゴリ変数の代わりに使用されます。
AR(1) Covariance Structure AR(1) 共分散構造
の繰り返される効果共分散パラメータ推定レポートは、0.95 という非常に有意な被験者内相関を示しています。固定効果の結果は、UN オプション (表示されていません) の結果と類似しています。治療効果と時間効果は統計的に有意です。
Results using AR(1) AR を使用した結果(1)
例を完成させるために、最後に、モデルをCS構造。 そのためには、残差として反復共分散構造—ただし、指定する必要はありません繰り返されると主題このオプションを使用した列。代わりに、サブジェクト ID を追加します。忍耐強い、へのランダム効果としてランダム効果タブ。 あれは
w ithin-subject 共分散は、subject ef によってモデル化されます。効果があります。
CS Covariance Structure with random subject effect and residual errorランダム被験者効果と残差を伴う CS 共分散構造
Results using CSCS を使用した結果
95% の信頼限界から判断すると、同じ被験者の 2 つの測定値間の共分散は統計的に有意ではありません。 α =0.05 (実際には、p 値 = 0.0621 ）。 固定効果テストの結果は以前のモデルと同様であるため、ここには示していません。
では、どの繰り返し構造を採用すればよいのでしょうか。 モデル比較の 1 つの基準は AICc です。 から当てはめの統計JMP によって報告された (表示されていません)、AICcs は次のとおりです。非構造化—703.84、 AR(1) —652.63 およびCS —832.55。 そう、 AR(1)勝者です。
例 3:パネル データ モデル -- 観測されていない不均一性の制御
この例は、 Vella と Verbeek (1998)。入門計量経済学ジェフリー・ウッドリッジ著例 14.4 . 詳細については、以下の参考文献を参照してください。
元のデータは、若者の全国縦断調査 1979 コホート(NLSY79)。 データでは、545 人の男性労働者のそれぞれが 1980 年から 1987 年まで毎年働いていました。 教育、職歴、民族性などを管理する組合員の賃金収入への影響を推定することに関心があります。
NLSY79 は労働者に関する詳細な背景情報を収集して制御変数として使用しますが、それでも観察または測定できない個人差があります。 パネル データは、個々の不均一性を説明する方法を提供します。観察されていない不均一性がモデルに含まれるすべての説明変数と無相関であると仮定できる場合、それを変量効果として扱うことで説明できます。
Woodridge の議論に続いて、観測されていない差異を捉えるために労働者の ID がランダム効果として入力される Log(Wage) 方程式が当てはめられます。
Fixed effects part of the Log(Wage) Equation対数(賃金)方程式の固定効果部分
Random effects part of the Log(Wage) Equation対数(賃金)方程式の変量効果部分
私は選択します残差モード誤差項。 モデルは一方向変量効果モデル計量経済学で.
結果を以下に示します。
Panel Model Resultsパネル モデルの結果
から変量効果共分散パラメーター推定その個人を見つけたと報告する不均一性は、変動全体の 47.8% (=0.11/(0.11+0.12)) を占めており、観測されていない不均一性効果が大きいことを示しています。 つまり、OLS 分析は誤解を招く結果をもたらす可能性があります。
の固定効果のパラメーター推定レポートによると、教育の推定収益率は 9.2% であり、組合保険料は 10.5% であり、どちらも統計的に非常に有意です。 比較として、プールされた OLS では、組合保険料は 18.2% と推定されます。 ウッドリッジ (2013 年、ページ 495) を参照してください。
参考文献
Francis Vella と Marno Verbeek (1998)、"組合は誰の賃金を上げますか? 若い男性の組合活動と賃金率決定の動的モデル", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183。データはジャーナルの Web サイトからダウンロードできます。 http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
ジェフリー・M・ウッドリッジ (2013),入門計量経済学: 最新のアプローチ (5番目編）、 CENGAGEラーニング。
例 4: 地理空間データのモデリング - 空間相関を考慮に入れる
繰り返される測定値が時間の経過とともに相関するように、空間データは空間で相関する可能性があります。つまり、測定値は比較的近くにあるものは、離れているものよりも似ています。 したがって、分析では空間依存性を考慮する必要があります。
空間データは、次のような座標とともに記録されます。緯度と経度、行と列の位置、南北と東西の方向。 2 つの測定値間の距離は、ユークリッド距離共分散構造を形成するために使用されます。 私fa 距離関数は測定方向に依存しないため、共分散は次のようになります。等方性;そうでなければ異方性.加えて、 aナゲット効果を追加して、ローカル エリア内の短距離での急激な変化を考慮することができます。
JMP Pro は 4 つの機能を提供します。ユークリッド距離等方性構造の関数: 累乗、指数関数、ガウス関数、球面関数。さまざまな形態の異方性構造が利用可能です。共分散構造にナゲット効果を追加することもできます。
次の例は、混合モデル用 SAS、第 2 版、2006年、pp。457-460。 ( http://www.sas.com/store/prodBK_59882_en.htm ）。 有害廃棄物処分場の排水を調査するために、敷地内のさまざまな場所で 30 のサンプルを採取し、南北および東西の方向別に記録しました。水の排水との線形関係 (によって測定される対数透過率)そして、塩の層の厚さが提案されました。 ( T彼はデータ、有害廃棄物、 はデータセット 11.6圧縮されたファイルで
http://support.sas.com/publishing/bbu/59882/59882.zip .)
空間回帰モデルは、ナゲット効果を持つ空間異方性パワー構造を使用して適合されます。 この構造により、(1) 距離を空間相関の累乗関数にする、(2) 空間相関を異なる方向で異なる、(3) 短い距離で変化させることができます。
Spatial anisotropic power with nuggetナゲットによる空間異方性力
Results using spatial anisotropic power with nuggetナゲットで空間異方性パワーを使用した結果
共分散パラメータ推定レポートは、非常に有意な空間相関を示唆しており、2 つの相関係数がそれぞれ 0.81 (東西) と 0.91 (南北) であることを示しています。 ただし、信頼限界に基づくと、ナゲットはないようです。固定効果のパラメーター推定塩の厚さの排水に有意な負の影響 (-0.025) を示します。
ナゲット効果を取り除いてモデルを再調整します。
Results using spatial anisotropic power without nuggetナゲットなしで空間異方性パワーを使用した結果
いくつかの小さな変化に気付きます: 推定された空間相関はそれぞれ 0.86 と 0.82 であり、塩の厚さの効果は -0.021 です。 AICc を使用して適合度を比較すると、AIC が小さいため、2 番目のモデルの方がわずかに優れています (84.7 対 86.4)。
空間相関の存在を正式にテストするために、次を選択して独立した誤差モデルを適合させます。残差構造として（つまり、空間相関がないと仮定して）。 2 つのモデル間の -2 残差対数尤度値の差は、χ2 尤度比検定を形成します。 独立誤差モデルの -2 残差対数尤度は 94.07 であるため、差は 13.72 (=94.07-80.35) です。 これにより、DF=2 の p 値は 0.001 になります。 したがって、このサイトでは有意な空間相関が見られます。
概要
これらの例で、線形混合モデルの汎用性と、JMP を使用した混合モデルの適合の容易さを説明できたことを願っています。 締めくくる前に、いくつかの一般的なヒントを共有したいと思います。
