JMP® Pro による線形混合モデル: 1 つの側面、さまざまな味*
曹建博士
SAS インスティテュート株式会社
2015年3月24日
ブリュッセル、ベルギー
抽象的な
JMP Pro 11 で導入された新機能の 1 つに、混合モデルがあります。モデルの適合プラットフォームのこの新しいモデリング機能により、適切な共分散構造とともに、固定効果とランダム効果を持つさまざまな回帰モデルを適合できます。混合モデルとは何でしょうか。混合モデルを適合させるべきなのはいつ、なぜでしょうか。そして、JMP はどのようにしてそのようなモデルを適合させるのでしょうか。この論文では、混合モデルに関する誤解を払拭するために、1) 統計的背景を簡単に確認し、2) 応答変数の測定値が相関しているか、重要な説明変数が欠落しているデータに混合モデルが従来の回帰モデルを適合させた場合の推定値と結果がより優れている理由について説明し、3) 実際のアプリケーションで広く使用されているさまざまな種類の混合モデルを適合させることで、JMP® Pro の混合モデルを説明します。
謝辞: ご協力いただいた Christopher Gotwalt 氏と Laura Lancaster 氏に感謝申し上げます。
*このホワイト ペーパーに記載されている内容は、JMP Pro 12 にも適用されます。 新しい JMP Pro 12 の主な機能強化は、最適化アルゴリズムが改善され、大規模なデータに対して JMP を JMP Pro 11 よりも高速に実行できるようになったことです。
JMP Pro 11 では、適合モデル プラットフォームに新しいモデリング パーソナリティである混合モデルが追加されました。混合モデルとは何でしょうか? JMP はどのようにしてこのようなモデルに適合するのでしょうか? 混合モデルを適用できる主なアプリケーションは何でしょうか? このホワイト ペーパーでは、混合モデルに関する誤解を解き、実際の例を使用して JMP の機能を実証します。
線形混合モデルとは何か
線形混合モデルは線形回帰モデルの一般化であり、 y=Xβ +eランダム効果Zを考慮してモデルを拡張すると、新しいモデルはy=Xβ+Z γ + εとなる。. これは、固定効果Xとランダム効果の両方があるため、線形混合モデルです。 と。
以下の仮定は、ランダム効果パラメータ、 γおよびランダム誤差ε:
（１ ） およびε 正規分布しており、（２）相関関係はない。 そして εJMPは、よく使用される構造をいくつか提供しています。ε. 固定効果係数、 , および共分散行列 そして 制限付き最尤法によって共同推定される。混合モデルを当てはめるにはa各断面単位の追加データ、または空間データをモデリングする場合は測定の次元。非正規分布応答の混合モデルや非線形混合モデルがある; しかし、 私の説明の範囲は、JMP Pro でサポートされている線形混合モデルに限定します。
混合モデルがなぜ必要なのか
回答間に相関関係がある場合や、 重要な説明変数欠落している場合、それを考慮に入れないと、治療やその他の要因の効果の推定に偏りが生じます。
混合モデルの一般的な使用例を以下に示します。
- 許可する係数
- 変更が困難な要因と変更が容易な要因によって複数の誤差項が生じるランダム化ブロック設計および分割プロット設計の分析。
- ランダム効果の形で観察されない個々の異質性を制御する（パネルデータモデルなど）。
- 反復測定の分析被験者内エラーが相関している場合;
- 同じ被験者から測定が行われたために相関している複数の応答。
- 科目は階層的である（つまり、学校内の生徒）これは階層線形モデルまたはマルチレベルモデルとして知られています。
- 空間的変動性（すなわち、地理空間回帰）
JMP Pro を使用すると、ポイント アンド クリック インターフェイスを使用してこれらすべてのモデルを簡単に指定して適合し、ユーザー フレンドリな方法で結果を確認できます。
JMP Proで混合モデルを指定する手順
- 1.[分析] => [モデルの適合]を選択し、 [混合モデル パーソナリティ]を選択します。
- 2.データ テーブルから連続応答変数をYとして選択し、通常の最小二乗近似で行うように固定効果を構築します。
3A.ランダム効果タブを使用して、ランダム係数またはランダム効果を指定します。
3B. 「繰り返し構造」タブを使用して、モデルエラーの共分散構造を選択します。
- 4. 「実行」をクリックします。
ここで、ランダム係数モデル、反復測定分析、パネルデータモデル、そして、地理空間回帰。
例1: ランダム係数モデル—切片と傾斜を許可する被験者によってランダムに変化する
この例では、各小麦品種が集団の影響からランダムに逸脱することを許容しながら、土壌の植え付け前の水分が小麦の収穫量に与える影響を推定することに関心があります。そのため、ランダム係数モデルが必要です。この実験では、小麦の品種からランダムに10品種を選び、それぞれを6つの土地合計で、品種ごとに 6 つの収穫量を測定した 60 の観測値が収集されます。(データ「小麦」は、JMP のサンプル データ ディレクトリにあります。)
モデルを指定するには、上記の手順に従いました。「固定効果」タブで、固定効果としてデフォルトの切片とともに水分を指定します。
Fit Model: Fixed Effects適合モデル: 固定効果適合モデル: 固定効果
次に、 「ランダム効果」タブから、 「ランダム係数のネスト」ボタンを使用して、各品種のランダム切片と水分効果を要求します。 
Fit Model: Random Effects適合モデル: ランダム効果適合モデル: ランダム効果
Lastly, from 繰り返し構造 tab, select 残余 for the model error term.
Fit Model: Repeated Structures適合モデル: 繰り返し構造適合モデル: 繰り返し構造
次のスクリーンショットは、ランダム効果共分散パラメータ推定値、固定効果パラメータ推定値、およびランダム係数を示しています。これらについて順番に説明しましょう。 
Intercept の分散推定値は 18.89、標準誤差推定値は 9.11 なので、Z スコアは 2.07 (=18.89/9.11) です。JMP 数式エディタの正規分布関数を使用すると、p 値が 0.0192 であることがわかります。これは、品種間のベースライン収量の変動が統計的に有意であることを示しています。同様に、 Cov(水分、切片)のp値は 0.3777、 どこ(水分)の p 値は 0.0380 です。
ランダム係数レポートはBLUP（B推定線形不偏予測子固定効果パラメータ推定で報告された集団切片および集団水分効果と各品種がどのように異なるかを示す値。品種1の場合、その収量に対する推定水分効果は0.61（=0.66-0.05）、ベースライン収量は34.39（=33.43+0.96）、予測収量方程式は次の通りです。
固定効果とランダム係数の推定値を組み合わせると、水分が小麦の収穫量に全体的に大きな影響を与えることがわかり、また、異なる品種間で水分の影響に大きなばらつきがあることがわかりました。
ランダム係数モデルのその他の応用
個体成長モデルはランダム係数モデルの一種であり、ランダムタイム効果は各個人について推定される。彼の方法は、連続的な時間変数など日または月をランダム効果として、using ネストランダム係数 button to request separate slope (i.e., growth) and intercept for each individual.
教育研究では、被験者は階層的にネストされることがよくあります。ランダム効果ステートメントの複数のグループを追加することで、階層線形モデル/マルチレベル モデルを適合させることができます。
例2: 反復測定の分析 - 相関誤差の考慮
反復測定とは、同じ被験者から一定期間にわたって収集された反応の複数回の測定です。この臨床試験では、被験者 (患者) は異なる治療グループにランダムに割り当てられました。各被験者の総コレステロール値は、試験中に複数回測定されました。この研究の目的は、新しい薬はコレステロールを下げるのに効果的です。反復測定の分析を際立たせるのは、被験者内の測定値の相関です。これを考慮しないと、治療効果について誤った結論に至ることがよくあります。(データ「Cholesterol Stacked 」は、JMP のサンプル データ ディレクトリにあります。
JMP Pro では、一般的に使用される 3 つの共分散構造が提供されています。
- 非構造化
- AR(1)(一次自己回帰) は、1 単位の時間だけ離れた 2 つの測定値間の相関を推定します。相関は時間差が大きくなるにつれて低下します。
- CS
次のスクリーンショットは、 処理 、 月 、 午前/午後 、およびそれらの相互作用を含む、反復測定分析の固定効果部分を示しています。 
Fixed effects part of the modelモデルの固定効果部分モデルの固定効果部分
被験者内誤差の3つの異なる共分散構造を検討します。まず、非構造化を使用します。時間列を「繰り返し」、患者列を「被験者」とすると、被験者内での繰り返し測定が定義されます。JMP では、非構造化オプションの場合、被験者列に一意の値を設定し、繰り返し列をカテゴリ化する必要があることに注意してください。 
Unstructured Covariance Structure非構造化共分散構造非構造化共分散構造
主なレポートには、反復効果共分散パラメータ推定値、固定効果パラメータ推定値、および固定効果テストをテストします。 
Results using Unstructured非構造化を使用した結果非構造化を使用した結果
共分散推定値の統計的有意性をテストする方法の1つは、前のランダム係数モデルの例で行ったように、Zスコアを計算してp値を見つけることです。ただし、信頼限界をチェックすることができます。共分散推定値の95％信頼区間にゼロが含まれている場合、推定値はゼロから統計的に有意ではないと言えます。α=5%です。ご覧のとおり、6つの分散推定値はすべて0とは有意に異なりますが、共分散推定値はそうではない。これは、AR（1）のような簡素な構造を考慮する必要があることを示唆している。
固定効果テスト報告書は、治療効果が非常に顕著であることを示している。Cコレステロール値また、月ごとに、また朝と午後ごとに大きく変化することもわかっています。
次に、被験者内誤差の共分散構造としてAR(1)を検討します。JMP の AR(1) で使用される繰り返し列は連続変数でなければならないことに注意してください。したがって、UN オプションで使用されるカテゴリ変数の代わりに、各測定における試験開始日からの日数である D aysが使用されます。 
AR(1) Covariance Structure AR(1) 共分散構造AR(1) 共分散構造
反復効果共分散パラメータ推定レポートでは、被験者内相関が 0.95 と非常に有意であることを示しています。固定効果の結果は UN オプションの結果 (図示せず) と同様であり、治療効果と時間効果は統計的に有意です。 
Results using AR(1) ARを使用した結果(1) ARを使用した結果(1)
To complete our example, finally, let’s fit the model with a CS structure. To do so, select 残余 as the 反復共分散構造—but no need to specify 繰り返し and 主題 columns with this option; instead, we add the subject ID, 忍耐強い、as a random effect on the ランダム効果 tab. That is
w被験者間の共分散は被験者efを通じてモデル化される完璧。 
CS Covariance Structure with random subject effect and residual errorランダム被験者効果と残差誤差を伴う CS 共分散構造ランダム被験者効果と残差誤差を伴う CS 共分散構造
Results using CSCSを使用した結果CSを使用した結果
95%信頼限界で判断すると、同じ対象に関する2つの測定値間の共分散は、統計的に有意ではない。α=0.05（実際はp値= 0.0621固定効果テストの結果は以前のモデルと同様であるため、ここでは示されていません。
では、どの繰り返し構造を採用すべきでしょうか? モデル比較の基準の 1 つは AICc です。JMP によって報告された適合統計(図示せず) によると、AICc は非構造化— 703.84、AR (1) — 652.63、 CS — 832.55 です。したがって、 AR(1)が勝者です。
例3: パネルデータモデル - 観測されない異質性を制御する
この例はジェフリー・ウッドリッジ著『Introductory Econometrics』で次のように論じられているヴェッラとヴェルベック（1998年）例14.4. 詳細については、以下の参考資料を参照してください。
元のデータは、 1979 年全国青年縦断調査(NLSY79) から取得されました。データでは、545 人の男性労働者がそれぞれ 1980 年から 1987 年まで毎年働いていました。私たちは、教育、職歴、民族性などを考慮して、労働組合の加入が賃金収入に与える影響を推定することに関心があります。
NLSY79 は、制御変数として使用される労働者の詳細な背景情報を収集しますが、観察または測定できない個人差が依然として存在します。パネル データは、個人の異質性を説明する方法を提供します。観察されない異質性がモデルに含まれるすべての説明変数と相関していないと想定できる場合は、それをランダム効果として扱うことで説明できます。
Woodridge の議論に従って、観測されない差異を捕捉するために、労働者の ID をランダム効果として入力した Log(Wage) 方程式が当てはめられます。 
Fixed effects part of the Log(Wage) Equation対数(賃金)方程式の固定効果部分対数(賃金)方程式の固定効果部分
Random effects part of the Log(Wage) Equation対数(賃金)方程式のランダム効果部分対数(賃金)方程式のランダム効果部分
モード誤差項として残余を選択します。このモデルは計量経済学では一元配置ランダム効果モデルと呼ばれます。
結果は以下の通りです。 
Panel Model Resultsパネルモデルの結果パネルモデルの結果
ランダム効果共分散パラメータ推定レポートから、個々の異質性は全体の変動の 47.8% (=0.11/(0.11+0.12)) を占めており、観測されていない大きな異質性の影響があることを示しています。言い換えれば、OLS 分析では誤解を招く結果が生じる可能性があります。
固定効果パラメータ推定レポートでは、教育の収益率の推定値は 9.2%、労働組合の保険料は 10.5% と示されており、どちらも統計的に非常に有意です。比較として、プールされた OLS では労働組合の保険料は 18.2% と推定されます。Woodridge (2013、495 ページ) を参照してください。
参考文献
フランシス・ヴェッラとマーノ・フェルベック (1998)、「労働組合は誰の賃金を上げるのか? 若年男性の労働組合主義と賃金率決定の動的モデル」、応用計量経済学ジャーナル、第 13 巻、第 2 号、163-183 ページ。データはジャーナルの Web サイトからダウンロードできます。http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
ジェフリー・M・ウッドリッジ（2013）、入門計量経済学：現代的アプローチ（第5版）CENGAGEラーニング。
例4: 空間相関を考慮した地理空間データのモデリング
反復測定が時間的に相関しているのと同様に、空間データは空間的に相関している可能性が高い。つまり、比較的近いものは、遠いものよりも類似性が高いです。したがって、分析では空間依存性を考慮する必要があります。
空間データは、次のような座標とともに記録されます。緯度と経度、行と列の位置、南北と東西の方向。2つの測定値間の距離はユークリッド距離を使用して計算されます。 共分散構造を形成するために使用される関数。距離関数が測定の方向に依存しない場合、共分散は次のように表される。等方性;それ以外の場合は異方性です。加えて、ナゲット効果を追加することで、局所的なエリア内の短い距離での急激な変化を考慮できます。
JMP Proは4つのユークリッド距離 等方性構造の関数: 累乗、指数、ガウス、球状。さまざまな形式の異方性構造が利用可能です。共分散構造にナゲット効果を追加することもできます。
次の例は、『SAS for Mixed Models, 2nd Edition 』 （2006 年、457 ～ 460 ページ）から引用したものです。http://www.sas.com/store/prodBK_59882_en.htm有害廃棄物処分場における排水を調査するために、現場のさまざまな場所で 30 個のサンプルを採取し、南北および東西方向に記録しました。排水 (対数透過率で測定)と塩層の厚さの間には直線関係があることが提案されました。(T有害廃棄物のデータは、圧縮ファイルのデータセット11.6です。
http://support.sas.com/publishing/bbu/59882/59882.zip。
空間回帰モデルは、ナゲット効果を持つ空間異方性パワー構造を使用して適合されます。この構造により、(1) 距離が空間相関のパワー関数になること、(2) 空間相関が方向によって異なること、(3) 短い距離での変化が可能になります。 
Spatial anisotropic power with nuggetナゲットによる空間異方性パワーナゲットによる空間異方性パワー
Results using spatial anisotropic power with nuggetナゲットによる空間異方性パワーを使用した結果ナゲットによる空間異方性パワーを使用した結果
共分散パラメータ推定report suggests highly significant spatial correlation and that two correlation coefficients are, respectively, 0.81 (East-West) and 0.91 (North-South). However, there appears to have no nugget based on the confidence limits. 固定効果パラメータ推定 show a significant negative effect (-0.025) on water drainage of thickness of salt.
ナゲット効果を削除してモデルを再調整します。 
Results using spatial anisotropic power without nuggetナゲットなしで空間異方性パワーを使用した結果ナゲットなしで空間異方性パワーを使用した結果
いくつかの小さな変化が見られます。推定された空間相関はそれぞれ 0.86 と 0.82 で、塩の厚さの影響は -0.021 です。AICc を使用して適合度を比較すると、2 番目のモデルの方が AIC が小さいためわずかに優れています (84.7 対 86.4)。
空間相関の存在を正式にテストするために、構造として残余を選択して（つまり、空間相関がないと仮定して）、独立エラー モデルを適合させます。2 つのモデル間の -2 残差対数尤度値の差は、χ2 尤度比テストを形成します。独立エラー モデルの -2 残差対数尤度は 94.07 なので、差は 13.72（=94.07-80.35）です。これにより、DF=2 の p 値は 0.001 になります。したがって、このサイトでは有意な空間相関が見つかります。
まとめ
これらの例から、線形混合モデルの汎用性と、JMP を使用した混合モデルの当てはめの容易さがわかると思います。最後に、一般的なヒントをいくつか紹介します。
