製作者： マレーネ・スミス
コロラド大学デンバービジネススクール
背景
米国のスキーリゾート周辺の不動産を管理する不動産会社は、住宅の価格設定方法を改善したいと考えています。家や不動産の規模、場所、築年数、市場の強さの指標など、さまざまな尺度に関するデータを簡単に入手できます。
タスク
スキー場内およびその周辺にある住宅の販売価格に関連する要因を特定した後、住宅価格を予測するモデルを開発します。
データ住宅価格.jmp
データセットには、最近 12 か月間に販売された 45 件の住宅物件に関する情報が含まれています。データセット内の変数は次のとおりです。
価格物件の販売価格（1,000ドル）
ベッド家の寝室の数
お風呂家の中のバスルームの数
平方フィート家のサイズ（平方フィート）
リゾートまでのマイル宿泊施設からダウンタウンのリゾートエリアまでのマイル数
基地までのマイル数施設からスキー場の麓まで数マイル
エーカー敷地面積（エーカー数）
車ガレージに入る車の数
歳上場時の住宅の築年数（年数）
ドM家が売れるまでに売りに出された日数
分析
この問題には、1 つの応答変数、住宅の販売価格、および販売価格のさまざまな潜在的な予測変数が含まれます。予測変数のうち 3 つは、平方フィート、寝室の数、バスルームの数という家の大きさを直接的または間接的に測定します。これらの予測変数ごとに単純な回帰モデルが開発されました。
各モデルの概要は次のとおりです。
モデル
|
Rスクエア
|
RMSE
|
P値
|
価格 = 137.4 + 77.2 ベッド
|
0.456
|
98.9
|
< 0.0001
|
価格 = 141.8 + 106.9 バス
|
0.640
|
80.5
|
< 0.0001
|
価格 = 134.0 + 0.135 平方フィート
|
0.486
|
96.2
|
< 0.0001
|
このモデルは、単一予測モデルに基づいて、住宅価格が次のように上昇することを示しています。
- 各寝室に77,200ドル。
- 各バスルームに 106,900 ドル。
- 1平方フィートあたり135ドル。
重回帰 (図表 1) により、同時販売価格に対する 3 つの予測変数の影響。
別紙1重回帰価格と 3 つのサイズ変数
([分析] > [モデルの適合] を選択します。価格Y としてサイズ変数を、モデル効果としてサイズ変数を入力し、「実行」を押します。 デフォルトの出力の一部は表示されず、ページに合わせてレイアウトが変更されました。)
重回帰モデルを 3 つの単回帰モデルと比較すると、係数が変化していることがわかります。
- 重回帰モデルでは寝室あたり 17,835 ドルとなり、77,200 ドルから下がりました。
- バスルームあたり 79,900 ドル (以前は 106,900 ドル)。
- 重回帰では 21 ドル/平方フィートですが、単回帰では 135 ドル/平方フィートです。
さらに、各予測子の重要性も変化しました。単純な回帰モデルにおいて、それ自体が統計的に有意である 2 つの予測変数 (ベッドそして平方フィート) は、他の予測子と組み合わせて使用すると重要ではなくなります。この理由は、予測変数間の相関関係、または多重共線性。
図表 2 に示すように、0.728 ～ 0.7901 の範囲の予測変数間の相関は、販売価格と平方フィートの相関 (0.697) および販売価格と寝室数の相関 (0.675) を上回っています。
展示品 2相関関係と散布図行列価格とサイズ変数
([分析] > [多変量手法] > [多変量] を選択します。価格、サイズ変数を Y、Columns として指定し、「OK」をクリックします。下の赤い三角の下で、[相関関係の表示] を選択します)。
この設定では、予測変数間の相関関係は特に驚くべきものではありません。私たちは期待する家に寝室やバスルームを追加すると平方フィートが増えるため、平方フィート、寝室の数、バスルームの数を相関させる必要があります。相関関係はありません完璧(つまり、1 に等しい) 平方フィートを追加しても、必ずしも別の寝室やバスルームを追加したことを意味するわけではなく (代わりにキッチンを拡張した可能性もあります)、また、寝室を追加しても、必ずしも別のバスルームを追加したことを意味するわけではないためです。 。
多重共線性は、山の麓までのマイル数とダウンタウンのリゾートエリアまでのマイル数という 2 つの位置測定値の間でも予想される可能性があります。図表 3 は、2 つの予測変数間に高い相関関係 (0.948) があるため、実際に懸念の理由があることを示しています。これは、散布図マトリックスの密度楕円 (図表 3) によって証明されています。密度楕円は、応答に関係する楕円よりもはるかに狭いです。価格。
資料 3ペアワイズ相関と散布図行列 - 位置変数
位置変数の単純回帰モデルでは、両方の予測変数の有意性が高く、係数は負です。
モデル
|
Rスクエア
|
RMSE
|
P値
|
価格 = 454.66 – リゾートまでの 5.118 マイル
|
0.291
|
112.97
|
< 0.0001
|
価格 = ベースまでの 473.61 – 5.925 マイル
|
0.401
|
103.81
|
< 0.0001
|
2 つの位置変数を含む全体的な回帰モデル (図表 4) は非常に有意であり、F Ratio の p 値は < 0.0001 です。まだ基地までのマイル数～の重要な予測因子である価格(0.05レベルで)。さらに、係数も大幅に変化しました。の係数リゾートまでのマイル今は陽性です！ (リゾートまでの距離が増えると販売価格は本当に上がるのでしょうか?) もう一度言いますが、2 つの予測変数間の非常に高い相関関係に注意する必要があります。リゾートまでのマイルそして基地までのマイル数。
別紙4重回帰価格と場所変数
予測子のサブセットとの多重共線性の兆候が見つかりましたが、すべての予測子を使用した重回帰モデルを見てみましょう。
別紙5重回帰価格とすべての予測子
(パラメータ推定テーブルを右クリックし、列、VIF を選択します。)
上記のモデル (図表 5) では、お風呂そしてエーカー0.05レベルで有意です。他の予測変数は多重共線性のために統計的に有意ではありませんか? 多重共線性の重大度の尺度は、分散膨張係数 (VIF) です。予測子の VIF を計算するには (VIF j )、回帰モデルは、予測子を Y として使用し、他の予測子を X として使用して近似されます。R 2このモデルの場合 (R j 2 ) が計算され、次の式を使用して VIF が計算されます。
R j 2他のすべての変数から 1 つの変数を予測するモデルの場合、VIF は 5 になりますが、R はj 2 0.9 の場合、VIF は 10 になります。したがって、5 または 10 を超える VIF は、多重共線性が問題である可能性があることを示していると考えられます。(注: これは確実な経験則ではありません。Google で VIF を検索すると、この件に関して多くの意見が得られます)。
間の強い相関関係リゾートまでのマイルそして基地までのマイル数は明らかに問題です。この状況では、2 つの変数のうち 1 つをモデルから削除することで多重共線性が軽減される可能性があります。振り返ってみると、ダウンタウンのリゾート地は山のふもとに近いことがわかりました。これは、これら 2 つの変数がほぼ同じ位置の尺度であることを意味します。以来リゾートまでのマイルよりも実際的に重要であると考えられた基地までのマイル数、 のみリゾートまでのマイルは、その後の重回帰モデルで位置の尺度として使用されます (図表 6)。
別紙6重回帰価格それなし基地までのマイル数
予測因子のうち 3 つ (お風呂、リゾートまでのマイルそしてエーカー新しいモデルの ) (図表 6) は非常に重要です。さらに重要なことは、多重共線性がそれほど懸念されなくなったことです。
モデルの縮小
先ほど定義した最終的なタスクは、価格設定モデルを開発することであることを思い出してください。目標は、住宅価格を予測するのに最適な最も単純なモデルを開発することです。これを実現するには多くの方法があります。 1 つのアプローチは、完全なモデルから有意でない予測変数を単純に削除することです。しかし1 つの予測子の重要性は、モデル内の他の予測子に依存します。このため、モデルからどの予測変数を削除するかを決定することが困難になります。段階回帰 (演習で説明) のようなツールは、重要な変数を特定し、モデルを単純化 (縮小) するための自動化されたアプローチを提供します。
ここでは、p 値を使用して、一度に 1 つの変数ずつ手動でモデルを縮小します。まず、相関関係を再確認します。
ペアごとの相関 (図表 7 の一番上のレポート) は、一部の予測変数が応答と高度に相関していることを示しています。ただし、これまで見てきたように、一部の予測子は他の予測子との相関性も高く、どの予測子が実際に重要であるかを判断することが困難になります。
代わりに、偏相関を使用します。偏相関は、他の変数との相関を制御しながら、2 つの変数間の相関です。部分相関を使用すると、他の予測子を調整した後、各予測子と応答の間の相関関係を確認できます。相関関係がどのように変化するかに注目してください (図表 7 の下のレポート)。 たとえば、次のペア相関と偏相関を比較します。ベッドそしてのためにエーカーと価格。
別紙7ペアごとの相関と偏相関
([分析] > [多変量メソッド] > [多変量] を選択し、[価格] を選択し、残りの予測変数を [Y, 列] として選択し、[OK] をクリックします。下の赤い三角の下で、「偏相関」を選択します。)
4 つの変数 –お風呂、平方フィート、リゾートまでのマイルそしてエーカー– 応答との偏相関が最も高い。市場に出回る日数 (ドM ） そしてベッド偏相関が最も低くなります。
以来ドM p 値も最も高くなります (図 6 では 0.925)。ドMそしてモデルを再調整します。次に、次に高い p 値を持つ変数を削除します。ベッド。
注: 変数が削除されると、他の変数の重要性が変わる可能性があります。したがって、重要でない変数のみを削除する必要があります。一つずつ。
これら 2 つの変数を削除した後、車そして歳はまだ重要ではありませんが、平方フィート0.05 レベルで重要になります。さらに、お風呂、リゾートまでのマイルそしてエーカーすべて減少しました（図表 8）。
別紙8削除後のパラメータ推定値ドMそしてベッド
この段階的なアプローチを続けることで、車、 それから歳。最終モデルは非常に有意であり (F Ratio の p 値は < 0.0001)、残りの変数はすべて 0.05 レベルで有意です (図表 9)。
証拠9縮小モデル
注: ここで採用したアプローチは、本質的に手動形式の後方段階的消去法であり、これについては演習で説明します。
最終モデル (図表 9 のパラメータ推定値を参照) では、販売価格が次のように推定されます。
- 平方フィートあたり 53.64 ドル。
- バスルームあたり 65,560 ドル。
- 1エーカーあたり5,352ドル。
- リゾートから 1 マイル離れるごとに 3,644 ドル安くなります。
まとめ
統計的洞察
このケースでは、多重共線性とそのモデル構築への影響が焦点となります。ダウンタウンのリゾートエリアから家までの距離と山の麓までの距離という 2 つの予測変数は、ほぼ同じ位置の尺度です。これらの変数の 1 つを削除すると、後続の重回帰モデルでもう 1 つを統計的に有意なままにすることができます。
ペアごとの相関を調べることで、多重共線性に寄与する関係を明らかにすることができました。より複雑なモデルでは、評価が困難な予測変数間に複雑な 3 レベル以上の相関関係が存在する場合があります。Variance Inflation Factor (VIF) は、こうしたケースを知らせるのに役立ちます。
実際には、このケースで開発された最終モデルは非常に重要ですが、もっと改善できるでしょうか? 他の潜在的に重要な予測因子を見逃していませんか? たとえば、家や使用されている建材の品質を測る尺度はありますか? そして、無形資産にどのように対処できるのでしょうか? 価格の重要な指標となる可能性のある家や近隣地域の主観的な側面を定量化することは困難です。
モデル診断に関する注意事項
回帰モデルを構築するときは、そのモデルが意味をなすものであることを検証する必要があります。一般的に使用される 3 つの診断ツールは、残差プロット、Cook's D、および Hats です。
- 残差は、モデルを当てはめた後に残る変動を表します。理想的には、残差 (またはスチューデント化された残差) は、明確なパターンがなく、ゼロの周囲にランダムに散在します。
- Cook の D は、個々の点がモデルに与える影響の尺度です。クックの D 値が 1 を超える観測値は、一般に影響力があると考えられます。
- Hats は、てこ比の尺度、つまり観測値が予測値に対してどれだけ極端であるかを表します。高いレバレッジポイントはモデルに影響を与える可能性があります。
これらのモデル診断を自分で調べることをお勧めします。演習で再度説明します。
経営上の影響
統計モデルによれば、この特定の市場での住宅の販売価格を見積もる場合、ガレージの容量、家の築年数、市場に出回る日数などについてあまり心配する必要はありません。都心のリゾート地や山に近いほど販売価格は高くなり、敷地が広いほど価格も高くなります。
この分析用に開発された統計モデルは、どの家が危険かを特定する大まかな方法として使用できます。統計的に過大評価または過小評価。スチューデント化残差が大きい（3 つ以上）住宅は、統計モデルと比較して価格が高すぎる可能性があります。同様に、大きな負のスチューデント化残差 (マイナス 3 未満) を持つ住宅は、モデルに比べて価格が安くなる可能性があり、最終的には非常にお買い得になる可能性があります。
JMP ®特徴とヒント
このケースでは、多重共線性の特定を支援するために、ペア相関および偏相関、散布図行列、および VIF を使用します。
VIF は、[パラメータ推定] テーブルを右クリックし、[列]、[VIF] の順に選択すると見つかります。
各予測子の有意性はモデル内の他の予測子に依存するため、モデルは p 値と偏相関の組み合わせを使用してゆっくりと縮小されました。段階的回帰 (Fit Model プラットフォームのパーソナリティ) などのツールは、モデル構築プロセスを自動化します。一度に 1 つの変数を使用するアプローチは、実際には手動形式の後方消去であり、ステップワイズ プラットフォームで利用できます。
演習
1. 最終モデルを使用して、リゾートまで 25 マイル離れた 1 エーカーの敷地にあり、バスルームが 2 つある 2,000 平方フィートの家の販売価格を予測します。
JMP でこれを直接行う 2 つの方法を次に示します。
- [分析] ウィンドウで、上部の赤い三角形から [列の保存] > [予測式] を選択します。これにより、回帰モデルを使用してデータ テーブルに新しい列が作成されます。次に、新しい行を追加し、販売価格を予測するために提供された値を入力します。
- [分析] ウィンドウで、上部の赤い三角形から [因子プロファイリング] > [プロファイラー] を選択します。プロファイラーは、指定された予測子の値に対する予測応答 (および信頼区間) を表示します。赤い垂直線をクリックして、予測値を上記の値に変更します。
- このケースではマニュアルを使用します後ろ向きモデル削減アプローチ。完全なモデル (つまり、すべての予測子変数を使用するモデル) が、統計的有意性に基づいて一度に 1 つの予測子ずつ削減されます。別のアプローチを考えてみましょう –フォワードモデルの選択。
おそらく価格との相関が最も高い予測子または単純回帰 p 値が最も低い予測子に基づく 1 つの予測子モデルから開始し、新しい予測子を一度に 1 つずつ追加します。予測変数を追加するときは、「適合の概要」、「分散分析」、および「パラメーター推定値」テーブルで結果を調べます。
別の最終モデルに到達するのでしょうか？ もしそうなら、どのモデルが好ましいですか?
- データ テーブル FuelEfficiency2011.jmp を開きます (jmp.com/cases のビジネス ケース ライブラリからダウンロードできます)。このデータ テーブルには、2011 年に米国で販売された自動車メーカーおよびモデルのランダム サンプルに関する情報が含まれています。
まずはデータに慣れることから始めましょう。次に、MPG Highway のモデルを適合させ、モデルの診断 (残差、クック D の影響、ハット、多重共線性) を調べます。最後に、JMP ステップワイズ手順を使用して、回帰モデルを構築および選択するためのさまざまな方法を検討します。
パート 1: データについて理解する
- ディストリビューション プラットフォームを使用して、すべての変数を調査します (ただし、メーカーとモデル）。分布の形状を説明します。
- [分析] > [多変量メソッド] > [多変量] を使用して、連続変数間の関係を調査します。応答と相関する変数はありますか? MPG ハイウェイ? 他の変数と相関関係にある変数はありますか?
パート 2: モデルを構築し、モデルの診断を調べる
- モデルの適合を使用して重回帰モデルを構築します。 MPG ハイウェイ応答として、すべての予測変数をモデル効果として (含まない)メーカーとモデル)、このモデルを実行します。
- 残差を探索します。(これらはデフォルトで表示されます。追加の残差プロットは、赤い三角形の行診断から入手できます。
何かパターンや異常な観察結果はありますか? あなたが観察したことを説明してください。
- Cook の D Influence と Hat の値を確認します。([列の保存] の下にある赤い三角形からこれらのオプションを選択します。データ テーブルに新しい列が作成されます。これらの値を調べるにはディストリビューション プラットフォームを使用します)。
影響力の高いポイントや、レバレッジの高いポイントがあるように見えますか?
- VIFを確認してください。多重共線性に問題があるように見えますか? [多変量] > [多変量] プラットフォームを使用して、二変量相関を調べます。相互に高い相関があると思われる変数はありますか?
パート 3: Stepwise を使用してモデルを縮小する
モデル仕様ウィンドウに戻ります。パーソナリティを「ステップワイズ」に変更し、「実行」をクリックします。この演習では、さまざまな停止ルールと方向を検討します。
このモデルには 1 つの名目変数が含まれていることに注意してください。ハイブリッド？ 、Current Estimates テーブルに奇妙なラベルが付いています。JMP は名目変数を指標列としてコード化します。ラベルによって、コード化が適用されたことがわかります。
- デフォルトの停止ルールは最小 BIC です。「実行」をクリックします。
モデルに対して選択された予測子は、[現在の推定値] に入力されるときにチェックされます。モデルにはどの項が選択されていますか?
- 「すべて削除」をクリックし、「停止ルール」を「最小 AIC」に変更して、「実行」をクリックします。
このモデルにはどの用語が選択されていますか? このモデルを、Minimum BIC を使用して見つかったモデルと比較します。
注: BIC は予測子の少ないモデルを選択する傾向がありますが、AIC は予測子の多いモデルを選択する傾向があります。
- ここで、停止ルールを最小 AIC から P 値しきい値に変更します。
「方向」の下のデフォルトの選択ルーチンは「前方」です。「実行」をクリックします。
- 方向を前方から後方に変更します。[すべて削除] をクリックして予測子の選択を解除し、[実行] をクリックします。
このモデルにはどの用語が選択されていますか? 結果は前方選択と異なりますか? 使用される方法に応じて、異なる予測変数が選択されますか?
注: Stepwise で予測変数を選択したら、[モデルの作成] または [モデルの実行] を選択して回帰モデルを作成します。
