Produit par : Marlène Smith
École de commerce de l'Université du Colorado à Denver
Arrière-plan
Une société immobilière qui gère des propriétés autour d'une station de ski aux États-Unis souhaite améliorer ses méthodes de tarification des logements.Des données sont facilement disponibles sur un certain nombre de mesures, notamment la taille de la maison et de la propriété, l'emplacement, l'âge de la maison et un indicateur de la force du marché.
La tâche
Après avoir déterminé quels facteurs sont liés aux prix de vente des maisons situées dans et autour de la station de ski, développez un modèle pour prédire les prix des logements.
Les données sur les prix du logement.jmp
L'ensemble de données contient des informations sur 45 propriétés résidentielles vendues au cours d'une période récente de 12 mois.Les variables de l'ensemble de données sont :
Prix Prix de vente de la propriété (1 000$)
Des lits Nombre de chambres dans la maison
Thermes Nombre de salles de bains dans la maison
Pieds carrés Superficie de la maison en pieds carrés
Miles du complexe Miles de la propriété à la zone de villégiature du centre-ville
Miles jusqu'à la base Miles de la propriété au pied de la montagne de la station de ski
Acres Superficie du terrain en nombre d'acres
Voitures Nombre de voitures pouvant entrer dans le garage
Ans Âge de la maison, en années, au moment de son inscription
DoM Nombre de jours pendant lesquels la maison était sur le marché avant d'être vendue
Analyse
Ce problème implique une variable de réponse, le prix de vente de la maison, et divers prédicteurs potentiels du prix de vente.Trois des variables prédictives mesurent, directement ou indirectement, la taille de la maison : les pieds carrés, le nombre de chambres et le nombre de salles de bains.Des modèles de régression simples ont été développés pour chacun de ces prédicteurs.
Vous trouverez ci-dessous des résumés pour chacun des modèles :
Modèle
|
R Carré
|
RMSE
|
Valeur P
|
Prix = 137,4 + 77,2 lits
|
0,456
|
98,9
|
< 0,0001
|
Prix = 141,8 + 106,9 bains
|
0,640
|
80,5
|
< 0,0001
|
Prix = 134,0 + 0,135 pieds carrés
|
0,486
|
96,2
|
< 0,0001
|
Les modèles indiquent que, sur la base des modèles à prédicteur unique, le prix de l’immobilier augmente de :
- 77 200 $ pour chaque chambre.
- 106 900 $ pour chaque salle de bain.
- 135$ pour chaque pied carré.
La régression multiple (figure 1) nous permet de comprendre simultané influence des trois variables prédictives sur le prix de vente.
Pièce 1 Régression multiple pour Prix et les trois variables de taille
(Analyser > Ajuster le modèle ; sélectionnez Prix comme Y et les variables de taille comme Effets de modèle, puis appuyez sur Exécuter. Certaines sorties par défaut ne sont pas affichées et la mise en page a été modifiée pour mieux s'adapter à la page.)
La comparaison du modèle de régression multiple aux trois modèles de régression simple révèle que les coefficients ont changé :
- 17 835 $ par chambre dans le modèle de régression multiple, contre 77 200 $.
- 79 900 $ par salle de bain (anciennement 106 900 $).
- 21 $/pied carré en régression multiple, mais 135 $/pied carré en régression simple.
De plus, la signification de chacun des prédicteurs a changé.Deux des prédicteurs qui sont statistiquement significatifs en eux-mêmes dans les modèles de régression simples ( Des lits et Pieds carrés ) ne sont plus significatifs lorsqu’ils sont utilisés conjointement avec d’autres prédicteurs.La raison en est la corrélation entre les prédicteurs, ou multicolinéarité .
Comme le montre le tableau 2, les corrélations entre les variables prédictives, qui vont de 0,728 à 0,7901, dépassent la corrélation entre le prix de vente et les pieds carrés (0,697) et entre le prix de vente et le nombre de chambres (0,675).
Pièce 2 Corrélations et matrice de nuages de points pour Prix et les variables de taille
(Analyse > Méthodes multivariées > Multivariée ; sélectionnez Prix , et la variable de taille comme Y, Colonnes, puis appuyez sur OK.Sous le triangle rouge inférieur, sélectionnez Afficher les corrélations.)
Dans ce contexte, aucune des corrélations entre les prédicteurs n’est particulièrement surprenante.Nous attendre pieds carrés, nombre de chambres et nombre de salles de bain à corréler, puisque l'ajout d'une chambre ou d'une salle de bain à une maison s'ajoute à ses pieds carrés.Les corrélations ne sont pas parfait (c'est-à-dire égal à un) puisque l'ajout de pieds carrés ne signifie pas toujours que vous avez ajouté une autre chambre ou une autre salle de bain (vous avez peut-être agrandi la cuisine à la place), et puisque l'ajout d'une chambre ne signifie pas toujours que vous avez ajouté une autre salle de bain .
Une multicolinéarité pourrait également être anticipée entre les deux mesures de localisation : les kilomètres jusqu'au pied de la montagne et les kilomètres jusqu'à la zone de villégiature du centre-ville.Le graphique 3 suggère qu’il y a effectivement lieu de s’inquiéter, puisqu’il existe une forte corrélation entre les deux prédicteurs (0,948).Ceci est mis en évidence dans la matrice de nuages de points par les ellipses de densité (figure 3), qui sont beaucoup plus étroites que les ellipses impliquant la réponse, Prix .
Pièce 3 Corrélations par paires et matrice de nuages de points – Variables de localisation
Dans les modèles de régression simples pour les variables de localisation, les deux prédicteurs sont hautement significatifs et les coefficients sont négatifs.
Modèle
|
R Carré
|
RMSE
|
Valeur P
|
Prix = 454,66 – 5,118 miles jusqu’au complexe
|
0,291
|
112,97
|
< 0,0001
|
Prix = 473,61 – 5,925 milles jusqu'à la base
|
0,401
|
103.81
|
< 0,0001
|
Le modèle de régression global impliquant les deux variables de localisation (tableau 4) est hautement significatif, avec une valeur p < 0,0001 pour le rapport F.Pourtant seulement Miles jusqu'à la base est un prédicteur significatif de Prix (au niveau 0,05).De plus, les coefficients ont radicalement changé.Le coefficient pour Miles du complexe est désormais positif ! (Le prix de vente augmente-t-il réellement à mesure que la distance jusqu'à la station augmente ?) Une fois de plus, nous devrions nous inquiéter de la très forte corrélation entre les deux prédicteurs, Miles du complexe et Miles jusqu'à la base .
Pièce 4 Régression multiple pour Prix et les variables de localisation
Nous avons trouvé des indications de multicolinéarité avec des sous-ensembles de prédicteurs, mais examinons le modèle de régression multiple utilisant tous les prédicteurs.
Pièce 5 Régression multiple pour Prix et tous les prédicteurs
(Cliquez avec le bouton droit sur le tableau Estimations des paramètres et sélectionnez Colonnes, VIF.)
Dans le modèle ci-dessus (pièce 5), seulement Thermes et Acres sont significatifs au niveau de 0,05.Les autres variables prédictives ne sont-elles pas statistiquement significatives en raison de la multicolinéarité ? Une mesure de la gravité de la multicolinéarité est le facteur d'inflation de la variance, ou VIF.Pour calculer le VIF d'un prédicteur (VIF j ), un modèle de régression est ajusté en utilisant le prédicteur comme Y et les autres prédicteurs comme X.Le R 2 pour ce modèle (R j 2 ) est calculé, puis le VIF est calculé à l'aide de cette formule :
Un R j 2 de 0,8 pour un modèle prédisant une variable à partir de toutes les autres variables donne un VIF de 5, tandis qu'un R j 2 de 0,9 donne un VIF de 10. Ainsi, un VIF supérieur à 5 ou 10 est souvent considéré comme une indication que la multicolinéarité peut être un problème.(Remarque : il ne s'agit pas d'une règle empirique définitive : une recherche Google sur VIF donnera de nombreuses opinions sur le sujet).
La forte corrélation entre Miles du complexe et Miles jusqu'à la base est clairement un problème.Dans cette situation, la multicolinéarité pourrait être atténuée en éliminant l’une des deux variables du modèle.Rétrospectivement, il a été découvert que la zone de villégiature du centre-ville est proche du pied de la montagne, ce qui signifie que ces deux variables sont des mesures de localisation presque identiques.Depuis Miles du complexe a été jugé d'une plus grande importance pratique que Miles jusqu'à la base , seulement Miles du complexe sera utilisé dans le modèle de régression multiple ultérieur comme mesure de localisation (tableau 6).
Pièce 6 Régression multiple pour Prix sans Miles jusqu'à la base
Trois des prédicteurs ( Thermes , Miles du complexe et Acres ) dans le nouveau modèle (tableau 6) sont très significatifs.Plus important encore, la multicolinéarité est désormais beaucoup moins préoccupante.
Réduire le modèle
Rappelons que la tâche ultime, définie précédemment, est de développer un modèle de tarification.L’objectif est de développer le modèle le plus simple qui fasse le meilleur travail de prévision des prix de l’immobilier.Il y a plusieurs façons d'accomplir ceci; une approche consiste simplement à supprimer les prédicteurs non significatifs du modèle complet.Cependant, le la signification d'un prédicteur dépend des autres prédicteurs présents dans le modèle .Cela rend difficile la détermination des prédicteurs à supprimer du modèle.Des outils tels que la régression pas à pas (abordés dans un exercice) fournissent une approche automatisée pour identifier les variables importantes et simplifier (réduire) le modèle.
Ici, nous allons réduire le modèle manuellement, une variable à la fois, en utilisant les valeurs p.Tout d’abord, nous revisitons les corrélations.
Les corrélations par paires (rapport principal dans la figure 7) montrent que certains des prédicteurs sont fortement corrélés à la réponse.Cependant, comme nous l’avons vu, certains prédicteurs sont également fortement corrélés à d’autres prédicteurs, ce qui rend difficile la détermination des prédicteurs réellement importants.
Au lieu de cela, nous utiliserons des corrélations partielles.Une corrélation partielle est la corrélation entre deux variables, tout en contrôlant la corrélation avec d'autres variables.Les corrélations partielles nous permettent de voir les corrélations entre chaque prédicteur et la réponse, après ajustement pour les autres prédicteurs.Remarquez comment les corrélations changent (rapport du bas dans la pièce 7) ! Par exemple, comparez les corrélations par paires et partielles pour Des lits et pour Acres avec Prix .
Pièce 7 Corrélations par paires et partielles
(Analyse > Méthodes multivariées > Multivariée ; sélectionnez Prix et les prédicteurs restants comme Y, Colonnes et appuyez sur OK.Sous le triangle rouge inférieur, sélectionnez Corrélations partielles.)
Quatre variables – Thermes , Pieds carrés , Miles du complexe et Acres – ont les corrélations partielles les plus élevées avec la réponse.Jours de marché ( DoM ) et Des lits ont les corrélations partielles les plus faibles.
Depuis DoM a également la valeur p la plus élevée (0,925 dans la figure 6), nous commençons notre réduction de modèle en supprimant DoM et réaménagement du modèle.Nous supprimons ensuite la variable ayant la valeur p la plus élevée suivante, Des lits .
Remarque : Lorsqu'une variable est supprimée, la signification des autres variables peut changer.Ainsi, les variables non significatives doivent être supprimées uniquement un à la fois .
Après avoir supprimé ces deux variables, Voitures et Ans ne sont toujours pas significatifs, alors que Pieds carrés est désormais significatif au niveau de 0,05.De plus, les valeurs p pour le Thermes , Miles du complexe et Acres ont tous diminué (tableau 8).
Pièce 8 Estimations des paramètres après suppression DoM et Des lits
En poursuivant cette approche étape par étape, nous éliminons Voitures , alors Ans .Le modèle final est hautement significatif (la valeur p pour le rapport F est < 0,0001) et les variables restantes sont toutes significatives au niveau de 0,05 (tableau 9).
Pièce 9 Le modèle réduit
Remarque : L'approche adoptée ici est essentiellement une forme manuelle d'élimination pas à pas vers l'arrière, qui est abordée dans un exercice.
Le modèle final (voir les estimations des paramètres dans le tableau 9) estime les prix de vente à :
- 53,64 $ le pied carré.
- 65 560 $ par salle de bain.
- 5 352 $ l'acre.
- 3 644 $ de moins pour chaque kilomètre éloigné du complexe.
Résumé
Informations statistiques
La multicolinéarité et son impact sur la construction de modèles sont au centre de ce cas.Deux prédicteurs – la distance entre la maison et la zone de villégiature du centre-ville et la distance jusqu'au pied de la montagne – sont des mesures de localisation presque identiques.L'élimination de l'une de ces variables permet à l'autre de rester statistiquement significative dans un modèle de régression multiple ultérieur.
L'examen des corrélations par paires a permis de découvrir des relations contribuant à la multicolinéarité.Dans les modèles plus complexes, il peut exister des corrélations complexes de trois niveaux ou plus entre les variables prédictives, difficiles à évaluer.Le facteur d’inflation de variance (VIF) est utile pour signaler ces cas.
En pratique, le modèle final développé dans ce cas est très significatif, mais pourrait-on faire mieux ? Manquons-nous d’autres prédicteurs potentiellement importants ? Par exemple, avons-nous une mesure de la qualité de la maison et des matériaux de construction utilisés ? Et comment pouvons-nous nous attaquer aux immatériels ? Il est difficile de quantifier les aspects subjectifs d’une maison et d’un quartier qui pourraient être des indicateurs clés du prix.
Une note sur les diagnostics du modèle
Lors de la construction d’un modèle de régression, nous devons vérifier que le modèle a du sens.Trois outils de diagnostic couramment utilisés sont les parcelles résiduelles, le Cook's D et les Hats.
- Les résidus représentent la variation restante après avoir ajusté le modèle.Idéalement, les résidus (ou résiduels studentisés) sont dispersés de manière aléatoire autour de zéro sans motif évident.
- Le D de Cook est une mesure de l'influence d'un point individuel sur le modèle.Les observations avec des valeurs D de Cook > 1 sont généralement considérées comme influentes.
- Hats est une mesure de l'effet de levier, ou du degré d'extrême d'une observation par rapport à ses valeurs prédictives.Les points de levier élevés ont le potentiel d’influencer le modèle.
Nous vous encourageons à explorer ces diagnostics de modèles par vous-même – nous y reviendrons dans un exercice.
Implications managériales
Un modèle statistique nous dit de ne pas trop nous soucier de la capacité du garage, de l'âge de la maison et des jours sur le marché lorsqu'il s'agit d'estimer le prix de vente d'une maison sur ce marché particulier.Le fait d'être plus proche du centre-ville et de la montagne augmente le prix de vente, et les lots plus grands exigent un prix plus élevé.
Le modèle statistique développé pour cette analyse peut être utilisé comme un moyen simple d'identifier quelles maisons sont statistiquement surévalué ou sous-évalué.Les maisons avec des résidus studentisés importants (supérieurs à trois) peuvent être surévaluées par rapport au modèle statistique.De même, les maisons avec d’importants résidus studentisés négatifs (inférieurs à moins trois) peuvent être sous-évaluées par rapport au modèle – elles pourraient finir par être de bonnes affaires !
JMP ® Fonctionnalités et astuces
Ce cas utilise des corrélations par paires et partielles, des matrices de nuages de points et des VIF pour aider à l'identification de la multicolinéarité.
Les VIF sont trouvés en cliquant avec le bouton droit sur le tableau Estimations des paramètres et en sélectionnant Colonnes, VIF.
Étant donné que la signification de chaque prédicteur dépend des autres prédicteurs du modèle, le modèle a été lentement réduit en utilisant une combinaison de valeurs p et de corrélations partielles.Des outils tels que la régression pas à pas (une personnalité dans la plateforme Fit Model) automatisent le processus de création de modèles.Notre approche variable à la fois est en fait une forme manuelle d’élimination vers l’arrière, disponible sur la plateforme pas à pas.
Des exercices
1. Utilisez le modèle final pour prédire le prix de vente d'une maison de 2 000 pieds carrés avec deux bains, située à 15 miles du complexe et située sur un acre.
Voici deux façons de procéder directement dans JMP :
- Dans la fenêtre Analyse, sélectionnez Enregistrer les colonnes > Formule de prédiction dans le triangle rouge supérieur.Cela créera une nouvelle colonne dans le tableau de données avec le modèle de régression.Ensuite, ajoutez une nouvelle ligne et saisissez les valeurs fournies pour prédire le prix de vente.
- Dans la fenêtre Analyse, sélectionnez Factor Profiling > Profiler dans le triangle rouge supérieur.Le profileur affiche la réponse prévue (et un intervalle de confiance) pour les valeurs spécifiées des prédicteurs.Cliquez sur les lignes rouges verticales pour remplacer les valeurs des prédicteurs par celles fournies ci-dessus.
- Ce cas utilise un manuel en arrière approche de réduction de modèle, dans laquelle le modèle complet (c'est-à-dire celui utilisant toutes les variables prédictives) est réduit un prédicteur à la fois en fonction de la signification statistique.Considérons une approche différente – avant sélection du modèle.
Commencez par un modèle à un prédicteur, peut-être basé sur le prédicteur présentant la corrélation la plus élevée avec le prix ou la valeur p de régression simple la plus basse, et ajoutez de nouveaux prédicteurs un par un.À mesure que vous ajoutez des prédicteurs, examinez les résultats sous Résumé de l'ajustement, Analyse de la variance et Tableau Estimations des paramètres.
Arrivez-vous à un modèle final différent ? Si oui, quel modèle privilégier ?
- Ouvrez le tableau de données FuelEfficiency2011.jmp (disponible en téléchargement à partir de la bibliothèque de analyses de rentabilisation sur jmp.com/cases).Ce tableau de données contient des informations sur un échantillon aléatoire de marques et modèles de voitures 2011 vendus aux États-Unis.
Nous commencerons par nous familiariser avec les données.Ensuite, nous adapterons un modèle pour MPG Highway et explorerons les diagnostics du modèle : résidus, influence D de Cook, Hats et multicolinéarité.Enfin, nous utiliserons la procédure JMP Stepwise pour explorer différentes méthodes de création et de sélection de modèles de régression.
Partie 1 : Apprenez à connaître les données
- Utilisez la plateforme de distribution pour explorer toutes les variables (sauf Marque et modèle ).Décrivez les formes des distributions.
- Utilisez Analyser > Méthodes multivariées > Multivariée pour explorer les relations entre les variables continues.L'une des variables est-elle corrélée à la réponse, Autoroute MPG ? Certaines variables sont-elles corrélées à d’autres variables ?
Partie 2 : Créer un modèle et explorer les diagnostics du modèle
- Construisez un modèle de régression multiple à l'aide de Fit Model, avec Autoroute MPG comme réponse et tous les prédicteurs comme effets de modèle (n'incluez pas Marque et modèle ), et exécutez ce modèle.
- Explorez les résidus.(Ceux-ci sont affichés par défaut.Des tracés résiduels supplémentaires sont disponibles à partir du triangle rouge, Row Diagnostics).
Y a-t-il des tendances ou des observations inhabituelles ? Décrivez ce que vous observez.
- Vérifiez les valeurs de l'influence D et du chapeau de Cook.(Sélectionnez ces options dans le triangle rouge sous Enregistrer les colonnes.De nouvelles colonnes dans le tableau de données seront créées – utilisez la plateforme de distribution pour explorer ces valeurs).
Semble-t-il y avoir des points d’influence ou de levier élevé ?
- Vérifiez les VIF.Il semble y avoir un problème de multicolinéarité ? Utilisez la plateforme Multivarié > Multivarié pour explorer les corrélations bivariées.L’une des variables semble-t-elle fortement corrélée les unes aux autres ?
Partie 3 : Réduire le modèle à l'aide de Stepwise
Revenez à la fenêtre Spécification du modèle.Changez la personnalité en Stepwise et cliquez sur Exécuter.Dans cet exercice, nous explorerons les différentes règles et directions d’arrêt.
Notez que ce modèle comprend une variable nominale, Hybride? , qui porte un étiquetage étrange dans le tableau des estimations actuelles.JMP code les variables nominales sous forme de colonnes indicatrices : l'étiquetage nous indique que le codage a été appliqué.
- La règle d'arrêt par défaut est le BIC minimum.Cliquez sur Aller.
Les prédicteurs sélectionnés pour le modèle sont vérifiés au fur et à mesure qu'ils sont saisis sous Estimations actuelles.Quels termes ont été sélectionnés pour le modèle ?
- Cliquez sur Supprimer tout, modifiez la règle d'arrêt sur AIC minimum, puis cliquez sur OK.
Quels termes ont été sélectionnés pour ce modèle ? Comparez ce modèle au modèle trouvé à l’aide du BIC minimum.
Remarque : BIC aura tendance à sélectionner des modèles avec moins de prédicteurs, tandis que AIC aura tendance à aboutir à des modèles avec plus de prédicteurs.
- Maintenant, modifiez la règle d'arrêt de l'AIC minimum au seuil de valeur P.
La routine de sélection par défaut, sous Direction, est Forward.Cliquez sur Aller.
- Changez la direction de l'avant à l'arrière.Cliquez sur Supprimer tout pour désélectionner les prédicteurs, puis cliquez sur Aller.
Quels termes ont été sélectionnés pour ce modèle ? Les résultats sont-ils différents de la sélection Forward ? Différentes variables prédictives sont-elles choisies en fonction de la méthode utilisée ?
Remarque : Une fois les prédicteurs sélectionnés dans Stepwise, sélectionnez Créer un modèle ou Exécuter un modèle pour créer le modèle de régression.
