Prodotto da: Marlene Smith
Scuola di Economia dell'Università del Colorado a Denver
Sfondo
Una società immobiliare che gestisce proprietà intorno a una stazione sciistica negli Stati Uniti desidera migliorare i propri metodi di determinazione dei prezzi delle case.I dati sono facilmente disponibili su una serie di misure, tra cui le dimensioni della casa e della proprietà, l’ubicazione, l’età della casa e un indicatore della forza del mercato.
L'obiettivo
Dopo aver determinato quali fattori si riferiscono ai prezzi di vendita delle case situate all'interno e nei dintorni della stazione sciistica, sviluppare un modello per prevedere i prezzi delle case.
I dati sui prezzi delle case.jmp
Il set di dati contiene informazioni su 45 immobili residenziali venduti negli ultimi 12 mesi.Le variabili nel set di dati sono:
Prezzo Prezzo di vendita dell'immobile ($ 1.000)
Letti Numero di camere da letto nella casa
Bagni Numero di bagni nella casa
Piedi quadrati Dimensioni della casa in metri quadrati
Miglia al resort Miglia dalla proprietà all'area del resort del centro
Miglia alla base Miglia dalla proprietà alla base della montagna della stazione sciistica
Acri Dimensioni del lotto in numero di acri
Automobili Numero di auto che entreranno nel garage
Anni Età della casa, in anni, al momento in cui è stata inserita nell'elenco
DoM Numero di giorni in cui la casa è rimasta sul mercato prima della vendita
Analisi
Questo problema coinvolge una variabile di risposta, il prezzo di vendita della casa, e vari potenziali predittori del prezzo di vendita.Tre delle variabili predittive misurano, direttamente o indirettamente, la dimensione della casa: metri quadrati, numero di camere da letto e numero di bagni.Per ciascuno di questi predittori sono stati sviluppati semplici modelli di regressione.
Di seguito sono riportati i riepiloghi per ciascuno dei modelli:
Modello
|
RSquadro
|
RMSE
|
Valore P
|
Prezzo = 137,4 + 77,2 Posti letto
|
0,456
|
98,9
|
<0,0001
|
Prezzo = 141,8 + 106,9 Bagni
|
0,640
|
80,5
|
<0,0001
|
Prezzo = 134,0 + 0,135 piedi quadrati
|
0,486
|
96.2
|
<0,0001
|
I modelli indicano che, sulla base dei modelli a predittore singolo, il prezzo delle case aumenta di:
- $ 77.200 per ogni camera da letto.
- $ 106.900 per ogni bagno.
- $ 135 per ogni metro quadrato.
La regressione multipla (Figura 1) ci consente di comprendere il simultaneo influenza delle tre variabili predittive sul prezzo di vendita.
Mostra 1 Regressione multipla per Prezzo e le tre variabili di dimensione
(Analizza > Stima modello; seleziona Prezzo come Y e le variabili di dimensione come Effetti modello e premi Esegui. Alcuni output predefiniti non vengono visualizzati e il layout è stato modificato per adattarsi meglio alla pagina.)
Confrontando il modello di regressione multipla con i tre modelli di regressione semplice si scopre che i coefficienti sono cambiati:
- $ 17.835 per camera da letto nel modello di regressione multipla, in calo rispetto a $ 77.200.
- $ 79.900 per bagno (precedentemente $ 106.900).
- $ 21/piede quadrato nella regressione multipla, ma $ 135/piede quadrato nella regressione semplice.
Inoltre, il significato di ciascuno dei predittori è cambiato.Due dei predittori che sono statisticamente significativi di per sé nei modelli di regressione semplici ( Letti E Piedi quadrati ) non sono più significativi se utilizzati insieme ad altri predittori.La ragione di ciò è la correlazione tra i predittori, o multicollinearità .
Come mostrato nell'Allegato 2, le correlazioni tra le variabili predittive, che vanno da 0,728 a 0,7901, superano la correlazione tra prezzo di vendita e piedi quadrati (0,697) e tra prezzo di vendita e numero di camere da letto (0,675).
Mostra 2 Correlazioni e matrice del grafico a dispersione per Prezzo e le variabili di dimensione
(Analizza > Metodi multivariati > Multivariato; seleziona Prezzo e la variabile di dimensione come Y, Colonne e premi OK.Sotto il triangolo rosso inferiore, seleziona Mostra correlazioni.)
In questo contesto, nessuna delle correlazioni tra i predittori è particolarmente sorprendente.Noi aspettarsi piedi quadrati, numero di camere da letto e numero di bagni da correlare, poiché l'aggiunta di una camera da letto o di un bagno a una casa aumenta i suoi piedi quadrati.Le correlazioni no perfetto (vale a dire, uguale a uno) poiché aggiungere metri quadrati non significa sempre che hai aggiunto un'altra camera da letto o un bagno (potresti invece aver ampliato la cucina), e poiché aggiungere una camera da letto non sempre significa che hai aggiunto un altro bagno .
Si potrebbe anche prevedere la multicollinearità tra le due misure di localizzazione: miglia fino alla base della montagna e miglia fino all’area turistica del centro.L'Allegato 3 suggerisce che vi è effettivamente motivo di preoccupazione, poiché esiste un'elevata correlazione tra i due predittori (0,948).Ciò è evidenziato nella matrice del grafico a dispersione dalle ellissi di densità (Figura 3), che sono molto più strette delle ellissi che coinvolgono la risposta, Prezzo .
Mostra 3 Correlazioni a coppie e matrice del grafico a dispersione - Variabili di posizione
Nei modelli di regressione semplici per le variabili di posizione, entrambi i predittori sono altamente significativi e i coefficienti sono negativi.
Modello
|
RSquadro
|
RMSE
|
Valore P
|
Prezzo = 454,66 – 5,118 Miglia al resort
|
0,291
|
112,97
|
<0,0001
|
Prezzo = 473,61 – 5,925 Miglia alla base
|
0,401
|
103.81
|
<0,0001
|
Il modello di regressione complessivo che coinvolge le due variabili di posizione (Figura 4) è altamente significativo, con un valore p < 0,0001 per il rapporto F.Eppure solo Miglia alla base è un predittore significativo di Prezzo (al livello 0,05).Inoltre, i coefficienti sono cambiati radicalmente.Il coefficiente per Miglia al resort ora è positivo! (Il prezzo di vendita aumenta davvero all’aumentare della distanza dal resort?) Ancora una volta, dovremmo preoccuparci della correlazione molto elevata tra i due predittori, Miglia al resort E Miglia alla base .
Mostra 4 Regressione multipla per Prezzo e le variabili di posizione
Abbiamo trovato indicazioni di multicollinearità con sottoinsiemi di predittori, ma diamo un'occhiata al modello di regressione multipla utilizzando tutti i predittori.
Mostra 5 Regressione multipla per Prezzo e tutti i predittori
(Fare clic con il pulsante destro del mouse sulla tabella Stime dei parametri e selezionare Colonne, VIF.)
Solo nel modello sopra (Figura 5). Bagni E Acri sono significativi al livello 0,05.Le altre variabili predittive non sono statisticamente significative a causa della multicollinearità? Una misura della gravità della multicollinearità è il fattore di inflazione della varianza, o VIF.Per calcolare il VIF per un predittore (VIF J ), viene adattato un modello di regressione utilizzando il predittore come Y e gli altri predittori come X.Il r 2 per questo modello (R J 2 ) viene calcolato, quindi il VIF viene calcolato utilizzando questa formula:
Un R J 2 di 0,8 per un modello che prevede una variabile da tutte le altre variabili risulta in un VIF di 5, mentre un R J 2 di 0,9 risulta in un VIF di 10. Pertanto, un VIF maggiore di 5 o 10 è spesso considerato un'indicazione che la multicollinearità potrebbe essere un problema.(Nota: questa non è una regola empirica fissa: una ricerca su Google per VIF produrrà molte opinioni sull'argomento).
La forte correlazione tra Miglia al resort E Miglia alla base è chiaramente un problema.In questa situazione, la multicollinearità potrebbe essere alleviata eliminando una delle due variabili dal modello.In retrospettiva, si è scoperto che l'area turistica del centro è vicina alla base della montagna, il che significa che queste due variabili sono misure di posizione quasi identiche.Da Miglia al resort è stato ritenuto di maggiore importanza pratica rispetto a Miglia alla base , soltanto Miglia al resort verrà utilizzato nel successivo modello di regressione multipla come misura della posizione (Figura 6).
Mostra 6 Regressione multipla per Prezzo senza Miglia alla base
Tre dei predittori ( Bagni , Miglia al resort E Acri ) nel nuovo modello (Figura 6) sono altamente significativi.Ancora più importante, la multicollinearità ora è molto meno preoccupante.
Ridurre il modello
Ricordiamo che il compito finale, definito in precedenza, è sviluppare un modello di prezzo.L’obiettivo è sviluppare il modello più semplice che svolga il miglior lavoro nel prevedere i prezzi delle case.Esistono molti modi per raggiungere questo obiettivo; un approccio consiste semplicemente nel rimuovere i predittori non significativi dal modello completo.comunque, il il significato di un predittore dipende da altri predittori presenti nel modello .Ciò rende difficile determinare quali predittori rimuovere dal modello.Strumenti come la regressione graduale (trattato in un esercizio) forniscono un approccio automatizzato per identificare variabili importanti e semplificare (ridurre) il modello.
In questo caso ridurremo manualmente il modello, una variabile alla volta, utilizzando i valori p.Innanzitutto, rivisitiamo le correlazioni.
Le correlazioni a coppie (rapporto in alto nell'Allegato 7) mostrano che alcuni predittori sono altamente correlati con la risposta.Tuttavia, come abbiamo visto, alcuni predittori sono anche altamente correlati con altri predittori, rendendo difficile determinare quali predittori siano effettivamente importanti.
Utilizzeremo invece le correlazioni parziali.Una correlazione parziale è la correlazione tra due variabili, controllando la correlazione con altre variabili.Le correlazioni parziali ci consentono di vedere le correlazioni tra ciascun predittore e la risposta, dopo aver aggiustato gli altri predittori.Notate come cambiano le correlazioni (report in basso nell'Allegato 7)! Ad esempio, confrontare le correlazioni a coppie e parziali per Letti e per Acri con Prezzo .
Mostra 7 Correlazioni a coppie e parziali
(Analizza > Metodi multivariati > Multivariato; seleziona Prezzo e i restanti predittori come Y, Colonne e premi OK.Sotto il triangolo rosso inferiore, seleziona Correlazioni parziali.)
Quattro variabili – Bagni , Piedi quadrati , Miglia al resort E Acri – hanno le correlazioni parziali più elevate con la risposta.Giorni sul mercato ( DoM ) E Letti hanno le correlazioni parziali più basse.
Da DoM ha anche il valore p più alto (0,925 nell'Allegato 6), iniziamo la riduzione del modello rimuovendo DoM e rimontare il modello.Quindi rimuoviamo la variabile con il valore p successivo più alto, Letti .
Nota: quando una variabile viene rimossa, il significato delle altre variabili potrebbe cambiare.Pertanto, le variabili non significative dovrebbero essere rimosse solo uno alla volta .
Dopo aver rimosso queste due variabili, Automobili E Anni non sono ancora significativi, mentre Piedi quadrati è ora significativo al livello 0,05.Inoltre, i valori p per il Bagni , Miglia al resort E Acri sono tutti diminuiti (Figura 8).
Mostra 8 Stime dei parametri dopo la rimozione DoM E Letti
Continuando con questo approccio passo dopo passo, eliminiamo Automobili , Poi Anni .Il modello finale è altamente significativo (il valore p per il rapporto F è < 0,0001) e le rimanenti variabili sono tutte significative al livello 0,05 (Figura 9).
Mostra 9 Il modello ridotto
Nota: l'approccio adottato in questo caso è essenzialmente una forma manuale di eliminazione graduale all'indietro, discussa in un esercizio.
Il modello finale (vedere le stime dei parametri nell'Allegato 9) stima i prezzi di vendita a:
- $ 53,64 per piede quadrato.
- $ 65.560 per bagno.
- $ 5.352 per acro.
- $ 3.644 in meno per ogni miglio di distanza dal resort.
Riepilogo
Approfondimenti statistici
La multicollinearità e il suo impatto sulla costruzione del modello sono al centro di questo caso.Due predittori – la distanza della casa dall’area turistica del centro e la distanza dalla base della montagna – sono misure di posizione quasi identiche.L'eliminazione di una di queste variabili consente all'altra di rimanere statisticamente significativa in un successivo modello di regressione multipla.
Gli esami delle correlazioni a coppie hanno contribuito a scoprire le relazioni che contribuivano alla multicollinearità.Nei modelli più complessi, potrebbero esserci intricate correlazioni di livello tre e superiore tra le variabili predittive che sono difficili da valutare.Il fattore di inflazione della varianza (VIF) è utile per segnalare questi casi.
In pratica, il modello finale sviluppato in questo caso è molto significativo, ma potremmo fare di meglio? Stiamo perdendo altri predittori potenzialmente importanti? Ad esempio, abbiamo una misura della qualità della casa e dei materiali da costruzione utilizzati? E come possiamo affrontare i beni immateriali? È difficile quantificare gli aspetti soggettivi di una casa e di un quartiere che potrebbero essere indicatori chiave del prezzo.
Una nota sulla diagnostica del modello
Quando costruiamo un modello di regressione, dobbiamo verificare che il modello abbia senso.Tre strumenti diagnostici comunemente utilizzati sono i diagrammi residui, Cook's D e Hats.
- I residui rappresentano la variazione rimasta dopo aver adattato il modello.Idealmente, i residui (o residui studentizzati) sono sparsi in modo casuale attorno allo zero senza uno schema evidente.
- La D di Cook è una misura dell'influenza che un singolo punto ha sul modello.Le osservazioni con valori D di Cook >1 sono generalmente considerate influenti.
- I cappelli sono una misura della leva finanziaria, ovvero quanto un'osservazione è estrema rispetto ai suoi valori predittivi.Punti di leva elevati hanno il potenziale per influenzare il modello.
Ti invitiamo a esplorare da solo questi modelli diagnostici: li rivisiteremo in un esercizio.
Implicazioni manageriali
Un modello statistico ci dice di non preoccuparci troppo della capacità del garage, dell'età della casa e dei giorni sul mercato quando si tratta di stimare il prezzo di vendita di una casa in questo particolare mercato.Essere più vicini alla zona turistica del centro e alla montagna aumenta il prezzo di vendita e i lotti più grandi richiedono un prezzo più alto.
Il modello statistico sviluppato per questa analisi può essere utilizzato come metodo approssimativo per identificare quali case sono statisticamente sopravvalutato o sottovalutato.Le case con ampi residui studentizzati (maggiori di tre) potrebbero essere troppo care rispetto al modello statistico.Allo stesso modo, le case con ampi residui studentizzati negativi (meno di tre negativi) potrebbero essere sottovalutate rispetto al modello: potrebbero rivelarsi ottimi affari!
JMP ® Caratteristiche e suggerimenti
Questo caso utilizza correlazioni a coppie e parziali, matrici di grafici a dispersione e VIF per facilitare l'identificazione della multicollinearità.
I VIF si trovano facendo clic con il pulsante destro del mouse sulla tabella Stime dei parametri e selezionando Colonne, VIF.
Poiché la significatività di ciascun predittore dipende dagli altri predittori del modello, il modello è stato lentamente ridotto utilizzando una combinazione di valori p e correlazioni parziali.Strumenti come la regressione graduale (una personalità nella piattaforma Fit Model) automatizzano il processo di creazione del modello.Il nostro approccio basato su una variabile alla volta è in realtà una forma manuale di eliminazione all'indietro, disponibile nella piattaforma graduale.
Esercizi
1. Utilizzare il modello finale per prevedere il prezzo di vendita di una casa di 2.000 piedi quadrati con due bagni che si trova a 15 miglia dal resort e si trova su un acro.
Ecco due modi per farlo direttamente in JMP:
- Nella finestra Analisi, seleziona Salva colonne > Formula di previsione dal triangolo rosso in alto.Ciò creerà una nuova colonna nella tabella dati con il modello di regressione.Quindi, aggiungi una nuova riga e inserisci i valori forniti per prevedere il prezzo di vendita.
- Nella finestra Analisi, seleziona Profili fattoriali > Profiler dal triangolo rosso in alto.Il Profiler visualizza la risposta prevista (e un intervallo di confidenza) per valori specificati dei predittori.Fare clic sulle linee rosse verticali per modificare i valori del predittore con quelli forniti sopra.
- Questo caso utilizza un manuale all'indietro approccio di riduzione del modello, in cui il modello completo (cioè quello che utilizza tutte le variabili predittive) viene ridotto un predittore alla volta in base alla significatività statistica.Consideriamo un approccio diverso: inoltrare selezione del modello.
Iniziare con un modello a un predittore, magari basato sul predittore con la correlazione più alta con il prezzo o con il valore p di regressione semplice più basso, e aggiungere nuovi predittori uno alla volta.Man mano che aggiungi predittori, esamina i risultati in Riepilogo dell'adattamento, Analisi della varianza e nella tabella Stime dei parametri.
Arrivi ad un modello finale diverso? Se sì, quale modello è preferibile?
- Aprire la tabella dati FuelEfficiency2011.jmp (disponibile per il download dalla Business Case Library all'indirizzo jmp.com/cases).Questa tabella di dati contiene informazioni su un campione casuale di marche e modelli di automobili del 2011 venduti negli Stati Uniti.
Inizieremo familiarizzando con i dati.Quindi, adatteremo un modello per MPG Highway ed esploreremo la diagnostica del modello: residui, influenza D di Cook, Hats e multicollinearità.Infine, utilizzeremo la procedura Stepwise di JMP per esplorare diversi metodi per creare e selezionare modelli di regressione.
Parte 1: conoscere i dati
- Utilizza la piattaforma di distribuzione per esplorare tutte le variabili (eccetto Marca e modello ).Descrivere le forme delle distribuzioni.
- Utilizzare Analizza > Metodi multivariati > Multivariato per esplorare le relazioni tra le variabili continue.Qualcuna delle variabili è correlata alla risposta? Autostrada MPG ? Alcune variabili sono correlate con altre variabili?
Parte 2: crea un modello ed esplora la diagnostica del modello
- Costruisci un modello di regressione multipla utilizzando Stima modello, con Autostrada MPG come risposta e tutti i predittori come effetti del modello (non includere Marca e modello ) ed eseguire questo modello.
- Esplora i residui.(Questi vengono visualizzati per impostazione predefinita.Ulteriori grafici residui sono disponibili dal triangolo rosso, Row Diagnostics).
Ci sono schemi o osservazioni insolite? Descrivi ciò che osservi.
- Controlla i valori di Influenza D e Cappello di Cook.(Seleziona queste opzioni dal triangolo rosso sotto Salva colonne.Verranno create nuove colonne nella tabella dati: utilizza la piattaforma di distribuzione per esplorare questi valori).
Sembra che ci siano punti di leva influenti o elevati?
- Controlla i VIF.Sembra che ci sia un problema con la multicollinearità? Utilizza la piattaforma Multivariata > Multivariata per esplorare le correlazioni bivariate.Alcune variabili appaiono altamente correlate tra loro?
Parte 3: ridurre il modello utilizzando Stepwise
Ritorna alla finestra delle specifiche del modello.Cambia la personalità in Stepwise e fai clic su Esegui.In questo esercizio esploreremo le diverse regole e direzioni di arresto.
Si noti che questo modello include una variabile nominale, Ibrido? , che presenta una strana etichettatura nella tabella Stime attuali.JMP codifica le variabili nominali come colonne indicatrici: l'etichettatura ci informa che è stata applicata la codifica.
- La regola di arresto predefinita è BIC minimo.Fare clic su Vai.
I predittori selezionati per il modello vengono controllati man mano che vengono immessi in Stime correnti.Quali termini sono stati selezionati per il modello?
- Fare clic su Rimuovi tutto, modificare la regola di interruzione su AIC minimo, quindi fare clic su Vai.
Quali termini sono stati selezionati per questo modello? Confronta questo modello con il modello trovato utilizzando il BIC minimo.
Nota: BIC tenderà a selezionare modelli con meno predittori, mentre AIC tenderà a produrre modelli con più predittori.
- Ora, modifica la regola di arresto da AIC minimo a Soglia del valore P.
La routine di selezione predefinita, in Direzione, è Avanti.Fare clic su Vai.
- Cambia la direzione da Avanti a Indietro.Fare clic su Rimuovi tutto per deselezionare i predittori, quindi fare clic su Vai.
Quali termini sono stati selezionati per questo modello? I risultati sono diversi dalla selezione in avanti? Vengono scelte diverse variabili predittive a seconda del metodo utilizzato?
Nota: una volta selezionati i predittori in Stepwise, selezionare Crea modello o Esegui modello per creare il modello di regressione.
