Dans le blog précédent (partie 1) , nous avons expliqué comment lire les exemples de données de scikit-learn « Prix des logements en Californie » sous forme de tableau de données JMP à l'aide de la fonction « Intégration Python » améliorée dans JMP 18. .
Dans ce blog (partie 2), nous utiliserons les données chargées pour créer un modèle de régression qui prédit les prix des logements en fonction de l'âge, du nombre de pièces, de la latitude, de la longitude, etc., et visualiserons le modèle à l'aide d'un profil de prédiction. A cette époque, JMP 18 permet désormais d'afficher des intervalles de prédiction dans le profil, je vais donc également profiter de cette fonctionnalité.
Cependant, il est dangereux de créer soudainement un modèle sans observer les données, alors explorez les données en les représentant graphiquement ou en les résumant. JMP 18 inclut également de nouvelles fonctionnalités pour vous aider à explorer vos données.
Statistiques d'en-tête, exploration des données avec sélecteur de colonnes
Lors de l'exploration de données dans JMP, nous vous recommandons d'utiliser les nouvelles fonctionnalités de JMP 18, telles que les statistiques d'en-tête et le gestionnaire de colonnes.
statistiques d'en-tête
Cliquez sur l'icône Σ dans le tableau de données pour afficher les statistiques récapitulatives pour chaque colonne du tableau de données. De plus, en tant que fonctionnalité JMP existante, vous pouvez également cliquer sur l'icône de l'histogramme pour afficher un graphique d'en-tête, ce qui permet une visualisation et une synthèse des données de haut niveau.
gestionnaire de colonnes
Cliquer sur l'icône dans le panneau Colonnes (indiquée par le cercle vert ci-dessus) lancera le gestionnaire de colonnes comme indiqué ci-dessous. Cet outil vous permet de modifier les propriétés des colonnes, d'afficher des statistiques récapitulatives, des distributions, etc., et est particulièrement utile pour résumer des données avec de nombreuses variables.
En regardant les statistiques récapitulatives et la distribution, vous pouvez voir que pour certaines variables, les données se dirigent vers la droite et qu'il existe des valeurs importantes qui peuvent être considérées comme des valeurs aberrantes. Par exemple, la valeur maximale pour AveRooms (nombre moyen de chambres dans le bloc) est de 141,9 et la valeur maximale pour AveBedrms (nombre moyen de chambres dans le bloc) est de 34. Vivre dans une maison de 141 pièces et 34 chambres est totalement inimaginable pour un roturier comme moi. .
Cependant, ces valeurs anormales peuvent affecter le modèle créé ultérieurement, nous calculons donc la distance multivariée (distance Mahalanobis) en utilisant la variable objective et les variables explicatives, et excluons les données avec de grandes valeurs de la création du modèle. J'ai décidé de l'exclure. .
Ce processus a exclu 17 éléments de données. Si vous excluez ces données du tableau de données, les graphiques d'en-tête et les statistiques d'en-tête seront recalculés en conséquence.
Afficher les intervalles de prédiction dans « Profil de prévision »
Le rapport lorsque vous utilisez [Model Fit] pour créer un modèle (ci-après appelé modèle à effets principaux) qui explique les prix des logements en Californie (MedHouseVal) en utilisant les principaux effets d'autres variables (MedInc, House Age, etc.). suit.
La valeur estimée dans le rapport « Estimation des paramètres » devient le coefficient de régression partielle dans le modèle de régression, et le « profil de prédiction » est une visualisation de cette formule de modèle. Même s’il a été démontré que plus le nombre moyen de chambres (AveRooms) est élevé, plus le prix est bas, mais cela peut être contre-intuitif. Cependant, elle repose ici sur la formule de prédiction obtenue.
De plus, lors de la prévision des prix des logements dans différents blocs, il est souhaitable d'utiliser des intervalles de prévision lorsque l'on considère la plage de valeurs possibles pour la valeur prédite. Dans JMP 18, vous pouvez afficher l'intervalle de prédiction de 95 % (la ligne droite verte indique la limite de confiance) en sélectionnant Intervalle de prédiction dans le triangle rouge à gauche du profil de prédiction.
Lorsque vous utilisez cette formule de prévision pour prédire les prix des logements dans un autre bloc en Californie à partir des paramètres de ce bloc (revenu, année de construction, nombre de pièces, etc.), il est souhaitable de trouver un intervalle de prévision comme plage de prévision.
Dans JMP 18, vous pouvez afficher l'intervalle de prédiction de 95 % (la ligne droite verte est la limite de confiance de l'intervalle de prédiction de 95 %) comme indiqué ci-dessous en sélectionnant Intervalle de prédiction à partir du bouton triangulaire rouge à gauche du profil de prédiction Masu.
Dans JMP 18, vous pouvez également afficher les intervalles de confiance et de prédiction sous Profil dans le menu Graphique.
Sélectionnez Enregistrer la colonne > Formule de prédicteur et d'intervalle, comme indiqué dans l'image ci-dessous.Les colonnes de formule de prédiction et d’intervalle de confiance (moyenne, individuel) sont ensuite ajoutées au tableau de données.
*La colonne intervalle de confiance est définie sur « non affiché ».
Au cours de ce processus, en plus du modèle des effets principaux, nous avons également créé un modèle incluant les effets principaux et les interactions quadratiques, et enregistré la formule de calcul en utilisant la même procédure.
Afin de comparer les profils du "modèle à effets principaux" et du "modèle à effets principaux + interaction quadratique", utilisez [Graphique] > [Profil] et remplacez la colonne de la formule de prédiction enregistrée précédemment par la colonne [Y, formule de prédiction] .
Le rapport de profil s'affichera, alors sélectionnez [Intervalle de prédiction] dans le bouton triangle rouge à gauche de « Profil de prédiction » et décochez « Intervalle de confiance », comme indiqué ci-dessous.
Le profil ci-dessus est le prix médian prévu d'une maison et 95 % de celui-ci lorsqu'il y a un bloc en Californie à la longitude -122,23, latitude 37,88, revenu 8, âge 2, nombre de pièces 7... Affiche l'intervalle de prédiction.
| modèle |
Valeur prédite et intervalle de prédiction de 95 % |
| Modèle des effets principaux |
3,91 [2,53, 5,29] |
| Effets principaux, modèle d'interaction bidirectionnelle |
4,14 [2,80, 5,47] |
Lorsque l'on compare les deux modèles, il existe certaines différences dans les valeurs prédites et les intervalles de prévision. Cependant, il est préférable de considérer que la valeur de prévision du prix de l’immobilier est d’environ 4 et que la fourchette de prévision est comprise entre 2,5 et 5,5.
par Naohiro Masukawa (JMP Japon)
Naohiro Masukawa - Communauté d'utilisateurs JMP
