En el blog anterior (Parte 1) , presentamos cómo leer los datos de muestra de scikit-learn "Precios de la vivienda en California" como una tabla de datos JMP utilizando la función "integración de Python" mejorada en JMP 18.
En este blog (Parte 2), usaremos los datos cargados para crear un modelo de regresión que predice los precios de la vivienda en función de la edad, la cantidad de habitaciones, la latitud, la longitud, etc., y visualizaremos el modelo usando un perfil de predicción. En ese momento, JMP 18 ahora le permite mostrar intervalos de predicción en el perfil, por lo que también aprovecharé esta función.
Sin embargo, es peligroso crear repentinamente un modelo sin observar los datos, así que explore los datos graficandolos o resumiéndolos. JMP 18 también incluye nuevas funciones para ayudarle a explorar sus datos.
Estadísticas de encabezado, exploración de datos con conmutador de columnas
Al explorar datos en JMP, recomendamos utilizar las nuevas funciones de JMP 18, como Estadísticas de encabezado y Administrador de columnas.
estadísticas de encabezado
Haga clic en el icono Σ en la tabla de datos para mostrar estadísticas resumidas para cada columna de la tabla de datos. Además, como característica JMP existente, también puede hacer clic en el ícono del histograma para mostrar un gráfico de encabezado, lo que permite la visualización y el resumen de datos de alto nivel.
administrador de columnas
Al hacer clic en el icono en el panel Columnas (indicado por el círculo verde arriba) se iniciará el Administrador de columnas como se muestra a continuación. Esta herramienta le permite cambiar las propiedades de las columnas, ver estadísticas resumidas, distribuciones y más, y es especialmente útil para resumir datos con muchas variables.
Al observar las estadísticas resumidas y la distribución, puede ver que para algunas variables los datos van hacia la derecha y hay valores grandes que pueden considerarse valores atípicos. Por ejemplo, el valor máximo de AveRooms (número promedio de habitaciones en el bloque) es 141,9 y el valor máximo de AveBedrms (número promedio de habitaciones en el bloque) es 34. Vivir en una casa con 141 habitaciones y 34 dormitorios es completamente inimaginable para un plebeyo como yo. .
Sin embargo, estos valores anormales pueden afectar el modelo creado posteriormente, por lo que calculamos la distancia multivariada (distancia de Mahalanobis) utilizando la variable objetivo y las variables explicativas, y decidimos excluir los datos con valores grandes de la creación del modelo. .
Este proceso excluyó 17 datos. Si excluye estos datos de la tabla de datos, los gráficos y las estadísticas del encabezado se volverán a calcular en consecuencia.
Mostrar intervalos de predicción en "Perfil de pronóstico"
El informe cuando se utiliza [Model Fit] para crear un modelo (en adelante denominado modelo de efectos principales) que explica los precios de la vivienda en California (MedHouseVal) utilizando los efectos principales de otras variables (MedInc, House Age, etc.) es como sigue.
El valor estimado en el informe "Estimación de parámetros" se convierte en el coeficiente de regresión parcial en el modelo de regresión, y el "perfil de predicción" es una visualización de la fórmula de este modelo. Aunque se ha demostrado que cuanto mayor es el número medio de habitaciones (AveRooms), menor es el precio, esto puede resultar contrario a la intuición. Sin embargo, aquí se basa en la fórmula de predicción obtenida.
Además, al predecir los precios de la vivienda en diferentes bloques, es deseable utilizar intervalos de predicción al considerar el rango de valores posibles para el valor predicho. En JMP 18, puede mostrar el intervalo de predicción del 95 % (la línea recta verde indica el límite de confianza) seleccionando Intervalo de predicción en el triángulo rojo a la izquierda del perfil de predicción.
Cuando se utiliza esta fórmula de predicción para predecir los precios de la vivienda en otro bloque de California a partir de los parámetros de ese bloque (ingresos, año de construcción, número de habitaciones, etc.), es deseable obtener un intervalo de predicción como rango de predicción.
En JMP 18, puede mostrar el intervalo de predicción del 95% (la línea recta verde es el límite de confianza del intervalo de predicción del 95%) como se muestra a continuación seleccionando Intervalo de predicción en el botón triangular rojo a la izquierda de Perfil de predicción.
En JMP 18, también puede ver los intervalos de confianza y predicción en Perfil en el menú Gráfico.
Seleccione Guardar columna > Fórmula de intervalo y predictor, como se muestra en la imagen siguiente.Luego, las columnas de la fórmula de predicción y del intervalo de confianza (media, individual) se agregan a la tabla de datos.
*La columna del intervalo de confianza está configurada como "no mostrada".
En este proceso, además del modelo de efectos principales, también creamos un modelo que incluía efectos principales e interacciones cuadráticas, y guardamos la fórmula de cálculo usando el mismo procedimiento.
Para comparar los perfiles del "modelo de efecto principal" y el "modelo de efecto principal + interacción cuadrática", use [Gráfico] > [Perfil] y cambie la columna de la fórmula de predicción guardada anteriormente a la columna [Y, fórmula de predicción] .
Se mostrará el informe del perfil, así que seleccione [Intervalo de predicción] en el botón triangular rojo a la izquierda de "Perfil de predicción" y desmarque "Intervalo de confianza", como se muestra a continuación.
El perfil anterior es el precio medio previsto de una casa y el 95% del mismo cuando hay un bloque en California en longitud -122,23, latitud 37,88, ingresos 8, edad 2, número de habitaciones 7... Muestra el intervalo de predicción.
| modelo |
Valor previsto e intervalo de predicción del 95% |
| Modelo de efectos principales |
3,91 [2,53, 5,29] |
| Efectos principales, modelo de interacción bidireccional. |
4,14 [2,80, 5,47] |
Al comparar los dos modelos, existen algunas diferencias en los valores predichos y los intervalos de predicción. Sin embargo, es mejor considerar que el valor de predicción del precio de la vivienda es aproximadamente 4 y que el rango de predicción está en el rango de 2,5 a 5,5.
por Naohiro Masukawa (JMP Japón)
Naohiro Masukawa - Comunidad de usuarios de JMP
